以下、添付図面に従って本発明の実施形態について詳細に説明する。
〔概要〕
以下に説明する画像処理方法は、低解像の入力画像から高解像の画像を復元するものであり、低解像画像と高解像画像との変換関係を規定するための補間フィルタ係数を用いた変換(補間)演算により低解像画像に存在していない情報が補間され、高解像の情報が補間された高解像画像が生成される。
なお、本発明に係る画像処理方法は、解像度の変更を伴う画像変換処理に限定されるものではなく、同一の解像度を有する高画質画像及び低画質画像において、低画質画像には存在しない情報が補間された高画質画像を復元する画像処理への適用も可能である。以下の説明では、320×240画素を有する低解像画像から、640×480画素を有する高解像画像を生成する(低解像画像の1画素から高解像画像の4画素を生成する)処理を前提として説明する。
〔学習ステップの説明〕
画像処理を行うための準備段階として、事前に高解像画像から低解像画像を作成してデータを学習し、変換関係を規定する補間フィルタ係数を求めておく。このような処理を学習ステップという。そして、この学習ステップで得られた補間フィルタ係数を用いて、任意の低解像の入力画像から高解像の出力画像を得る工程を復元ステップと呼ぶ。
図1(a)は、学習ステップの概略構成を示す全体構成図である。また、図1(b)は復元ステップの概略構成を示す全体構成図である。
図1(a)に示す学習ステップは、高解像画像xfile(学習画像x)に対して、縮小処理(例えば、1画素ごとに画素を間引く処理)又はローパスフィルタ(LPF)などを用いたフィルタリング処理が施され、高解像画像xfileよりも解像度が低い低解像画像zfileが生成される低解像画像生成工程(#10)と、学習画像x及び低解像画像zfileに対してハイパスフィルタ(HPF)を用いたフィルタリング処理(高周波成分の抽出処理)が施され、高周波高解像画像x’fileと高周波低解像画像z’file(画像ベクトルz’)のペア(パッチペア)が生成される高周波成分抽出工程(#12)と、高周波低解像画像z’fileからクラスごとの代表高周波画像z’i(iはクラス番号)が生成される代表高周波画像生成工程(#14)と、高周波高解像画像x’file、高周波低解像画像z’file及び代表高周波画像z’iに基づいて補間フィルタ係数A’i、B’i、π’ i が算出される補間フィルタ係数生成工程(#16)と、を含んで構成されている。
低解像画像生成工程(#10)は、入力された高解像の学習画像xを、例えば、(1/2)×(1/2)や(1/4)×(1/4)などのように指定されたサイズへ縮小する処理が施される。同工程に適用される縮小法には、バイキュービック法、Bスプライン法、バイリニア法、ニアレストネイバー法などの手法を適用することができる。
高周波成分抽出工程(#12)は、入力された学習画像x及び低解像画像zfileから高周波成分が抽出される処理(入力された学習画像x及び低解像画像zfileに対して低周波成分及び中周波成分が抑制される処理)が施される。高周波成分抽出工程に適用されるフィルタの例として、アンシャープマスクに用いられるフィルタ(入力‐平均フィルタ)、ラプラシアン(二次微分)、グラジエント(一次微分)等が挙げられる。
高周波成分抽出工程において抽出される高周波成分の一例として、サンプリング定理におけるナイキスト周波数が挙げられる。すなわち、入力画像について、出力画像におけるナイキスト周波数に対応する周波数をしきい値として、高周波成分抽出処理を行なうことで、入力画像の低周波成分に含まれる画質劣化要因を取り除くことができ、好ましい高画質画像が復元される。
なお、高周波成分抽出工程において抽出される高周波成分は、いわゆるカットオフ周波数(レスポンスが-3dBとなる周波数)としてもよく、入力画像(低解像画像)や出力画像(高周波画像)の解像度などの条件に応じて適宜設定される。
すなわち、高周波成分抽出工程では低解像画像zfileから高周波低解像画像z’file(画像ベクトルz’)が生成される。図2(a)〜(d)は、高周波成分抽出工程における入力と出力との関係が模式的に表された図である。図2(a)は、低解像画像zfileの注目画素(データ値「14」の画素)と、該注目画素を中心とした周辺画素(3×3サイズのデータ値「5」の画素)が図示されている。各画素の値と注目画素及び注目画素の周辺画素の平均((5×8)+14)/9=6との差分を演算することで、図2(b)に示すように、9次元の画像ベクトルz’が生成される。同様に、図2(c)に示す3×3サイズの入力から図2(d)に示す9次元の画像ベクトルz’が生成される。
代表高周波画像生成工程(#14)は、画像ベクトルz’を代表値化する工程であり、クラス数と同数の代表高周波画像z’iが生成される。代表高周波画像z’iは、従来技術におけるクラスタベクトルyから代表ベクトルμiを生成する手法と同様に、GMM(混合正規分布モデル)にEMアルゴリズムが適用された手法が適用される。すなわち、EMアルゴリズムのEステップにおいて条件確率の推測が行なわれ、MステップにおいてEステップの推測値を用いた尤度関数の最大化が行なわれ、現在の条件確率で尤度関数が最大化され、次の条件確率が求められ、尤度関数の出力が安定するまでEステップとMステップのループ演算が繰り返し実行される。
なお、GMMの他に混合ディリクレモデル等を用いてもよいし、EMアルゴリズムに代わり、変分ベイズ法、MCMC(マルコフ連鎖モンテカルロ)、ギブスサンプラー等を用いてもよい。
かかる演算において、k-means法により画像ベクトルz’のクラスごとの重心を求めて分類し、初期状態の設定としてもよい。例えば、100クラスで10万画素を学習するには、1万回程度の学習が行なわれる。この場合の収束条件はe−10である。代表高周波画像生成工程における処理は、次式(1)〜(4)で表される演算処理が繰り返し実行される。
なお、式(1)における「N」は高解像画像xfile及び低解像画像zfileのペア(トレーニングセット)から生成されるトレーニングベクトル(z,x)の数、トレーニングセットのペアにおける低解像画像の画素のセットをSとしたときのトレーニングセットから抽出されたトレーニングベクトルを{(z
s,x
s)}
s∈Sと表す。
式(2)における「πi」はi番目のクラスの存在確率であり、式(3)における「pi|z’(i|z’,θ)」は高周波画像z’がクラスiに存在する確率、「pi|z’(i|z’)」はi、z’についての多変量ガウス型密度式や多変量ディリクレ型密度式である。(4)における「σ2」は画像ベクトルz’の要素の標本分散の平均、「d」は画像ベクトルz’の要素数、Mはクラス数である。なお、式(2)における「θ」はEMアルゴリズムによって最尤推定され(θmaxが決定され)、これが代入されるため変数としては存在しなくなる。
補間フィルタ係数生成工程(#16)は、復元工程における補間演算に用いられる補間フィルタ係数が生成される工程である。補間フィルタ係数生成工程において、高周波高解像画像x’file及び高周波低解像画像z’fileのペアと代表高周波画像z’iとを入力として、補間フィルタ係数A’i、B’i、π’ i が生成される。補間フィルタ係数A’iは補間行列あり、次式(5)により表される。また、補間フィルタ係数B’iはバイアスベクトルであり、次式(6)により表される。π’ i はi番目のクラスの存在確率(寄与率)であり、すべてのクラスの合計が1となるように正規化され、上記式(2)で表される。
なお、上記した補間フィルタA’
i、B’’
i、
π’ i 係数はあくまでも一例であり、復元工程における補間演算に応じて補間フィルタ係数は適宜決められている。
以上説明した学習ステップにおいて生成された代表高周波画像z’i及び補間フィルタ係数A’i、B’i、π’ i は、次に説明する復元ステップに提供される。なお、図示は省略するが、補間フィルタ係数生成工程において生成された補間フィルタ係数A’i、B’i、π’ i が所定のメモリに記憶される記憶工程を含む態様が好ましい。また、学習ステップは後述する復元ステップにおける復元条件に合わせた学習が行なわれることが好ましい。
復元条件として、復元対象の低解像画像と復元後の高解像画像との解像度比、低解像画像と高解像画像とのサイズ比、復元対象の(復元後の高解像画像に付加される)周波数成分、復元後の高解像画像の記憶容量などが挙げられる。
以上説明した学習ステップでは、従来技術に係る学習ステップにおいて補間フィルタ係数を生成するためのクラスタベクトルyを画像ベクトルz’に置き換えることができるので、クラスタベクトルyが不要となり、該クラスタベクトルyを生成する工程(図22、24(a)参照)を備える必要がない。
〔復元ステップの説明〕
次に、復元ステップについて説明する。復元ステップは、入力画像(低解像画像z)から高解像画像が生成され、出力される。復元ステップは入力画像を所定のサイズに分割したパッチごとに処理を行ってもよいし、画素ごとに処理を行ってもよい。本例では、入力画像を所定サイズの複数のパッチに分割し、該パッチごとに処理を行うことを前提とする。図1(b)に示す復元ステップは、復元対象の低解像画像zから高周波成分が抽出され、画像ベクトルz’が生成される高周波成分抽出工程(#20)と、入力された低解像画像zの画素ごとに、図1(a)に示す学習ステップにおいて生成された補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iが設定される補間フィルタ係数設定工程(#22)と、低解像画像zから生成された画像ベクトルz’に対して、補間フィルタ係数設定工程において設定された補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iを用いたフィルタリング処理が施される補間フィルタリング工程(#24)と、低解像画像zに対してバイキュービックなどの手法を用いた拡大処理が施される拡大処理工程(#26)と、補間フィルタリング工程により生成された高解像画像の超高周波成分に、拡大処理工程において拡大された高解像画像の低周波成分から高周波成分が加算され、低周波成分から超高周波成分にわたる全周波数成分を含む高解像画像が生成される加算工程(#28)と、を含んで構成されている。
図1(b)に示す復元ステップにおける各工程を経て、入力された低解像画像zの1画素に対する出力として、低解像画像に存在していない情報が補間された高解像画像の4画素が得られる。
すなわち、補間フィルタ係数を用いた変換処理が施されて生成された高解像画像の超高周波成分に、低解像画像zに対して拡大処理が施されて生成された高解像画像の低中高周波成分が加算され、低解像画像zに存在していない超高周波成分の情報が含まれる高解像画像が生成される。
高周波成分抽出工程は、ハイパスフィルタを用いた低周波成分及び中周波成分の抑制処理(高周波成分抽出処理)に拡大処理を加えた構成としてもよい。高周波成分抽出工程における高周波成分抽出処理の内容は図1(a)に図示した処理と共通しているので、ここでは説明を省略する。
補間フィルタ係数設定工程は、学習ステップにおいて予め生成されている補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iが設定されるとともに、入力された低解像画像zに応じた重み係数wiが設定される。補間フィルタリング工程は、補間フィルタ係数設定工程において生成された補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iを用いて、画像ベクトルz’を超高周波の高解像画像(低周波画像zに存在していない情報が補間された画像)に変換する処理が実行される。かかる変換処理は、次式(7)により表される混合ガウスモデル(混合ガウス分布)が仮定される。なお、混合ガウスモデルに代わり混合ディリクレモデル等の混合多孔分布を仮定してもよい。
すなわち、画像ベクトルz’に対して各処理対象画素に対応するクラスiの補間行列A’
iを乗じるとともに、この乗算結果にバイアスベクトルB’
iが加算される。また、各処理対象画素に対応して算出された重みw
iにより重み付けがされ、すべてのクラスについて加重和が求められる。重みw
iは代表高周波画像z’
iと画像ベクトルz’との差分(ベクトル空間におけるユークリッド距離)及び対象画素のクラスごとの寄与率
π’ i に応じて算出される。
このようにして、高周波低解像画像z’(入力z’)の高周波成分(図3(a)において斜線ハッチが付された周波周領域)が有する情報に基づいて、高解像画像x’(出力x’)における超高周波成分(図3(b)において斜線ハッチが付され領域)の情報が補間される。かかる超高周波成分のデータに対して、拡大処理工程により処理が施された高周波画像における低周波成分から高周波成分までのデータが加算され、低周波成分から超高周波成分までのすべての周波数成分を有する出力画像(高解像画像)が生成される。
本例では、画素数を増やして出力用の超高周波成分から成る画像の画素数と、低周波成分画像から高周波成分の周波数成分から成る画像の画素数と、を一致させる機能としての高周波低解像画像z’fileに対する拡大処理が、補間フィルタリング工程の中で超高周波成分に変換される機能と一括して行われる態様を例示したが、高周波低解像画像z’fileに対する拡大処理は、高周波成分抽出工程の前段や高周波成分抽出工程の後段で実行されてもよい。
上記の如く構成された画像処理方法によれば、復元対象を高周波成分に限定することで、補間に用いられる補間フィルタ係数A’i、B’i、π’ i のサイズが小型化され、高速処理が可能となるとともに補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iが記憶される記憶容量の削減が可能となる。
また、クラスタリング対象のバリエーションを削減するためのクラスタベクトル生成をやめ、クラスタリング対象と復元対象とを共通に高周波化することで、両者が異なることによる復元画像における不整合解消され、パッチ周期で出現するアーチファクトが低減化される。さらに、図2(a)〜(d)に示したように、パッチ(画像ベクトルを構成する3×3サイズの画素)中心の輝度を表現するためのベクトル要素についてクラスタリング対象と復元対象を一致させ、結果的に新たなベクトル要素を1次元設けることで(9次元の画像ベクトルを生成することで)、輝度正規化基準がパッチ中心の画素からパッチ全体となり、パッチ間のつながり度合いが向上される。
さらに、復元対象を低解像画像の高周波成分に限定するために設けられたハイパスフィルタによって、低解像画像の低周波成分から中周波成分までに重畳されたノイズ成分が除去されるという効果が得られる。
なお、上記実施形態では画像処理方法について説明したが、上記に説明した各工程と同一の機能が実現されるハードウェアに置き換えることも可能である。例えば、図1(a)の低解像画像生成工程(#10)、高周波成分抽出工程(#12)、代表高周波画像生成工程(#14)、補間フィルタ係数生成工程(#16)をそれぞれ、低解像画像生成部、高周波成分抽出部、代表画像生成部、補間フィルタ係数生成部に置き換えるとともに、高周波成分抽出工程(#20)、補間フィルタ係数設定工程(#22)、補間フィルタリング工程(#24)、拡大処理工程(#26)、加算工程(#28)をそれぞれ、高周波成分抽出部、補間フィルタ係数設定部、補間フィルタリング部,拡大処理部、加算部に置き換えて画像処理装置を構成することも可能である。また、上記した画像処理方法の各工程をコンピュータにより実現するプログラムとして構成することも可能である。
〔第2実施形態〕
次に、本発明の第2実施形態に係る画像処理方法について説明する。以下に説明する第2実施形態は、先に説明した第1実施形態に係る画像処理方法に対して新たな機能が追加されている。なお、以降の説明において、先の説明と同一又は類似する部分には同一の符号を付し、その説明は省略する。
図4(a)は、本発明の第2実施形態に係る学習ステップの概略構成を示す全体構成図であり、図4(b)は復元ステップの概略構成を示す全体構成図である。図4(a)に示す学習ステップは、図1(a)に図示した学習ステップに、学習代表数(クラス数、代表高周波画像z’iの数)を外部から取得する学習代表数取得工程(#19)が追加されている。
すなわち、学習対象の画像に応じて適宜学習代表数を決められるので、学習ステップにおいて効率よく各工程を実行することができ、学習ステップにおいて求められる補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iの数が最適化される。
図4(b)に示す復元ステップは、図1(b)に図示した復元ステップに、外部から補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iを取得する補間フィルタ係数取得工程(#30)と、補間フィルタ係数A’i、B’i、π’ i 及び代表高周波画像z’iを用いた補間処理を実行するか否かを判定する補間実行判定工程(#32)と、補間実行判定に用いられる判定閾値を外部から取得する閾値取得工程(#34)と、高周波低解像画像z’fileに正規化処理を施す正規化処理工程(#36)と、補間実行判定工程の判定結果に従って、加算工程(#28)において加算された低周波成分から超高周波成分までの全周波数領域の情報を含む画像と拡大処理工程(#26)により拡大された画像とのいずれかを選択的に出力する選択出力(セレクタ)工程(#38)と、を含んで構成される。
また、加算工程(#28)は、補間実行判定工程における判定結果に応じて加算処理が実行されるように構成されている。
補間実行判定工程(#32)は、高周波画像z’fileに応じた補間実行判定が行なわれる。すなわち、補間実行判定工程の判定結果に応じて、補間フィルタ係数設定工程、補間フィルタリング工程、加算工程及び選択出力工程の処理が決められる。
補間実行判定には、高周波画像z’fileの持つデータの高周波成分の大きさ(振幅)、高周波成分の頻度(局所領域内の閾値を超えるデータを持つ画素数、局所領域内の累積振幅数)等を用いることが可能である。図5は、高周波成分の大きさ(データの絶対値)に対して所定の閾値THが設定された例を示す図である。かかる場合において、処理対象の高周波画像z’のデータの絶対値が閾値THを超える場合(図5中、破線を超えるデータを有する位置)は、補間フィルタ係数設定工程において補間フィルタ係数が設定され、補間フィルタリング工程においてフィルタリング処理が実行され、加算工程において加算処理が実行され、選択出力工程において加算処理された高解像画像を出力するように指示される。
一方、処理対象の高周波画像z’のデータの絶対値が所定の閾値以下の場合(図5中、破線以下のデータを有する位置)は、補間フィルタ係数設定工程、補間フィルタリング工程、及び加算工程に処理停止が指示されるとともに、選択出力工程において拡大処理工程により拡大処理された画像を出力するように指示される。
すなわち、処理速度を重視する場合において、閾値判定により処理対象画素(領域)について復元処理が必要であるか否かが判断され、復元処理が必要である画素のみに復元処理が実行される。このようにして、補間処理が施される復元処理の対象を制限することで処理速度を向上させることが可能となる。
例えば、人物の顔がデータ値1又は0の二値で表現された二値画像に対する処理を考えたときに、データ値1で表される領域(黒領域)は補間フィルタ係数を用いたフィルタリング処理(高解像化処理)を施し、データ値0で表される領域(白領域)は拡大処理などの高解像化処理以外の処理を施すことで、処理時間がかかる高解像化処理を施す領域を限定して、全体として処理速度の高速化を図ることが考えられる。
なお、選択出力工程に変わり、重み付け加重和処理工程を具備する態様も好ましい。重み付け加重和処理工程は、加算工程の処理結果(出力I1)及び拡大処理工程の処理結果(出力I2)に対して、処理対象の高周波画像z’のデータの絶対値から求めた重みw1、w2(=1−w1)を乗じ、重み付けされた処理結果(I1×w1+I2×w2)が加算されるように構成される。処理対象の高周波画像z’のデータの絶対値が大きいほど加算工程の処理結果が支配的になるように(w1の値がw2の値に対して大きくなるように)重みが決められる。重み付け加重和処理工程は画質重視の処理を実行する場合に有効である。
図6に示すように、重み付け加重和処理工程に用いられる重みw1(w2)は線形でもよいし、非線形(閾値THまでの線形関数やシグモナイド関数等)でもよい。
正規化処理工程(#36)は、入力された高周波低解像画像z’fileのn乗ノルム|z’|が算出され、z’/|z’|が出力される。nは1前後の値から任意に選択される。正規化処理工程を具備する構成によれば、特定の少数のクラスに寄与率が偏り過ぎる場合に複数のクラスに寄与率を分散させることができ、フィルタリングされた画像の頑健性向上が見込まれる。一方、正規化処理による均一化によりクラス数が増え、演算量が増える可能性がある。なお、正規化処理工程は、補間実行判定工程の結果に従って処理を実行するか否かが決められる。なお、本発明に係る画像処理方法は、正規化処理工程を備える態様が好ましいが必須の構成ではない。
なお、第1実施形態と同様に、図4(a)及び図4(b)に図示した各工程と同一の機能を有するハードウェアを用いて画像処理装置を構成することが可能である。また、図4(a)及び図4(b)に図示した各工程の機能をコンピュータに実行させるプログラムを作成することも可能である。
本例に示す画像処理方法において、学習ステップに用いられる学習画像セットの対象を限定することは必須ではないが、自然物、CG(コンピューターグラフィックス)といった復元対象に適合した対象とすることが好ましい。また、学習画像セットを以下のように限定することで、さらなる高画質化が期待される。
例えば、学習画像セットの対象として人物の顔が挙げられる。また、顔の他に頭部または人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部を含む領域に対象を限定することが考えられる。なお、「生体」とは、生体内部の血管等のように生体内部に存在する特定の組織が含まれる。また、内視鏡システムや顕微鏡システムにおける、生体内部の腫瘍組織、細胞、タンパク質、DNA、RNA等の高分子、低分子の物質を対象とすることも可能である。
さらに、生体の他にも、薬等の化合物や、認証システムにおける貨幣、キャッシュカード等のカード類、監視カメラシステムにおける車両や車両のナンバープレート、複写機等のスキャナ機器により読み取られたドキュメントの画像、文字、図形、表、写真などを対象とすることも可能である。
また、本例では、超解像処理について説明したが、本発明を適用可能な画像処理は超解像処理に限定されず、折り返し成分を低減した縮小処理、多色数化処理、多階調化処理、ノイズ低減化処理、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減化させるアーチファクト低減化処理、ボケ低減化処理、シャープネス化処理、高フレームレート化処理、広ダイナミックレンジ化処理、色階調補正処理、歪み収差化処理、符号化などの射影処理にも適用可能である。
例えば、ノイズ低減化処理の場合、ノイズが含まれる画像とノイズが含まれない画像とをペアとして射影関係が学習される。すなわち、処理前の画像と処理後の画像とのペアを準備し、それぞれの処理前画像と処理後画像との射影関係を学習しておき、かかる射影処理に適用される演算子や関数等が予め準備される。
〔応用例〕
次に、本発明の実施形態に係る応用例として、監視システムへの適用例について説明する。監視システムにおいて、監視カメラにより取得された低画質画像を高画質画像へ変換し、該高画質画像をモニタに表示することや印刷装置により該高画質画像を印刷することが可能となる。
図7は、本発明の実施形態に係る画像処理システム200の一例を示す。以下に説明
する画像処理システム200は、一例として監視システムとして機能することができる。
画像処理システム200は、監視対象空間202を撮像する複数の撮像装置210a−dと、これら撮像装置210a−dにより撮像された撮像画像を処理する画像処理装置220、通信ネットワーク240、画像処理装置250、画像データベース(DB)255、及び複数の表示装置260a−eを備える。画像処理装置250は、監視対象空間20
2とは異なる空間205(例えば、監視対象空間202から遠く離れた場所)に設置することができ、表示装置260a−eについても監視対象空間202や画像処理装置250の設置空間205とは異なる空間206に設けることができる。
撮像装置210aは、撮像部212a及び撮像画像圧縮部214aを有している。撮像部212aは、監視対象空間202を連続して撮像することによって複数の撮像画像を撮像する。撮像部212aにより得られる撮像画像は、RAW形式の撮像画像であってよい。撮像画像圧縮部214aは、撮像部212aにより撮像されたRAW形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む動画をMPEG符号化その他の符号化方式により圧縮して動画データを生成する。撮像装置210aは当該生成した動画データを画像処理装置220に出力する。
他の撮像装置210b、210c、210dもそれぞれ撮像装置210aと同様の構成を有し、各撮像装置210a−dにより生成された動画データは画像処理装置220に送られる。なお、以下の説明において、撮像装置210a−dを撮像装置210と総称する場合がある。同様に、表示装置260a−eを表示装置260と総称する場合があり、以後の説明においては、類似する構成要素に付した符号の末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
画像処理装置220は、撮像装置210から取得した動画データを復号することにより、動画を取得する。画像処理装置220は、取得した動画に含まれる複数の撮像画像のそれぞれから、人物270が撮像された領域、車輌等の移動体280が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置220は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
また、画像処理装置220は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、若しくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。
画像処理装置220は、当該生成した特徴領域情報を圧縮動画データに付帯して、通信ネットワーク240を通じて画像処理装置250に送信する。
画像処理装置250は、特徴領域情報が対応付けられた圧縮動画データを画像処理装置220から受信する。画像処理装置250は、圧縮動画データに対応付けられている特徴領域情報に対応付けて、当該圧縮動画データを画像DB255に記憶させる。なお、画像DB255は、ハードディスク等の不揮発性の記憶媒体に圧縮動画データを記憶してよい。このように、画像DB255は、圧縮された撮像画像を記憶する。
また、画像処理装置250は、表示装置260からの要求に応じて、画像DB255から圧縮動画データ及び特徴領域情報を読み出し、当該読み出した圧縮動画データをこれに付帯する特徴領域情報を利用して伸張して表示用動画を生成して、通信ネットワーク240を通じて表示装置260に送信する。表示装置260は、画像の検索条件などを入力し得るユーザーインターフェースを具備し、画像処理装置250に対して各種の要求を送信できるとともに、画像処理装置250から受信した表示用動画を表示する。
また、上記の動画表示に代えて、又は、これと組み合わせて、画像処理装置250は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像並びにその特徴領域を特定することも可能である。そして、画像処理装置250は、この特定した撮像画像を復号して、表示装置260に提供することにより、要求にかかる検索条件に合致した画像を表示装置260に表示させてもよい。
なお、画像処理装置250は、画像処理装置220から取得した圧縮動画データを、これに対応する特徴領域情報を利用して伸張して表示用動画を生成してから画像DB255に記憶させてもよい。また、このとき画像処理装置250は、特徴領域情報を対応付けて表示用動画を画像DB255に記憶させてもよい。かかる態様によれば、画像処理装置250は、表示装置260からの要求に応じて画像DB255から表示用動画(伸張済み)を読み出して、特徴領域情報とともに表示装置260に送信し得る。
また、画像処理装置250から伸張済みの表示用動画を表示装置260に提供する態様に代えて、表示装置260内で圧縮動画データを伸張処理して表示用画像を生成してもよい。すなわち、表示装置260は、画像処理装置250又は画像処理装置220から特徴領域情報及び圧縮動画データを受信してもよい。かかる態様において、表示装置260は、受信した圧縮動画データを復号して表示装置260に表示させる場合に、復号して得られた撮像画像における特徴領域を一旦単純拡大して表示装置260に表示させてよい。
更に、表示装置260は、表示装置260における処理容量に応じて各特徴領域の画質を決定して、決定した画質で特徴領域の画像を高画質化してもよい。表示装置260は、表示装置260が表示している撮像画像における特徴領域の画像を、高画質化した特徴領域の画像で差し替えて表示装置260に表示させてもよい。この差し替え表示を行う際の高画質化の処理手段として本発明に係る画像処理方法を利用した超解像の手段を利用することができる。つまり、表示装置260内に本発明に係る画像処理方法が適用された画像処理装置を搭載することができる。
本例の画像処理システム200によると、特徴領域を示す情報を動画に対応付けて記憶しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、本例の画像処理システム200によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
なお、図7に示した記録媒体290は、画像処理装置220、画像処理装置250、表示装置260用のプログラムを記憶している。記録媒体290が記憶しているプログラムは、本実施形態に係る画像処理装置220、画像処理装置250、表示装置260としてそれぞれ機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するCPUは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。CPUが実行するプログラムは、図7及び以後の図面に関連して説明される画像処理装置220、画像処理装置250、表示装置260などとして当該コンピュータを機能させる。
記録媒体290としては、CD−ROMの他に、DVD又はPD等の光学記録媒体、MO又はMDなどの光磁気記録媒体、テープ媒体又はハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワーク或いはインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置が記録媒体290として機能することもできる。
以下、本例の画像処理システム200における画像処理装置220、250、表示装置260の構成例について更に詳細に説明する。
(画像処理装置220の説明)
図8は、画像処理装置220のブロック構成の一例を示す。画像処理装置220は、画像取得部222、特徴領域特定部226、外部情報取得部228、圧縮制御部230、圧縮部232、対応付け処理部234、及び出力部236を備える。画像取得部222は、圧縮動画取得部223及び圧縮動画伸張部224を有する。
圧縮動画取得部223は、撮像装置210(図7参照)が生成した、符号化された動画データを取得する。圧縮動画伸張部224は、圧縮動画取得部223が取得した動画データを伸張することにより、動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部224は、圧縮動画取得部223が取得した、符号化された動画データを復号して、動画に含まれる複数の撮像画像を抽出する。なお、動画に含まれる撮像画像は、フレーム画像であってよく、フィールド画像であってもよい。
圧縮動画伸張部224によって得られた複数の撮像画像は、特徴領域特定部226及び圧縮部232に供給される。特徴領域特定部226は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域特定部226は、複数の撮像画像のそれぞれから特徴領域を検出する。
例えば、特徴領域特定部226は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域特定部226は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。特徴領域特定部226は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出し得る。
特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標として分類される種類であってよい。また、オブジェクトの種類は、オブジェクトの形状又はオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域特定部226は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
(特徴領域検出方法の例1)
例えば、特徴領域特定部226は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域特定部226は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。
特徴領域特定部226は、上記の人物の顔の他にも、人物の頭部又は人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。
画像処理システム200と同様の構成を内視鏡システムに応用した場合など、生体内部の画像を処理する場合には、生体内部の血管等のように、生体の内部に存在する特定の組織や生体内部の腫瘍組織を対象とすることもできる。生体以外にも、特徴領域特定部226は、貨幣、キャッシュカード等のカード、車輌、或いは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
(特徴領域検出方法の例2)
また、特徴領域特定部226は、テンプレートマッチング等によるパターンマッチングの他にも、例えば、特開2007−188419号公報に記載された機械学習(例えば、アダブースト)等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域特定部226は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。
上述の例1、2に限らず、様々な方法によって特徴領域を検出することが可能であり、特徴領域特定部226は、適宜の方法により、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域特定部226は、検出した特徴領域を示す情報を、圧縮制御部230に供給する。なお、特徴領域を示す情報には、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、及び特徴領域が検出された動画を識別する情報を含めることができる。
圧縮制御部230は、特徴領域特定部226から取得した特徴領域を示す情報に基づいて、圧縮部232による動画の圧縮処理を制御する。圧縮部232は、圧縮制御部230による制御により、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で撮像画像を圧縮する。例えば、圧縮部232は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を、特徴領域より低減することにより、撮像画像を圧縮する。このように、圧縮部232は、撮像画像における各画像領域のそれぞれを、画像領域の重要度に応じた強度で圧縮する。
なお、特徴領域特定部226が複数の特徴領域を検出した場合、圧縮部232は、撮像画像における複数の特徴領域の画像を、それぞれ特徴領域の特徴の種類に応じた強度で圧縮してよい。例えば、圧縮部232は、撮像画像における複数の特徴領域の画像の解像度を、特徴領域の特徴の種類に応じて定められた解像度に低減してよい。
対応付け処理部234は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応付ける。具体的には、対応付け処理部234は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応付ける。そして、出力部236は、対応付け処理部234によって特徴領域を特定する情報が対応付けされた圧縮動画データを、画像処理装置250に出力する。
外部情報取得部228は、特徴領域特定部226が特徴領域を特定する処理に用いるデータを、画像処理装置220の外部から取得する。特徴領域特定部226は、外部情報取得部228が取得したデータを用いて特徴領域を特定する。外部情報取得部228が取得するデータについては、後述の図9に示したパラメータ格納部650との関連で説明する。
(特徴領域特定部226の構成例)
図9は、特徴領域特定部226のブロック構成の一例を示す。特徴領域特定部226は、第1特徴領域特定部610、第2特徴領域特定部620、領域推定部630、高画質化領域決定部640、パラメータ格納部650、及び画像生成部660を有する。第2特徴領域特定部620は、部分領域判断部622及び特徴領域判断部624を含む。
第1特徴領域特定部610は、画像取得部222から動画に含まれる動画構成画像である撮像画像を取得し、この取得した撮像画像から特徴領域を特定する。第1特徴領域特定部610は、既述の「特徴領域検出方法の例1,例2」で例示した検出方法を用いて特徴領域を検出することにより、撮像画像から特徴領域を特定してよい。
画像生成部660は、第1特徴領域特定部610により特徴領域(「第1特徴領域」に相当)として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成する。この画像生成部660における高画質画像を生成する手段には、本発明に係る画像処理方法を利用することができる。
第2特徴領域特定部620は、画像生成部660で生成された高画質画像から特徴領域(「第2特徴領域」に相当)を探索する。第1特徴領域特定部610及び第2特徴領域特定部620が特定した特徴領域は、いずれも特徴領域特定部226が特定した特徴領域として圧縮制御部230に供給される。
なお、第2特徴領域特定部620は、画像生成部660から得た高画質画像を基に、第1特徴領域特定部610よりも一層詳細に特徴領域を探索してよい。例えば、第2特徴領域特定部620は、第1特徴領域特定部610で特徴領域を特定する検出精度よりも高精度に特徴領域を検出する検出器が実装されてよい。すなわち、第1特徴領域特定部610として実装する検出器の検出精度よりも高精度に検出することができる検出器を第2特徴領域特定部620として実装してよい。
また、別の形態として、第2特徴領域特定部620は、第1特徴領域特定部610に入力されるものと同じ入力画像(高画質化処理をしない画像)から、第1特徴領域特定部610よりも一層詳細に特徴領域を探索してもよい。
画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより優先的に高画質化した高画質画像を、撮像画像から生成してよい。また、画像生成部660は、撮像画像に対する画像処理により、高画質画像を生成してよい。
画像生成部660は、第1特徴領域特定部610が特徴領域を特定した後に、第1特徴領域特定部610により特徴領域として特定されなかった領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成してよい。このように、「第1特徴領域特定部610により特徴領域として特定されない領域」とは、第1特徴領域特定部610が特定した段階においては、第1特徴領域特定部610により特徴領域として特定されなかった領域であってよい。この場合、第2特徴領域特定部620により、特徴領域が再度探索されることになる。
他にも、「第1特徴領域特定部610による特徴領域として特定されない領域」とは、第1特徴領域特定部610が特定していない段階においては、第1特徴領域特定部610により特定されないことが予測される領域であってよい。例えば、第1特徴領域特定部610が予め定められた条件に適合する領域を特徴領域として検出する場合において、「第1特徴領域特定部610による特徴領域として特定されない領域」とは、当該条件に適合しない領域であってよい。画像生成部660は、第1特徴領域特定部610が特徴領域を特定していない段階で、高画質画像を生成してよい。
なお、本ブロック図(図9)では、第1特徴領域特定部610及び第2特徴領域特定部620は、異なる機能ブロックで示されているが、単一の機能要素で実装され得ることは当然である。例えば、第1特徴領域特定部610及び第2特徴領域特定部620は、特徴領域検出用の電気回路などのハードウェア要素、特徴領域検出用のソフトウェアなどのソフトウェア要素などを、少なくとも一部共有することができる。
上記において、画像生成部660が入力画像を高画質化した画像を生成する場合を例に挙げて説明したが、画像生成部660は、第1特徴領域特定部610が特徴領域を特定する特徴領域特定処理の対象とした画像より高画質な画像を生成して、第2特徴領域特定部620に提供してよい。例えば、第1特徴領域特定部610が、入力画像に所定の画像処理を施して特徴領域を特定する場合に、画像生成部660は、当該画像処理より得られる画像より高画質な画像を生成して、第2特徴領域特定部620に提供してよい。
画像生成部660が生成する高画質画像は、第1特徴領域特定部610が特徴領域特定処理に用いる画像より高画質な画像であればよく、入力画像より高画質な画像と入力画像より低画質な画像のいずれをも含む。このように、画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域を、特徴領域として特定される可能性に応じた画質に変更した高画質画像を、入力画像から生成する。また、画像生成部660は、特徴領域として特定される可能性に応じた精度の画質の高画質画像を生成してよい。
領域推定部630は、撮像画像において特徴領域として特定されるべき領域を推定する。例えば、特徴領域特定部226が、動画において動くオブジェクトの領域を特徴領域として特定すべき場合に、領域推定部630は、動画において動くオブジェクトが存在する領域を推定する。例えば、領域推定部630は、同じ動画に含まれる動画構成画像としての他の1以上の撮像画像から抽出された動くオブジェクトの位置、他の撮像画像が撮像されたタイミングなどに基づき、動くオブジェクトが存在する位置を推定する。そして、領域推定部630は、推定した位置を含む所定の大きさの領域を、動画において動くオブジェクトが存在する領域として推定してよい。
この場合、第1特徴領域特定部610は、撮像画像における領域推定部630が推定した領域から、動くオブジェクトの領域を特徴領域として特定する。そして、画像生成部660は、領域推定部630が推定した領域のうち、第1特徴領域特定部610により動くオブジェクトの領域が特定されなかった領域をより高画質にした高画質画像を生成してよい。
これにより、動くオブジェクトが存在する可能性が高い領域から、動くオブジェクトが検出できなかった場合に、再探索により動くオブジェクトを抽出することができる可能性が高まる。このように、特徴領域特定部226において特徴領域の検出もれが生じる確率を低減することができる。
部分領域判断部622は、特定の画像領域において予め定められた位置に存在する1以上の部分領域の画像が、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部624は、部分領域判断部622による判断結果に基づき、特定の画像領域が特徴領域であるか否かを判断する。例えば、特定の画像領域が特徴領域であるか否かを判断する場合に、部分領域判断部622は、特定の画像領域上の異なる複数の部分領域のそれぞれに対して、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部624は、否の判断結果が得られた部分領域の数が予め定められた値より小さい場合に、特定の画像領域が特徴領域であると判断する。
特定の画像領域が特徴領域であるか否かを判断する場合に、第2特徴領域特定部620が、当該特定の画像領域において予め定められた位置に存在する1以上の部分領域に対して上述の処理により判断する場合に、画像生成部660は、当該特定の画像領域を高画質化した高画質画像を生成する場合において、当該1以上の部分領域を高画質化してよい。これにより、特徴領域検出処理に有効な領域だけ高画質化することができるので、特徴領域の再検出処理にかかる演算量を低減することができる。
高画質化領域決定部640は、画像生成部660が高画質化する領域を決定する。具体的には、高画質化領域決定部640は、画像生成部660が高画質化する領域を、当該領域が特徴領域として特定される可能性がより低い場合に、より広く決定する。画像生成部660は、高画質化領域決定部640が決定した領域をより高画質にした高画質画像を生成する。これにより、再探索により動くオブジェクトを抽出することができる可能性を高めることができ、特徴領域特定部226において特徴領域の検出もれが生じる確率を低減することができる。
パラメータ格納部650は、画像から抽出された特徴量に対応付けて、当該画像を高画質化すべく用いられる画像処理パラメータを格納する。そして、画像生成部660は、高画質化の対象領域から抽出された特徴量に適合する特徴量に対応付けてパラメータ格納部650が格納している画像処理パラメータを用いて、高画質化の対象領域を高画質化した高画質画像を生成する。パラメータ格納部650は、互いに類似する特徴量が抽出された複数の画像を教師画像として用いた学習により算出された画像処理パラメータを、当該類似する特徴量を代表する特徴量に対応付けて格納してよい。
なお、画像処理パラメータとしては、高画質化対象の画像データに加算すべきより高い周波数領域の空間周波数成分を有する画像データであってよい。他にも、画像処理パラメータとしては、複数画素の画素値のデータ又は複数の特徴量成分のデータを入力データとした場合に、高画質画像を表すデータに入力データを変換するベクトル、行列、テンソル、n次元混合正規分布、n次元混合多項分布等を例示することができる。なお、ここでのnは、1以上の整数であるとする。画像処理パラメータについては、画像処理装置250の動作に関連して後述する。
図7に示した外部情報取得部228は、パラメータ格納部650(図9に記載)が格納する画像処理パラメータ及び特徴量の少なくとも一方を、外部から取得する。パラメータ格納部650は、外部情報取得部228が取得した画像処理パラメータ及び特徴量の少なくとも一方を格納する。
図10は、特徴領域特定部226における特徴領域の特定処理の一例を示す。ここでは、撮像画像700における特徴領域を特定する処理を説明する。
第1特徴領域特定部610(図9参照)は、図10のように撮像画像700の複数の画像領域に対して、予め定められた条件への適合度を算出する。そして、第1特徴領域特定部610は、撮像画像において予め定められた条件への適合度が第1閾値より大きい領域710−1及び領域710−2を、特徴領域として特定する。
また、高画質化領域決定部640(図9参照)は、撮像画像において予め定められた条件への適合度が第1閾値以下である第2閾値より大きい、領域710−3及び領域710−4を選択する(図10参照)。そして、高画質化領域決定部640は、領域710−3を含み、上記条件に対する領域710−3の画像の適合度に応じた大きさの領域710−5を、画像生成部660による高画質化の対象領域として決定する。また、高画質化領域決定部640は、領域710−4を含み、上記条件に対する領域710−4の画像の適合度に応じた大きさの領域710−6を、画像生成部660による高画質化の対象領域として決定する。
図10の例では、領域710−3よりも領域710−4に対して小さい適合度が算出されているとして、高画質化領域決定部640は、領域710−4をより大きい拡大率で拡大した領域710−6を、画像生成部660(図9参照)による高画質化の対象領域として決定する。このように、高画質化領域決定部640は、条件への適合度が予め定められた第2閾値より大きい領域を適合度に応じた拡大率で拡大して得られた領域を、画像生成部660による高画質化の対象領域として決定する。
そして、第2特徴領域特定部620(図9参照)は、高画質化された領域710−5及び領域710−6の画像から、特徴領域を探索する(図10参照)。第2特徴領域特定部620は、第1特徴領域特定部610と同様の処理により、高画質化された領域710−5及び領域710−6の画像から、上記条件に適合する領域を探索してよい。ここで、第2特徴領域特定部620が、高画質化された領域710−5の画像720において、領域722が上記条件に適合すると判断したとする。この場合、特徴領域特定部226は、第1特徴領域特定部610が特定した領域710−1及び領域710−2に加えて、画像720上の領域722に対応する領域710−7を、特徴領域として特定する。
このように、画像生成部660(図9参照)は、第1特徴領域特定部610により特徴領域として特定されない領域のうち、所定の条件への適合度がより大きい領域をより高画質にした高画質画像を、撮像画像から生成する。具体的には、画像生成部660は、第1特徴領域特定部610により特徴領域として特定されない領域のうち、上記条件への適合度が予め定められた第2閾値より大きい領域をより高画質にした高画質画像を生成する。これにより、特徴領域である可能性が高い領域から、特徴領域が抽出される可能性を高めることができ、特徴領域の検出もれが生じる確率を低減することができる。
以上説明したように、第1特徴領域特定部610により特徴領域として特定された領域及び高画質化の対象領域を除く領域は、特徴領域ではない非特徴領域と決定される。なお、第1特徴領域特定部610及び第2特徴領域特定部620による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域ではない領域が特徴領域として特定される確率が予め定められた値より大きくなるよう第1閾値の値を設定してよい。これにより、第1特徴領域特定部610が特徴領域として特定した領域に、非特徴領域が含まれる可能性を低減することができる。非特徴領域についても第1閾値に近い適合度が算出される場合があるが、上記のように第1閾値を設定することにより、このような領域が特徴領域として誤検出されてしまう可能性を低減することができる。
また、第1特徴領域特定部610及び第2特徴領域特定部620による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域から算出された適合度が第2閾値以上になるよう第2閾値の値を設定してよい。これにより、第2閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性を低減することができる。特徴領域についても第2閾値に近い適合度が算出される場合があるが、上記のように第2閾値を設定することにより、このような領域が非特徴領域とされてしまう可能性を低減することができる。
一方、第1閾値及び第2閾値の設定により、第2閾値より大きく第1閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性がある。特徴領域特定部226によると、このような領域については、高画質化されてから第2特徴領域特定部620により特徴領域が探索されるので、特徴領域と非特徴領域とを適切に切り分けることができ、特徴領域を検出し損ねてしまう確率及び非特徴領域を特徴領域として検出してしまう確率のいずれをも低減することができる。このように、特徴領域特定部226によると、感度及び特異度がともに高い特徴領域検出器を提供することができる。
なお、画像生成部660は、上記のように適合度と閾値との関係で高画質化処理の有無を決定することの他に、入力画像の少なくとも一部の画像領域を、上記条件への適合度に応じた高画質化精度で高画質化した高画質画像を生成してよい。この場合、高画質化精度は、適合度に応じた連続関数又は不連続関数で定められてよい。
図11は、特徴領域特定部226における特徴領域の特定処理の他の一例を示す。ここでは特に、動画から動くオブジェクトの領域を特徴領域として特定する場合の特徴領域特定部226の処理の一例を示す。
第1特徴領域特定部610又は第2特徴領域特定部620(図9参照)により、図11のように、撮像画像800−1及び撮像画像800−2において、それぞれ領域810−1及び領域810−2が特徴領域として特定されているものとする。ここで、領域810−1及び領域810−2には、同じ被写体が撮像されたオブジェクトが存在しているとする。
この場合、領域推定部630(図9参照)は、領域810−1及び領域810−2のそれぞれの画像上の位置、撮像画像800−1及び撮像画像800−2のそれぞれが撮像されたタイミング、並びに、撮像画像800−3が撮像されたタイミングに基づき、撮像画像800−3において、同じ被写体のオブジェクトが存在すべき領域として、領域810−3を決定する(図11)。例えば、領域推定部630は、領域810−1及び領域810−2のそれぞれの画像上の位置、撮像画像800−1及び撮像画像800−2のそれぞれが撮像されたタイミングから動くオブジェクトの画像領域上の速度を算出して、算出した速度、領域810−2の位置、及び撮像画像800−2が撮像されたタイミングと撮像画像800−3が撮像されたタイミングとの間の時間差に基づき、同じ被写体のオブジェクトが存在すべき領域として領域810−3を決定する。
第1特徴領域特定部610(図9参照)は、領域810−3から、動くオブジェクトを探索する(図11)。第1特徴領域特定部610により領域810−3から動くオブジェクトが検出されなかった場合に、画像生成部660は領域810−3を高画質化した高画質画像820−4を生成する(図11)。そして、第2特徴領域特定部620は、高画質画像820−4から動くオブジェクトを探索する。これにより、動くオブジェクトが検出される可能性が高い領域から当該オブジェクトを抽出される可能性を高めることができ、動くオブジェクトの検出もれが生じる確率を低減することができる。
なお、画像生成部660(図9参照)は、領域810−3内のより中央の領域をより高画質化した高画質画像820−4を生成してもよい。これにより、動くオブジェクトが存在する確率の低い領域については高画質化の強度を低くすることができる。このため、全体を高強度で一様に高画質化する場合に比べて、高画質化にかかる演算量を低減することができる場合がある。
図12は、図9に記載した第2特徴領域特定部620による特徴領域の判断処理の一例を示す。第2特徴領域特定部620は、特定の画像領域900が特徴領域であるか否かを判断するにあたり、画像領域900内の所定の位置関係にある部分領域910−1〜4から、特徴量を抽出する。このとき、第2特徴領域特定部620は、部分領域910のそれぞれから、画像領域900内における部分領域910のそれぞれの位置に応じて予め定められた種類の特徴量を抽出する。
第2特徴領域特定部620は、予め定められた条件に対する部分領域910の画像から抽出された特徴量の適合度を、部分領域910毎に算出する。第2特徴領域特定部620は、部分領域910毎に算出した適合度に基づき、画像領域900が特徴領域であるか否かを判断する。第2特徴領域特定部620は、適合度の重み付き合計値が予め定められた値より大きい場合に、画像領域900が特徴領域であると判断してよい。また、第2特徴領域特定部620は、予め定められた値より大きい適合度が算出された部分領域910の数が予め定められた値より大きい場合に、画像領域900が特徴領域であると判断してもよい。
上述した特徴量の抽出から適合度算出までの処理は、画像フィルタにより実装され得る。また、当該処理は、弱識別器として実装され得る。また、部分領域910の位置は、特徴領域として抽出すべきオブジェクトの種類に応じて定められてよい。例えば、人物の顔のオブジェクトを含む領域を特徴領域として検出すべき場合には、部分領域910は、人物の顔のオブジェクトに対して判別力が予め定められた値より高くなる位置に定められてよい。判別力が高いとは、人物の顔のオブジェクトに対しては判別結果が真となる確率が高く、人物の顔以外のオブジェクトに対しては判別結果が偽となる確率が高いことを意味してよい。
ここで、画像生成部660(図9参照)は、部分領域910以外の領域を高画質化せず、部分領域910だけを高画質化する。そして、上述したように、第2特徴領域特定部620は、高画質化された画像から特徴領域を抽出して、画像領域900が特徴領域であるか否かを判断する。これにより、高画質化する画像領域を限定しつつ特徴領域の検出確率を高めることができ、ひいては高速かつ高確率で特徴領域を検出することができる。なお、上記の説明では、第2特徴領域特定部620おける特徴領域の判断処理について説明したが、第1特徴領域特定部610も同じ処理により特徴領域であるか否かを判断してよい。
第1特徴領域特定部610及び第2特徴領域特定部620における処理は、複数の弱識別器により実装することができる。全N個の弱識別器を用いて実装する場合を例に挙げて以下に説明する。第1特徴領域特定部610においては、Nf個の弱識別器を用いて、特徴領域であるか否かが判別される。適合度は判別結果に基づき算出され、上述したように、適合度が第1閾値より大きい領域は特徴領域として決定され、適合度が第2閾値以下である領域は非特徴領域として決定される。
適合度が第1閾値以下であり第2閾値より大きい領域は、画像生成部660により高画質化される。第2特徴領域特定部620においては、高画質化された画像は、第1特徴領域特定部610が用いたNf個の弱識別器と、当該Nf個の弱識別器以外のNb個の弱識別器とを用いて、特徴領域であるか否かが判別される。例えば、Nf+Nb個の弱識別器の各判別結果から算出された適合度に基づき、特徴領域であるか否かが判別されてよい。
第1特徴領域特定部610により特徴領域として特定されなかった領域のうち、第1閾値より小さく第2閾値より大きい第3閾値と適合度との比較結果に応じて定まる複数の領域を、互い異なる処理で特徴領域が特定されてよい。例えば、第3閾値より大きい適合度が算出された領域については画像生成部660により高画質化せずに、第2特徴領域特定部620においてNf+Nb個の弱識別器により特徴領域であるか否かが判別されてよい。一方、第3閾値以下の適合度が算出された領域については画像生成部660により高画質化され、第2特徴領域特定部620においてNf+Nb個の弱識別器により特徴領域であるか否かが判別されてよい。
第2特徴領域特定部620の処理において用いられる弱識別器の数Nbは、適合度に応じて調整されてよい。例えば、適合度が小さいほど、第2特徴領域特定部620においてより多くの弱識別器を用いて特徴領域であるか否かが判別されてよい。
以上説明したように、第2特徴領域特定部620は、適合度が低いほどより詳細に画質変更画像から特徴領域を探索してよい。上記第1特徴領域特定部610及び第2特徴領域特定部620の少なくとも一方における弱識別器構成としては、アダブーストによる弱識別器構成を例示することができる。
第1特徴領域特定部610及び第2特徴領域特定部620は、それぞれ多重解像度表現により構成された低解像度画像群から特徴領域を検出してもよい。この場合に、画像生成部660は、第1特徴領域特定部610における多重解像度化より高精度に多重解像度化することにより低解像度画像群を生成してよい。第1特徴領域特定部610における多重解像度化処理としては、バイキュービック法による縮小処理を例示することができる。
また、第2特徴領域特定部620における多重解像度化処理としては、事前学習に基づく縮小処理を例示することができる。第2特徴領域特定部620は、原寸の画像と目標解像度の画像とを用いた学習により得られた画像処理パラメータを用いて、入力画像から低解像度画像群を生成してよい。なお、学習には、折り返し雑音がより小さい目標解像度の画像を用いることがより好ましい。例えば、異なる数の撮像素子を有する異なる撮像装置により得られた画像を学習に用いることができる。
図9から図12に関連して説明した高画質化処理として、本発明に係る画像処理方法を適用できる。すなわち、画像生成部660は、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を生成するにあたり、図1〜図6で例示した本発明による高画質化の画像処理技術を用いてよい。
高画質化処理は、高解像度化の処理に限らず、階調数を増加する多階調数化処理、色数を増加する多色数化処理を例示することができ、これらの処理には本発明による画像処理方法を適用できる。
なお、高画質化の対象となる撮像画像が動画の動画構成画像(フレーム画像やフィールド画像)である場合、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化などの高画質化処理においては、他の撮像画像の画素値を用いて高画質化してもよい。例えば、撮像タイミングの違いによる動体の撮像位置のずれを利用することにより高画質化してもよい。すなわち、画像生成部660は、動画に含まれる動画構成画像である撮像画像及び当該動画に含まれる他の動画構成画像を用いて、高画質画像を生成してよい。
ノイズ低減化処理としては、複数の動画構成画像を用いた処理の他、特開2008−167949号公報、特開2008−167950号公報、特開2008−167948号公報、及び特開2008−229161号公報に記載された処理を例示することができる。例えば、画像生成部660は、ノイズ量がより多い画像とノイズ量のより少ない画像とを用いた事前学習の結果を用いて、ノイズを低減することができる。本実施形態のように可視光で撮像された画像のノイズ量を低減する場合には、特開2008−167949号公報に記載されたように少線量で撮像した画像を事前学習に用いることに代えて、より少ない光量の環境光下で撮像した画像を事前学習に用いることができる。また、シャープネス化処理において、より高精度なシャープネス化処理としては、より大きいフィルタサイズのフィルタを用いた処理、より多くの方向にシャープネス化する処理を例示することができる。
(圧縮部232の構成例)
図13は、図8に記載した圧縮部232のブロック構成の一例を示す。圧縮部232は、画像分割部242、複数の固定値化部244a−c(以下、固定値化部244と総称する場合がある。)、及び複数の圧縮処理部246a−d(以下、圧縮処理部246と総称する場合がある。)を有する。
画像分割部242は、画像取得部222から複数の撮像画像を取得する。そして、画像分割部242は、複数の撮像画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部242は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。そして、圧縮処理部246は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部246は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
より具体的には、画像分割部242は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部244は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。
具体的には、固定値化部244は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部246a−cは、特徴の種類毎に、複数の特徴領域動画をMPEGその他の符号化形式により圧縮する。
固定値化部244a−cは、それぞれ第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、及び第3の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部246a−cは、それぞれ固定値化部244a−cにより固定値化した第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、及び第3の特徴の種類の特徴領域動画を圧縮する。
なお、圧縮処理部246a−cは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部246は、特徴領域の特徴の種類に応じて予め定められた異なる解像度の動画に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部246は、MPEG符号化により特徴領域動画を圧縮する場合に、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
また、圧縮処理部246dは、背景領域動画を圧縮する。この圧縮処理部246dは、圧縮処理部246a−cのいずれによる圧縮強度より高い強度で、背景領域動画を圧縮してよい。圧縮処理部246によって圧縮された特徴領域動画及び背景領域動画は、対応付け処理部234(図8参照)に供給される。
図13で説明したように、特徴領域以外の領域は固定値化部244によって固定値化さるので、圧縮処理部246がMPEG符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。このため、圧縮部232は、特徴領域動画をより高い圧縮率で圧縮することができる。
なお、図13の構成では、圧縮部232が有する複数の圧縮処理部246のそれぞれが複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部232は一の圧縮処理部246を有してよく、一の圧縮処理部246が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像及び背景領域の画像が一の圧縮処理部246に時分割で順次供給され、一の圧縮処理部246が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
他にも、一の圧縮処理部246は、複数の特徴領域の画像情報及び背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像及び背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部246に供給され、一の圧縮処理部246が、複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮してよい。また、上記のように一の圧縮処理部246が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部246が圧縮する形態では、一の圧縮処理部246は、一の画像の全体を圧縮してもよく、本図で説明したように画像分割部242によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部246が一の画像の全体を圧縮する場合には、画像分割部242による分割処理及び固定値化部244による固定値化処理はなされなくてよいので、圧縮部232は、画像分割部242及び固定値化部244を有しなくてよい。
(圧縮部232の構成例2)
図14は、図8に記載した圧縮部232のブロック構成の他の一例を示す。本構成における圧縮部232は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
図14に示す圧縮部232は、画質変換部510、差分処理部520、及び符号化部530を有する。差分処理部520は、複数の階層間差分処理部522a−d(以下、階層間差分処理部522と総称する。)を含む。符号化部530は、複数の符号器532a−d(以下、符号器532と総称する。)を含む。
画質変換部510は、画像取得部222から複数の撮像画像を取得する。また、画質変換部510は、特徴領域特定部226が検出した特徴領域を特定する情報及び特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部510は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部510は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
例えば、画質変換部510は、背景領域に応じた解像度に変換された撮像画像(以後、低解像度画像と呼ぶ。)、第1の特徴の種類に応じた第1解像度に変換された撮像画像(以後、第1解像度画像と呼ぶ。)、第2の特徴の種類に応じた第2解像度に変換された撮像画像(以後、第2解像度画像と呼ぶ。)、及び第3の特徴の種類に応じた第3解像度に変換された撮像画像(以後、第3解像度画像と呼ぶ。)を生成する。なお、ここでは、第1解像度画像は低解像度画像より解像度が高く、第2解像度画像は第1解像度画像より解像度が高く、第3解像度画像は第2解像度画像より解像度が高いとする。
そして、画質変換部510は、低解像度画像、第1解像度画像、第2解像度画像、及び第3解像度画像を、それぞれ階層間差分処理部522d、階層間差分処理部522a、階層間差分処理部522b、及び階層間差分処理部522cに供給する。なお、画質変換部510は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部522のそれぞれに動画を供給する。
なお、画質変換部510は、特徴領域の特徴の種類に応じて、階層間差分処理部522のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部510は、階層間差分処理部522aに供給する動画より低いフレームレートの動画を階層間差分処理部522dに供給してよい。また、画質変換部510は、階層間差分処理部522bに供給する動画より低いフレームレートの動画を階層間差分処理部522aに供給してよく、階層間差分処理部522cに供給する動画より低いフレームレートの動画を階層間差分処理部522bに供給してよい。なお、画質変換部510は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部522に供給する動画のフレームレートを変換してよい。
階層間差分処理部522d及び符号器532dは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部522は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器532dは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
また、階層間差分処理部522aは、画質変換部510から供給された複数の第1解像度画像を含む第1特徴領域動画を予測符号化する。同様に、階層間差分処理部522b及び階層間差分処理部522cは、それぞれ複数の第2解像度画像を含む第2特徴領域動画及び複数の第3解像度画像を含む第3特徴領域動画を予測符号化する。以下に、階層間差分処理部522a及び符号器532aの具体的な動作について説明する。
階層間差分処理部522aは、符号器532dによる符号化後の第1解像度画像を復号して、復号した画像を第1解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部522aは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部522aは、背景領域における差分値を0にする。そして、符号器532aは、差分画像を符号器532dと同様に符号化する。なお、階層間差分処理部522a及び符号器532aによる符号化処理は、第1解像度画像の部分領域毎に施されてよい。
階層間差分処理部522aは、第1解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第1解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部522aは、他の第1解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部522aは、低解像度画像又は予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像又は予測画像との間で差分をとらなくてもよい。
また、階層間差分処理部522aは、背景領域における差分値を0にしなくてもよい。この場合、符号器532aは、特徴領域以外の領域における差分情報に対する符号化後のデータを0にしてもよい。例えば、符号器532aは、周波数成分に変換した後の変換係数を0にしてよい。なお、階層間差分処理部522dが予測符号化した場合の動きベクトル情報は、階層間差分処理部522aに供給される。階層間差分処理部522aは、階層間差分処理部522dから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
階層間差分処理部522b及び符号器532bの動作は、第2解像度画像を符号化するという点、及び第2解像度画像を符号化する場合に、符号器532aによる符号化後の第1解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522b及び符号器532bの動作は階層間差分処理部522a及び符号器532aの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部522c及び符号器532cの動作は、第3解像度画像を符号化するという点、及び第3解像度画像を符号化する場合に、符号器532bによる符号化後の第2解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522a及び符号器532aの動作と略同一であるので、説明を省略する。
以上説明したように、画質変換部510は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、及び少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部530は、特徴領域差分画像及び低画質画像をそれぞれ符号化する。
また、画質変換部510は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部520は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領
域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
以上説明したように、圧縮部232は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部232による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。なお、画像処理装置250がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
(画像処理装置250の説明)
図15は、図7に示した画像処理装置250のブロック構成の一例を示す。図15に示すように、画像処理装置250は、圧縮画像取得部301、対応付け解析部302、伸張制御部310、伸張部320、外部情報取得部380、及び画像処理部330を備える。伸張部320は、複数の復号器322a−d(以下、復号器322と総称する。)を有する。
圧縮画像取得部301は、画像処理装置250により圧縮された圧縮動画を取得する。具体的には、圧縮画像取得部301は、複数の特徴領域動画及び背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部301は、特徴領域情報が付帯された圧縮動画を取得する。
対応付け解析部302は、圧縮動画を、複数の特徴領域動画及び背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画及び背景領域動画を伸張部320に供給する。また、対応付け解析部302は、特徴領域情報を解析して、特徴領域の位置及び特徴の種類を伸張制御部310及び画像処理部330に供給する。
伸張制御部310は、対応付け解析部302から取得した特徴領域の位置及び特徴の種類に応じて、伸張部320による伸張処理を制御する。例えば、伸張制御部310は、特徴領域の位置及び特徴の種類に応じて圧縮部232が動画の各領域を圧縮した圧縮方式に応じて、伸張部320に圧縮動画が示す動画の各領域を伸張させる。
復号器322は、符号化された複数の特徴領域動画及び背景領域動画のいずれかを復号する。具体的には、復号器322a、復号器322b、復号器322c、及び復号器322dは、それぞれ第1特徴領域動画、第2特徴領域動画、第3特徴領域動画、及び背景領域動画を復号する。
画像処理部330は、伸張部320によって伸張された複数の特徴領域動画及び背景領域動画を合成して、一の動画を生成する。具体的には、画像処理部330は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。なお、画像処理部330は、特徴領域を背景領域より高画質化した表示動画を生成してもよい。この高画質化の変換処理について、本発明に係る画像処理方法を利用できる。
そして、画像処理部330は、対応付け解析部302から取得した特徴領域情報及び表示動画を表示装置260又は画像DB255に出力する(図7参照)。画像DB255は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応付けて、ハードディスク等の不揮発性の記録媒体に記録してよい。
外部情報取得部380は、画像処理部330における画像処理に用いるデータを、画像処理装置250の外部から取得する。画像処理部330は、外部情報取得部380が取得したデータを用いて画像処理する。外部情報取得部380が取得するデータについては、図16に関連して説明する。
(画像処理部330の構成例)
図16は、図15で説明した画像処理装置250が有する画像処理部330のブロック構成の一例を示す。図16に示すように、画像処理部330は、パラメータ格納部1010、属性特定部1020、特定オブジェクト領域検出部1030、パラメータ選択部1040、重み決定部1050、パラメータ生成部1060、及び画像生成部1070を含む。
パラメータ格納部1010は、被写体像についての複数の属性にそれぞれ対応付けて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像の属性を特定する。ここでいう入力画像とは、伸張部320により得られたフレーム画像であってよい。パラメータ選択部1040は、属性特定部1020により特定された属性により適合する属性に対応付けてパラメータ格納部1010が格納している複数の画像処理パラメータをより優先して選択する。画像生成部1070は、パラメータ選択部1040により選択された複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する。この高画質化の変換処理について、本発明に係る画像処理方法が利用される。
ここで、属性としては、被写体の向きなど、被写体の状態を例示することができる。すなわち、パラメータ格納部1010は、被写体像として撮像された被写体の状態を示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定する。
被写体の状態としては、撮像されたときの被写体の向きを例示することができる。被写体の向きとは、例えば、被写体の一例としての人物の顔の向きであってよい。この場合、パラメータ格納部1010は、被写体像として撮像された被写体の向きを示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部1020は、入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定する。
その他、属性とは、被写体の種別であってもよい。被写体の種別としては、例えば、被写体としての人物の性別、人物の年齢、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物の人種、撮像された人物が着用している着用物(メガネ、サングラス、マスク、帽子など)、照明状態などを例示することができる。パラメータ格納部1010は、これら各種の属性の少なくともいずれかを含む複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納してよい。この場合、属性特定部1020は、入力画像に含まれる被写体像として撮像された人物の対応する属性を、当該被写体像から特定する。
重み決定部1050は、入力画像に含まれる被写体像を高画質化する場合における、複数の画像処理パラメータに対する重みを決定する。そして、画像生成部1070は、重み決定部1050が決定した重みに基づいて、パラメータ選択部1040により選択された複数の画像処理パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。なお、重み決定部1050は、特定された属性に対する適合度がより大きい属性に対応付けられた画像処理パラメータに対する重みづけがより大きい重みを決定してよい。
パラメータ生成部1060は、パラメータ選択部1040が選択した複数の画像処理パラメータを合成した合成パラメータを生成する。そして、画像生成部1070は、パラメータ生成部1060が生成した合成パラメータを用いて入力画像に含まれる被写体像を高画質化することにより、高画質画像を生成する。
なお、上記においては、被写体の属性に応じて画像処理パラメータを生成することについて説明した。その他画像処理部330は、高画質化の強度を画像上で変化させてもよい。
パラメータ格納部1010は、特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、及び、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納する。非特定パラメータは、後に説明するように、オブジェクトによらず高画質化の効果をある程度有する汎用の画像処理パラメータであってよい。
特定オブジェクト領域検出部1030は、入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する。特定オブジェクトとは、特徴領域として検出されるべき被写体のオブジェクトであってよい。そして、重み決定部1050は、特定オブジェクト領域が検出された入力画像を高画質化する場合における、特定パラメータ及び非特定パラメータの重みを決定する。
重み決定部1050は、入力画像における特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけが非特定パラメータより大きい重みを決定する。これにより、特徴領域として検出されるべき特定オブジェクトをきちんと高画質化することができる。また、重み決定部1050は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、非特定パラメータに対する重みづけが特定パラメータより大きい重みを決定する。これにより、特定のオブジェクト専用の画像処理パラメータで高画質化することを未然に防ぐことができる。
画像生成部1070は、重み決定部1050が決定した重みに基づいて、特定パラメータ及び非特定パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。
パラメータ格納部1010は、特定のオブジェクトの複数の画像を学習画像(「訓練画像」ともいう。)として用いた学習により算出された特定パラメータ、及び、特定のオブジェクトの画像ではない複数の画像を学習画像として用いた学習により算出された非特定パラメータを格納する。これにより、特定オブジェクトに特化した特定パラメータを算出することができる。また、多様なオブジェクトに対する汎用の特定パラメータを算出することができる。
なお、事前学習では、学習画像の輝度情報そのものではなく、学習画像のエッジ情報などの空間変化情報を利用した画像処理パラメータが学習されていることが望ましい。低空間周波数領域の情報を低減したエッジ情報を用いることにより、照明変動、特に、低周波の照明変化に対してロバストな高画質化処理を実現することができる。
パラメータ生成部1060は、非特定パラメータと特定パラメータとを、重み決定部1050が決定した重みで合成することにより、合成パラメータを生成してよい。画像生成部1070は、パラメータ生成部1060が生成した合成パラメータを用いて入力画像を高画質化することにより、高画質画像を生成してよい。
上記の例では、属性特定部1020が特定した被写体の属性に基づき選択された複数の画像処理パラメータを用いて、高画質画像を生成する場合の動作について説明した。その他にも、画像生成部1070は、複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化してよい。例えば、画像生成部1070は、予め定められた複数の画像処理パラメータの異なる組み合わせを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部1070は、高画質化して得られた複数の画像の中から、入力画像との比較に基づいて少なくとも1つの画像を選択し、選択した画像を高画質画像としてよい。例えば、画像生成部1070は、高画質化して得られた複数の画像のうち、入力画像に画像内容がより類似する画像を、高画質画像としてより優先して選択してよい。
パラメータ選択部1040は、入力画像から特定された被写体の属性に基づいて複数の画像処理パラメータの異なる組み合わせを選択してよい。画像生成部1070は、選択された複数の画像処理パラメータを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部1070は、高画質化により得られた複数の画像の中から、入力画像との比較に基づいて少なくとも1つの画像を選択し、選択した画像を高画質画像としてもよい。
以上説明したように、画像処理装置250は、パラメータ格納部1010が限られた数の画像処理パラメータを格納していても、多様な属性の被写体の画像に対処することができる画像処理パラメータを用いて高画質化することができる。なお、高画質化としては、高解像度化、多階調数化、多色数化の他、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化、高フレームレート化などを例示することができる。パラメータ格納部1010は、これらの各種高画質化処理用の画像処理パラメータを格納することができる。
図15に記載した外部情報取得部380は、パラメータ格納部1010(図16参照)が格納する画像処理パラメータを、外部から取得する。パラメータ格納部1010は、外部情報取得部380が取得した画像処理パラメータを格納する。具体的には、外部情報取得部380は、特定パラメータ及び非特定パラメータの少なくとも一方を、外部から取得する。パラメータ格納部1010は、外部情報取得部380が取得した特定パラメータ及び非特定パラメータの少なくとも一方を格納する。
図17は、パラメータ格納部1010が格納しているパラメータの一例をテーブル形式で示す。パラメータ格納部1010は、人物の顔用の画像処理パラメータである特定パラメータA0、A1・・・を、顔の向きに対応付けて格納している。特定パラメータA0、A1は、対応する顔の向きの画像を学習画像とした事前学習により、予め算出されている。
ここで、注目画素の周辺画素の画素値を加重加算することによる高解像度化処理を例に挙げて、事前学習による特定パラメータAの算出処理を説明する。ここでは、注目画素の画素値yが、n個の周辺画素の画素値xi(ただし、i=1〜n)の加重加算により算出されると仮定する。すなわち、y=Σ(wi×i)と仮定する。ここで、Σは、iにわたる加算を示している。wiは、周辺画素の画素値xiに対する加重係数であり、加重係数wiが事前学習により算出されるべき特定パラメータAとなる。
特定の向きの顔が撮像されたm個の顔画像を学習画像として用いるとする。k番目(但し、k=1〜m)の学習画像の注目画素の画素値をykとすると、yk=Σwi×kiで表されることになる。この場合、加重係数wiは、最小二乗法などの演算処理によって算出することができる。例えば、k番目の成分ekがek=yk−Σ(wi×ki)で表されるベクトルの2乗を実質的に最小化するwiを、最小二乗法などの演算処理より算出することができる。上記の特定パラメータの算出処理を、複数の顔向きの顔画像について行うことで、各顔向きに対応する特定パラメータAを算出することができる。
また、パラメータ格納部1010は、人物の顔でないオブジェクトに対して、非特定パラメータBを格納している。非特定パラメータBは、多種多様な被写体の画像を学習画像とした事前学習により、予め算出されている。なお、非特定パラメータBは、特定パラメータAと同様の事前学習処理により算出することができる。例えば、特定パラメータAを算出する事前学習処理において、学習画像として顔画像ではなく人物以外の画像を用いることで、非特定パラメータBを算出することができる。
図18は、特定パラメータの重みづけの一例を示す。特徴領域として、画像1200内の太線の内部の領域1210及び領域1220が、特徴領域として検出されているとする。重み決定部1050(図16参照)は、この特徴領域のより内部の領域1210には、特定パラメータの重み係数を100%、非特定パラメータの重み係数を0%に決定する。また、特徴領域内(太線枠の内側)における領域1210の外側の非特徴領域寄りの領域1220には、特定パラメータの重み係数を80%、非特定パラメータの重み係数を20%に決定する。
また、特徴領域の外側の領域に対しては、特徴領域の近傍の領域1230には、特定パラメータの重み係数を50%、非特定パラメータの重み係数を50%に決定する。そして、更に外側の領域1250には、特定パラメータの重み係数を0%、非特定パラメータの重み係数を100%に決定する。
このように、重み決定部1050(図16参照)は、入力画像における特定オブジェクト領域のより内側の領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。また、重み決定部1050は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、特定オブジェクト領域に近いほど、特定パラメータに対する重みづけがより大きい重みを決定する。このように、重み決定部1050は、特徴領域の中心から外側に向けて、特徴領域から非特徴領域に向けて特定パラメータの重み係数が段階的に減少させる。また、重み決定部1050は、重み係数を段階的に減少させることの他に、特徴領域の中心からの距離、又は、特徴領域の周囲領域等からの距離に比例して、重み係数を連続的に減少させてもよい。例えば、重み決定部1050は、距離xに対して重み係数の値を1/x、1/x2、e−xなどの関数に従って減少させるなど、距離xに対して累乗的、又は指数関数的に減少する値の重み係数を決定してよい。
なお、重み決定部1050は、特徴領域としての検出信頼度に応じて重み係数を制御してもよい。具体的には、重み決定部1050は、特定オブジェクトの領域としての検出信頼度がより大きい特定オブジェクト領域の画像に対して、特定パラメータに対する重み付けがより大きい重みを決定する。
特徴領域として検出されなかった領域に特定オブジェクトが存在していたとすると、その領域を汎用の非特定パラメータで高画質化しても、特定オブジェクトが存在するかどうか判別できない場合がある。画像処理部330によると、特徴領域として検出されなかった領域でも、特定オブジェクト用の特定パラメータの効果を有する高画質化処理を行うので、高画質化した画像から特定オブジェクトが存在するか否かを容易に判別することができる場合がある。
なお、特定パラメータは、図17に関連して説明した複数の画像処理パラメータを合成した画像処理パラメータであってよい。例えば、検出された特徴領域内に、正面顔から15°横を向いた人物の顔の画像が含まれているとする。この場合、重み決定部1050は、特定パラメータA0に対する重み係数を25%に決定して、特定パラメータA1に対する重み係数を75%に決定する。そして、パラメータ生成部1060は、特定パラメータA0と特定パラメータA1とを、それぞれ重み係数を25%及び75%で合成した合成パラメータを生成する。そして、画像生成部1070は、パラメータ合成部が生成した合成パラメータと、非特定パラメータとを、図18に図示した割合の重みづけして得られた画像処理パラメータを用いて高画質化する。
例えば、周辺画素の加重加算により高画質化する画像処理パラメータ(特定パラメータ又は非特定パラメータ)を用いる場合、パラメータ生成部1060は、画像処理パラメータの加重係数を、重み決定部1050が決定した重み係数で重み付け加算して、得られた加重係数により表される合成パラメータを算出してよい。可加算な画像処理パラメータとしては、加重係数の他に、空間周波数領域での空間周波数成分又は画素データそのもの(例えば、高周波数成分の画像データ)を例示することができる。
他にも、高画質化処理が、特徴量ベクトルなどに対するベクトル演算、行列演算、又はテンソル演算で表される場合には、パラメータ生成部1060は、それら画像処理パラメータとしてのベクトル、行列、テンソル、n次元混合正規分布、又はn次元混合多項分布の重み付け加算又は乗算により、合成パラメータを生成してよい。なお、ここでのnは、1以上の整数であるとする。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減できる場合がある。例えば、0°の向きの特徴ベクトルに係数0.25を乗じた特徴ベクトルと、20°の向きの特徴ベクトルに係数0.75を乗じた特徴ベクトルとの和を、15°の向きの特徴ベクトルとする演算を、1例として示すことができる。また、既述した局所保存投影(LPP)の空間上で補間することにより、更に合成ボケを軽減することができる場合がある。なお、パラメータ生成部1060は、特定パラメータと非特定パラメータとから合成パラメータを算出することができる。また、パラメータ生成部1060は、異なる複数の特定パラメータから合成パラメータを算出することもできる。
画像生成部1070は、特定パラメータと非特定パラメータとを用いて高画質画像を生成する場合に、特定パラメータを用いて画像処理して得られた画像情報と、非特定パラメータを用いて画像処理して得られた画像情報とを、重み決定部1050が決定した重み係数で加算することにより、高画質画像を生成してよい。その他、画像生成部1070は、特定パラメータを用いて画像処理して得られた画像情報に対して、非特定パラメータを用いて画像処理することにより、高画質画像を生成してもよい。同様の処理は、複数の特定パラメータを用いた高画質化処理に適用することができる。ここでいう画像データとしては、画素値そのもの、特徴量空間における特徴量ベクトル、行列、n次元混合正規分布、n次元混合多項分布などを例示することができる。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減することができる場合がある。
図17及び図18にかけて説明した高画質化処理では、特徴領域内の画像から特定された人物の顔の向きに基づき、特徴領域を高画質化する場合に用いる複数の画像処理パラメータがパラメータ選択部1040により選択された。そして、画像生成部1070は、パラメータ選択部1040により選択された複数の画像処理パラメータを用いて、1つの高画質化画像を生成した。
その他にも、画像生成部1070は、画像生成部1070が格納している画像処理パラメータの複数の組み合わせのそれぞれから、特徴領域を高画質化した画像を複数生成してもよい。そして、画像生成部1070は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してよい。
例えば、画像生成部1070は、0°の向きに対応する特定パラメータA0と20°の向きに対応する特定パラメータA1との合成パラメータを用いて、特徴領域の画像を高画質化した画像を生成する。画像生成部1070は、更に、他の1以上の組み合わせの特定パラメータの合成パラメータを用いて、特徴領域の画像を高画質化した1以上の画像を生成する。
そして、画像生成部1070は、生成した複数の画像のそれぞれを特徴領域内の画像と比較して、画像内容の一致度を算出する。画像生成部1070は、生成した複数の画像のうち、最も高い一致度が得られた画像を、高画質画像として決定する。
なお、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部1070は、予め定められた特定パラメータの複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化してよい。この場合、属性特定部1020が顔の向きを特定する処理をすることなく、パラメータ選択部1040が予め定められた特定パラメータの複数の組を選択してよい。
その他にも、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部1040が特定パラメータの組を複数選択してよい。例えば、パラメータ選択部1040は、特定パラメータの複数の組を特定する情報と人物の顔の向きを特定する情報とを対応付けて記憶しており、特徴領域内の画像から特定された人物の顔の向きに対応付けて記憶している特定パラメータの複数の組を選択してよい。そして、選択した複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化することで、特徴領域の画像を高画質化した画像を複数生成してもよい。
また、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部1070は、複数の特定パラメータのそれぞれにより特徴領域内の画像を高画質化してもよい。そして、画像生成部1070は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してもよい。この場合においても、属性特定部1020が顔の向きを特定する処理をすることなく、パラメータ選択部1040が予め定められた複数の特定パラメータを選択してよいし、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部1040が特定パラメータを複数選択してもよい。
図17に関連して説明したように、特定の顔向きの学習画像から、特定の顔向きの顔画像を高画質化する画像処理パラメータ(特定パラメータ)を算出することができる。他の複数の顔向きについてもそれぞれ同様にして画像処理パラメータを算出することで、複数の顔向きのそれぞれに対応する画像処理パラメータを算出することができる。そして、パラメータ格納部1010は、算出されたそれぞれの画像処理パラメータを、対応する顔向きに対応付けて予め格納する。なお、顔画像を高画質化する画像処理パラメータとしては、顔全体を高画質化する画像処理パラメータであってよいが、目の画像、口の画像、鼻の画像、耳の画像など、顔画像に含まれる少なくとも一部のオブジェクトを高画質化する画像処理パラメータであってもよい。
顔向きは、被写体の向きの一例であり、他の被写体物の向きについても、顔向きと同様にして、複数の被写体の向きにそれぞれ対応する複数の画像処理パラメータを算出することができる。被写体が人物である場合には、被写体の向きとして人体の向きを例示することができ、より具体的には体部の向き、手の向きなどを人体の向きとして例示することができる。また、被写体が人物以外である場合にも、顔画像と同様にして、複数の方向の被写体が撮像された被写体像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。
被写体の向きは、被写体の状態の一例であり、被写体の状態は、更に、人物の表情により分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定の表情をしている顔の画像をそれぞれ高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、人物が喜怒哀楽のそれぞれの状態にあるときの顔、人物が緊張状態にあるときの顔などをそれぞれ高画質化する。
また、被写体の状態は、人物のしぐさにより分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定のしぐさをしている状態の人物の画像を高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、走っている状態の人物像、足早に歩いている状態の人物像、走り出そうとしている状態の人物像、物を物色している状態の人物像などをそれぞれ高画質化する。
また、被写体の状態は、人物の姿勢により分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定の姿勢をしている状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、背をかがめた状態の人物像、手をポケットに入れている状態の人物像、腕組みしている状態の人物像、顔と体の向きとが一致していない状態の人物像などをそれぞれ高画質化する。
また、被写体の状態は、人物の着用物により分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ異なる特定の着用物を着用している状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部1010が格納する複数の画像処理パラメータは、メガネを着用している人物像、サングラスを着用している人物像、マスクをしている人物像、帽子を着用している人物像などをそれぞれ高画質化する。
以上に説明したように、被写体の複数の状態に対応して被写体が複数の属性に分類される。他にも、被写体は、被写体の種別によって複数の属性に分類されることができる。被写体の種別としては、人物の人種を例示することができる。人物の人種としては、アジア系の人種、欧州系の人種など地域的に分類された人種、形質人類学的に分類された人種などを例示することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、それぞれ対応する人種に分類された人物の画像をそれぞれ高画質化する。
また、被写体の種別としては、男性・女性のように人物の性別で分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、男性の画像又は女性など、対応する性別の人物の画像をそれぞれ高画質化する。また、被写体の種別としては、人物の年齢層で分類することができる。この場合に、パラメータ格納部1010が格納する複数の画像処理パラメータは、十代の人物の画像、二十代の人物の画像など、対応する年代の人物の画像をそれぞれ高画質化する。
上記において例示された被写体の種別、被写体の複数の状態、又はそれらの組み合わせにより、被写体像の属性が規定される。そして、パラメータ格納部1010は、規定された属性のそれぞれに対応付けて、各属性に属する被写体像を高画質化する画像処理パラメータを予め格納する。パラメータ格納部1010により格納される画像処理パラメータは、各顔向き用の画像処理パラメータの算出方法と同様の方法により、算出することができる。例えば、表情で属性が規定されている場合には、笑っている顔が撮像された複数の画像を学習画像として事前学習することにより、笑い顔の画像を高画質化する画像処理パラメータを算出することができる。怒り顔の画像など、他の表情の画像についてもそれぞれ同様に事前学習することで、各表情の顔画像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。しぐさ、姿勢、着用物、人種、性別、年齢などにより規定される各属性についても、同様にして画像処理パラメータを算出することができる。
属性特定部1020は、例えばアダブーストなどによりブースティングにより予め算出された識別器を被写体像に適用することにより、被写体像の属性を特定することができる。例えば、特定の向きの顔が撮像された複数の顔画像を教師画像として用いて、弱識別器をブースティング処理により統合して識別器を生成する。生成された識別器に被写体像を適用した場合に得られた正誤の識別結果に応じて、特定の顔向きの顔画像であるか否かを判定することができる。例えば、正の識別結果が得られた場合には、入力された被写体像は、特定の顔向きの顔画像であると判定することができる。
他の複数の顔向きについても同様にブースティング処理により識別器を生成することにより、各顔向きにそれぞれ対応する複数の識別器を生成することができる。属性特定部1020は、これら複数の識別器を被写体像にそれぞれ適用して、各識別器から得られた正誤の識別結果に基づいて顔向きを特定することができる。顔向きの他、表情、性別などで規定される他の1以上の属性についても、それぞれブースティング処理により属性毎に生成された識別器を適用することにより特定することができる。属性特定部1020は、ブースティングによる学習の他、線形判別法、混合ガウシアンモデルなど種々の方法で属性毎に学習された識別器を被写体像に適用することで、属性を特定することができる。
〔表示装置260の構成例〕
図19は、図7中の表示装置260のブロック構成の一例を示す。図19に示すように、表示装置260は、画像取得部1300、第1画像処理部1310、特徴領域特定部
1320、パラメータ決定部1330、表示制御部1340、第2画像処理部1350、外部情報取得部1380、及び表示部1390を有する。
画像取得部1300は、入力画像を取得する。ここでいう入力画像は、画像処理装置250から受け取った動画に含まれるフレーム画像であってよい。第1画像処理部1310は、予め定められた画像処理パラメータを用いて入力画像を高画質化した所定画質画像を生成する。例えば第1画像処理部1310は、高解像度化する場合には、単純補間拡大処理など、所要演算量が予め定められた値より小さい方式の画像処理パラメータを用いて、所定画質画像を生成する。
表示制御部1340は、第1画像処理部1310が生成した所定画質画像を、表示部1390に表示させる。このように、表示部1390は、所定画質画像を表示する。
特徴領域特定部1320は、入力画像における複数の特徴領域を特定する。特徴領域特定部1320は、表示部1390が所定画質画像を表示している状態で、入力画像における複数の特徴領域を特定してよい。なお、画像処理装置250は、特徴領域を特定する情報を動画に付帯情報として付帯して表示装置260に送信してよい。特徴領域特定部1320は、画像取得部1300が取得した動画の付帯情報から特徴領域を特定する情報を抽出することにより、複数の特徴領域を特定してよい。
パラメータ決定部1330は、複数の特徴領域のそれぞれの画像を更に高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。例えば、パラメータ決定部1330は、複数の特徴領域のそれぞれの画像を、異なる強度で高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。「異なる強度で高画質化する」とは、異なる演算量で高画質化すること、単位面積あたりに異なる演算量で高画質化すること、異なる所要演算量の高画質化方式で高画質化すること、などを意味してよい。
第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高画質化した複数の高画質特徴領域画像を生成する。表示制御部1340は、表示部1390が表示している所定画質画像における複数の特徴領域に、複数の特徴領域画像を表示させる。このように、表示制御部1340は、高画質画像が生成された段階で、表示部1390が既に表示している所定画質画像に代えて、高画質画像を表示させる。表示部1390は、所定画質画像を速やかに生成して表示するので、ユーザーは実質的に遅滞なく、ある程度の画質の監視映像を観察することができる。
パラメータ決定部1330は、複数の特徴領域のそれぞれの画像の重要度に基づいて、複数の特徴領域毎に画像処理パラメータを決定してよい。重要度を示す情報は、上記付帯情報に付帯されてよい。また、重要度は、特徴領域の被写体の種別に応じて予め定められていてよい。被写体の種別毎の重要度は、表示部1390を観察するユーザーにより設定されてもよい。パラメータ決定部1330は、重要度がより大きい特徴領域をより大きい強度で高画質化する画像処理パラメータを決定する。このため、ユーザーは、重要な特徴領域がより高画質な画像を観察することができる。
パラメータ決定部1330は、複数の特徴領域のそれぞれの画像の特徴の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。また、パラメータ決定部1330は、複数の特徴領域内に撮像されている被写体の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定してもよい。このように、パラメータ決定部1330は、被写体の種類に応じて直接的に画像処理パラメータを決定してよい。
なお、パラメータ決定部1330は、第2画像処理部1350において複数の特徴領域をそれぞれ高画質化するのに要する処理所要量に基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部1330は、処理所要量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定する。
例えば、パラメータ決定部1330は、複数の特徴領域の面積がより小さい場合に、より大きい強度で高解像度化する画像処理パラメータを決定してよい。そして、第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。また、パラメータ決定部1330は、複数の特徴領域の画素数がより少ない場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
また、パラメータ決定部1330は、第2画像処理部1350において許容された処理量である処理可能容量に基づき、画像処理パラメータを決定する。具体的には、パラメータ決定部1330は、処理可能容量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
このため、第2画像処理部1350が処理可能な演算量に応じて、高画質化の程度を制御することができる。このため、表示部1390の負荷が高画質化処理により過負荷に陥って、画像の表示が遅延することを未然に防ぐことができる場合がある。表示部1390の演算量に余裕があれば、速やかに高画質画像が生成されるので、観察することができる。
上述したように、高画質化としては、高解像度化を例示することができる。具体的には、パラメータ決定部1330は、複数の特徴領域のそれぞれの画像を高解像度化する画像処理パラメータを、複数の特徴領域毎に決定する。第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。ここで、大きい強度で高解像度化するとは、高精度に高解像度化すること、及び、より多い画素数の高画質画像を生成することを含む。
高画質化処理としては、高解像度化の他、多階調数化、多色数化処理、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化を例示することができる。これらの各種の高画質化についても、高解像度化と同様、パラメータ決定部1330が各種の高画質化をする画像処理パラメータを複数の特徴領域毎に決定して、第2画像処理部1350が、パラメータ決定部1330が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ各種の高画質化をした複数の高画質特徴領域画像を生成することができる。
なお、上述したように、画像取得部1300は、動画に含まれる複数の動画構成画像を入力画像として取得してよい。パラメータ決定部1330は、複数の特徴領域のそれぞれを高フレームレート化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第2画像処理部1350は、パラメータ決定部1330が決定した画像処理パラメータを用いて、高フレームレート化した複数の高画質特徴領域画像を生成してよい。
パラメータ決定部1330は、動画のフレームレートに基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部1330は、動画のフレームレートがより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。第2画像処理部1350は、決定した画像処理パラメータを用いて、入力画像をそれぞれ高画質化することにより、高画質化された動画を生成してよい。なお、第2画像処理部1350による高画質化についても、画像処理装置250による高画質化と同様、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化の概念を含んで良く、第2画像処理部1350はこれらの処理により高画質化画像を生成することができる。
このように、表示装置260は、高画質化すべき画像のデータ量、高画質化処理に割り当てることができる演算量に応じて、高画質化の強度を決定することができる。表示装置260によると、ある程度の品質の画像を速やかにユーザーに提供することができるとともに、高画質化処理された画像の表示が極度に遅延してしまうことを未然に防ぐことができる。このため、表示装置260は、高画質化処理により過負荷になることを未然に防ぐことができ、画像処理装置250から提供された動画をスムーズに再生することができる。
なお、外部情報取得部1380は、特徴領域毎に画像処理パラメータを決定する決定条件を、表示装置260の外部から取得する。パラメータ決定部1330は、外部情報取得部1380が取得した決定条件に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。決定条件としては、特徴領域の重要度、特徴領域の特徴の種類、処理所要量、特徴領域の面積、特徴領域の画素数、処理可能容量などをパラメータとした条件を例示することができる。
図20は、画像の表示エリア1400の一例を示す。表示エリア1400は、表示部1390により入力画像が表示される領域であるとする。ここでは、入力画像から3つの特徴領域が特定されているとする。これらの特徴領域の画像は、表示エリア1400のうち、特徴領域エリア1410、特徴領域エリア1420、及び特徴領域エリア1430に表示されるとする。
図19で説明した画像取得部1300が入力画像を取得した場合に、表示制御部1340は、取得した入力画像を、表示部1390の表示エリア1400にそのまま表示させる。
入力画像が表示された状態で、第2画像処理部1350は、各特徴領域の画像に、単純補間などの、所要演算量が予め定められた値より小さい所定の高解像度化処理を施して、各特徴領域の画像の所定画質画像を生成する(第1高解像度化段階)。この第1高解像度化段階では、高解像度化の強度は特徴領域の画素数、フレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第2画像処理部1350における演算許容量になどによらず、第2画像処理部1350は所定強度の高解像度化処理を施す。なお、当該所定強度の高解像度化処理を入力画像の全域に施すのに要する演算量が、第2画像処理部1350に常時割り当てられてよい。
第1高解像度化段階が完了して、所定画質画像1412、所定画質画像1422、及び所定画質画像1432が生成されると、表示制御部1340は、所定画質画像1412、所定画質画像1422、及び所定画質画像1432をそれぞれ対応する特徴領域エリア1410、特徴領域エリア1420、及び特徴領域エリア1430に表示させる。
所定画質画像1412、所定画質画像1422、及び所定画質画像1432が表示された状態で、第2画像処理部1350は、パラメータ決定部1330が特徴領域毎に決定した強度で、高解像度化処理を行い、各特徴領域の画像の高画質画像を生成する(第2高解像度化段階)。この第2高解像度化段階では、高解像度化の強度は、パラメータ決定部1330により決定された強度であり、特徴領域の画素数及びフレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第2画像処理部1350における演算許容量に依存する。
第2高解像度化段階が完了して、高画質画像1414、高画質画像1424、及び高画質画像1434が生成されると、表示制御部1340は、高画質画像1414、高画質画像1424、及び高画質画像1434を、それぞれ対応する特徴領域エリア1410、特徴領域エリア1420、及び特徴領域エリア1430に表示させる。
このように、第2画像処理部1350は、現在の負荷量、高画質化に要する演算量に応じた強度で高解像度化するので、提供可能な範囲内で高画質な画像を速やかにユーザーに提供することができる。
(画像処理システムの他の形態例)
図21は、他の実施形態に係る画像処理システム201の一例を示す。本実施形態における画像処理システム201の構成は、撮像装置210a−dがそれぞれ画像処理部804a−d(以下、画像処理部804と総称する。)を有する点を除いて、図7で説明した画像処理システム200の構成と同じとなっている。
画像処理部804は、図7で説明した画像処理装置220に含まれる構成要素のうち、画像取得部222を除く構成要素を有している。そして、画像処理部804に含まれる各構成要素の機能及び動作は、画像処理装置220に含まれる各構成要素が圧縮動画伸張部224による伸張処理によって得られた動画を処理することに替えて、撮像部212によって撮像された動画を処理するという点を除いて、画像処理装置220に含まれる各構成要素の機能及び動作と略同一であってよい。このような構成の画像処理システム201においても、図7から図20にかけて画像処理システム200に関連して説明した効果と同様の効果が得ることができる。
画像処理部804は、撮像部212からRAW形式で表された複数の撮像画像を含む動画を取得して、取得した動画に含まれるRAW形式で表された複数の撮像画像をRAW形式のまま圧縮してよい。なお、画像処理部804は、RAW形式で表された複数の撮像画像から1以上の特徴領域を検出してよい。また、画像処理部804は、圧縮されたRAW形式の複数の撮像画像を含む動画を圧縮してよい。なお、画像処理部804は、動画を、図7〜図12に関連して画像処理装置220の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置250は、画像処理部804から取得した動画を伸張することにより、RAW形式で表された複数の撮像画像を取得することができる。画像処理装置250は、伸張することにより取得されたRAW形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置250は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
なお、画像処理装置250は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置250における超解像処理として、本発明に係る画像処理方法を適用することができる。
また、画像処理装置250は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置250は、オブジェクトの一例としての顔部位(例えば、目、鼻、口など)毎に、超解像処理を施す。この場合、画像処理装置250は、特開2006−350498号公報に記載されたようなモデル等の学習データを、顔部位(例えば、目、鼻、口など)毎に記憶しておく。そして、画像処理装置250は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
モデル等の学習データは、複数の表情、複数の顔方向、複数の照明条件のそれぞれの組み合わせ毎に記憶されてよい。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、及び真顔を含み、顔方向としては、正面、上方、下方、右方、左方、及び後方を含む。照明条件としては、照明強度及び照明の方向についての条件を含む。画像処理装置250は、顔の表情、顔方向、照明条件の組み合わせに対応する学習データを用いて、顔画像に超解像処理を施してよい。
顔の表情及び顔の方向は、特徴領域に含まれる顔画像の画像内容に基づいて特定することができる。また、表情は、口及び/又は目の形状から特定することができ、顔の方向は、目、口、鼻、及び耳の位置関係等から特定することができる。顔への照明強度及び照明方向は、影の位置及び大きさなど、顔画像の画像内容に基づき特定することができる。顔の表情、顔方向、照明条件は画像処理部804において特定され、出力部236から画像に対応付けて、特定された顔の表情、顔方向、照明条件が送信されてよい。画像処理装置250は、出力部236から受信した顔の表情、顔方向、照明条件に対応する学習データを利用して、超解像処理を施してよい。
また、モデル等の学習データとしては、顔全体を表現するモデルの他に、顔の部位毎のモデルを用いることができる。他にも、性別及び/又は人種毎の顔のモデルを用いることができる。モデルとしては人物に限らず、車両、船舶など、監視対象となる物体の種別毎にモデルを格納することができる。
なお、図7〜27に関連して説明した画像処理システム200の構成においても、画像処理装置250又は表示装置260は、高画質化処理として、特徴領域の画像に上述した超解像処理を施すことができる。また、画像処理システム200及び画像処理システム201において、圧縮部232は、上述した画像処理装置220と同様に、画像を主成分ベクトル及び重みづけ係数で表すことによって、撮像画像を更に圧縮することもできる。
以上、画像処理システム200、201としての動作を、監視システムを例に挙げて説明した。この発明の他の用途としては、複写機等のスキャナ機器によりスキャニングされたドキュメントに対する高画質化処理及び符号化に適用することができる。例えば、文字、図面、表、写真などの各領域を特徴領域とみなすと、それらの領域に対する高解像度化処理として、上記の超解像処理などの高画質化処理を適用することができる。また、それら特徴領域の検出、符号化に、上記の特徴領域検出処理、圧縮処理を適用することができる。同様に、内視鏡システムにおいても、体内部位の検出、高画質化、及び符号化に、上記の特徴領域検出処理、高画質化処理、圧縮処理を適用することができる。
〔変形例1〕
上述の画像処理システム200、201では、複数の撮像装置210a−dを備えた例
を述べたが、撮像装置210の台数は特に限定されず、1台であってもよい。また、表示
装置260の台数も特に限定されず、1台であってもよい。
〔変形例2〕
上述の画像処理システム200、201では、動画データの中の撮像画像(フレーム画像、或いはフィールド画像)から特徴領域を特定したが、動画データに限らず、静止画データについても適用可能である。もちろん、上述した第1実施形態についても、動画データ、静止画データのいずれにも適用可能である。
〔変形例3〕
上述の画像処理システム200、201では、1つの撮像画像から複数の特徴領域を検出し得る構成を説明したが、本発明に係る画像処理方法における特徴領域の数は特に限定されず、1つの撮像画像につき、特徴領域は1つであってもよい。
〔変形例4〕
学習画像群を取得する手段について、予め高画質画像と低画質画像の対の画像群を用意しておく態様に限らず、高画質画像のみを与え、その高画質画像から低画質画像を生成することにより画像対を得てもよい。例えば、画像処理装置内に低画質化の処理を行うための処理手段(低画質化処理手段)を備え、高画質の学習画像を入力することにより、同装置内でこれを低画質化して学習画像対を取得する態様も可能である。
また、図7、図21で説明した画像処理システム200、201のような場合、学習画像は予め用意されたデータベースなどから提供される態様に限らず、システムの稼働により、実際に撮像装置210によって取り込まれた画像やその画像内から切り出された画像(部分画像)を元に学習内容を更新することもできる。システムの用途や撮像装置の設置場所に応じて、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることができる。もちろん、上述した第1実施形態についても、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることが可能である。
以上、説明した本発明に係る第1、第2実施形態、及び応用例、変形例は、本発明の趣旨を逸脱しない範囲で構成要件の変更、追加、削除が可能である。