JP5980081B2

JP5980081B2 - 撮像装置および画像処理方法

Info

Publication number: JP5980081B2
Application number: JP2012220884A
Authority: JP
Inventors: 昌宏荻野; 中嶋　満雄; 満雄中嶋; 島野　健; 健島野
Original assignee: Hitachi Maxell Energy Ltd
Current assignee: Hitachi Maxell Energy Ltd
Priority date: 2012-10-03
Filing date: 2012-10-03
Publication date: 2016-08-31
Anticipated expiration: 2032-10-03
Also published as: JP2014075653A

Description

本発明は、撮像システムにおける映像・画像復元処理に関する。

近年、新しい撮像アプローチとして、コンピュテーショナルフォトグラフィー（以下、CP）が注目されている。CPとは、画像処理を前提とした画像の獲得のことであり、撮像の時点では必ずしも画像の形をしていなくとも、画像処理によって後から画像化し、意味付けを行うという考え方である。本分野の一つとして、特許文献１には、Wave Frong Coding(以下、WFC)という技術が開示されている。

特開2011−160266

上述したWFCにおいては、理論上、焦点ずれに依存しない一定のぼけ関数（Point-Spread-Function：PSF）を得られ、シーン毎にPSFが異なる一般的な撮像系と比較すれば、画像処理の負担は大きく軽減される。しかし、それでも画像サイズによっては、後段の処理であるデコンボリューション処理の負荷は重く、リアルタイム処理が容易ではないという課題がある。つまり、静止画のみを対象としたシステムではある程度時間をかけて画像復元処理を行うことは比較的容易いが、動画のようなリアルタイム処理が必須な場合には従来技術以上の改善が必要となる。

また、WFCではその理論上、焦点距離に関わらずPSFが一定であるが、厳密に一定とするためには光学系の高度な設計が必要である。現実的には焦点距離によってPSFが異なるケースが発生すると考えられる。このような場合、復元画像にジャギーやリンギング等のアーチファクトが現れることになる。

本発明は上記問題を鑑みて考えたものであり、より好適な撮像処理、画像処理をを提供することを目的とする。

上記目的を達成するために、本発明の第１の形態は、位相変調素子を含む光学系と、前記光学系を透過した光を受光して画像データを生成するセンサを有する撮像部と、前記撮像部が生成した画像データのボケを低減して画像を復元する画像復元処理部と、を備え、前記画像復元処理部は、前記画像データについて、所定のブロック単位で画像復元処理を行う撮像装置であって、前記画像復元処理部は、連続して処理する複数の前記所定のブロックの一部の範囲が重なるように設定し、複数のブロックが重なる領域については、当該複数のブロックでの画像復元処理結果を反映した復元画像を生成することを特徴とする。また、本発明の第２の形態は、位相変調素子を含む光学系を透過した光をセンサに受光して画像データを生成する画像生成ステップと、生成した前記画像データのボケを低減して画像を復元する画像復元処理ステップと、を備え、前記画像復元処理ステップでは、前記画像データについて、所定のブロック単位で画像復元処理を行う画像処理方法であって、
前記画像復元処理ステップでは、連続して処理する複数の前記所定のブロックの一部の範囲が重なるように設定し、複数のブロックが重なる領域については、当該複数のブロックでの画像復元処理結果を反映した復元画像を生成することを特徴とする。

本発明によれば、より好適な撮像処理、画像処理を提供することが可能となる。

本発明の第一の実施例である撮像システムを示す図である。第一の実施例における、画像復元処理部の処理を説明する図である。第一の実施例における、画像復元処理部の構成を説明する図である。第一の実施例における、画像復元処理部の処理を説明する図である。本発明の第二の実施例である画像復元処理を示す図である。第二の実施例における、オーバーラップブロック読み出しを説明する図である。第二の実施例の動作を説明するための図である。第二の実施例における、別のオーバーラップブロック読み出しを説明する図である。本発明の第三の実施例である画像復元処理を示す図である。第三の実施例における、ブロックの関係を説明する図である。本発明の第四の実施例である画像復元処理を示す図である。第四の実施例の動作を説明する図である。

以下、本発明の各実施例について図面を用いて説明する。

なお、各実施例の処理対象として「画像」を用いて説明しているが、これは静止画、動画、映像などに置き換えてもよい。

図１は、本発明の第一の実施例である撮像システム／撮像装置の一例を示す図である。

図１において、1001はレンズ、位相フィルタなどの光学系およびセンサを含む撮像部、1002はA/D変換部、1003は画像復元演算部、1004は画像処理部、1005はモニタである。撮像部1001は、レンズに加え、3次関数で近似される位相フィルタ(位相変調素子)を配置することにより、焦点ぼけに依存しないぼけ方の中間画像を生成する光学系（図示せず）と、光学系を透過した光を受光して当該中間画像の画像データを生成する、例えばCCDセンサやCMOSセンサなどのセンサを有する。A/D変換部1002は撮像部1001から得られたアナログデータをデジタルデータへ変換する。なお、この例では、A/D変換部1002を撮像部1001とをそれぞれ異なる構成要素として説明したが、A/D変換部1002を撮像部1001の内部に備え、中間画像の画像データを撮像部1001から直接デジタルデータとして出力してもよい。1003は焦点位置に依存しないぼけ方をしている中間画像から全焦点画像を復元する画像復元処理部であり、1004は前記復元された画像に対して、コントラスト補正やエッジ強調処理等を行う画像処理部、1005は前記処理された画像を表示するモニタである。

図2は、図1における画像復元処理部1003の処理を説明するための図である。図2において、2001は中間画像、2002は周波数変換／逆変換、2003は周波数領域の中間画像、2004は周波数領域でのコンボリューション演算、2005は周波数領域の復元画像、2006は復元画像、2007は時空間領域でのコンボリューション演算、2008はPSF、2009は光学伝達関数(Optical-Transfer-Function：OTF)である。

図2において、上半分2010は劣化過程を示しており、下半分2011は復元過程をそれぞれ示している。

撮像部1001、A/D変換部1002より得られた中間画像2001(g(x,y))は、そのぼけ方を表す関数PSF 2008 (h(x,y))と全焦点画像2006(f(x,y))を用いて、数式1で表すことができる。
（数１）
g(x,y) = h(x,y)*f(x,y)
これが劣化過程2010を表す式である。ここで*は畳み込み演算を示す。
数式1をフーリエ変換すると、数式2となる。
（数２）
G(ξ, η) = H(ξ, η)*F(ξ, η)
数式2を変形して、
（数３）
F(ξ, η) = G(ξ, η)/H(ξ, η)
数式3が復元過程2011を表す式である。

図２の矢印（実線）の流れに沿って処理を行い、画像復元部1003では、中間画像2001とぼけ関数PSF 2008から、復元画像2006を得る。なお、ぼけ関数PSF 2008はレンズ、位相フィルタなどを含む光学系に固有の関数である。当該光学系に対応したぼけ関数PSF 2008を予め図示しない記憶部に記憶しておいて画像復元処理部1003の処理で用いればよい。また、ぼけ関数PSF 2008の替わりに、当該光学系に対応したOTF(PSFを周波数変換したもの)を予め図示しない記憶部に記憶しておいて画像復元処理部1003の処理で用いてもよい。

このとき、ぼけ関数PSFが一意に決まる、且つ安定（広い空間周波数領域でゼロ値をとらない）であることにより、数式3から完全な復元画像を得ることができる。

図3は、図1に示した本発明の第一の実施例である撮像システムの画像復元処理部1003の構成を示す図である。図3において、3001はブロック化部、3002は例えば高速フーリエ変換(Fast-Fourier Transform：FFT)などの周波数変換部1004、3003は周波数領域で周波数変換されたPSF(OTF)との畳み込み演算を行うデコンボリューション部、3004は前記デコンボリューション結果を時空間情報へ戻す逆FFTに代表される周波数逆変換部である。

図4は図3で示した画像復元部の処理を説明するための図である。図4(a)は通常の画像復元処理過程を示しており、ぼけた中間画像をそのまま処理して復元画像を得るプロセスである。本処理では、周波数変換処理をする単位が1画面全体となるため、画像サイズによっては多くの演算量を必要とする。それに対して、図4(b)は中間画像を所定ブロック（本図では4ブロック）に分割し、前記分割したサイズ毎に周波数変換処理、復元処理を実施する。例えば図4(b)に(1)〜(4)で示した順番にて逐次処理を行うことによって、本処理は実現することができ、演算負荷を低減することが可能となる。つまり、本処理をハードウェアで構成することを想定した場合、図4(a)では画面1面分の画素数を一括処理するロジックを組まなければならないが、図4(b)では、図4(a)の1/4の規模のロジックで構成することが可能となる。

本処理は、WFCの特徴であるPSFの一意性により実現可能な処理である。つまり、画像中のどの位置でもぼけ方が均一であるが故に、所定の単位（例えば8画素x8画素）にてブロック化したデコンボリューションが可能となる。

以上のように本実施例によれば、WFCの特性を活かし、デコンボリューション処理単位をブロック化することにより、演算量負荷を低減することが可能となり、例えばより高速な処理が実現できる。すなわち、当該技術を映像や動画に適用する場合でもリアルタイム処理の実現に寄与することができる。

なお、図１において記録再生部1006または記録再生部1007を設けてもよい。

記録再生部1006は、A/D変換後の中間画像データの記録媒体への記録および記録媒体からの再生を可能とするものである。記録媒体は着脱可能なものであってもよいし、当該撮像システムに固定された記録媒体であってもよい。記録再生部1006によって記録媒体に記録される画像データには、位相フィルタで生じさせたボケが含まれたままである。よって、画像を通常の目的でユーザに対して表示できるようにするためは、画像復元処理部1003で行う画像復元処理が必要となる。よって、着脱可能な記録媒体に記録する場合には、PSFやOTFなど、画像復元処理で必要な関数などのデータを画像データと対応付けてともに記録するように構成してもよい。これにより外部の機器での画像復元処理が可能となる。

記録再生部1007は、画像復元処理部1003によって画像が復元された画像データの記録媒体への記録および記録媒体からの再生を可能とするものである。記録媒体は着脱可能なものであってもよいし、当該撮像システムに固定された記録媒体であってもよい。記録再生部1007によって記録媒体に記録される画像データは、既に画像復元処理を施しているため、ユーザに対してそのまま表示することが可能である。

図５は、本発明の第二の実施例である画像復元処理の一例を示す図である。図５は、本実施例において、本発明の第一の実施例における図３に示される画像復元処理に替えて、図１の画像復元処理部1003に適用されるものである。図５において、図３に示した構成要素と同一の構成要素に関してはその構成および動作は上述の実施例にて説明したとおりであるので、同一の符号を付してその説明を省略する。本実施例によれば、より高画質な復元画像を得ることが可能となる。以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。

図5において、5001、5002はSRAM等のメモリ、5003は加算平均部、5004は合成部である。5001では、図３で示したブロック化部3001同様、1画面分の情報を所定サイズのブロック毎に読み出す処理を行う。ここで読み出す処理としては、図６に示すように、例えば横方向に半ブロック分オーバーラップさせて読み出すものとすればよい。

図６において、6001は1回目の読み出しブロック、6002は2回目の読み出しブロック、6003は3回目の読み出しブロックである。上記のように読み出された各ブロックに対して周波数変換3002、デコンボリューション3003、周波数逆変換処理3004を行い、メモリ5002へ書き込む。次に図６で示したような横方向3ブロック分を同時にメモリ5002から読み出し、各ブロック間でオーバーラップ部分を加算平均処理5003する。

図７は、図５の構成における画像復元処理を説明するための模式図である。図７において、(b)は(a)のブロックに対して、横方向に半ブロックずれたブロックの処理過程を示している。ブロック(a)と(b)では、半分が同じ画像であるが、半分は異なる画像であるため、周波数分布(7001)は異なるものになる。それぞれに対してWFCによってぼけた中間画像(7002)が得られる。前記したように周波数分布が異なるため、ノイズの分布(7003)も異なる。前記ノイズの分布が異なるブロックを同一のOTF(7004)で復元処理を行うと、復元画像(7005)のノイズ(7006)も異なる画像が得られる。この得られた(a)(b)ブロックのオーバーラップ部分(7007)を加算平均処理することにより、ノイズを低減した画像を得ることができる。ここで加算平均処理とは、オーバーラップ部分(7007)の全画素を足し合わせて平均化する処理のことをいう。最終的にはさらに一つ右側のブロックに対して同一処理を行うことにより、合成部5004にて左右の半ブロックが合成され、つまり3つのブロックから1つのブロックの画像が生成されることとなる。

また、図5の構成は、加算平均部5003の入出力スループットが入力時間≦出力時間になっていればよいという考えの下、メモリを最小限に抑える構成としており、これに限るものではない。例えばデコンボリューション処理3003および周波数逆変換3004を3ブロック並列で行い、さらにスループットを向上させる構成としても良い。

また、WFCの設計精度上、厳密にぼけ方(PSF)が一定にならない場合においても、本実施例によって復元画像におけるアーチファクトを分散させることが期待できる。

また、本実施例においては横方向にブロックをオーバーラップ処理したが、図８に示すように、さらに縦方向にオーバーラップさせて平滑化を行う構成としても良い。この場合、1画面の水平方向分のブロック情報を保持するメモリが必要となる。

また、縦方向のみオーバーラップさせても良い。

なお、上述の例では、複数のブロックのオーバーラップ部分の合成は加算平均処理を用いたが、複数のブロックの画像復元処理結果を反映する処理処理であれば、他の方法でも構わない。

以上説明した本発明の実施例2によれば、よりノイズを低減した高画質な復元画像を得ることが可能となる。

図９は本発明の第三の実施例である画像復元処理の一例を示す図である。図９は、本実施例において、本発明の第二の実施例における図５に示される画像復元処理に替えて、図１の画像復元処理部1003に適用されるものである。図９において、図５に示した構成要素と同一の要素に関してはその構成および動作は上述の実施例にて説明したとおりであるので、同一の符号を付してその説明を省略する。本実施例によれば、より好適に復元画像を得ることが可能となる。以下、上述した第二の実施例と異なる部分についてその動作を説明する。

図９において、9001はブロック特徴解析・分類部、9002はブレンド部である。特徴解析・分類部9001では、各ブロックの周波数分布を解析する。例えば低、中、高と分類した周波数帯域でどの成分が最も多いかで低周波ブロック、中間周波ブロック、高周波ブロックに分類する、またはブロック内のエッジ成分の量を抽出、平坦部領域を抽出して、その量で同様に分類するといった手段を用いてもよい。合成処理する半ブロック領域に対しても同様の解析、分類を行う。

今、合成する半ブロック領域をA、合成される2つのブロックそれぞれをB、Cとする。前記の関係を図１０に示す。このときブレンド部9002の動作として、合成半ブロックAを次の数式4で表すものとする。
（数４）
A = k・B+(1−k)・C
0≦k≦1
つまり、ブロックB、Cから均一に平均を取るのではなく、特徴解析に基づいた係数kの値に応じて、各ブロックのブレンド比率を変更する。例えば合成する半ブロックが高周波ブロック、ブロックBが高周波ブロック、ブロックCが中間周波数ブロック、であった場合、k=0.8として、ブロックBからのブレンド比率を高める。kの値の一例を表１に示す。

以上のように本実施例によれば、合成半ブロックの特性に近いブロックのブレンド率を高めることにより、より高精細な復元画像を得ることが期待できる。

図１１は本発明の第四の実施例である画像復元処理の一例を示す図である。図１１は、本実施例において、本発明の第一の実施例の図３、本発明の第二の実施例の図５、本発明の第三の実施例の図９に替えて、図１の画像復元処理部1003に適用されるものである。図１１において、図３、図５、図９に示した構成要素と同一の要素に関してはその構成および動作は上述の実施例にて説明したとおりであるので、同一の符号を付してその説明を省略する。本実施例によれば、デコンボリューションの演算量を低減し、高速に復元画像を得ることが可能となる。以下、上述した第一、二、三の実施例と異なる部分についてその動作を説明する。

図１１において、11001は縮小処理部、11002は拡大処理部、11003は高域強調部である。

以下、図１１の構成における処理について、図１２の模式図も併用しながら具体的内容を説明する。図１２(a)は原画像の周波数分布をしており、図１２(b)はWFCによるぼけ関数を示している。図１２(b)によりぼかされた中間画像の周波数分布が図１２(c)である。この図１２(c)が図１１の画像復元処理へ入力される。入力された中間画像(c)は、縮小処理部11001によって縮小される。この過程を図１２(d)、(e)で示している。つまり入力中間画像のサンプリング周波数fsから、縮小画像のサンプリング周波数fs’へ帯域制限する。ここで、縮小処理部11001では、プレフィルタ等を用いず、折り返し成分12001をわざと重畳させるように処理を行う。つまり、サンプリング定理によって失われるfs’/2以上の本来持っている高周波の情報を、折り返し成分として故意に持たせておく。縮小されて折り返し成分を含んだ劣化画像図１２(e)に対し、周波数変換3002およびデコンボリューション処理3003を行う。

デコンボリューション処理3003は以下のようにおこなう。まず、ぼけ関数(a)を上述の縮小処理と同様に帯域制限し(図12(f)(g))、その逆フィルタを構成する(図12(h))。逆フィルタ(h)と劣化画像(e)を乗算し、周波数逆変換3004を行って信号を復元する(図12(i)）。この信号を一次復元信号と呼ぶ。ここで、一次復元信号(i)では、折り返し成分に対しても逆フィルタにより強調される結果となるが、この折り返し成分は本来の原信号が持つ高周波成分であり、且つその強調レベルは図12(h)の12002に示すようにより本来もっと高いため、本逆フィルタ(h)で強調し過ぎることはない。

次に、一次復元信号(i)に対して拡大処理11002を行うことで帯域を拡張し、折り返し成分をfs’/2を対称に高域へ折り返す(図12(j))。この折り返し処理に関しては、例えば特開2010-34725に記載される手法を用いればよい。この復元信号(j)を2次復元信号と呼ぶ。

2次復元信号は、前記したように折り返し成分として重畳させた高域成分の強調レベルが足りないため、fs’/2にて不連続な波形になっている。そのため、高域強調部11003により、fs’/2以上に対して高域強調フィルタ図12 (k)をかけることにより、最終的な復元画像を得る(図12(l))。高域強調部11003は、時間軸上での処理となるため、所定タップ数のカーネルを用いた畳み込み演算で実装する。一般に、タップ数とカットオフ周波数からの立ち上がりの急峻さとは比例関係にあるが、例えば図12 (m)(n)に示すように高域部分のOTF特性はなだらかなので、少ないタップ数（例えば11タップ程度）、つまりはカットオフ特性がなだらかでも実現は可能である。その結果、畳み込み演算負荷は小さく実装が可能である。

以上のように、以上説明した本発明の第四の実施例によれば、コンボリューション演算を行う画像自体を縮小することによって、演算量を削減することができる。また、縮小時に高域成分を折り返し成分として重畳させておくことにより、最終的には高域を含めた画像復元が可能となる。

以上の説明では、位相フィルタ(位相変調素子)として、3次関数で近似されるものを用いることとして説明した。しかし、3次関数よりも高次の関数で近似される位相フィルタ(位相変調素子)を用いても良い。

1001 レンズ、センサを含む撮像部、1002 A/D変換部、1003 画像復元演算部、1004画像処理部、1005はモニタ、
2001 中間画像、2002 周波数変換／逆変換、2003 周波数領域の中間画像、2004 周波数領域でのコンボリューション演算、2005 周波数領域の復元画像、2006 復元画像、2007 時空間領域でのコンボリューション演算、2008 PSF、2009 OTF、
3001 ブロック化部、3002 周波数変換部、3003 周波数領域デコンボリューション部、3004 周波数逆変換部
5001、5002 メモリ、5003 加算平均部、5004 合成部、
6001 1回目の読み出しブロック、6002 2回目の読み出しブロック、6003 3回目の読み出しブロック、
9001 ブロック特徴解析・分類部、9002 ブレンド部、
11001 縮小処理部、11002 拡大処理部、11003 高域強調部

Claims

位相変調素子を含む光学系と、前記光学系を透過した光を受光して画像データを生成するセンサを有する撮像部と、前記撮像部が生成した画像データのボケを低減して画像を復元する画像復元処理部と、を備え、前記画像復元処理部は、前記画像データについて、所定のブロック単位で画像復元処理を行う撮像装置であって、
前記画像復元処理部は、連続して処理する複数の前記所定のブロックの一部の範囲が重なるように設定し、複数のブロックが重なる領域については、当該複数のブロックでの画像復元処理結果を反映した復元画像を生成することを特徴とする撮像装置。
請求項１記載の撮像装置であって、
前記画像復元処理部は、複数のブロックが重なる領域について、当該複数のブロックでの画像復元処理結果を反映した復元画像を生成する際に、各ブロックにおける画像の特徴に応じた重み付け係数を用いて、当該複数のブロックでの画像復元処理結果を生成する復元画像に反映させることを特徴とする撮像装置。
請求項１又は２記載の撮像装置であって、
前記画像復元処理部は、前記撮像部が生成した画像データに周波数変換処理を行い、周波数変換を行った画像データと前記光学系に対応した関数との畳み込み演算を行い、その結果に周波数逆変換処理を行って復元画像を生成することを特徴とする撮像装置。
請求項３記載の撮像装置であって、
前記周波数変換処理の前に画像縮小処理を行い、前記周波数逆変換処理の後に画像拡大処理および高域強調処理を行うことを特徴とする撮像装置。
位相変調素子を含む光学系を透過した光をセンサに受光して画像データを生成する画像生成ステップと、生成した前記画像データのボケを低減して画像を復元する画像復元処理ステップと、を備え、前記画像復元処理ステップでは、前記画像データについて、所定のブロック単位で画像復元処理を行う画像処理方法であって、
前記画像復元処理ステップでは、連続して処理する複数の前記所定のブロックの一部の範囲が重なるように設定し、複数のブロックが重なる領域については、当該複数のブロックでの画像復元処理結果を反映した復元画像を生成することを特徴とする画像処理方法。
請求項５記載の画像処理方法であって、
前記画像復元処理ステップでは、複数のブロックが重なる領域について、当該複数のブロックでの画像復元処理結果を反映した復元画像を生成する際に、各ブロックにおける画像の特徴に応じた重み付け係数を用いて、当該複数のブロックでの画像復元処理結果を生成する復元画像に反映させることを特徴とする画像処理方法。
請求項５又は６記載の画像処理方法であって、
前記画像復元処理ステップでは、前記画像生成ステップで生成した画像データに周波数変換処理を行い、周波数変換を行った画像データと前記光学系に対応した関数との畳み込み演算を行い、その結果に周波数逆変換処理を行って復元画像を生成することを特徴とする画像処理方法。
請求項７記載の画像処理方法であって、
前記周波数変換処理の前に画像縮小処理を行い、前記周波数逆変換処理の後に画像拡大処理および高域強調処理を行うことを特徴とする画像処理方法。