JP6661491B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6661491B2
JP6661491B2 JP2016148730A JP2016148730A JP6661491B2 JP 6661491 B2 JP6661491 B2 JP 6661491B2 JP 2016148730 A JP2016148730 A JP 2016148730A JP 2016148730 A JP2016148730 A JP 2016148730A JP 6661491 B2 JP6661491 B2 JP 6661491B2
Authority
JP
Japan
Prior art keywords
image
luminance
fixed noise
images
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016148730A
Other languages
English (en)
Other versions
JP2017098933A (ja
Inventor
村上 友近
友近 村上
和也 児玉
和也 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/336,976 priority Critical patent/US10419698B2/en
Publication of JP2017098933A publication Critical patent/JP2017098933A/ja
Application granted granted Critical
Publication of JP6661491B2 publication Critical patent/JP6661491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、複数枚の画像からなる画像群(例えば焦点位置を変えて撮影した複数枚の画像あるいは動画像データ)中に含まれる固定パターンノイズを低減し、高画質化する技術に関する。
カメラや顕微鏡などの撮像光学系を通して、焦点位置を変えて被写体を撮影した複数枚の画像群(以降、焦点ぼけ画像群と呼ぶ)から、光線空間の復元を介して、任意視点画像や任意焦点ぼけ画像を生成する技術が知られている。例えば、特許文献1では、3次元のコンボリューションモデルに合致するように各画像の座標変換処理を行い、3次元周波数空間上でぼけを変える3次元フィルタリング処理を行うことで任意視点画像や任意焦点ぼけ画像を生成する手法を開示している。また特許文献1以外にも、数学的にほぼ等価な式を用いて、焦点ぼけ画像群の視線方向の積分画像に対するフィルタ処理により光線空間の復元を行い、任意視点画像や任意焦点ぼけ画像を生成する手法が提案されている。なお、本明細書では、焦点ぼけ画像群から光線空間の復元を介して任意視点画像や任意焦点ぼけ画像を生成する画像生成手法を総称して「フィルタ型方式」と呼ぶこととする。
カメラや顕微鏡などで撮影した焦点ぼけ画像群に対して、これらのフィルタ型方式を適用すれば、カメラや顕微鏡の光学系に変更を加えることなく、撮影後の後処理によって従来にない機能を提供できる。例えば、カメラの場合には撮影後にぼけ味を変更する新たな写真の楽しみ方を提供できる。顕微鏡の場合には視点を変えることで被写体の立体形状の直感的な把握を可能にできる。また、開口数の大きなレンズを用いた高倍観察時において、被写界深度を拡大することで焦点位置から外れた病変部の見落としを防ぐことができる。
特開2007−128009号公報 特開2014−090401号公報 特開2013−207788号公報
しかしながら上述した従来の技術においては、以下のような問題があった。焦点ぼけ画像群に対し、特許文献1に開示される手法に代表されるフィルタ型方式を適用すると、イメージセンサの固定パターンノイズ(以降、固定ノイズと呼ぶ)に起因して、生成される画像の画質が劣化するという問題が生じる場合がある。この問題は、焦点ぼけ画像群を構成する画像のあいだで像の拡縮(スケールの変化)が非常に小さい場合、つまり、固定ノイズが画像内の殆ど同じ位置に現れる画像群の場合に顕在化する。そのような焦点ぼけ画像群は、例えば両側テレセントリック光学系のように、焦点位置を変えても像とイメージセンサの相対的な位置・大きさが殆ど変化しない光学系で撮影した場合に得られる。
前記課題への対策として、特許文献2では撮像装置の制御によって固定ノイズを回避する手法を開示している。この手法は焦点位置を変えて被写体を撮影する際、焦点位置毎に像とイメージセンサの相対的な位置をずらして撮影することで、焦点ぼけ画像群の同一画素で固定ノイズが重畳されることを抑える。しかし、この手法は、すでに撮影済みの焦点ぼけ画像群から全焦点画像を求める場合の画質改善には適用できない。
ここまで焦点ぼけ画像群での問題を記載したが、同様の問題は、動画像データのように同じ光学系で撮影された画像群でも生じうる。特許文献3では動画像から固定ノイズを低減する手法が開示されている。しかし、この手法は比較的平坦な領域に対して平均値を減算した差分画像が固定ノイズであると推定する簡易的な処理であるため、固定ノイズの推定精度は低い。そのため、様々な被写体の像を含む画像データから高精度な固定ノイズ低減を実現することは原理的に困難である。また加法性の固定ノイズ以外のノイズ、例えば、イメージセンサのセルごとの受光部の感度ばらつきや増幅器のゲインばらつきなどに起因する乗法性の固定ノイズの低減を行うことはできない。なお、本明細書では、イメージセンサの画素と画像データの画素とを明確に区別するため、イメージセンサの画素を「セル」と表記する。
本発明は、このような問題点に鑑みてなされたものであり、同一のイメージセンサで取得された複数枚の画像に含まれる、イメージセンサに起因する固定ノイズを低減する新規な技術を提供することを目的とする。
本発明の第一態様は、コンピュータが、同一のイメージセンサで撮像することで取得された複数の入力画像のデータを取得する入力ステップと、コンピュータが、逐次近似法を用いた反復計算によって、前記複数の入力画像の画質を全体的に向上させる、各入力画像に対する輝度変更の最適解を求める最適化処理ステップと、を有し、前記最適化処理ステップでは、各入力画像の同じ位置の画素に対して共通の輝度変更を行うという制約の下で、各入力画像の画素ごとの輝度変更の最適解が求められることを特徴とする画像処理方法を提供する。
本発明の第二態様は、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムを提供する。
本発明の第三態様は、同一のイメージセンサで撮像することで取得された複数の入力画像のデータを取得する入力手段と、逐次近似法を用いた反復計算によって、前記複数の入力画像の画質を全体的に向上させる、各入力画像に対する輝度変更の最適解を求める最適化処理手段と、を有し、前記最適化処理手段は、各入力画像の同じ位置の画素に対して共通の輝度変更を行うという制約の下で、各入力画像の画素ごとの輝度変更の最適解を求めることを特徴とする画像処理装置を提供する。
本発明によれば、同一のイメージセンサで取得された複数枚の画像に含まれる、イメージセンサに起因する固定ノイズを低減することができる。
バーチャル・スライド・システムの構成を示す図。 本計測ユニット101の内部構成を示す図。 画像処理装置(ホストコンピュータ)110の内部構成を示す図。 固定ノイズ低減のアイデアを説明する図。 実施例1の固定ノイズ低減処理を示すフローチャート。 最適化処理ステップS502の内部処理を示すフローチャート。 解空間制約ステップS603の内部処理を示すフローチャート。 制約条件C1およびC2が表す意味を説明するための図。 制約条件C1適用ステップS702の内部処理を示すフローチャート。 制約条件C2適用ステップS703の内部処理を示すフローチャート。 実施例3の固定ノイズ低減処理を示すフローチャート。 実施例4の固定ノイズ低減処理を示すフローチャート。 固定ノイズの低減が可能な動画像データの一例。
本発明は、同じ光学系(撮像系)を用いて撮影された複数枚の画像からなる画像群(例えば、焦点ぼけ画像群、動画像データなど)に含まれる固定ノイズを、画像処理(後処理)によって低減する技術に関する。本発明の構成ないし方法は、デジタルカメラ、デジタルビデオカメラ、デジタル顕微鏡、バーチャル・スライド・システムを含む様々な撮像装置で得られた画像に対し適用可能である。中でも、固定ノイズの影響が顕著となる、両側テレセントリック光学系で撮影した焦点ぼけ画像群に対し、本発明は好ましく適用できる。
以下に詳しく述べるように本発明の画像処理によれば、撮像装置のイメージセンサに起因する固定ノイズを高精度に低減した画像を得ることができる。また、焦点ぼけ画像群における固定ノイズを低減することによって、焦点ぼけ画像群からフィルタ型方式で任意視点画像や任意焦点ぼけ画像を生成する際に問題となっていた画質の劣化を抑制することができる。さらに、本発明による画像処理系を撮像装置と組み合わせることで、撮像装置のイメージセンサに求められる性能要件を緩和でき、イメージセンサの設計の自由度向上や低コスト化が実現できるという利点もある。
<実施例1>
(システム全体構成)
実施例1では、一例として、図1のような構成のバーチャル・スライド・システムに本発明を適用した例について述べる。
バーチャル・スライド・システムは、検体の撮像データを取得する撮像装置(バーチャル・スライド・スキャナとも呼ぶ)120とそのデータ処理・制御を行う画像処理装置(ホストコンピュータとも呼ぶ)110およびその周辺機器から構成されている。
画像処理装置110には、ユーザからの入力を受け付けるキーボードやマウスなどの操作入力デバイス111、処理画像を表示するディスプレイ112が接続される。また画像処理装置110には、記憶装置113、他のコンピュータシステム114が接続されている。
多数の検体(プレパラート)の撮像をバッチ処理で行う場合、画像処理装置110の制御の下で撮像装置120が各検体を順に撮像し、画像処理装置110が各検体の画像データに対し必要な処理を施す。そして得られた各検体の画像データは、大容量のデータストレージである記憶装置113又は他のコンピュータシステム114へ伝送され、蓄積される。
撮像装置120での撮像(プレ計測および本計測)は、ユーザの入力を受けて画像処理装置110がコントローラ108へ指示を送り、次にコントローラ108が本計測ユニット101とプレ計測ユニット102を制御することで実現される。
本計測ユニット101は、プレパラート内の検体診断のための高精細な画像を取得する撮像ユニットである。プレ計測ユニット102は、本計測に先立って撮像を行う撮像ユニットで、本計測で精度の良い画像取得をするための撮像制御情報取得を目的とした画像取得を行う。
コントローラ108には変位計103が接続され、本計測ユニット101またはプレ計測ユニット102内のステージに設置されるプレパラートの位置や距離が測定できる構成となっている。変位計103は、本計測およびプレ計測を行うにあたり、プレパラート内の検体の厚みを計測するために用いられる。
またコントローラ108には、本計測ユニット101およびプレ計測ユニット102の撮像条件を制御するための開口絞り制御104、ステージ制御105、照明制御106、センサ制御107が接続されている。そして、それぞれはコントローラ108からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。
ステージはプレパラートを保持・移動・位置決めする機構である。ステージには、プレパラートを光軸に垂直な方向に移動するXYステージと、光軸に沿った方向に移動するZステージがある。XYステージは検体内の撮像エリアを光軸に垂直な方向(x,y方向)に移動するために用いられ、Zステージは検体内の奥行き方向(z方向)に焦点位置を変えるために用いられる。図示しないが、撮像装置120には、複数のプレパラートをセットすることが可能なラックと、ラックからステージ上の撮像位置へとプレパラートを送り出す搬送機構とが設けられている。バッチ処理の場合は、コントローラ108が搬送機構を制御することで、ラックからプレパラートを1枚ずつ、プレ計測ユニット102のステージ、本計測ユニット101のステージの順に送り出す。
本計測ユニット101およびプレ計測ユニット102には、撮像した画像を用いてオートフォーカスを実現するAFユニット109が接続されている。AFユニット109は、コントローラ108を介して、本計測ユニット101、プレ計測ユニット102のステージの位置を制御することで合焦位置を探し出すことが出来る。オートフォーカスの方式は画像を用いるパッシブ型であり、公知の位相差検出方式やコントラスト検出方式が用いられる。
(本計測ユニットの構成)
図2は、実施例1における本計測ユニット101の内部構成を示す図である。
光源201の光は、照明光学系202を通じ、光量ムラが無いように均一化され、ステージ203の上に設置されたプレパラート204を照射する。プレパラート204は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、検体(被写体)を観察可能な状態に準備したものである。
結像光学系205は、検体の像を拡大して撮像手段である撮像部207に導くものである。プレパラート204を通った光は、結像光学系205を介して、撮像部207上の撮像面で結像する。結像光学系205の中には開口絞り206が存在し、開口絞り206を調整することで被写界深度が制御できる。
撮像にあたっては、光源201を点灯させ、プレパラート204に光を照射する。そして、照明光学系202、プレパラート204、結像光学系205を通って撮像面に結像した像を撮像部207のイメージセンサで受光する。モノクロ(グレースケール)撮影時には光源201を白色で露光し、1回撮像を行う。カラー撮影時には、RGBの3つの光源201で順番に露光し、3回撮像を行うことで、カラー画像を取得する。
撮像面で結像した検体の像は、撮像部207で光電変換され、A/D変換を実行した後、電気信号として画像処理装置110に送られる。撮像部207は、複数のイメージセンサから構成されることを想定しているが、単一のセンサで構成されていても良い。また、本実施例では、A/D変換を実行した後、イメージセンサの固定ノイズ低減処理を含むノイズ低減や色変換処理、鮮鋭化処理に代表される現像処理を画像処理装置110内部で行うとする。しかし、現像処理は撮像部207に接続された専用の画像処理ユニット(不図示)で行い、その後、画像処理装置110にデータを送信することも可能であり、そのような形態での実施も本発明の範疇となる。
一回の撮影で検体全体の画像を取得できない場合には、ステージ203(XYステージ)をx方向および/またはy方向に移動しながら複数回の分割撮影を行い、得られた複数の分割画像を合成(繋ぎ合わせ)して検体全体の画像を生成する。また、ステージ203(Zステージ)をz方向に移動しつつ複数回の撮影を行うことで、光軸方向(深さ方向)の焦点位置が異なる複数枚の画像を取得する。本明細書では、撮像光学系の光軸方向に焦点位置を異ならせて被写体を撮像することで得た複数枚の画像からなる画像群を「焦点ぼけ画像群」と呼ぶ。なお、焦点ぼけ画像群を「Zスタック画像」、焦点ぼけ画像群を構成する各々の画像を「レイヤー画像」と呼ぶこともある。
(画像処理装置の構成)
図3は、本実施例における画像処理装置(ホストコンピュータ)110の内部構成を示す図である。
CPU(プロセッサ)301は、RAM302やROM303に格納されているプログラムやデータを用いて画像処理装置全体の制御を行う。またCPU301は、各種演算処理やデータ処理、例えば固定ノイズ低減処理、現像・補正処理、合成処理、圧縮処理、任意視点・焦点ぼけ画像生成処理等を行う。
RAM302は、記憶装置113からロードされたプログラムやデータ、他のコンピュータシステム114からネットワークI/F(インターフェース)304を介してダウンロードしたプログラムやデータを一時的に記憶するメモリである。RAM302は、CPU301が各種の処理を行うために必要とするワークエリアも備える。ROM303は、コンピュータの機能プログラムや設定データなどを記憶するメモリである。ディスプレイ制御装置306は、画像や文字等をディスプレイ112に表示させるための制御処理を行う。ディスプレイ112は、ユーザに入力を求めるための画面表示を行うとともに、撮像装置120から取得しCPU301で処理した画像データを画像表示する。
操作入力デバイス111は、キーボードやマウスなどCPU301に各種の指示を入力することのできるデバイスにより構成される。ユーザは、撮像装置120の動作を制御する情報を操作入力デバイス111により入力する。308は、操作入力デバイス111を介して入力された各種の指示等をCPU301に通知するためのI/Oである。
記憶装置113は、ハードディスクなどの大容量情報記憶装置である。これは、OS(オペレーティングシステム)や後述する処理をCPU301に実行させるためのプログラム、またバッチ処理によりスキャンした画像データ、処理後の画像データなどを記憶する。
記憶装置113への情報の書き込みや記憶装置113からの情報の読み出しは、I/O310を介して行われる。制御I/F312は、撮像装置120を制御するためのコントローラ108と制御コマンド(信号)をやりとりするためのI/Fである。
コントローラ108は、本計測ユニット101およびプレ計測ユニット102を制御する機能を持つ。画像I/F(インターフェース)313には、上述以外のインターフェース、例えばCMOSイメージセンサやCCDイメージセンサの出力データを取り込むための外部インターフェースが接続されている。なお、インターフェースとしてはUSB、IEEE1394などのシリアルインターフェースやカメラリンクなどのインターフェースを使うことが出来る。この画像I/F313を通じて本計測ユニット101やプレ計測ユニット102が接続される。
(任意視点・焦点ぼけ画像生成プログラム)
画像処理装置110には、特許文献1に開示される手法を一例とするフィルタ型方式に
よる画像生成処理をコンピュータに実行させるためのプログラム(任意視点・焦点ぼけ画像生成プログラムと呼ぶ)が実装されている。画像処理装置110は、撮像装置120や記憶装置113、他のコンピュータシステム114を介して取得した焦点ぼけ画像群から、任意視点画像や任意焦点ぼけ画像や全焦点画像などを生成することができる。
(フィルタ型方式で生成した全焦点画像で固定ノイズが目立つ理由の説明)
顕微鏡の撮像系(図1の本計測ユニット101)では一般的に両側テレセントリック光学系が用いられ、焦点ぼけ画像群を構成する各画像のあいだでは検体像の拡縮(スケールの変化)が非常に小さくなる。このような焦点ぼけ画像群に対し特許文献1のフィルタ型方式を適用する場合、3次元のコンボリューションモデルに合致するように各画像の座標変換処理を行う必要はない。そのため、全焦点画像a(x,y)は、焦点ぼけ画像群の光軸方向の積分b(x,y)を、3次元ぼけの光軸方向の積分c(x,y)でデコンボリューションすることで得られる。デコンボリューションは周波数空間での割算となるため、全焦点画像a(x,y)は以下の式により求まる。
ただし、B(u,v)=F(b(x,y))、C(u,v)=F(c(x,y))であり、Fはフーリエ変換、F−1は逆フーリエ変換を表す。u,vはそれぞれx,yに対応する空間周波数である。
式(1)は、C(u,v)−1が、焦点ぼけ画像群の光軸方向の積分b(x,y)に対する周波数フィルタとなり、全焦点画像を生成することを表している。3次元ぼけとして、ピント位置からの距離に従ってぼけの半径が大きくなるガウスぼけを考える。この場合、周波数フィルタC(u,v)−1の値は、直流成分では焦点ぼけ画像群の枚数分の1となるが、周波数が高くになるにつれて上昇し、最大周波数では1に近づく特性を持っている。つまり、周波数フィルタC(u,v)−1は低周波のノイズを抑制する作用をもつが、高周波のノイズを抑制する作用はもたない。
続いて、焦点ぼけ画像群の各画素に時間不変の固定ノイズとして標準偏差σ=0.5の加法性のガウスノイズが存在する場合を考える。焦点ぼけ画像群の画像枚数が64枚のとき、焦点ぼけ画像群の光軸方向の積分b(x,y)では固定ノイズは重畳されて固定ノイズの標準偏差は32となる。その後、周波数フィルタC(u,v)−1によって、加法性のガウスノイズの低周波成分の振幅は255階調中の0.5に近い微小な値に戻る。しかし、高周波成分の振幅は依然、255階調中の32に近い大きな値のままであり、全焦点画像中では大きなノイズとなって視認されることとなる。
以上の理由により、顕微鏡で得られた焦点ぼけ画像群からフィルタ型方式で全焦点画像を求める場合に、固定ノイズに起因する全焦点画像の品質の劣化が顕在化する。固定ノイズの影響は、全焦点画像の生成に用いる画像の枚数が増えるほど、大きくなる。
(任意視点・焦点ぼけ画像の高画質化)
高画質な任意視点画像、任意焦点ぼけ画像を生成するには、任意視点・焦点ぼけ画像生成プログラムに入力する焦点ぼけ画像群に対する前処理として、以降で述べる固定ノイズ低減処理を行い、焦点ぼけ画像群から予め固定ノイズを低減するとよい。なお、前述のように固定ノイズは微弱な場合もあるため、固定ノイズ低減後の焦点ぼけ画像群の画像の画素値は整数値に量子化せず、実数データとして任意視点・焦点ぼけ画像生成プログラムに入力することが望ましい。また、固定ノイズ低減処理は画像処理装置110で実現するため、コンピュータで実行可能な形で実装したプログラムを用いて行うとする。
(本実施例で用いる焦点ぼけ画像群に関して)
本実施例では焦点ぼけ画像群は、縦N画素、横N画素の、M枚の画像から構成されるとする。(本実施例では説明簡略化のため、縦および横の画素数が等しい例で説明をするが、縦と横の画素数が一致しない画像にも本発明の方法を適用可能である。)
撮像時にイメージセンサの固定ノイズが加わった焦点ぼけ画像群を
で表す。RN×Nは、実数の要素からなるN行N列の行列を表す。添え字のkは焦点ぼけ画像群を構成する画像の番号であり、kは焦点位置と対応する。焦点ぼけ画像群を構成する画像yは、イメージセンサの出力信号(ビニング処理により複数のセルの値を加算した信号も含む)そのものでもよい。あるいは、画像yは、イメージセンサの出力信号に対し、イメージセンサのセルとの対応関係を維持した階調変換や補間等の現像処理をした画像でもよい。以降、画像の画素の値を輝度と呼ぶ。
焦点ぼけ画像群y(k=1,…,M)に対して、固定ノイズの低減のための輝度変更をした焦点ぼけ画像群を
で表す。また、撮像系の光学的なぼけによる劣化のみを含む焦点ぼけ画像群を
で表す。
焦点ぼけ画像群を構成するk番目の画像yおよびxの縦j、横iの位置にある画素の輝度はそれぞれ、(yi,j、(xi,jで表す。
本実施例では、焦点ぼけ画像群y,…,yには、被写体の像の画像成分や時間変化には依存しない加法性の固定ノイズn∈RN×Nが加わっているとする。すなわち、焦点ぼけ画像群yは以下の式で表現できる。
固定ノイズnの各画素(i,j)での値(n)i,jはイメージセンサの様々な製造誤差に起因するが、本実施例では(n)i,jは出現頻度分布が平均0、標準偏差σの正規分布に従うものとして扱う。ただし、固定ノイズnの各要素の値の出現頻度分布が正規分布に従わない場合でも本実施例の方法では固定ノイズの低減が可能である。
(画像の滑らかさを表す指標について)
本実施例では、画像に含まれる固定ノイズが低減したかどうかを評価する指標として、画像の滑らかさを表す指標を用いる。画像の滑らかさは数値で定量的に表現出来ればよい。例えば、画像中の滑らかではない情報の総和、すなわち、エッジやテクスチャやノイズ等の強さを画像全体で積分した指標を用いてもよい。この場合、指標の値が小さい程、画像が滑らかであることを示す。画像の滑らかさを表す1つの指標として全変動(Total VariationまたはTV)が知られている。全変動は画像の各画素の輝度の微分の絶対値を積分したものであり、以下の式で表される。
ここで、Ωは積分対象領域、uはx,yに関する関数、dx,dyは微小区間である。
上記で定義される全変動は画像の変化が少ない平坦な領域ほど小さな値をとり、テクスチャやノイズが存在する画像の変化が多い領域では大きな値をとる。すなわち、全変動が小さいほど滑らかであることを示す。そのため、全変動は、画像からノイズを低減し、滑らかにする最適化問題において全変動最小化(Total Variation Minimization)の形で使われている。画像が離散的なデジタルデータの場合、輝度の微分は隣接画素間の輝度の差分で表されるため、全変動は以下のように隣接画素間の輝度の差分の絶対値の総和で定義できる。
(固定ノイズ低減のアイデア)
図4A、図4Bは、本実施例における固定ノイズ低減のアイデアを説明する図である。401および404は、焦点位置を変えて撮影した4枚の画像からなる焦点ぼけ画像群の一例である。左から順に焦点位置z=0,1,2,3の画像である。各画像の網掛けは、各画像に同一の固定ノイズが加わっている様子を示している。焦点ぼけ画像群401および404は、少数の鮮鋭度の高い合焦位置の画像(z=0の画像)と比較的多数の滑らかな焦点がぼけた画像(z=1,2,3の3枚の画像)から構成されている。(図4Aでは表現されていないが、z=0で合焦している被写体は合焦位置から離れるに従い、徐々にぼけていく。)
焦点ぼけ画像群の各画像の同じ位置の画素(対応画素と呼ぶ)は、イメージセンサの同じセルで取得されたデータに基づく輝度をもつため、共通の固定ノイズ(イメージセンサの同じセルに起因するノイズ)を含んでいる。したがって、各画像の対応画素に対して共通の輝度変更を行うという制約の下で、固定ノイズを低減することを考える。ただし、画像内のどの位置(画素)にどの程度の固定ノイズが加わっているかは不明のため、上記制約の下で、焦点ぼけ画像群の画質が全体的に向上するように、画像内の位置ごと(画素ごと)の輝度変更の最適解を求めるとよい。このとき、焦点ぼけ画像群の画質が全体的に向上したかどうかを評価する指標として、焦点ぼけ画像群全体の滑らかさを表す指標に注目する。
図4Aは、焦点ぼけ画像群の各画像から固定ノイズでない輝度成分を減じる例である。402は、固定ノイズでない輝度成分、すなわち被写体の画像成分(例えばテクスチャ)を示す。403は焦点ぼけ画像群401を構成する各画像から画像成分402を減算して得られた焦点ぼけ画像群を示す。焦点ぼけ画像群403のz=0の画像に注目すると、被写体の画像成分が無くなった分、画像の滑らかさは向上している。しかし、焦点ぼけによって滑らかだった焦点ぼけ画像群401のz=1〜3の画像に関しては、焦点ぼけ画像群403のz=1〜3に示すように、逆にテクスチャが発生し、画像の滑らかさは低下する。従って、焦点ぼけ画像群全体ではz=0での少数枚での画像の滑らかさの向上よりも、z=1〜3に示す多数枚での画像の滑らかさの低下が支配的となる。よって、焦点ぼけ画
像群全体で評価した場合、滑らかさは低下する。
図4Bは、焦点ぼけ画像群の各画像から固定ノイズに相当する輝度成分を減じる例である。405は焦点ぼけ画像群404に含まれる固定ノイズを表す。406は焦点ぼけ画像群404を構成する全ての画像から画像成分405を減算して得られた焦点ぼけ画像群を示す。図4Bに示すように、z=0〜3の全ての画像において固定ノイズの打ち消しにより滑らかさが向上するため、焦点ぼけ画像群406全体の滑らかさが向上する。仮に、固定ノイズの強度が僅かであっても、焦点ぼけ画像群全体では滑らかさが向上する。
前述したように、焦点ぼけ画像群全体の滑らかさは、一例として、焦点ぼけ画像群全体の全変動の小ささで評価することができる。従って、焦点ぼけ画像群を構成する各画像の対応画素に対して共通の輝度変更を行う制約の下、焦点ぼけ画像群全体の滑らかさを最大化する最適化、すなわち、焦点ぼけ画像群全体の全変動最小化を行うとよい。これにより、焦点ぼけ画像群に含まれる被写体の像(テクスチャなど)を維持したまま、固定ノイズを低減することができる。そのため、本実施例では、上記の処理を最適化問題として定式化することを考える。
なお、「共通の輝度変更」とは、各画像の対応画素の輝度あるいは前記輝度を階調変換した値に対して同じ値を加算、減算、乗算、又は、除算することを意味する。加法性の固定ノイズの場合は、各画像の対応画素の輝度に対し同じ値(補正量)を加算又は減算すればよいし、後の実施例で述べる乗法性の固定ノイズの場合は、各画像の対応画素の輝度に対し同じ値(補正係数)を乗算又は除算すればよい。また、同じく後述する加法性・乗法性以外の固定ノイズの場合でも、各画像の対応画素の輝度を階調変換した値に対して同じ値(補正係数)を乗算したのち、減算することで補正できる。
(数式・記号に関して)
最適化問題として定式化する前に、本実施例で用いる数式・記号について説明する。
ベクトルxがx=(x,x,…,x)で表されるとき、ベクトルxのL1ノルムとL2ノルムは以下の式で定義される。
また本実施例では画像データ(行列)u∈RN×Nに対するL1ノルムとL2ノルムを以下のように定める。
また画像データu∈RN×Nに対する全変動は、式(5)に示すTVノルムで表現する。
なお、式(5)の(∇u)i,jは横(x)方向,縦(y)方向の偏微分からなるベクトルで、
であるとする。
上記の画像データに対するノルムは、画像データu∈RN×Nの各行ベクトルを転置して列方向に並べるベクトル表現を行って求めたベクトル
に対するノルムと等しい。なお、vec[・]は行列を並べ替えてベクトル表現する操作を表すとする。
続いて、最適化問題の定式化で用いる式について説明する。式(6)は最適化問題の定式化の一例である。
上式のargminは関数f(x)が最小となる変数xの値を求めることを意味する。最小化する対象の関数f(x)を目的関数と呼ぶ。「s.t.」は「subject to」の略で、その後ろに解xが満たすべき制約(式(6)では0≦x≦255)を記載する。s.t.の後ろに記載する条件を制約条件と呼ぶ。式(6)の左辺のx(*)は前述の制約条件を満たす範囲でxの値を変えて求めた、目的関数f(x)が最小となるときのxの値を表す。
本実施例では、上記の最適化問題を解く際に、計算の便宜のため、焦点ぼけ画像群の複数の画像を統合する操作を行って1枚の統合画像を生成し、この統合画像に対し最適化の処理を適用する。以降、前記の操作で生成した1枚の画像を展開画像と呼ぶ。また、最適化処理の後は、固定ノイズが低減された展開画像から元の複数枚の画像から構成される焦
点ぼけ画像群を求める操作も行う。そのため、焦点ぼけ画像群から展開画像を生成する操作と、展開画像から焦点ぼけ画像群を生成する操作に関する説明を行う。
操作Tは、焦点ぼけ画像群を構成する複数枚の画像を統合し、1枚の画像を生成する操作である。M枚の画像からなる焦点ぼけ画像群y,…,yを入力とし、展開画像gを生成する操作Tを以下のように表す。
操作Tには様々な操作が存在しうるが、一例として、以下のように引数として設定される複数枚の画像を順に列方向に連結する操作が挙げられる。
(ただし行列の右上のTは行列の転置を表す)
その場合、元の画像y,…,yの要素と出力である展開画像gの要素のあいだには以下の関係が成立する。
続いて、操作Tと逆の操作である操作Eについて説明する。操作Eは展開画像gから焦点ぼけ画像群を構成するk番目の画像yを求める操作であり、以下のように表す。
焦点ぼけ画像群を構成する各画像y,…,yにおける対応画素(i,j)の輝度をk=1からMまで順に並べたM次元のベクトルを、画素(i,j)の画素ベクトルと定義する。例えば、焦点ぼけ画像群y,…,yの画素(i,j)の画素ベクトルは
で表される。
操作Tを用いて焦点ぼけ画像群y,…,yから生成した展開画像gから、画素ベクトルを生成する操作を操作Vで表すと、操作Vは以下のように表される。
なお、式(11)の左辺g[i,j]は画素ベクトルを表し、以下となる。
操作Tの変形例として、焦点ぼけ画像群を構成する各画像を行方向に連結する方法や行、列それぞれの方向に決められた枚数分連結する方法がある。また各画像を連結する際の境界部分に緩衝領域として輝度が全て0の領域や輝度変化を少なくする領域を入れても良い。その場合には操作Tに対応して操作E,操作Vの操作も変化する。本実施例では操作
Tとして式(8)に示す連結方法を行う場合について説明する。
また、輝度変更後の画像は元画像と同じ輝度の範囲(例えば0〜255)に収まっている必要がある。輝度0〜255の範囲を表す閉凸集合を以下のとおりC255で表す。
(最適化問題の定式化)
図4Bで説明した焦点ぼけ画像群から固定ノイズを低減する問題は、以下の最適化問題として定式化できる。
ただし、x(*)はk=1,…,Mの全てに対して求める。
次に式(12)で定式化した最適化問題の目的関数、制約条件について詳しく説明する。
(目的関数)
式(12)の目的関数は、焦点ぼけ画像群を構成するM枚の画像から構成した1枚の展開画像に対するTVノルムを表す。一方、全焦点画像における固定ノイズの影響を低減するには、図4Bに示すように、焦点ぼけ画像群を構成するM枚の画像それぞれのTVノルムを低減する必要がある。しかし、展開画像に対するTVノルムと、焦点ぼけ画像群を構成する各画像のTVノルムの和とは、画像を並べる際に発生する境界での僅かな差を除けば等しい。したがって、式(12)の目的関数により展開画像に対するTVノルムを最小化することと、元の焦点ぼけ画像群を構成するM枚の画像のTVノルムを全体的に最小化することとは、実質的に等価である。
(制約条件)
式(12)の3つの制約条件のうち、1番目の制約条件は、輝度変更後の焦点ぼけ画像群を構成する各画像の輝度が0〜255の範囲に収まることを表す。画像回復処理での一般的な制約条件である。
2番目の制約条件は、いずれの画像の番号kにおいても、輝度変更前の画像yと輝度変更後の画像xの差が等しいことを表す。図4Bで説明したように、イメージセンサに起因する加法性の固定ノイズの場合、画像yに含まれるノイズ成分は焦点位置(k)によらず等しい。したがって、2番目の制約条件を与えることで、全ての画像y,…,yに等しく重畳された加法性の固定ノイズ成分の除去が可能となる。
2番目の制約条件を画素ごとの制約で表すことを考える。以下のように方向ベクトルdとして要素が全て1のM次元のベクトルを設定する。
次に、撮影時の焦点ぼけ画像群y,…,yと輝度変更後の焦点ぼけ画像群x,…,xからそれぞれの画素(i,j)の画素ベクトルを求め、その差分をu[i,j]で表すと
となる。u[i,j]は元の画素ベクトルからの補正量を示す画素ベクトルとなるため、以降、画素補正ベクトルと呼ぶ。
画素補正ベクトルu[i,j]の各要素は2番目の制約条件により常に等しい値となる。よって画素補正ベクトルは、
で表される(ただし、ci,jは画素ごとに異なる実数)。すなわち、画素補正ベクトルu[i,j]と方向ベクトルdは平行である。また完全に固定ノイズを取り除ける場合、ci,jは各画素に加わった固定ノイズ(n)i,jに−1をかけた値と等しくなる。
式(12)の3番目の制約条件は、元の焦点ぼけ画像群から生成した展開画像T[y,…,y]と輝度変更後の展開画像T[x,…,x]の差のL2ノルムがε以下であることを示す。すなわち、εは輝度変更量の上限値を定める定数であり、3番目の制約条件は、展開画像T[y,…,y]と展開画像T[x,…,x]の間の輝度変更量(総量)が所定値(ε)をこえないように抑える制約を表している。この条件は、焦点ぼけ画像群を構成する画像ごとに、元の画像と輝度変更後の画像の差のL2ノルムを所定値(ε)以下とする制約条件
よりも緩和された条件である。しかし、2番目の制約条件(画素ベクトルによる制約)があるため、特定の画像xで大きく偏った輝度変更を許すことはない。
なお、固定ノイズn∈RN×Nが、各輝度の出現頻度分布が平均0、標準偏差σの正規分布に従うガウスノイズの場合、前記固定ノイズnのL2ノルムは
となる。従って、固定ノイズの標準偏差σが既知の場合、式(12)の3番目の制約条件の場合では
のようにεを設定すれば過剰な輝度変更を抑えた適切なノイズ低減が実現できる。なお、式(14)のεはε=Nσである。
元の焦点ぼけ画像群y,…,yから操作Tで生成した展開画像をg、輝度変更後の焦点ぼけ画像群x,…,xから操作Tで生成した展開画像をfとし、式(12)を整理すると、以下の式(15)、(16)が得られる。
すなわち、展開画像gから固定ノイズを除いた展開画像f(*)を求める最適化問題として定式化できる。ただし、閉凸集合C255,Mは、以下に示すように、輝度変更後の展開画像fの要素が[0,255]の範囲外には解を持たない制約とする。
式(15)の2番目の制約条件にある画素ベクトルf[i,j]、g[i,j]は、それぞれ以下の式
で求めることができる。式(15)の2番目の制約条件は、任意の画素(i,j)の画素補正ベクトル(f[i,j]−g[i,j])が方向ベクトルdと平行である、という条件を表す。「‖」は平行を表す記号である。
最適化アルゴリズムを適用しやすくするため、式(15)を式(17)のように変形する。
式(17)のI(f)は閉凸集合C255,Mの指示関数(indicator function)であり、fの要素が[0,255]の範囲内のときには0、[0,255]の範囲外のときには∞(無限大)となる。また、以降、式(17)の1番目の制約条件を制約条件C1、2番目の制約条件を制約条件C2と呼ぶ。
詳細は後述するが、式(15),(17)で定式化した最適化問題は凸最適化問題となる。凸最適化問題とは目的関数が凸関数で制約条件が閉凸集合である最適化問題で、最適解は全体最適解となることが保証され、どのような初期値を与えても全体最適解に至る取扱いの容易な最適化問題となる。
最適化問題を解くアルゴリズムの1つに逐次近似法(反復法)がある。逐次近似法とは、初期値を元に反復計算式から近似解を求め、その後、反復終了条件を満たすまで反復計算式を用いて近似解を求める計算を繰り返すことで近似解の精度を高める方法である。すなわち、式(15),(17)で定式化した凸最適化問題に逐次近似法を適用することで反復計算式が導きだせ、反復計算を繰り返すことで、精度の良い近似解を求めることがで
きる。反復計算式は適用する最適化アルゴリズムに依存する。
このとき、最適化アルゴリズムのパラメータを適切に設定すれば、反復回数nの増加とともに近似解は目的関数の最小(または最大)値に収束する。解への収束判定基準としては様々な基準を用いることができる。例えば、反復計算前後の近似解の差のL2ノルム
又は、相対評価
などを収束判定基準として用いることができる。ただし、f(n)は反復回数n回における近似解を表す。
次に、凸最適化問題の基本的な用語である凸関数、凸集合、距離射影(凸射影)について説明する。
(凸関数)
任意のx,y∈Rとλ∈[0,1]に対して
が常に成り立つとき、f(x)はR上で凸関数であるという。言わば、f(x)上の任意の2点を結んだ線分が常にf(x)の上側にあるような関数が凸関数である。なお、式(17)の目的関数は凸関数であり、また、目的関数を構成する2つの式のいずれも凸関数である。
(凸集合)
CをRの部分集合としたとき、全てのx,y∈Cと全てのλ∈[0,1]に対して
となるとき、Cを凸集合という。言わば、xとyとを結ぶ線分上の各点が必ずCに属すことを表す。また凸集合Cが閉集合であるとき、Cは閉凸集合であるという。
式(17)の制約条件C1を満たす集合Cは、以下の理由から閉凸集合となる。すなわち、画素(i,j)の画素ベクトルがとりうる集合をC1(i,j)で表すと、制約条件C1は方向ベクトルd上の直線で表せる。任意の2点を結ぶ線分上の各点は必ず線分に属すため、C1(i,j)は閉凸集合となり、その直積集合であるCも閉凸集合となる。
また、制約条件C2を満たす集合Cも閉凸集合である。
(距離射影)
凸最適化問題では、制約条件を満たす解を求めるために距離射影と呼ばれる写像を適用する。距離射影とは、空でない閉凸集合C⊂Rと任意のx∈Rに対して
を満たす唯一の点P(x)∈Cが存在し、xにP(x)を対応させる写像を表す。すなわち、距離射影とは、Cを閉凸集合としたとき、x∈Rを、閉凸集合C上にありかつ最短距離のzに写す写像である。
(固定ノイズ低減処理)
逐次近似法を用いた近似解の求め方の詳細を説明する前に、本実施例における焦点ぼけ画像群から固定ノイズを低減する処理である、固定ノイズ低減処理の全体概要について説明する。
図5は本実施例における固定ノイズ低減処理の処理フローを示す。固定ノイズ低減処理は、画像処理装置110で実行可能なプログラムとして実装されており、画像処理装置110は、撮像装置120や記憶装置113、他のコンピュータシステム114から焦点ぼけ画像群y(k=1,…,M)を取得することが可能である。
まず画像入力ステップS501では、画像処理装置110が、焦点ぼけ画像群y(k=1,…,M)を入力画像として取得し、前述の操作Tを用いて展開画像gを生成する。続いて、最適化処理ステップS502では、画像処理装置110が、式(17)で定式化された最適化問題に最適化アルゴリズムを適用して求めた反復計算式を用いて、固定ノイズを低減した展開画像f(*)を求める。詳細は後述する。ステップS502の計算はCPU301あるいはGPUを用いた演算ユニットや専用の計算ハードウェア(不図示)などを用いて行い、結果はRAM302に出力する。
続いて、画像出力ステップS503では、画像処理装置110は、式(16)に示すように操作Eを用いて、固定ノイズを低減した展開画像f(*)から焦点ぼけ画像群x (*),…,x (*)を生成する。このようにして固定ノイズを低減した焦点ぼけ画像群x (*),…,x (*)は、出力画像として、RAM302や記憶装置113、あるいは他のコンピュータシステム114に出力される。
(最適化アルゴリズム適用時の処理フロー)
図6は最適化処理ステップS502の内部処理を示すフローチャートである。
まず、初期値設定ステップS601では、画像処理装置110が、以降の計算で用いる初期値やパラメータを設定する。具体的には、ステップS602で用いる初期値や最適化アルゴリズムのパラメータ、ステップS603で用いる方向ベクトルdやεの値、ステップS604で用いる反復回数の上限値nmaxや解への収束判定基準の閾値ethが設定される。また、反復回数nのカウンタの初期値としてn=0が設定される。
反復計算ステップS602では、画像処理装置110が、最適化アルゴリズムを適用して求めた反復計算式を用い、近似解f(n)から近似解f(n+1)を求める。ただし、n=0の場合、近似解f(0)には初期値設定ステップS601で与えられた初期値が用いられる。
解空間制約ステップS603では、画像処理装置110が、ステップS602で求めた近似解f(n+1)が制約条件を満たすように、制約条件毎に距離射影(凸射影)と呼ばれる処理を行い、近似解f(n+1)を変更する。簡単に言うと、近似解が制約条件で定める解空間を外れる場合に、近似解を前記の解空間に引き戻す処理を行う。詳細は後述する。
終了判定ステップS604では、画像処理装置110が、反復処理を終了するか否かを判定する。具体的には、画像処理装置110は反復回数nがステップS601で定めた上限値nmaxに達したかを判定する。次に、画像処理装置110は、解への収束判定基準(例えば前述の反復計算前後の近似解の差のL2ノルム)を計算し、ステップS601で定めた閾値ethを下回ったかを判定する。前記2つのいずれの判定条件も満たさない場合には反復回数更新ステップS605に進み、現在の反復回数nに1を加え、再び反復計算ステップS602に戻る。いずれか一方の判定条件に合致すれば、近似解出力ステップS606に進む。近似解出力ステップS606では、画像処理装置110は、直近のステップS603で求めた近似解f(n+1)を最適解、すなわち展開画像f(*)に設定し、最適化処理ステップS502を終了する。
(制約条件C1について)
図8Aを用いて、制約条件C1が表す意味について説明する。図8Aは制約条件C1、すなわち
による解空間の制約を示す図である。これは、任意の画素位置の画素補正ベクトルu[i,j]=f[i,j]−g[i,j]が方向ベクトルdと平行である、という制約を表す。
例として3枚の画像から構成される焦点ぼけ画像群を想定する。図8Aは、元の焦点ぼけ画像群y,y,yから生成した展開画像gから求めた画素位置(i,j)での画素ベクトルg[i,j]を原点として、展開画像fから求めた画素ベクトルf[i,j]が存在しうる3次元の解空間を表す。f[i,j]=((xi,j,(xi,j,(xi,j)である。尚、焦点ぼけ画像群を構成する画像の枚数がM枚のときはM次元の解空間となる。破線は方向ベクトルd=(1,1,1)を表す。
制約条件C1が存在しない場合、画素補正ベクトルu[i,j]=f[i,j]−g[i,j]は様々な方向を取りうる。しかし制約条件C1が存在する場合、画素補正ベクトルu[i,j]は方向ベクトルdに平行、すなわち方向ベクトルdの実数倍となる必要がある。この制約条件C1を満足するように、画素ベクトルf[i,j]を変更し、f′[i,j]とする。
変更前の画素ベクトルf[i,j]と変更後の画素ベクトルf′[i,j]の距離を最短とする画素補正ベクトルu[i,j]は、以下に示すベクトルの正射影(直交射影)の式を用いて計算できる。
ただし、<・,・>はベクトルの内積を表す。
制約条件C1を満たす画素ベクトルf′[i,j]は、式(19)のとおり画素補正ベクトルu′[i,j]と画素ベクトルg[i,j]の足し算で生成できる。
ただし、式(18),(19)の計算は全ての画素(i,j)に対して行う必要がある。
(制約条件C2について)
続いて、図8Bを用いて制約条件C2が表す意味について説明する。図8Bは制約条件C2、すなわち
による解空間の制約を示す図である。この制約は、入力画像(展開画像g)に対する輝度変更の総量が上限値ε以下であるという制約である。
図8Bでのf′は、制約条件C1による解空間の制約を満たす近似解f′のベクトル表現f′=vec[f′]を表し、gは展開画像gのベクトル表現g=vec[g]を表す。u′はベクトルf′とgの差を表す。
制約条件C2を満たすf′の範囲は、gを原点とする半径εの多次元(NM次元)の超球の内部となる。半径εの値は、前述したように撮影に用いたイメージセンサの固定ノイズの標準偏差σから計算する。固定ノイズの標準偏差σはイメージセンサの特性分析から事前に求めることができる。本実施例では加法性の固定ノイズを想定するため、
とする。
制約条件C2を満たす閉凸集合Cへの距離射影は以下の式で計算できる。
すなわち、u′が半径εの超球の内部に存在しない場合にのみ、f′は、f′とgを結ぶ線分と、半径εの超球との交点f″に射影される。
図8Bに示すように、閉凸集合Cへの距離射影では、変更前後のu′とu″ではベクトルの方向は変化していない。つまり、制約条件C1で求めた各画素の画素補正ベクトルの方向は変化せず、方向ベクトルdと平行のままであり、制約条件C1、C2を同時に満たす。
(解空間制約ステップS603)
続いて、図7を用いて解空間制約ステップS603の内部処理フローについて説明する。図6のフローチャートの順序では反復計算ステップS602が先になるが、解空間制約ステップS603は本実施例の特徴的な構成であるため、先に説明する。
まず差分展開画像計算ステップS701では、画像処理装置110が、近似解f(n+1)と展開画像gの差分展開画像u=f(n+1)−gを計算する。次に、制約条件C1適用ステップS702では、画像処理装置110が、ステップS701で計算した差分展開画像uに対し、制約条件C1を満たすように閉凸集合Cへの距離射影を行い、差分展開画像u′を生成する。詳細は後述する。
次に、制約条件C2適用ステップS703では、画像処理装置110が、ステップS7
02で求めた差分展開画像u′に対し、制約条件C2を満たすように閉凸集合Cへの距離射影を行い、差分展開画像u″を生成する。詳細は後述する。
最後に、近似解更新ステップS704では、画像処理装置110が、
の計算を行い、ステップS703で求めた差分展開画像u″と展開画像gから制約条件C1,C2を満たすf″を求め、その値を近似解f(n+1)に設定する。
なお、図7では、差分展開画像uを最初に計算し、差分展開画像uに対し2つの距離射影を適用した後、変更後の差分展開画像u″から変更後の近似解f(n+1)を計算したが、処理手順はこれに限られない。例えば、差分展開画像uを計算することなく、近似解f(n+1)に対して、閉凸集合Cへの距離射影を求めた後、閉凸集合Cへの距離射影を求めても、同じ結果を得ることができる。
(制約条件C1適用ステップS702)
次に、制約条件C1適用ステップS702の詳細について説明する。図9は制約条件C1適用ステップS702の内部処理を示すフローチャートである。画素ループS901、S906はループ端記号を表し、全ての画素位置(i,j)に対する処理が終了するまでS902〜S905の処理を繰り返すことを示す。
方向ベクトル取得ステップS902では、画像処理装置110が、式(18)の計算に必要な方向ベクトルdを取得する。既に述べたように本実施例では方向ベクトルdは全ての要素が1である要素数M個のベクトルである。
次に、画素補正ベクトル取得ステップS903では、画像処理装置110が、
の操作を行い、画素位置(i,j)における画素補正ベクトルを求める。
次に、正射影計算ステップS904では、画像処理装置110が、式(18)を用いて、方向ベクトルdに対する画素補正ベクトルu[i,j]の正射影ベクトルu′[i,j]を計算する。u′[i,j]は方向ベクトルの実数倍となる。
次に、差分展開画像更新S905では、操作Vと逆の操作により、計算した画素補正ベクトルu′[i,j]の値を差分展開画像u′に書き込んでいく。差分展開画像u′と画素補正ベクトルu′[i,j]の間には
という対応関係があるため、予めRAM302に確保した差分展開画像u′のデータ領域に、対応する画素補正ベクトルu′[i,j]のデータを書き込む操作で実現できる。
画素ループS906では全ての画素に対する処理が終了したかを判定し、全ての画素に対する処理が終了した場合には処理を終了する。全ての画素に対する処理が終了していない場合には再びS902に戻り、処理を繰り返す。
(制約条件C2適用ステップS703)
次に、制約条件C2適用ステップS703の詳細について説明する。図10は制約条件C2適用ステップS703の内部処理を示すフローチャートである。
まずL2ノルム計算ステップS1001では、画僧処理装置110が、差分展開画像u′のベクトル表現u′=vec[u′]のL2ノルムを計算する。
次に、距離射影ステップS1002では、画像処理装置110が、式(21)を用いて、u″=Ball(u′,ε)を求める。すなわち、画像処理装置110は、ステップS1001で求めたL2ノルムが
を満たすか否かを判定し、満たす場合には
とし、満たさない場合には
とする。
次に、差分展開画像更新ステップS1003では、画像処理装置110が、ベクトル表現したu″を再び並べ替え、その結果を差分展開画像u″とする。
(凸最適化問題への最適化アルゴリズムの適用)
図6の初期値設定ステップS601および反復計算ステップS602の処理を説明するため、式(17)で表される凸最適化問題に最適化アルゴリズムを適用して解く方法について説明する。
式(17)で表される凸最適化問題は様々な逐次近似法を用いて求めることができるが、本実施例では一例としてPrimal−dual Splitting Method(以降、PDS法と記述する)を用いた解法について説明する。
PDS法は目的関数にL1ノルムのような微分できない関数を含む場合に有効な逐次近似法の1つである。PDS法では以下の式(25)で定式化される凸最適化問題を解くための反復計算式を求めることができる。
ただし、関数A,Bは凸関数で、Lは線形演算子(Linear Operator)である。PDS法によれば、式(25)で定式化された凸最適化問題の反復計算式は以下となる。
式(26a)のσや式(26b)のτは初期値設定ステップS601で定めるパラメータである。
式(26a),(26b)中のProxで始まりσまたはτのパラメータおよび関数名の添え字がついた関数は、添え字の関数の近接写像(Proximity Operator)と呼ばれる関数であり、以下で定義される。
関数Bの近接写像も同様に定義されるため、その説明を省略する。
式(26a)の関数Aは関数AのFenchel−Rockafellar共役関数であり、以下の式(28)で定義される。共役関数Aの近接写像は、Moreau分解を用いることで、式(29)のように関数Aの近接写像を用いて計算できる。
また式(26b)のLはLのadjoint operatorであり、以下の関係を満たす。
式(17)と式(25)を対応づけると、関数AはL1ノルム、関数Bは指示関数I、Lは∇(ナブラ)となる。またLが∇のとき、Lは−div(div:発散)となることが知られている。
離散的な∇、離散的な発散(div)は、以下の演算で求めることができる。
u∈RN×Nとなるデータに対する∇u∈RN×N×2は、
である(画素ごとにi,j方向の微分値を持つベクトルが得られる)。
また、p=(p,p)∈RN×N×2となるデータに対するdiv(p)∈RN×Nは、
である。
従って、PDS法では以下に示す反復計算によって近似解を求めることができる。
ただし、近接写像のパラメータを分かりやすくするため、式(31a)〜(31c)では近接写像を
で表現している。
続いて、式(31a)〜(31c)の計算方法について述べる。
(L1ノルムの共役関数の近接写像の計算について)
L1ノルムの共役関数の近接写像は
で求まり、内部で以下のL1ノルムの近接写像を呼び出すことで計算できる。
がベクトルの場合、|z|は、ベクトルzのL2ノルムを求めた後に絶対値を求める計算に相当するため、|z|は、ベクトルzのL2ノルムと等しくなる。
つまり、上記のL1ノルムの近接写像のzにx/σを、λに1/σを代入することで、
式(32)中の
の値が計算できる。
(指示関数Iの近接写像の計算について)
指示関数Iの近接写像は、τとは無関係な距離射影となり、以下の式で求まる。
すなわち、xの要素が0未満の要素は0、255を超える要素は255に変更し、それ以外では変更はしないことを表す。
(PDS法を用いた場合の最適化処理フロー)
続いて、PDS法を用いた場合の最適化処理フローについて説明する。既に図6を用いて逐次近似法を用いた最適化処理(図5のステップS502)について説明したため、差分となる個所のみ説明する。
まず、初期値設定ステップS601では、画像処理装置110が、PDS法のパラメータであるσおよびτを設定する。また画像処理装置110は、反復計算を行うための初期値の一例として、z(0)=0、t(0)=g、f(0)=gを設定する。σやτはPDS法での近似解の収束要件に従った値、例えば、σ=10、τ=0.9/(8σ)を設定する。収束要件は
となる。
続いて、反復計算ステップS602では、画像処理装置110が、式(31a)および式(31b)を用いてn=1以降のf(n)を求める。なお、n=1の場合にはステップS601で設定された初期値f(0)、t(0)、z(0)を用いる。次に、解空間制約ステップS603では、図7を用いて説明したように、画像処理装置110が、式(31b)で計算したf(n+1)の値を制約条件C1およびC2を満たす値に更新する。なお、PDS法を用いる場合には、近似解更新ステップS704においてf(n+1)を更新した後、追加の処理として、更新したf(n+1)を式(31c)に代入し、次の反復計算に必要なt(n+1)を求める処理を行う。ステップS604以降の処理に関しては、既に説明した内容と同一であるため、説明は省略する。
以上で本実施例の固定ノイズ低減処理について述べた。
なお、式(15)をPDS法で解く例として、式(17)に示すように関数Bに閉凸集合C255,Mの指示関数I(f)を当てはめて解く場合について説明したが、それ以外にも多くの変形例があることは言うまでもない。例えば、以下の式(17′)に示すように、関数Bに制約条件C1と制約条件C2を満たす集合である閉凸集合C∩Cの指示関数I′(f)を割り当てて解くこともできる。
このとき、指示関数I′(f)の近接写像は、閉凸集合C∩Cへの距離射影で求まる。そして、閉凸集合C∩Cへの距離射影は、閉凸集合Cへの距離射影を行った後に、閉凸集合Cへの距離射影を行うことで実装できる。それぞれの距離射影の計算方法は既に述べているため、説明は省略する。なお、式(17′)の制約条件f∈C255,Mを省き、展開画像f(*)を求めた後に輝度を[0,255]の範囲に収める処理で代用する場合には制約条件なしの最適化問題とすることができる。
また、式(15)をPDS法で解く場合の変形例として、PDS法の関数Aの一部に指示関数を含むように割り当てることで、制約条件f∈C255,Mと制約条件f∈C∩Cを目的関数に取り込み、制約条件なしの最適化問題に変更することもできる。例えば、式(25)において、L:f→(∇f,f)、A:(z,z)→||z||+I′(z)、B:f→I(f)となるようにそれぞれ線形演算子L、関数A,関数Bを当て
はめる。関数Aでは関数Aを構成する関数の変数が異なる(変数分離されている)ため、関数Aの近接写像は関数Aを構成する関数の近接写像に分解できる。それぞれの近接写像は既知であるため、反復計算式は求められる。なお、指示関数と関数A,関数Bの対応のさせ方として、指示関数Iを関数Aの一部に、指示関数I′を関数Bに対応づけても良く、この場合でも同様に反復計算式が求められる。
(その他の目的関数について)
これまで焦点ぼけ画像群全体の滑らかさを評価する指標として全変動を用いる場合について説明してきた。しかし、既に述べたように、全変動以外にも様々な指標を用いることができる。
例えば、Total Generalized Variation(以降、TGVと略す)という指標がある。TGVは画像の1次微分(あるいは差分)だけでなく、より高次の微分(あるいは差分に対する複数回の差分)に対する変動量も加味した指標となっている。そのため、TGVを目的関数の指標として用いると、全変動を用いる場合に比べ、画像のグラデーション領域に発生する階段状のアーティファクトを抑制することができる。
例えば、2次のTGVは以下の式で表現される。
式(35)の中には明示的には2次微分(G∇)は含まれないが、式(35)は1次微分(∇)と2次微分(G∇)の2つの関数のinfimal convolutionとみなすことができる。よって、式(35)は1次微分のL1ノルムと2次微分のL1ノルムの和の最小値に近い値を与える。なお、αとαは1次微分と2次微分のバランスを制御するパラメータである。
式(17)において全変動の代わりに式(35)のTGVを用いれば、式(17)は以下のように変形できる。
式(36)の目的関数と式(25)のL,A,Bを以下のように対応づけることで、式(36)はPDS法で解くことができる。
(→は写像を表す)
式(36)の反復計算式の求め方については本発明の本質的な部分ではなく、また画像
のランダムノイズ低減にTGVを適用した公知文献にも示されているため、詳細は省略する。なお、TGV以外にも高次の微分(差分)を用いる画像の滑らかさに関する指標は複数知られている。式(17)の全変動の代わりにそのような指標を用いる方法も本発明の範疇とする。
(微分可能な指標)
画像全体の滑らかさを表す指標として、一例として以下に示す微分可能な関数を用いてもよい。
(ただし、βは微小な正の実数とする)
式(15)や式(17)において全変動の代わりに式(37)で定めるJβ(f)を用いる場合、Jβ(f)は微分可能な関数のため、反復計算式で微分を用いる最急降下法やニュートン法等の逐次近似法が適用できる。
式(15)や式(17)で定式化した凸最適化問題において、指示関数やラグランジュの未定乗数法などにより制約条件を目的関数に移すことができる。また公知の技術によって目的関数であるTVやTGVを制約条件に移すことも可能である。また、微分できない目的関数を含む凸最適化問題を解く場合には、PDS法以外にも様々なアルゴリズムを適用可能である。例えば、forward−backward splitting method、Douglas−Rachford splitting method、交互方向乗数法(ADMM)などがある。
本実施例の特徴は、焦点ぼけ画像群を構成する各画像の対応画素に対して同じ補正量を減算するという制約の下、焦点ぼけ画像群全体の滑らかさを最大化するように、画素位置ごとの輝度変更量(ノイズ補正量)を最適化する点にある。なお、目的関数において、画像の滑らかさと逆の関係にある指標(例えば画像内での輝度の変動量など)を用い、「焦点ぼけ画像群全体の滑らかさを最大化」する代わりに「焦点ぼけ画像群全体での変動量の総和を最小化」してもよい。その概念を実現するどのような目的関数、制約条件による最適化問題の定式化、および前記最適化問題を解くどのような最適化アルゴリズムを用いても本発明の範疇である。
以上述べたとおり、本実施例の方法を用いれば、焦点ぼけ画像群に含まれるイメージセンサに起因する加法性の固定ノイズを高精度に低減することができる。このような固定ノイズが低減された焦点ぼけ画像群を利用すれば、焦点ぼけ画像群からフィルタ型方式で任意視点画像や任意焦点ぼけ画像を生成する際に問題となっていた画質の劣化を抑制することができる。
<実施例2>
実施例1では、焦点ぼけ画像群に対し、被写体の像の画像成分には依存しない加法性の固定ノイズが加わっている場合の固定ノイズ低減方法について説明した。しかし、固定ノイズは加法性に限らず、イメージセンサのセルごとの感度ばらつきや増幅器のゲインばらつきなどの元の信号データ、すなわち、被写体の像の画像成分に依存する固定ノイズも存在する。そのような固定ノイズは乗法性の固定ノイズと呼ばれる。乗法性の固定ノイズが加わった焦点ぼけ画像群y∈RN×N(k=1,…,M)は以下の式で表現できる。
式(38)のn∈RN×N(k=1,…,M)は乗法性の固定ノイズを表す。同一のイメージセンサの同一のセルで撮影した場合でも、被写体の像が変化すれば乗法性の固定ノイズの値(ni,jは異なる。
式(39)のv∈RN×Nは乗法性の固定ノイズのノイズ源を表す。vの各画素の値(v)i,jはイメージセンサの様々な製造誤差に起因するが、以降、(v)i,jは出現頻度分布が平均0、標準偏差σの正規分布に従うものとして扱う。ただし、(v)i,jが正規分布に従わない場合でも本実施例の方法では固定ノイズの低減が可能である。
焦点ぼけ画像群y(k=1,…,M)に存在する乗法性の固定ノイズは、式(38),(39)から以下の式(40)に変形できる。
実施例1では、図8Aに示す固定ノイズを低減するための方向ベクトルdとして、式(13)に示すように要素が全て1のM次元のベクトルを設定した。しかし、実施例2では式(38)で与えられる焦点ぼけ画像群y(k=1,…,M)から固定ノイズを低減する場合、式(40)に示すように固定ノイズの強さは(yi,jに比例する。したがって、方向ベクトルdとして、焦点ぼけ画像群y(k=1,…,M)(あるいは展開画像g)の画素ベクトル
を設定すればよいことが分かる。
また、実施例1では、図8Bに示す展開画像g(すなわち焦点ぼけ画像群全体)での固定ノイズの総量を表すεとして
を用いた。このεは、制約条件C2で用いる輝度変更量の上限値である。
実施例2では乗法性の固定ノイズは式(38)で表される。そのため、εとして
を用いる。yは、焦点ぼけ画像群y(k=1,…,M)の全画素の平均値である。
式(42)は乗法性の固定ノイズnの各要素を1次元に並べたベクトルのL2ノルムの近似値の一例である。
以上より、乗法性ノイズの低減を実現するには、実施例1における初期値設定ステップS601でのεの計算式、および制約条件C1適用ステップS702の方向ベクトル取得ステップS902での方向ベクトルdの取得方法を修正するだけで良いことが分かる。つまり、制約条件C1について、乗法性ノイズの場合は、各画像の対応画素の輝度値に同じ値(補正係数)を乗算するという制約条件を設定する。また、制約条件C2で用いる輝度変更量の上限値εについては、入力画像である焦点ぼけ画像群の輝度に応じて設定する(本実施例では式(43)で示す平均輝度yに比例した値とする)。
実施例2の最適化処理ステップS502の内部処理について説明する。
初期値設定ステップS601では、画像処理装置110が、以降の計算で用いる初期値やパラメータを設定する。具体的には、反復計算ステップS602で用いる初期値や最適化アルゴリズムのパラメータ、終了判定ステップS604で用いる反復回数の上限値nmaxや解への収束判定基準の閾値ethが設定される。また、反復回数nのカウンタの初期値としてn=0が設定される。そして、画像処理装置110は、式(42),式(43)を用いてεの値を計算する。なお、方向ベクトルdは固定ではないため、ステップS601では設定しない。
次の反復計算ステップS602は実施例1と同一の処理となるため、説明は省略する。
次の解空間制約ステップS603については、制約条件C1適用ステップS702の処理のみが実施例1と異なる。以下、実施例2の制約条件C1適用ステップS702について説明を行う。
図9に示すように、制約条件C1適用ステップS702では、画像処理装置110が、展開画像f(n+1)に対し、各画素位置(i,j)についてS902〜S905の処理を繰り返す。まず、方向ベクトル取得ステップS902では、画像処理装置110は、画素ループで処理対象となっている画素位置の画素ベクトルを取得し、それを方向ベクトルとする。すなわち、画像処理装置110は、
の計算を行い、画素位置ごとに異なる方向ベクトルを求める。
画素補正ベクトル取得ステップS903では、実施例1と同じく、画像処理装置110は、u[i,j]=V[u,(i,j)]の計算により、画素補正ベクトルu[i,j]を求める。次に正射影計算ステップS904では、実施例1と同じく、画像処理装置110は、式(18)を用いて、方向ベクトルdと平行な画素補正ベクトルu′[i,j]を求める。次に差分展開画像更新ステップS905では、実施例1と同様、画像処理装置110は、計算した画素補正ベクトルu′[i,j]の値を差分展開画像u′に書き込んでいく。なお、画素ループS901〜S906の処理は各々の画素で独立に計算できるため、並列処理をしても良い。
以降の処理(図6のステップS604〜S606)は実施例1と同様のため、説明は省略する。近似解として求められた展開画像f(*)は後段の画像出力ステップS503に入力される。ステップS503では、画像処理装置110は、式(16)に示すように操作Eを用いて、固定ノイズを低減した展開画像f(*)から焦点ぼけ画像群x (*),…,x (*)を生成する。
本実施例の特徴は、焦点ぼけ画像群を構成する各画像の対応画素に対して同じ補正係数を乗算するという制約の下、焦点ぼけ画像群全体の滑らかさを最大化するように、画素位
置ごとの輝度変更係数を最適化する点にある。なお、目的関数において、画像の滑らかさと逆の関係にある指標(例えば画像内での輝度の変動量など)を用い、「焦点ぼけ画像群全体の滑らかさを最大化」する代わりに「焦点ぼけ画像群全体での変動量の総和を最小化」してもよい。
以上述べたとおり、本実施例の方法を用いれば、焦点ぼけ画像群に含まれるイメージセンサに起因する乗法性の固定ノイズを高精度に低減することができる。このような固定ノイズが低減された焦点ぼけ画像群を利用すれば、焦点ぼけ画像群からフィルタ型方式で任意視点画像や任意焦点ぼけ画像を生成する際に問題となっていた画質の劣化を抑制することができる。
<実施例3>
実施例1,2では撮影時の焦点ぼけ画像群全体を最適化することで固定ノイズを低減する方法について説明した。しかし、焦点ぼけ画像群を構成する画像の枚数Mが増加するほど、焦点ぼけ画像群全体の最適化に必要な計算負荷(演算量やメモリ)が増加する。
従って、本実施例では、焦点ぼけ画像群を構成する画像から一部の画像を選択し、最適化することで固定ノイズを推定し、その後焦点ぼけ画像群全体から固定ノイズを低減する方法について述べる。本実施例の方法を用いれば、焦点ぼけ画像群を構成する画像の枚数Mが多数である場合でも計算負荷を抑え、高速に処理ができる。
(加法性の固定ノイズの低減)
図11は本実施例における固定ノイズ低減処理を示すフローチャートである。
はじめに、加法性の固定ノイズが加わった焦点ぼけ画像群全体から固定ノイズを低減する場合について説明する。なお、本実施例で述べる固定ノイズ低減処理においては、あらかじめ、乗法性の固定ノイズ低減か加法性の固定ノイズ低減を行うかをユーザに設定させ、その設定に従って、ステップS1101〜S1105の処理を行うとよい。
まず、画像入力ステップS1101では、画像処理装置110が、固定ノイズが加わった焦点ぼけ画像群y(k=1,…,M)を取得する。次に、画像選択処理ステップS1102では、画像処理装置110が、焦点ぼけ画像群y(k=1,…,M)のうちの一部のM枚(M>M>1)の画像を選択し、新たな焦点ぼけ画像群b∈RN×N(k=1,…,M)を生成する。本実施例では、焦点ぼけ画像群b(k=1,…,M)を入力画像として用いる。画像処理装置110は、操作Tを用いて焦点ぼけ画像群b(k=1,…,M)から展開画像gを生成する。詳細は後述する。
最適化処理ステップS1103では、画像処理装置110が、展開画像gから加法性の固定ノイズを低減した展開画像f(*)を求める。最適化処理ステップS1103の内部処理は実施例1と同じとなるため、説明は省略する。
推定固定ノイズ生成処理S1104では、画像処理装置110が、展開画像f(*)に対して操作Eを適用し、固定ノイズを低減した焦点ぼけ画像群a∈RN×N(k=1,…,M)を生成する。次に、画像処理装置110は、以下に示す式から推定固定ノイズn′∈RN×Nを生成する。
続いて、推定固定ノイズ補正処理S1105では、画像処理装置110が、式(45)
を用いて焦点ぼけ画像群y(k=1,…,M)から推定固定ノイズn′を取り除く。これにより、固定ノイズを低減した焦点ぼけ画像群x (*)が生成される。
(サンプリングによる選択)
続いて、画像選択処理ステップS1101の処理について述べる。
焦点ぼけ画像群y(k=1,…,M)から、ノイズ推定に用いる焦点ぼけ画像群b(k=1,…,M)を選択する方法には様々な方法がある。例えば最も簡単な例としては、予め決めた間隔でサンプリングする方法である。例えば、サンプリング間隔をspとした場合、以下の式に示す関係
により焦点ぼけ画像群bk(k=1,…,M)を生成することができる。ただし、MはM/sp以下の最大の整数である。例えば、M=64、sp=8とすると、M=8となり、焦点ぼけ画像群bk(k=1,…,M)は
となる。
なお、サンプリング間隔は均等でなくてもよく、不均等なサンプリングも可能である。本実施例で説明する固定ノイズ低減方法においては、図4Bで説明したように、焦点ぼけを伴うサンプリング位置を選択することが望ましい。
(サンプリングと加重平均)
またランダムノイズの影響を抑えるために、サンプリング間隔spで指定される位置の前後mp枚の画像に対して単純な平均や加重平均を求めた画像を生成し、その画像を固定ノイズ推定に用いても良い。その場合、焦点ぼけ画像群bkは、例えば、以下の式で求めることができる。
ただし、w(l)は加重平均の重みを表す係数であり、
とする。なお、式(46)の((k−1)・sp+l)modM+1は、1≦k・sp+l≦Mの範囲を外れた場合に巡回した位置を選択することを表す。
(合焦位置近傍の除外)
図4Bで述べた想定とは異なり、焦点ぼけ画像群のぼけ量が小さく、焦点ぼけ画像群の端でも被写体の像が十分にぼけていない場合がある。焦点ぼけ画像群の各画像において被
写体の像が同じような輝度で現れていると、最適化処理において被写体の像成分と固定ノイズ成分との区別が困難となり、結果的にステップS1104での推定固定ノイズの推定精度が低下する場合がある。
そのような場合、焦点ぼけ画像群y(k=1,…,M)を構成する画像のうち、被写体に合焦した位置の近傍の画像を除外することで、推定固定ノイズの推定精度を向上させることができる。そのため、ステップS1102では、焦点ぼけ画像群y(k=1,…,M)のうちから鮮鋭度が相対的に高い画像を除外する(又は鮮鋭度が相対的に低い画像を選択する)ことにより、焦点ぼけ画像群b(k=1,…,M)を生成すると良い。
例えば、合焦位置近傍の画像の値が低くなるような以下の関数
を定め、Sel(k)の値が所定の閾値sth以上となる複数の画像yを選択し、焦点ぼけ画像群b(k=1,…,M)を生成する。なお、式(47)において、std(y)は画像yの標準偏差を求める関数、αはSel(1)〜Sel(M)の合計を1とするための定数、β(>0)は関数パラメータである。
Sel(k)の値が閾値sth以上となる複数の画像yに対して、前述のサンプリング間隔を定めて選択する手法や加重平均を求めて選択する手法を適用することで、固定ノイズ推定に用いる焦点ぼけ画像群の枚数をさらに減らしても良い。
(乗法性の固定ノイズの低減)
次に、乗法性の固定ノイズが加わった焦点ぼけ画像群全体から固定ノイズを低減する場合について説明する。前述のとおり、あらかじめ、乗法性の固定ノイズ低減か加法性の固定ノイズ低減を行うかをユーザに設定させ、その設定に従って、ステップS1101〜S1105の処理を行うとよい。
ステップS1101およびS1102の処理は加法性ノイズを低減する場合と同一であるため省略する。最適化処理ステップS1103では、画像処理装置110は、実施例2で述べた乗法性の固定ノイズの低減を行う。推定固定ノイズ生成処理ステップS1104では、画像処理装置110は、以下の式に示す計算を用い、固定ノイズのノイズ源の推定値v′∈RN×Nを求める。
ただし、n (ave)は推定する乗法性の固定ノイズの平均値、a(ave)は固定ノイズ低減後の焦点ぼけ画像群a(k=1,…,M)の平均画像で、それぞれ以下の式から求める。
あるいは式(48)の代わりに、以下の式を用いて固定ノイズのノイズ源の推定値v′を求めてもよい。以下の式は、輝度変更後の画像と輝度変更前の入力画像との比に基づいて乗法性の固定ノイズのノイズ源を推定することを意味する。
推定固定ノイズ補正処理ステップS1105では、画像処理装置110は、以下の式に示す計算を用いて乗法性の固定ノイズを低減する。
なお、以下の式を用いて乗法性の固定ノイズを低減しても良い。
本実施例で述べた方法を用いれば、焦点ぼけ画像群の枚数が増加した場合に計算負荷を抑えた固定ノイズの低減処理ができる。そのため、計算資源の限られた画像処理装置や専用演算装置でも固定ノイズ低減処理を行うことができる。また焦点ぼけ画像群での焦点ぼけが十分でない場合には一部の画像を除外することで固定ノイズの推定精度を高めることもできる。
また本実施例では、被写体の異なる複数の焦点ぼけ画像群から複数の推定固定ノイズを生成し、前記の複数の推定固定ノイズからさらに精度を高めた推定固定ノイズを生成することも可能である。精度の高い推定固定ノイズを用いて推定固定ノイズ補正処理(図11のステップS1105)を行えば、より高画質な焦点ぼけ画像群が生成できる。
<実施例4>
実施例2では固定ノイズ低減処理における乗法性の固定ノイズを低減するための最適化処理の実現方法について説明した。本実施例では実施例2と異なる方法で乗法性の固定ノイズを低減する方法について説明する。なお、本実施例では表記の簡略化のため、乗法性の固定ノイズ(v)i,jの標準偏差σをσと記す。
固定ノイズが乗法性のノイズの場合、画像に対する適切な階調変換を施すことで、乗法
性のノイズを加法性のノイズに近づけることができる。階調変換としては、例えば、対数変換、Anscomb変換などが適用できる。本実施例では一例として対数変換を用いる処理を説明する。
式(38)および式(39)から乗法性の固定ノイズが加わった焦点ぼけ画像群y,…,yは以下の式で表現できる。
式(51)の両辺の対数をとると、以下の式が導ける。
すなわち、焦点ぼけ画像群の対数をとることで、乗法性の固定ノイズは加法性のノイズとして扱うことができる。
図12は本実施例における固定ノイズ低減処理を示すフローチャートである。図12を用いて本実施例の処理を説明する。
まず、画像入力ステップS1201では、画像処理装置110が、焦点ぼけ画像群y,…,yを入力し、操作Tを用いて展開画像gを生成する。輝度変換ステップS1202では、画像処理装置110が、展開画像gの各画素の輝度に対数変換を行い、展開画像gを求める。
次に、最適化処理ステップS1203では、画像処理装置110は、実施例1の最適化処理ステップS502と同様の処理を行い、展開画像gから加法性の固定ノイズを低減した展開画像f (*)を求める。ただし、本実施例では、初期値設定ステップS601において、εの値として輝度変換後の固定ノイズのL2ノルムに相当する値を設定する(例えば、ε=(N(M)1/2)σ)。log(1+x)はxが0に近いとき、xに近似できるためである。
次に、輝度逆変換ステップS1204では、画像処理装置110は、展開画像f (*)の各画素の輝度に対数変換の逆変換である指数関数を適用し、展開画像f(*)を求める。最後に画像出力ステップS1205では、画像処理装置110は、式(16)に示すように操作Eを用いて、展開画像f(*)から固定ノイズを低減した焦点ぼけ画像群x (*),…,x (*)を生成する。
以上の処理により、乗法性の固定ノイズを低減することができる。
続いて、乗法性の固定ノイズを精度良く低減する乗法性の固定ノイズ低減方法について説明する。
(対数変換によるノイズの平均、分散の変化)
画素毎の乗法性の固定ノイズ(v)i,jをwで表すと、式(52)の右辺の第二項はlog(1+w)と表せる。wが0に十分近い、即ちwの標準偏差σが0に十分近い場合、log(1+w)はマクローリン展開による1次近似式(log(1+w)=w)で十分近似できるため、輝度を対数変換した後の固定ノイズは平均0、分散σのままで変化しないと見なせる。そのため、前述のように加法性の固定ノイズ低減手法がそのまま適用できる。
しかし、wが0から離れるにつれて、画像の輝度を対数変換した後に得られる加法性の
固定ノイズ、すなわち、log(1+w)の平均および分散は上記の近似から離れ、平均0、分散σのノイズとして見なせなくなる。その結果、固定ノイズ低減性能は低下する。
階調変換を適用した後のノイズの平均・分散は、元のノイズの確率密度分布および階調変換の式によって決まる。イメージセンサの乗法性の固定ノイズ(w)は画素毎の画素感度ばらつき(PRNU)に起因し、その確率密度分布は平均0、分散σの正規分布N(0,σ)で表せることが知られている。しかし、乗法性の固定ノイズ(w)の確率密度分布が正規分布であるとき、入力画像の輝度を対数変換した後の固定ノイズに相当する成分、即ち、log(1+w)の平均や分散を解析的に求めることは難しい。そのため、マクローリン展開を用いて平均や分散の近似値を求めることが有効である。
log(1+w)のマクローリン展開によるN次近似の式は
(ただし、|w|<1)
で表され、Nの数を大きくすることでより精度の高い近似が得られる。
表1に、wの確率密度分布が正規分布N(0,σ)に従う場合の、マクローリン展開による1次〜4次の近似式を使って求めたlog(1+w)の平均μ、分散σ の近似値(μta、σta )を示す。
(表1では、確率変数WがN(0,σ)に従うとき、確率変数Wのn次モーメント(Wの期待値)E[W]は、nが奇数のとき0、nが偶数のときσ(n−1)・(n−3)・…・3・1となる式を用いて、各次数での平均と分散の近似式を求めた。)
当然、次数Nを大きくするほど精度は高まるが、実用上は標準偏差σ=0.2程度で十分近似できる次数Nを用いれば問題はない。(乗法性の固定ノイズが正規分布で表現できるのは1+wのほとんど全てが正に収まる、即ちσ≦0.2程度に収まる場合である。)そのため、予め、計算や実験等により十分な精度が得られる近似次数Nを求めるとよい。
例えば、次数NをN+1に更新したときの平均の近似値(μta)、および分散の近似値(σta )のそれぞれにおける差が所定の閾値以下になる次数NをNとする。ある
いは、後述する乗法性の固定ノイズの低減処理フローを用いて多数の画像を用いたシミュレーションを行い、実験的にNを定めてもよい。具体的には次数NとN+1での平均・分散の近似値を用いて固定ノイズを低減したときに画質の差が知覚できないレベルに収まる次数NをNと定める。
そして、N次の平均μtaと分散σta を求める標準偏差σに関する多項式(例えば表1のような式)を画像処理装置110中のプログラムとして実装する。そうすれば、入力画像に含まれる乗法性の固定ノイズの標準偏差σ(あるいは分散σ)から、対数変換後の固定ノイズ(log(1+w))の平均と分散の近似値を求めることができる。
(平均シフト分の補正)
ここで注意すべき点として、表1に示すように、2次以上の近似では対数変換後の固定ノイズの平均は0ではなくなるという現象がある。そのため、従来の加法性のノイズを低減する最適化処理を用いると、閉凸集合C(対数変換して得られた展開画像gを中心とするL2ノルム球)内には固定ノイズを低減した解は見つからず、適切にノイズが低減できない場合が発生する。
これに対し、本実施例で述べた加法性のノイズ低減方式を適用して固定ノイズを低減するには、対数変換後に平均μのずれを補正することで変換後の平均を0に補正する階調変換を用いる方法が考えられる。具体的には、乗法性の固定ノイズが加わった焦点ぼけ画像群の各画素の輝度に対して、
で表される階調変換fを適用することで実現できる。μは乗法性の固定ノイズの標準偏差σに基づく値であるため、式(54)は対数変換した輝度から、輝度に依存しないバイアス成分を減算する処理を表す。
乗法性の固定ノイズが加わった焦点ぼけ画像群に前記階調変換fを適用すると以下の式(55)が得られる。
式(55)において、右辺の第一項を除く部分、即ち、log(1+w)−μを新たな固定ノイズと見なせば、階調変換f適用後の固定ノイズは平均0、分散σ を持つ加法性の固定ノイズに変換されることが分かる。従って、その後の加法性の固定ノイズ低減処理(最適化処理S1203)において、閉凸集合CのL2ノルム球の半径εをε=(N(M)1/2)σとすれば、展開画像gを中心とするL2ノルム球に解が見つかり、適切に固定ノイズが低減できる。なお、平均μ、標準偏差σはそれぞれ次数Nでのμta、σtaを用いる。
一方、最適化処理S1203の後の輝度逆変換S1204では、各画素の輝度に対数変換の逆変換である指数関数を適用すればよく、バイアス成分μに関する処理は不要である。なぜなら、最適化処理S1203で既に固定ノイズは低減されており、逆変換による固定ノイズの平均、分散の変化を考慮する必要はないためである。
上記の処理により、乗法性の固定ノイズwが十分0に近くない場合でも、実施例1で述べた加法性の固定ノイズ低減処理を適用して精度良く固定ノイズが低減できる。
(性能を改善した乗法性固定ノイズの低減処理フロー)
続いて、図12を用いて、性能を改善した乗法性の固定ノイズの低減処理を説明する。
まず、初期設定ステップ(不図示)において、十分な精度で近似できる次数Nでの対数変換後の固定ノイズの平均μと分散σ の各々のσに関する多項式から、各々の近似値μta、およびσta を求める。前記の近似値は、前述のように画像処理装置110中のプログラムを用いて、入力画像の乗法性固定ノイズの標準偏差σから容易に計算できる。
続く、画像入力ステップS1201では、画像処理装置110は焦点ぼけ画像群y,…,yを入力し、操作Tを用いて展開画像gを生成する。
次に、輝度変換ステップS1202では、画像処理装置110は展開画像gの各画素の輝度に対し、式(54)で示す階調変換fを適用し、展開画像gを生成する。
次に、最適化処理ステップS1203では、画像処理装置110は展開画像gから加法性の固定ノイズを低減した展開画像f (*)を求める。このとき、最適化処理ステップ内の初期値設定ステップS601において、εの値として階調変換f適用後の固定ノイズのL2ノルムに相当する値を設定する。具体的にはε=(N(M)1/2)σtaとなる。
次に、輝度逆変換ステップS1204では、画像処理装置110は、展開画像f (*)の各画素の輝度に対数変換の逆変換である指数関数を適用し、展開画像f(*)を求める。
最後に、画像出力ステップS1205では、画像処理装置110は、式(16)に示すように操作Eを用いて、展開画像f(*)から固定ノイズを低減した焦点ぼけ画像群x (*),…,x (*)を生成する。
なお、これまで乗法性の固定ノイズwの確率密度分布が正規分布で表現できる場合について説明したが、それ以外の分布で表現される場合にも適用可能である。例えば、乗法性のノイズwの確率密度分布がガンマ分布で表現できる場合、対数変換後のノイズの平均や分散の解析的な解が求まることが知られている。その場合、初期設定ステップ(不図示)では解析的に平均μと分散σ を求める式を用いて解析的な解を計算すればよい。
なお、入力画像データの輝度が0となる場合には対数変換は適用できないが、画像の入出力処理に追加の例外処理を導入することで対処できる。例えば、画像入力ステップS1201において画像処理装置110内で輝度が0の画素に対してはその画素位置情報を記憶するとともに、輝度を1に変更する。(輝度0から1への変更は微小であるため、画質への影響はほとんどない。)また、画像出力ステップS1205では前記の画素位置情報を参照し、該当する画素の輝度を0に変更する。(輝度が0の場合、乗法性のノイズも0となるため、0への変更は合理的である。)
なお、本実施例の手法を用いれば、加法性や乗法性以外の固定ノイズが存在しても低減できる。例えば、固定ノイズの分散σが平均輝度となるポアソンノイズの場合には、分散安定化変換(variance−stabilizing transformation)の一種であるAnscombe transformを適用する。これによりポアソンノイズを加法性のノイズとして扱える。輝度変換ステップS1202では、画像処理装置110は、展開画像gの各画素の輝度に以下の変換式を適用し、展開画像gを求める。
また、輝度逆変換ステップS1204では、画像処理装置110は、展開画像f (*)の各画素の輝度に以下の逆変換式を適用し、展開画像f(*)を求める。
この場合、最適化処理の中の初期値設定ステップS601ではεの値として輝度変換後の固定ノイズのL2ノルムに相当する値を設定する(例えば、ε=N(M)1/2)。Anscombe transformでは輝度変換後のポアソンノイズの標準偏差は1となるためである。
<実施例5>
これまでの実施例では、焦点ぼけ画像群から固定ノイズを低減する方法について説明した。しかし、本発明の適用対象は必ずしも焦点ぼけ画像群に限定されず、動画像データにも適用可能である。
複数枚からなる画像群の同一の画素位置で被写体の像の画像成分(例えばテクスチャ)が大きく変化するならば、被写体の像の画像成分を打ち消す輝度変更は必ずしも画像群全体の滑らかさを向上させることにはならないため、固定ノイズの低減が可能である。
図13A、図13Bに本実施例の固定ノイズ低減処理を用いて固定ノイズの低減が可能な動画像データの一例を示す。
図13Aはカメラを固定して撮影した泳ぐ魚の動画を構成する一部の画像群を示している。背景には海や水槽の水が映っている。画像の左にあるt=0,t=1,t=2は撮影時刻の違いを表しており、魚が水中を移動している。図13Bは時間とともにカメラを動かして、静止物体である花を撮影した動画を構成する一部の画像群を示している。背景は空である。t=0,t=1,t=2は撮影時刻の違いを表し、画像ごとに花の位置が変化している。図示しないがいずれの動画像データも3枚の画像(フレーム)だけでなく、時間変化する多数枚(M枚)の画像(フレーム)から構成されている。領域毎に見れば、図4Bで示した焦点ぼけ画像群の場合と同様に、少数の鮮鋭度の高い画像と多数の滑らかな画像から構成されることになる。また仮に、複数枚からなる画像群の中に鮮鋭度の高い画像が複数存在しても全く異なる被写体の像となる。上述のような画像群に対しても実施例1〜4で述べた固定ノイズ低減処理は適用できる。
以下、実施例1で説明した固定ノイズ低減処理を適用する場合について説明する。
画像処理装置110は、撮像装置120や記憶装置113、他のコンピュータシステム114から動画像データy∈RN×N(t=1,…,M)を取得することが可能である。画像処理装置110は、RAM302やROM303に格納されている固定ノイズ低減処理プログラムを用いて固定ノイズ低減処理を実行する。
以下、図5のフローチャートを用いて動画像データy,…,yから固定ノイズを低減する処理を説明する。
画像入力ステップS501では、画像処理装置110が、イメージセンサの固定ノイズが加わった動画像データy,…,yを入力画像として取得し、操作Tを用いて展開画像gを求める。次に、最適化処理ステップS502では、画像処理装置110が、展開画像gから加法性の固定ノイズを低減した展開画像f(*)を求める。最後に、画像出力ステップS503では、画像処理装置110は、操作Eを用いて、展開画像f(*)から固定ノイズを低減した動画像データx (*),…,x (*)を生成する。
動画像データでは時間方向の画像の枚数(フレーム数)Mが非常に大きくなるため、所定の時間毎又は所定のフレーム数毎に動画像データを区切り、それぞれを入力画像として、独立に固定ノイズ低減処理を行っても良い。
また実施例3で説明した図11に示す固定ノイズ低減処理を適用しても良い。その場合、一部の画像を選択して推定固定ノイズを生成し、全体の動画像データから推定固定ノイズを低減するため、計算負荷を低減することができる。また実施例2で説明した固定ノイズ低減処理を適用することで、乗法性の固定ノイズを低減することもできる。
以上述べた本実施例で述べる固定ノイズ低減処理を用いれば、動画像データに含まれる固定ノイズを低減することができる。
<他の実施例>
上述した実施例1〜5は本発明の一具体例を示したものにすぎず、本発明の範囲をそれらの実施例の構成に限定する趣旨のものではない。各実施例の構成を適宜変更してもよいし、技術的な矛盾のない限り、実施例同士を組み合わせてもよい。
また、実施例1〜5で述べた固定ノイズ低減処理において、焦点ぼけ画像群や動画像データを構成する画像を複数のブロックに分割し、各ブロックで固定ノイズ低減処理を並列に行うことができる。これによって処理が高速化できる。
また実施例1〜5では焦点ぼけ画像群や動画像データが1チャネルからなる場合についてのみ説明したが、複数の色チャネルからなるカラー画像(例えばRGB)の場合にも適用可能である。例えば、色チャネルごとに固定ノイズ低減処理を適用することが可能である。また実施例2では、標準偏差が輝度に比例する乗法性の固定ノイズを低減する場合についてのみ説明したが、方向ベクトルdとして輝度ではなく、輝度を階調変換した値を用いることで、様々な種類の固定ノイズの低減に対応できる。例えば、方向ベクトルdの要素として輝度ではなく、輝度の平方根を用いれば、固定ノイズの分散が輝度に比例するような固定ノイズの低減にも対応できる。
また、実施例1や実施例2の初期値設定ステップS601で用いる初期値に、実施例3で計算した、固定ノイズを低減した焦点ぼけ画像群および前記から計算したデータを設定しても良い。その場合には、計算負荷を抑えつつ、かつ精度の良い固定ノイズの低減が実現できる。また、実施例3に限らず、他の固定ノイズ低減手法で固定ノイズを低減した焦点ぼけ画像群および前記から計算したデータを、初期値設定ステップS601の初期値に設定しても良い。
本発明は、上記実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
110:画像処理装置
207:撮像部

Claims (23)

  1. コンピュータが、同一のイメージセンサで撮像することで取得された複数の入力画像のデータを取得する入力ステップと、
    コンピュータが、逐次近似法を用いた反復計算によって、前記複数の入力画像の画質を全体的に向上させる、各入力画像に対する輝度変更の最適解を求める最適化処理ステップと、
    を有し、
    前記最適化処理ステップでは、各入力画像の同じ位置の画素に対して共通の輝度変更を行うという制約の下で、各入力画像の画素ごとの輝度変更の最適解が求められる
    ことを特徴とする画像処理方法。
  2. 前記複数の入力画像のデータは、撮像光学系の光軸方向に焦点位置を異ならせて被写体を撮像することで取得された複数の画像のデータである
    ことを特徴とする請求項1に記載の画像処理方法。
  3. 前記撮像光学系は、両側テレセントリック光学系である
    ことを特徴とする請求項2に記載の画像処理方法。
  4. 前記撮像光学系は、顕微鏡を構成する光学系である
    ことを特徴とする請求項2又は3に記載の画像処理方法。
  5. 前記複数の入力画像のデータは、動画像を構成する複数のフレームのデータである
    ことを特徴とする請求項1に記載の画像処理方法。
  6. 前記制約は、各入力画像の同じ位置の画素の輝度に対して同じ値を加算又は減算するという制約である
    ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理方法。
  7. 前記制約は、各入力画像の同じ位置の画素の輝度に対して同じ値を乗算又は除算するという制約である
    ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理方法。
  8. コンピュータが、各入力画像の各画素の輝度を階調変換する輝度変換ステップをさらに有し、
    前記最適化処理ステップでは、前記輝度変換ステップで階調変換された入力画像を用いて輝度変更の最適解が求められる
    ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理方法。
  9. 前記輝度変換ステップは、各入力画像の各画素の輝度を対数変換するステップを有することを特徴とする請求項8に記載の画像処理方法。
  10. 前記輝度変換ステップは、対数変換された各入力画像の各画素の輝度を、前記イメージセンサの乗法性の固定ノイズの標準偏差に基づく値で補正するステップをさらに有する
    ことを特徴とする請求項9に記載の画像処理方法。
  11. 前記最適化処理ステップでは、各入力画像の同じ位置の画素に対して共通の輝度変更を行うという制約に加え、前記複数の入力画像に対する輝度変更の総量が所定値をこえないという制約の下で、各入力画像の画素ごとの輝度変更の最適解が求められる
    ことを特徴とする請求項1〜6のうちいずれか1項に記載の画像処理方法。
  12. 前記最適化処理ステップでは、前記所定値が、前記複数の入力画像の輝度に応じて設定される
    ことを特徴とする請求項11に記載の画像処理方法。
  13. 前記最適化処理ステップにおける逐次近似法では、前記複数の入力画像の画質が全体的に向上したかどうかを評価する指標を含む目的関数を用いる
    ことを特徴とする請求項1〜12のうちいずれか1項に記載の画像処理方法。
  14. 前記指標は、輝度変更後の画像の滑らかさを表す指標である
    ことを特徴とする請求項13に記載の画像処理方法。
  15. 前記指標は、輝度変更後の画像における各画素の輝度の微分の絶対値の積分を含む指標である
    ことを特徴とする請求項13に記載の画像処理方法。
  16. 前記指標は、輝度変更後の画像における各画素の輝度の1次よりも高次の微分の絶対値の積分を含む指標である
    ことを特徴とする請求項13に記載の画像処理方法。
  17. コンピュータが、前記最適化処理ステップで求められた最適解としての輝度変更を施した輝度変更後の画像と、輝度変更前の前記入力画像との差または比に基づいて、前記入力画像の各画素の輝度に含まれている前記イメージセンサに起因する固定ノイズを推定するステップをさらに有する
    ことを特徴とする請求項1〜16のうちいずれか1項に記載の画像処理方法。
  18. コンピュータが、前記イメージセンサで撮像された画像から、前記推定された固定ノイズを差し引くことにより、前記イメージセンサに起因する固定ノイズが低減された画像を生成するステップをさらに有する
    ことを特徴とする請求項17に記載の画像処理方法。
  19. 前記入力ステップでは、前記イメージセンサで撮像することで取得されたM枚の画像のうちからM枚(M>M>1)の画像を選択し、前記選択されたM枚の画像を前記複数の入力画像とする
    ことを特徴とする請求項1〜18のうちいずれか1項に記載の画像処理方法。
  20. 前記入力ステップでは、M枚の画像のうちから鮮鋭度が相対的に高い画像を除外し、又は、M枚の画像のうちから鮮鋭度が相対的に低い画像を選択することにより、M枚の画像を選択する
    ことを特徴とする請求項19に記載の画像処理方法。
  21. 前記最適化処理ステップでは、逐次近似法で用いる初期値に、前記複数の入力画像から前記イメージセンサに起因する固定ノイズを予め低減した複数の画像を設定する
    ことを特徴とする請求項1〜20のうちいずれか1項に記載の画像処理方法。
  22. 請求項1〜21のうちいずれか1項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
  23. 同一のイメージセンサで撮像することで取得された複数の入力画像のデータを取得する入力手段と、
    逐次近似法を用いた反復計算によって、前記複数の入力画像の画質を全体的に向上させる、各入力画像に対する輝度変更の最適解を求める最適化処理手段と、
    を有し、
    前記最適化処理手段は、各入力画像の同じ位置の画素に対して共通の輝度変更を行うという制約の下で、各入力画像の画素ごとの輝度変更の最適解を求める
    ことを特徴とする画像処理装置。
JP2016148730A 2015-11-12 2016-07-28 画像処理装置および画像処理方法 Active JP6661491B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/336,976 US10419698B2 (en) 2015-11-12 2016-10-28 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015222001 2015-11-12
JP2015222001 2015-11-12

Publications (2)

Publication Number Publication Date
JP2017098933A JP2017098933A (ja) 2017-06-01
JP6661491B2 true JP6661491B2 (ja) 2020-03-11

Family

ID=58817547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016148730A Active JP6661491B2 (ja) 2015-11-12 2016-07-28 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP6661491B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6908277B2 (ja) * 2018-02-16 2021-07-21 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法、画像処理装置の制御プログラム並びに記録媒体
CN117784388B (zh) * 2024-02-28 2024-05-07 宁波永新光学股份有限公司 一种基于相机响应曲线的高动态范围金相图像生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4859516B2 (ja) * 2006-04-27 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像復元方法
US8494305B2 (en) * 2011-12-20 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Image filtering by sparse reconstruction on affinity net
JP2014090401A (ja) * 2012-10-05 2014-05-15 Canon Inc 撮像システム及びその制御方法
US9262810B1 (en) * 2014-09-03 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Image denoising using a library of functions

Also Published As

Publication number Publication date
JP2017098933A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
JP6957197B2 (ja) 画像処理装置および画像処理方法
JP6598660B2 (ja) 画像処理装置および画像処理方法
JP4799428B2 (ja) 画像処理装置及び方法
JP5331816B2 (ja) 画像補正装置及び画像補正方法
US20070172141A1 (en) Image conversion device, image conversion method, and recording medium
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
JP5615393B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017010092A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10419698B2 (en) Image processing apparatus and image processing method
Chan et al. A multiplicative iterative algorithm for box-constrained penalized likelihood image restoration
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010034696A (ja) 解像度変換装置、方法およびプログラム
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2015108837A (ja) 画像処理装置及び画像処理方法
JP6661491B2 (ja) 画像処理装置および画像処理方法
CN110390659B (zh) 应用于明视野显微镜的全聚焦图像成像方法和装置
JP6541454B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JPWO2016098323A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5493191B2 (ja) 画像復元装置および画像復元方法
CN103618904B (zh) 基于像素的运动估计方法及装置
JP5761988B2 (ja) 画像処理装置、画像処理方法
JP5447867B2 (ja) 画像復元装置および画像復元方法
Xian et al. Depth-from-defocus: Blur equalization technique
Mahmood et al. Measuring focus quality in vector valued images for shape from focus

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200212

R151 Written notification of patent or utility model registration

Ref document number: 6661491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151