JP6249759B2 - 画像処理方法、画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、与えられた画像からスパースコーディングにより新たに画像を生成する画像処理技術に関する。

既知の画像内における任意の部分領域の画素値分布から、該部分領域の画素値の平均値（ＤＣ成分）を減算した成分（ＡＣ成分）を、未知の画像のうち上記部分領域に対応する部分領域のＡＣ成分に変換する技術を用いて様々な画像処理が行われている。

例えば、非特許文献１にて開示された画像処理方法を用いると、ノイズを含む劣化画像からノイズが除去された原画像を生成するノイズ除去処理を行うことができる。具体的には、まず劣化画像において任意に抽出された小領域（以下、抽出領域という）のＡＣ成分から、原画像のうち該抽出領域に対応する小領域（以下、対応領域という）のノイズが含まれていないＡＣ成分を推定する。次に、劣化画像内の抽出領域のＤＣ成分と推定されたＡＣ成分とを足し合わせることで、原画像内の対応領域における画素値分布を推定する。そして、以上の処理を劣化画像の全面に対して行うことでノイズが除去された原画像を生成する。

また、非特許文献２にて開示された画像処理方法を用いると、高解像度画像から画素を間引く等の劣化処理により生成された低解像度画像（劣化画像）から、劣化処理前の高解像度画像を求める超解像処理を行うことができる。具体的には、まず、低解像度画像にニアレストネイバー法等の補間処理を行い、高解像度の中間画像を生成する。この中間画像は、補間処理の影響で平滑化されているため、次に中間画像における任意の抽出領域のＡＣ成分から、高解像度画像における対応領域の平滑化されていないＡＣ成分を推定する。次に、中間画像における抽出領域のＤＣ成分と推定されたＡＣ成分とを足し合わせることで、高解像度画像における対応領域の画素値分布を推定する。そして、以上の処理を中間画像の全面に対して行うことで超解像処理がなされた高解像度画像を生成する。これら非特許文献１，２に開示された画像処理方法は、劣化前後の学習用画像から抽出した複数の小領域のＡＣ成分から辞書学習により予め生成された基底を用いる。このような画像処理方法は、スパース表現に基づく画像処理方法もしくは、以下の説明でも用いるスパースコーディングと呼ばれている。なお、基底とは、辞書学習の結果生成される複数の小領域を要素とする集合である。また、学習用画像とは、辞書学習により基底を生成するための画像である。

Michael Elad、Michal Aharon著、「Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries」、Transactions on Image Processing、アメリカ合衆国、IEEE、2006、Vol.15、Issue12、p.3736-3745 Jianchao Yang、Zhaowen Wang、Zhe Lin、Scott Cohen、Thomas Huang著、「Coupled Dictionary Training for Image Super-Resolution」、Transactions on Image Processing、アメリカ合衆国、IEEE、2012、Vol.21、Issue8、p.3467-3478

非特許文献１，２にて開示されたスパースコーディングは、入力画像である劣化画像や中間画像における抽出領域のＤＣ成分と、出力画像である原画像や高解像度画像の対応領域のＤＣ成分とが同じであることを前提とする。このため、この前提が成り立つ問題においては、入力画像から精度良く出力画像を生成することができる。

しかしながら、この前提が成り立たない場合も多く存在する。例えば、ある色に染色された病理標本の画像から他の色に染色された病理標本の画像に色変換を行う場合や、部分コヒーレント結像系を用いた未知の標本の撮像により生成された標本画像から該標本の透過光の複素振幅分布を求める場合である。これらの場合、入力画像における抽出領域のＤＣ成分と出力画像の対応領域のＤＣ成分とが同じではないため、非特許文献１，２にて開示されたスパースコーディングをそのまま適用することはできない。

本発明は、入力画像から出力画像内のＤＣ成分を正確に求めることができる画像処理方法を提供する。

本発明の一側面としての画像処理方法は、第１の画像からスパースコーディングを用いて第２の画像を生成するために適用される。該画像処理方法は、画像内の部分領域における画素値の平均値をＤＣ成分といい、該部分領域での画素値分布から前記ＤＣ成分を減算した成分をＡＣ成分というとき、第１の画像から生成される中間画像であって、該中間画像内の部分領域における複数の画素値の差分がその部分領域に対応する第１の画像内の部分領域におけるＤＣ成分と等しくなる画素値分布を有する処理用中間画像を生成し、処理用中間画像内にて抽出した第１の部分領域におけるＡＣ成分と、辞書学習により生成された基底とを用いて、第２の部分領域のＡＣ成分を求める第１の処理を行い、第２の部分領域での複数の画素値の差分を、第２の画像のうち第２の部分領域に対応する部分領域におけるＤＣ成分として求める第２の処理を行い、処理用中間画像内において第１の部分領域を抽出する場所を変更しながら第１および第２の処理を反復して行うことにより、第２の画像内の複数の部分領域におけるＤＣ成分を求めることを特徴とする。

また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、第１の画像からスパースコーディングを用いて第２の画像を生成する画像処理を実行させる。画像内の部分領域における画素値の平均値をＤＣ成分といい、該部分領域での画素値分布からＤＣ成分を減算した成分をＡＣ成分というとき、画像処理は、第１の画像から生成される中間画像であって、該中間画像内の部分領域における複数の画素値の差分がその部分領域に対応する第１の画像内の部分領域におけるＤＣ成分と等しくなる画素値分布を有する処理用中間画像を生成し、処理用中間画像内にて抽出した第１の部分領域におけるＡＣ成分と、辞書学習により生成された基底とを用いて、第２の部分領域のＡＣ成分を求める第１の処理を行い、第２の部分領域での複数の画素値の差分を、第２の画像のうち第２の部分領域に対応する部分領域におけるＤＣ成分として求める第２の処理を行い、処理用中間画像内において第１の部分領域を抽出する場所を変更しながら第１および第２の処理を反復して行うことにより、第２の画像内の複数の部分領域におけるＤＣ成分を求めることを特徴とする。

なお、上記画像処理プログラムを記憶した、コンピュータにより読み取り可能な記憶媒体も、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像処理装置は、第１の画像からスパースコーディングを用いて第２の画像を生成する。該画像処理装置は、画像内の部分領域における画素値の平均値をＤＣ成分といい、該部分領域での画素値分布から前記ＤＣ成分を減算した成分をＡＣ成分というとき、第１の画像から生成される中間画像であって、該中間画像内の部分領域における複数の画素値の差分がその部分領域に対応する第１の画像内の部分領域におけるＤＣ成分と等しくなる画素値分布を有する処理用中間画像を生成する手段と、処理用中間画像内にて抽出した第１の部分領域におけるＡＣ成分と、辞書学習により生成された基底とを用いて、第２の部分領域のＡＣ成分を求める第１の処理を行う手段と、第２の部分領域での複数の画素値の差分を、第２の画像のうち第２の部分領域に対応する部分領域におけるＤＣ成分として求める第２の処理を行う手段とを有し、処理用中間画像内において第１の部分領域を抽出する場所を変更しながら第１および第２の処理を反復して行うことにより、第２の画像内の複数の部分領域におけるＤＣ成分を求めることを特徴とする。

本発明によれば、入力画像である第１の画像から出力画像である第２の画像内の部分領域のＤＣ成分を正確に求めることができる。

そして、本発明を用いれば、ある色で染色された病理標本の画像を他の色で染色された画像に色変換したり、部分コヒーレント結像系を用いた未知の標本の撮像により生成された標本画像から標本を透過した光の複素振幅分布を求めたりすることができる。

本発明の実施例１である画像処理システムの構成を示すブロック図。 実施例１における画像処理方法の手順を示すフローチャート。 実施例１の画像処理方法の応用例である実施例２を示すフローチャート。 実施例１の画像処理方法の応用例である実施例３を示すフローチャート。 実施例３の補足説明の手順を示すフローチャート。 実施例２の結果を示す図。 従来技術との組み合わせにより得られた結果を示す図。 実施例２の結果を示す図。 実施例２の結果を示す図。 従来技術の組み合わせにより得られた結果を示す図。 実施例１における原画像と中間画像の関係を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理システムの構成を示す。画像処理システム１００は、画像処理装置１０１と、画像入力部１０２と、画像出力部１０３と、バス配線１０４により構成されている。画像処理装置１０１は、画像入力部１０２および画像出力部１０３と、バス配線１０４を介して相互に接続されている。

画像入力部１０２は、デジタルカメラやスライドスキャナ等により構成され、入力画像を画像処理装置１０１に入力する。なお、スライドスキャナとは、病理診断のための病理標本画像取得装置である。画像入力部１０２としては、デジタル画像データを保持するＵＳＢメモリやＣＤ−ＲＯＭ等の記憶媒体から入力画像を読み出すＣＤ−ＲＯＭドライブやＵＳＢインターフェース等のインターフェース機器で構成してもよい。また、入力画像とは、輝度値の２次元配列データを持つモノクロ画像もしくはＲＧＢの色ごとに輝度値の２次元配列データを持つカラー画像である。なお、カラー画像を表す色空間はＲＧＢに限らず、例えばＹＣｂＣｒでもＨＳＶでもよい。

画像出力部１０３は、液晶ディスプレイ等の表示機器で構成され、出力画像を画像処理装置１０１から出力する。また、画像出力部１０３を、ＣＤ−ＲＯＭドライブやＵＳＢインターフェース等のインターフェース機器で構成し、出力画像をＵＳＢメモリやＣＤ−ＲＯＭ等の記憶媒体に書き出してもよい。また、画像出力部１０３を、ＨＤＤ等の記憶装置で構成し、出力画像を記憶してもよい。また、これら３つの画像出力装置のいずれかを兼ね備えた画像出力部を構成してもよい。

画像処理装置１０１は、コンピュータにより構成され、制御部や処理部としてのＣＰＵや一時記憶部であるＲＡＭや入力部であるキーボード等を含む（ただし、これらの図示は省略する）。画像処理装置１０１は、インストールされたコンピュータプログラムである画像処理プログラムに従って以下に説明する画像処理を実行する。

図２のフローチャートには、画像処理装置１０１が行う画像処理（画像処理方法）の手順を示している。この画像処理は、既知の入力画像である第１の画像からスパースコーディングを用いて未知の出力画像である第２の画像を生成する処理であり、特に第２の画像の任意の場所の部分領域（以下、小領域という）における画素値の平均値であるＤＣ成分を求める処理である。本実施例では、第１の画像と第２の画像のサイズは同じであるとする。第１および第２の画像や小領域のサイズは、縦方向の画素数ｐと横方向の画素数ｑとを用いてｐ×ｑで表される。また、本実施例では、第１の画像がモノクロ画像である場合について説明するが、第１の画像がカラー画像である場合はＲＧＢ等の色ごとに以下の処理を行えばよい。

ステップＳ２０１では、画像処理装置１０１は、後述する第１および第２の基底を生成するために用いる第１の学習用画像と第２の学習用画像を準備する。第１および第２の学習用画像は、入力画像である第１の画像および出力画像である第２の画像のそれぞれに応じて、これらに類似する画像として選択された画像である。例えば、ヘマトキシリン・エオシン（ＨＥ）染色画像からダイレクトファーストスカーレット（ＤＦＳ）染色画像への色変換を行う場合は、ＨＥ染色画像が第１の画像に相当し、ＤＦＳ染色画像が第２の画像に相当する。ＨＥ染色画像とＤＦＳ染色画像とは、同じ組織からスライスした複数の切片のうち、隣接する場所からスライスされた２つの切片に対してそれぞれ異なる染色を行って病理標本の画像である。この場合、第１の学習用画像としては、任意の組織の切片に対してＨＥ染色を行った病理標本の画像を用い、第２の学習用画像としては、任意の組織の切片に対してＤＦＳ染色を行った病理標本の画像を用いる。ここにいう色変換は、計算機上で仮想的に色を変換する技術である。

次に、ステップＳ２０２では、画像処理装置１０１は、第１の学習用画像から第１の学習用中間画像を生成し、第２の学習用画像から第２の学習用中間画像を生成する。第１の学習用中間画像は、該第１の学習用中間画像内の小領域における複数の画素値の差分がその小領域に対応する第１の学習用画像内の小領域におけるＤＣ成分と等しくなる画素値分布を有する画像である。同様に、第２の学習用中間画像は、該第２の学習用中間画像内の小領域における複数の画素値の差分がその小領域に対応する第２の学習用画像内の小領域におけるＤＣ成分と等しくなる画素値分布を有する画像である。

この学習用画像から学習用中間画像を生成するルールは、後述する処理対象画像としての第１の画像から処理用中間画像を生成する場合にも適用される。すなわち、第１の画像から生成される処理用中間画像は、該処理用中間画像内の小領域における複数の画素値の差分がその小領域に対応する第１の画像内の小領域におけるＤＣ成分と等しくなる画素値分布を有する画像であるというルールで生成される。

ここで、学習用画像および第１の画像（処理対象画像）をまとめて入力画像とし、学習用中間画像および処理用中間画像をまとめて中間画像として上記ルールの詳細について説明する。

入力画像と中間画像との間において（さらには、その他の画像間においても）、「対応する小領域」とは、両画像における場所（座標）が同じ小領域を意味する。

また、中間画像のうち「小領域における複数の画素値」は、例えば、小領域の左上端と右下端の画素値や、左下端と右上端の画素値というようにどのように選択されてもよいし、２つの画素値に限らず、３つ以上の画素値が選択されてもよい。３つ以上の画素値が選択される場合は、そのうちの２つずつでそれぞれ構成される画素値対における画素値の差分の和がルール上の「差分」に相当し、この差分が対応領域のＤＣ成分と等しくなればよい。例えば、３画素が選択される場合においては、左上端と右下端の画素値の差分と左下端と右下端の画素値の差分との和がルール上の「差分」に相当する。

小領域のサイズ、すなわち小領域の縦方向と横方向の画素数は、入力画像および中間画像のサイズよりも小さく、かつ両方向の画素数が２画素以上である必要がある。また、小領域のサイズは、入力画像から中間画像を生成する間は不変である。

以下の説明では、入力画像から中間画像を生成するルールとして、以下の式（１），（２）で表されるルールを用いる。まず、中間画像の画素値の初期値は全てゼロであるとする。次に、中間画像の任意の場所における小領域内の左上端の画素値ａを確認し、これがゼロであれば、左上端の画素値ａと右下端の画素値ｂを以下のように定める。

ただし、ＤＣは入力画像のうち中間画像の小領域に対応する小領域のＤＣ成分であり、εは任意の定数である。また、左上端の画素値ａがゼロでなければ、該小領域内の右下端の画素値ｂだけを以下のように定める。

さらに、式（１），（２）から明らかなように、中間画像の任意の場所における小領域内の画素値の差分から、原画像におけるその小領域に対応する小領域のＤＣ成分は、以下のように求められる。

なお、入力画像から中間画像を生成するルールとして式（１）と式（２）で示すルール以外のルール（上述したように３つ以上の画素値の差分を用いるルール）を採用してもよい。ただし、その場合は、式（３）を、採用するルールに応じて変更する必要がある。このことは、後述する他の実施例でも同じである。

図１１には、式（１）〜（３）と入力画像と中間画像との関係を示している。図中の左側に描かれたハッチングされた長方形は、入力画像のある場所における小領域のＤＣ成分を示す。また、図中の右側に描かれた長方形は中間画像のうち上記入力画像の小領域に対応する小領域である。中間画像の小領域内のａ，ｂは、該小領域内の左上端および右下端の画素値を示している。

ステップＳ２０３では、画像処理装置１０１は、第１の学習用中間画像から複数の小領域を抽出するとともに、第２の学習用中間画像から、第１の学習用中間画像から抽出された複数の小領域にそれぞれ対応する（同じ場所の）複数の小領域を抽出する。なお、第１の学習用中間画像から小領域を抽出する場所は、ランダムに決定する。また、小領域を抽出するときに、それ以前に抽出した小領域と部分的な重複があってもよいが、全く同じ場所から小領域を複数回抽出してはならない。また、小領域のサイズは、ステップＳ２０２で定めた小領域のサイズと同じであるとする。

ステップＳ２０４では、画像処理装置１０１は、ステップＳ２０３で第１の学習用中間画像から抽出した小領域内の画素値分布からその小領域のＤＣ成分を減算して得られる成分であるＡＣ成分を求める。また、画像処理装置１０１は、同様にして、第２の学習用中間画像から抽出した小領域のＡＣ成分を求める。そして、これらのＡＣ成分を用いて、辞書学習と呼ばれる処理によって、第１の学習用中間画像および第２の学習用中間画像のそれぞれに応じた第１の基底および第２の基底を生成する。

第１および第２の基底を生成する辞書学習アルゴリズムについて説明する。このような辞書学習アルゴリズムとして、非特許文献２にて開示されている、joint sparse codingとcoupled dictionary trainingが知られている。joint sparse codingを用いる場合、画像処理装置１０１は、まず第１の学習用中間画像のある場所から抽出した小領域のＡＣ成分を列ベクトルに変換する。次に、画像処理装置１０１は、第２の学習用中間画像のうち第１の学習用中間画像から抽出した小領域に対応する小領域のＡＣ成分も同様に列ベクトルに変換する。そして、画像処理装置１０１は、これら２つの列ベクトルを上下に連結した縦の列ベクトルを生成する。この手順を、抽出した全ての小領域のＡＣ成分に対して行い、生成した縦の列ベクトルを横に連結した行列を生成する。

さらに、画像処理装置１０１は、この行列から、Ｋ−ＳＶＤ法により、１つの基底行列を生成する。Ｋ−ＳＶＤ法とは、学習用画像から生成した行列を用いて基底行列を生成するアルゴリズムの１つで、スパースコーディングにおいて最も一般的に用いられている。本実施例では、第１および第２の学習用中間画像を用いた辞書学習においてＫ−ＳＶＤ法を用いるが、同様の働きをする他のアルゴリズムを用いてもよい。

生成された基底行列のうち、上半分が第１の学習用中間画像に対応する部分であり、下半分が第２の学習用中間画像に対応する部分である。画像処理装置１０１は、生成された基底行列の上半分の行列を取り出し、その行列の列ベクトルをそれぞれ小領域に変換した結果として得られる小領域の集合を第１の基底とする。また、基底行列の下半分の行列を取り出して、同様の処理を行い、得られる小領域の集合を第２の基底とする。ここでの小領域のサイズは、ステップＳ２０２で定めた小領域のサイズと同じである。

coupled dictionary trainingはこれとは異なる方法で学習を行うが、本実施例ではjoint sparse codingを用いることとし、coupled dictionary trainingについての説明は省略する。なお、joint sparse codingとcoupled dictionary trainingのいずれを用いても、同様の効果を期待できる基底を生成することができる。また、基底の要素である小領域の数は、予めユーザが指定する。

以上のステップＳ２０１〜Ｓ２０４の処理は、必ずしも画像処理装置１０１が行う必要はなく、予めユーザが別のコンピュータを用いて第１および第２の基底を作成し、これら基底を画像処理装置１０１に記憶させてもよい。この場合、画像処理装置１０１は、記憶された第１および第２の基底を用いて、ステップＳ２０５以降の処理を行えばよい。

次に、ステップＳ２０５では、画像処理装置１０１は、ステップＳ２０２にて説明したルールに従って、第１の画像から処理用中間画像を生成する。ステップＳ２０２において第１および第２の学習用画像から生成される第１および第２の学習用中間画像は、ステップＳ２０４において第１および第２の基底を生成するために用いられる。一方、本ステップにおいて処理対象画像として入力された第１の画像から生成される処理用中間画像は、出力画像である第２の画像の任意の場所における小領域のＤＣ成分を求めるために用いられる。つまり、ステップＳ２０１〜Ｓ２０４で求めた第１および第２の基底を用いて、処理用中間画像に対して画像処理を行うことで、出力画像である第２の画像の任意の場所における小領域のＤＣ成分を求める。

次に、ステップＳ２０６では、画像処理装置１０１は、処理用中間画像の任意の場所から第１の小領域（第１の部分領域）を抽出し、該第１の小領域のＡＣ成分を、第１の基底の要素の線形結合で近似して、線形結合係数を求める。ここで、線形結合で近似するとは、抽出した第１の小領域のＡＣ成分を第１の基底の要素である小領域の重み付きの和で表現することを意味し、このときの重みが線形結合係数である。また、小領域のサイズは、ステップＳ２０２で定めた小領域のサイズと同じである。線形結合近似を数式で表すと、以下の式（４）のようになる。

ただし、ｓ_ｉ（ｉ＝１〜ｎ）は第１の基底の要素であり、α_ｉ（ｉ＝１〜ｎ）は第１の基底におけるｉ番目の要素に対応する重み、つまり線形結合係数である。また、ｔは処理用中間画像から抽出した第１の小領域のＡＣ成分であり、ｎは第１の基底の全要素数である。なお、画像から抽出した小領域を基底の要素の線形結合で近似するためのアルゴリズムとして、非特許文献１にて開示されているorthogonal matching pursuit（ＯＭＰ）等がある。本実施例では、抽出した小領域を基底の要素の線形結合で近似するためにＯＭＰを用いるが、同様の働きをする他のアルゴリズムを用いてもよい。

ステップＳ２０７では、画像処理装置１０１は、ステップＳ２０６で得られた線形結合係数を用いた第２の基底の要素の線形結合により、第２の小領域（第２の部分領域）のＡＣ成分を求める（推定する）。ここで、出力画像である第２の画像が生成されたものと仮定して、ステップＳ２０２にて説明したルールに従って第２の画像から中間画像を生成したとした場合に予想される該中間画像を、仮想中間画像という。そして、本ステップで用いられる第２の小領域は、この仮想中間画像のうちステップＳ２０６で抽出した処理用中間画像における第１の小領域に対応する仮想領域としての小領域である。本ステップの処理が、第１の処理に相当する。

次に、ステップＳ２０８では、画像処理装置１０１は、上述した第２の小領域のＡＣ成分を用いて、第２の画像における該第２の小領域に対応する、つまりは処理用中間画像から抽出した第１の小領域に対応する小領域のＤＣ成分を求める。第２の小領域のＡＣ成分を用いて第２の画像における該第２の小領域に対応する小領域のＤＣ成分を求めるには、ステップＳ２０２にて説明した入力画像から中間画像を生成する手順と逆の手順を用いる。すなわち、第２の小領域内の左上端と右下端の画素値の差分をとることで、第２の画像における第２の小領域に対応する小領域のＤＣ成分が求められる。本ステップの処理が、第２の処理に相当する。

なお、上述した式（１），（２）以外のルールを採用して入力画像から中間画像を生成する場合は、第２の小領域のＡＣ成分から第２の画像における該第２の小領域に対応する小領域のＤＣ成分を求める方法も、採用したルールに従って異ならせる必要がある。

ここで、第２の小領域内の複数の画素値の差分から、第２の画像における該第２の小領域に対応する小領域のＤＣ成分が求められる根拠について説明する。ステップＳ２０７で述べたように、第２の小領域のＡＣ成分は、第２の画像に対する仮想中間画像における小領域での推定されたＡＣ成分である。また、式（３）で示したように、中間画像における任意の場所の小領域（以下、中間小領域という）内の左上端と右下端の画素値の差分から、入力画像におけるその中間小領域に対応する小領域のＤＣ成分を求めることができる。中間小領域内の左上端と右下端の画素値はそれぞれ、共通するＤＣ成分と互いに異なるＡＣ成分との和である。このため、両画素値の差分はＡＣ成分の差分となり、この差分が第２の画像における該中間小領域に対応する小領域のＤＣ成分となる。このことを数式で表すと、以下の式（５）のようになる。

ただし、ａ，ｂは中間画像における小領域（ここでは中間小領域という）の左上端と右下端の画素値（ＤＣ成分とＡＣ成分の和）であり、ｍは該中間小領域のＤＣ成分であり、〜付きのａ，ｂは該中間小領域の左上端と右下端のＡＣ成分の値である。ＤＣは第２の画像における該中間小領域に対応する小領域のＤＣ成分である。

こうして第２の画像内の１つの小領域のＤＣ成分が求められると、ステップＳ２０９に進む。

ステップＳ２０９では、画像処理装置１０１は、第２の画像内の全ての場所の小領域のＤＣ成分が求められるまで、ステップＳ２０６にて第１の小領域の抽出場所を変更しながらステップＳ２０６〜Ｓ２０８の処理を反復する。ステップＳ２０６にて処理用中間画像から部分的重複を許して小領域を抽出した場合は、最終的に求められる第２の画像のある場所における小領域のＤＣ成分にも重複が生じることがある。その場合は、第２の画像における小領域のＤＣ成分に重複が生じた場所において、重複したＤＣ成分を足し合わせ、重複数で画素ごとに除算することで、第２の画像の全ての場所における小領域のＤＣ成分を求める。第２の画像内の全ての小領域のＤＣ成分が求められると、第２の画像の生成が完了したものとして処理を終了する。

なお、上述したステップＳ２０９では、第２の画像内の全ての場所の小領域のＤＣ成分を求める場合について説明したが、必ずしも全ての場所の小領域のＤＣ成分を求める必要はない。すなわち、第２の画像の用途に応じた複数の場所の小領域（第２の画像における一部領域）のＤＣ成分のみを求めてもよい。

以上の手順により、既知の第１の画像から未知の第２の画像の任意（または一部領域内の任意）の場所における小領域のＤＣ成分を生成することができる。

以下、実施例１で説明した画像処理の応用例について説明する。

本発明の実施例２では、既知の第１の画像から未知の第２の画像への色変換を行う画像処理方法について、図３のフローチャートを用いて説明する。本実施例でも、第１の画像と第２の画像のサイズは同じであるとする。第１の画像は入力画像（処理対象画像）であり、第２の画像が出力画像である。本実施例でも第１の画像がモノクロ画像である場合について説明するが、実施例１でも説明したように、第１の画像がＲＧＢ、ＹＣｂＣｒ、ＨＳＶ等の色空間によるカラー画像である場合には、色ごとに以下の処理を行えばよい。

図３のフローチャートには、画像処理装置１０１が行う色変換処理（画像処理方法）の手順を示している。画像処理装置１０１は、インストールされたコンピュータプログラムである色変換プログラム（画像処理プログラム）に従って以下に説明する色変換処理を実行する。

ステップＳ３０１では、画像処理装置１０１は、第１および第２の学習用画像を用意する。学習用画像を用意する方法は、実施例１（図３）のステップＳ２０１にて説明した方法と同じである。

次に、ステップＳ３０２では、画像処理装置１０１は、第１の学習用画像から複数の小領域を抽出する。また、第２の学習用画像の対応する場所からも、同様に複数の小領域を抽出する。小領域のサイズは、第１および第２の画像のサイズより小さく、かつ一辺のサイズが２画素以上である。本実施例では、小領域のサイズを８×９画素とする場合について説明する。また、小領域を抽出するルールは、実施例１のステップＳ２０３にて説明したルールと同じである。

次に、ステップＳ３０３では、画像処理装置１０１は、実施例１のステップＳ２０４にて説明した方法により、ステップＳ３０２で抽出した小領域のＡＣ成分から、第２の画像のＡＣ成分を求めるために用いる第１および第２のＡＣ成分用基底を生成する。以下、第１および第２のＡＣ成分用基底をそれぞれ、第１および第２のＡＣ基底と略記する。なお、第１および第２のＡＣ基底の要素数は多いほど良い。ただし、要素数が多いほど第１および第２のＡＣ基底を生成するための計算時間が長くなる。このため、本実施例では、第１および第２のＡＣ基底の全要素数を共に１０２４個としている。

なお、ステップＳ３０１からステップＳ３０３での処理は画像処理装置１０１が必ずしも行う必要はなく、予めユーザが他のコンピュータを用いて生成した第１および第２のＡＣ基底を画像処理装置１０１に記憶させてもよい。この場合は、画像処理装置１０１は、記憶された第１および第２のＡＣ基底を用いて、以下のステップＳ３０４からの処理を行えばよい。

ステップＳ３０４では、画像処理装置１０１は、第１の画像の任意の場所から小領域を抽出し、該抽出した小領域のＡＣ成分を、第１のＡＣ基底の要素の線形結合で近似し、線形結合係数を求める。線形結合近似の方法は、実施例１のステップＳ２０６にて説明した方法と同じである。また、抽出する小領域のサイズは、ステップＳ３０２で定めた小領域のサイズと同じである。

次に、ステップＳ３０５では、画像処理装置１０１は、ステップＳ３０４で得られた線形結合係数を用いた第２のＡＣ基底の要素の線形結合により、第２の画像のうち第１の画像にて抽出した小領域に対応する小領域のＡＣ成分を推定する。ステップＳ３０４およびＳ３０５の処理が、第３の処理に相当する。

次に、ステップＳ３０６では、画像処理装置１０１は、第２の画像内の全ての場所の小領域のＡＣ成分が求められるまで、ステップＳ３０４にて抽出する小領域の場所を変更しながらステップＳ３０４およびＳ３０５の処理を反復する。第２の画像内の全ての場所の小領域のＡＣ成分が求められると、ステップＳ３０７に進む。

ステップＳ３０７では、画像処理装置１０１は、ステップＳ３０１〜Ｓ３０６で求めた第２の画像の各小領域のＡＣ成分と、実施例１で説明したステップＳ２０１〜Ｓ２０９で求めた各小領域のＤＣ成分とを対応する小領域ごとに足し合わせる。これにより、第２の画像が求められる。なお、ステップＳ２０１〜Ｓ２０９にて説明した方法において、小領域のＤＣ成分を求める際には、ステップＳ２０２で定める小領域のサイズは本実施例と合わせる。また、ステップＳ３０４において、第１の画像から重複を許して小領域を抽出する場合の対応は、実施例１でのステップＳ２０９における説明に従う。

以上の手順によって、既知の第１の画像から未知の第２の画像への色変換を行うことができる。

本実施例の色変換処理によりＨＥ染色画像（第１の画像）からＤＦＳ染色画像（第２の画像）へと色変換を行った例について説明する。図６（ａ）には、ＨＥ染色画像を示す。図６（ｂ）には、ＨＥ染色画像から色変換を行って求めたＤＦＳ染色画像を示す。図６（ｃ）には、真のＤＦＳ染色画像を示す。図６（ｄ），（ｅ）にはそれぞれ、第１の基底および第２の基底を示す。

なお、全ての画像はそれぞれの画素値の二乗和が１になるように規格化している。また、全ての画像のサイズは、１２０×１６０画素である。また、図６（ｄ），（ｅ）においては、第１、第２の基底を、８×９画素の要素を縦方向に３２個、横方向に３２個タイリングして示している。

真のＤＦＳ染色画像とＨＥ染色画像から求めたＤＦＳ染色画像の類似度を二乗平均平方根誤差（ＲＭＳＥ）で評価したところ、６．６５２８Ｅ−４であった。ＲＭＳＥとは、評価画像と参照画像の画素値の差分の二乗和を、参照画像の全画素数で除算し、得られた値の平方根をとったものである。標本画像と参照画像のサイズは同じである。本実施例において、参照画像が真のＤＦＳ染色画像、評価画像が求めたＤＦＳ染色画像である。簡単には、ＲＭＳＥが小さいほど、真のＤＦＳ染色画像と求めたＤＦＳ染色画像が類似していると言える。

次に、本実施例の画像処理の従来の画像処理に対する優位性を示すために、インテグラルイメージと呼ばれる手法とスパースコーディングとを組み合わせた技術を用いて、ＨＥ染色画像からＤＦＳ染色画像へ色変換を行った例を示す。なお、インテグラルイメージとスパースコーディングはいずれも単独では公知であるが、これらを組み合わせた技術は未だ報告例はない。これらの手法を単純に組み合わせただけでは、後述する理由でＤＣ成分を正確に求めることは難しい。これらの手法の単純な組み合わせのことを「従来技術の単なる組み合わせ」と称し、本実施例の画像処理方法と区別する。また、インテグラルイメージとは、以下の式（６）で示されるルールで入力画像から中間画像を生成する手法である。

ここで、ｉ（ｘ，ｙ）は入力画像の座標（ｘ、ｙ）における画素値であり、Ｉ（ｘ，ｙ）は中間画像の座標（ｘ，ｙ）における画素値である。なお、式（６）で表されるルールを適用する具体的な方法の１つとして、座標（ｘ，ｙ）を中間画像の左上端の画素から右方向へ走査して各位置において式（６）に従いＩ（ｘ，ｙ）を出力する。右端まで行き着いたら１画素下がって左端の画素から右端へと同様に処理することを繰り返す。この方法により、入力画像から中間画像を生成する。また、中間画像の画素値の初期値は全てゼロであるとする。入力画像と中間画像のサイズは同じとする。また、式（６）によれば、Ｉ（０，１）やＩ（１，０）等、中間画像外の画素値の情報を必要とする場合が出てくるが、その場合は画素値としてゼロを用いることとする。

このようにして生成された中間画像を用いると、中間画像の任意の場所における小領域（中間小領域）内の四隅の画素値から、入力画像におけるその中間小領域に対応する小領域内の画素値の和が以下の式（７）により求められる。

ただし、Ｉ１，Ｉ２，Ｉ３およびＩ４は任意の場所の中間小領域内の四隅の画素値であり、それぞれ左上端、右上端、左下端および右下端の画素値である。Ｖは入力画像における該中間小領域に対応する小領域内の画素値の和である。

ところが、インテグラルイメージの特性として、入力画像における中間小領域に対応する小領域（以下、対応小領域ともいう）内の全画素の和が正しく求められるわけではない。正確には、式（７）により求まる和Ｖは、入力画像における対応小領域から、１行目と１列目を除いた小領域内の画素値の和である。よって、式（７）により求まる画素値の和Ｖを用いても、入力画像における対応小領域の正しいＤＣ成分は得られない。しかし、本実施例では、このインテグラルイメージを用いるために、以下の式（８）で表される値を、入力画像における対応小領域のＤＣ成分として用いる。

ただし、Ｖは式（７）により求まる入力画像における対応小領域内の画素値の和であり、ＤＣは入力画像における該対応小領域のＤＣ成分である。Ｎは入力画像における該対応小領域から１行目と１列目の画素を除いた画素数である。

このインテグラルイメージをステップＳ２０２において用いて、従来技術の単なる組み合わせによってＨＥ染色画像からＤＦＳ染色画像へ色変換を行った例を図７に示す。

ここで、本実施例では式（１）と式（２）で表されるルールにより入力画像から中間画像を生成するが、従来技術の単なる組み合わせでは、式（６）で表されるルールにより入力画像から中間画像を生成した。なお、入力画像から中間画像を生成するルールが異なるため、ステップＳ２０８において第２の小領域のＡＣ成分から第２の画像における該第２の小領域に対応する小領域のＤＣ成分を求める方法も、本実施例と従来技術の単なる組み合わせとでは異なる。具体的には、本実施例では式（３）で表されるルールを用いるが、従来技術の単なる組み合わせでは式（７）と式（８）で表されるルールを用いた。

その他のステップＳ２０１、Ｓ２０３〜Ｓ２０７、Ｓ２０９、Ｓ３０１〜Ｓ３０７は本実施例と同様に行い、従来技術の単なる組み合わせによりＨＥ染色画像からＤＦＳ染色画像へ色変換を行った。

図７（ａ）には、従来技術の単なる組み合わせによりＨＥ染色画像から色変換を行って求めたＤＦＳ染色画像を示す。図７（ｂ），（ｃ）にはそれぞれ、従来技術の単なる組み合わせにより生成された第１の基底および第２の基底を示す。なお、ここでは、求めたＤＦＳ染色画像を画素値の二乗和が１になるように規格化している。求めたＤＦＳ染色画像のサイズは、１２０×１６０画素である。また、図７（ｂ），（ｃ）においては、第１および第２の基底を、８×９画素の要素を縦方向に３２個、横方向に３２個タイリングして示している。

図６（ｃ）に示した真のＤＦＳ染色画像と従来技術の単なる組み合わせにより求めたＤＦＳ染色画像との類似度をＲＭＳＥで評価したところ、１．４６０３Ｅ−３であった。これより、本実施例（ＲＭＳＥ６．６５２８Ｅ−４）の方が、従来技術の単なる組み合わせ（ＲＭＳＥ１．４６０３Ｅ−３）と比べて、求められたＤＦＳ染色画像が真のＤＦＳ染色画像とより類似していると言える。これは、本実施例と従来技術の単なる組み合わせとでは、入力画像から中間画像を生成するルールが異なるためである。従来技術の組み合わせでは式（６）で表される既存のルールを用いているが、本実施例では式（１）と式（２）で表される独自のルールを用いている。なお、上述したように、インテグラルイメージの特性として、式（７）を用いても、入力画像における対応小領域のＤＣ成分が正しく求められない。これに対して、本実施例では、式（３）を用いることで、入力画像における対応小領域のＤＣ成分を正確に求めることができる。つまり、本実施例によれば、従来技術の単なる組み合わせよりも正確な解を得られる。なお、本実施例と従来技術の単なる組み合わせとでは、生成される中間画像が異なるため、中間画像（学習用中間画像）を用いた辞書学習により生成される基底も異なる。

本発明の実施例３では、未知の標本に対して部分コヒーレントまたは完全コヒーレントな結像系を用いた撮像により生成された標本画像から、該標本を透過した光の複素振幅分布を求める方法について、図４に示したフローチャートを用いて説明する。標本画像が実施例１にいう第１の画像（入力画像）、複素振幅分布を示す画像が第２の画像（出力画像）に相当する。なお、標本を透過した光の複素振幅分布とは、正確には標本を透過した光の電場の位相と振幅の分布を意味する。また、以下の説明では、標本を透過した光の複素振幅分布を、単に標本の複素振幅分布と称する。

標本の複素振幅分布を示す画像は、実部の画像と虚部の画像の２つからなり、標本画像とこれら実部の画像および虚部の画像のサイズは同じとする。また、虚部の画像は、虚数単位ｉを除いた実数の２次元配列データとする。

部分コヒーレントな結像系とは、標本の任意の２点を透過した光が互いの位相と照明条件とに依存して干渉する結像光学系を意味し、具体例としては明視野顕微鏡が挙げられる。また、完全コヒーレント結像系とは、標本の任意の２点を透過した光が互いの位相だけに依存して干渉する結像光学系を意味し、具体的にはレーザー光による照明等で実現される。

本実施例でも第１の画像がモノクロ画像である場合について説明するが、実施例１でも説明したように、第１の画像がＲＧＢ、ＹＣｂＣｒ、ＨＳＶ等の色空間によるカラー画像である場合には、色ごとに以下の処理を行えばよい。

図４のフローチャートには、画像処理装置１０１が行う標本画像処理（画像処理方法）の手順を示している。画像処理装置１０１は、インストールされたコンピュータプログラムである標本画像処理プログラムに従って以下に説明する標本画像処理を実行する。

ステップＳ４０１では、画像処理装置１０１は、複数の学習用標本の複素振幅分布を示す実部画像および虚部画像と、学習用標本に対する部分コヒーレントまたは完全にコヒーレントな結像系を用いた撮像によって得られる学習用画像とを用意する。学習用標本の複素振幅分布は、例えば、標本が患者から採取した組織の切片であれば、核や細胞質等の細胞の構成要素の既知の屈折率からモデル化することができる。また、デジタルホログラフィ顕微鏡等から取得したデータを用いてもよい。なお、前者の場合は、学習用画像を撮像シミュレーションにより生成し、後者の場合は、学習用画像を撮像シミュレーションまたは顕微鏡等による実際の撮像によって生成する。

次に、ステップＳ４０２では、画像処理装置１０１は、学習用画像内から複数の小領域を抽出する。また、学習用標本の複素振幅分布の実部画像と虚部画像のそれぞれのうち上記小領域に対応する場所からも同様に複数の小領域を抽出する。ここで、小領域のサイズは標本画像のサイズより小さく、かつその一辺のサイズが２画素以上である必要がある。なお、本実施例において、小領域のサイズは６×８画素とする。また、小領域を抽出するルールは、実施例１のステップＳ２０３にて説明したルールと同じである。

次に、ステップＳ４０３では、画像処理装置１０１は、ステップＳ２０４にて説明した方法によって、ステップＳ４０２で抽出した小領域のＡＣ成分から、第１、第２および第３のＡＣ成分用基底（以下、第１、第２および第３のＡＣ基底という）を生成する。なお、ステップＳ２０４では、２つの画像から小領域を抽出し、抽出した小領域のＡＣ成分に対して辞書学習を行い、２つの基底を生成する方法を説明したが、画像の数が３つになっても同様である。

ここで、第１、第２および第３のＡＣ基底の生成方法について説明する。まず、学習用画像のある場所から小領域を抽出する。同様に、学習用標本の複素振幅分布の実部画像と虚部画像における上記学習用画像から抽出した小領域に対応する小領域を抽出する。そして、これら抽出された小領域を列ベクトルに変換し、３つの列ベクトルを上下に連結した長い列ベクトルを生成する。この処理を学習用画像と、学習用標本の複素振幅分布の実部の画像および虚部の画像から抽出した全ての小領域に対して繰り返し、生成した長い列ベクトルを横に連結した行列を生成する。

次に、生成した行列からＫ−ＳＶＤ法により、１つの基底行列を生成する。なお、基底行列の上３分の１の部分が学習用画像に、下３分の１の部分が学習用標本の虚部の画像に、中３分の１の部分が学習用標本の実部の画像に対応する。最後に、基底行列における学習用画像、実部の画像および虚部の画像に対応する部分を取り出して、取り出した行列の列ベクトルをそれぞれ小領域に変換することで得られる小領域の集合を、第１、第２および第３のＡＣ基底とする。なお、実施例２で説明した理由と同様の理由により、第１、第２および第３のＡＣ基底の全要素数は、いずれも１０２４個とする。

以上のステップＳ４０１〜Ｓ４０３での処理は、画像処理装置１０１が必ずしも行う必要はない。予めユーザが他のコンピュータを用いて生成した第１〜第３のＡＣ基底を画像処理装置１０１に記憶させてもよい。この場合は、画像処理装置１０１は、記憶された第１〜第３のＡＣ基底を用いて、以下のステップＳ４０４からの処理を行えばよい。

次に、ステップＳ４０４では、画像処理装置１０１は、標本画像内の任意の場所から小領域を抽出し、抽出した小領域（以下、標本画像小領域という）のＡＣ成分を、第１のＡＣ基底の要素の線形結合で近似し、線形結合係数を求める。線形結合近似の方法は、実施例１にてステップＳ２０６で説明した方法と同様である。また、標本画像小領域のサイズは、ステップＳ４０２で定めた小領域のサイズと同じである。

次に、ステップＳ４０５では、画像処理装置１０１は、ステップＳ４０４で得られた線形結合係数を用いた第２のＡＣ基底の要素の線形結合により、未知の標本の複素振幅分布の実部画像における標本画像小領域に対応する小領域のＡＣ成分を推定する。また、同様にステップＳ４０４で得られた線形結合係数を用いた第３のＡＣ基底の要素の線形結合により、標本の複素振幅分布の虚部画像における標本画像小領域に対応する小領域のＡＣ成分を推定する。ステップＳ４０４およびＳ４０５の処理が、第３の処理に相当する。

次に、ステップＳ４０６では、画像処理装置１０１は、標本の複素振幅分布の実部画像と虚部画像の全ての場所の小領域のＡＣ成分が求められるまで、ステップＳ４０４での標本画像小領域の抽出場所を変更しながらステップＳ４０４〜Ｓ４０５での処理を反復する。全ての場所の小領域のＡＣ成分が求められると、ステップＳ４０７に進む。

ステップＳ４０７では、未知の標本の複素振幅分布の実部の画像の全ての場所において、ステップＳ４０４〜Ｓ４０６で求めた小領域のＡＣ成分と、実施例１で説明したステップＳ２０１〜Ｓ２０９で求めた小領域のＤＣ成分とを対応する小領域ごとに足し合わせる。これにより、標本の複素振幅分布の実部画像が求められる。同様にして標本の複素振幅分布の虚部画像も求められる。

なお、ステップＳ４０４において、標本画像から重複を許して小領域を抽出する場合の対応は、実施例１でのステップＳ２０９における説明に従う。

以上の手順によって、標本画像から未知の標本の複素振幅分布を求めることができる。

次に、ステップＳ４０７において、ステップＳ２０１〜Ｓ２０９の処理を用いて標本画像から標本の複素振幅分布における任意の場所の小領域のＤＣ成分を求める方法について、図５のフローチャートを用いて説明する。

ステップＳ５０１では、画像処理装置１０１は、学習用画像を用意する。学習用画像としては、ステップＳ４０１で準備した学習用標本の複素振幅分布と学習用画像を用いればよい。

次に、ステップＳ５０２では、画像処理装置１０１は、ステップＳ２０２で説明した方法により、学習用画像から第１の学習用中間画像を生成する。同様に、学習用標本の複素振幅分布の実部画像から第２の学習用中間画像を、学習用標本の複素振幅分布の虚部画像から第３の学習用中間画像をそれぞれ生成する。

次に、ステップＳ５０３では、画像処理装置１０１は、ステップＳ２０３で説明した方法により、第１の学習用中間画像内から複数の小領域を抽出する。また、第２および第３の学習用中間画像からも、第１の学習用中間画像で抽出された複数の小領域に対応する複数の小領域をそれぞれ抽出する。なお、抽出する小領域のサイズは、ステップＳ４０２で定めた小領域のサイズと同じである。

次に、ステップＳ５０４では、画像処理装置１０１は、ステップＳ４０３で説明した方法により、ステップＳ５０３で抽出した小領域のＡＣ成分から、第１、第２および第３の基底を生成する。

以上のステップＳ５０１〜Ｓ５０４での処理は、画像処理装置１０１が必ずしも行う必要はない。予めユーザが他のコンピュータを用いて生成した第１〜第３の基底を画像処理装置１０１に記憶させてもよい。この場合は、画像処理装置１０１は、記憶された第１〜第３の基底を用いて、以下のステップＳ５０５からの処理を行えばよい。

次に、ステップＳ５０５では、画像処理装置１０１は、標本画像からステップＳ２０２にて説明した方法により、処理用中間画像を生成する。

次に、ステップＳ５０６では、画像処理装置１０１は、処理用中間画像内の任意の場所から第１の小領域を抽出し、抽出した第１の小領域のＡＣ成分を、第１の基底の要素の線形結合で近似して線形結合係数を求める。なお、線形結合近似の方法は、実施例１のステップＳ２０６にて説明した方法と同様である。また、抽出する小領域のサイズは、ステップＳ５０３で定めた小領域のサイズと同じである。

次に、ステップＳ５０７では、画像処理装置１０１は、ステップＳ５０６で得られた線形結合係数を用いた第２の基底の要素の線形結合により、第２の実部小領域のＡＣ成分を求める（推定する）。ここで、出力画像である標本の複素振幅分布の実部画像が生成されたものと仮定して、実施例１のステップＳ２０２にて説明したルールに従って該実部画像から中間画像を生成したとした場合に予想される該中間画像を、仮想実部中間画像という。そして、本ステップで用いられる第２の実部小領域は、この仮想実部中間画像のうちステップＳ５０６で抽出した処理用中間画像における第１の小領域に対応する仮想領域としての小領域である。

また、画像処理装置１０１は、ステップＳ５０６で得られた線形結合係数を用いた第３の基底の要素の線形結合により第２の虚部小領域のＡＣ成分を求める（推定する）。ここで、出力画像である標本の複素振幅分布の虚部画像が生成されたものと仮定して、実施例１のステップＳ２０２にて説明したルールに従って該虚部画像から中間画像を生成したとした場合に予想される該中間画像を、仮想虚部中間画像という。そして、本ステップで用いられる第２の虚部小領域は、この仮想虚部中間画像のうちステップＳ５０６で抽出した処理用中間画像における第１の小領域に対応する仮想領域としての小領域である。本ステップＳの処理が、第１の処理に相当する。

次に、ステップＳ５０８では、画像処理装置１０１は、第２の実部小領域から、標本の複素振幅分布の実部画像における該第２の実部小領域に対応する小領域のＤＣ成分を求める。ここでのＤＣ成分を求める方法は、実施例１のステップＳ２０８にて説明した方法と同様である。さらに、画像処理装置１０１は、同様にして、第２の虚部小領域から、標本の複素振幅分布の虚部画像における該第２の虚部小領域に対応する小領域のＤＣ成分を求める。本ステップＳの処理が、第２の処理に相当する。

次に、ステップＳ５０９では、画像処理装置１０１は、標本の複素振幅分布の実部および虚部画像の全ての場所の小領域のＤＣ成分が求められるまで、ステップＳ５０６での第１の小領域の抽出場所を変更しながらステップＳ５０６〜Ｓ５０８の処理を反復する。なお、ステップＳ５０６において、処理用中間画像から重複を許して小領域を抽出する場合の対応は、実施例１でのステップＳ２０９における説明に従う。

以上の手順により、標本画像から未知の標本の複素振幅分布の実部画像および虚部画像の任意の場所における小領域のＤＣ成分が求められる。

図８および図９には、未知の標本に対する部分コヒーレント結像系を用いた撮像によって生成された標本画像から、該標本の複素振幅分布を求めた例を示す。図８（ａ）には、部分コヒーレント結像系が形成する未知の標本の光学像を撮像して取得した標本画像を示す。図８（ｂ）には、標本画像から本実施例で説明した方法により求めた標本の複素振幅分布の実部画像を示す。図８（ｃ）には、標本画像から本実施例で説明した方法により求めた標本の複素振幅分布の虚部画像を示す。図８（ｄ）には、真の標本の複素振幅分布の実部画像を示す。図８（ｅ）には、真の標本の複素振幅分布の虚部画像を示す。

また、図９（ａ）には第１の基底を、図９（ｂ）には第２の基底を、図９（ａ）には第３の基底をそれぞれ示す。

なお、全ての画像はそれぞれの画素値の二乗和が１になるように規格化した。また、標本画像の取得に用いる部分コヒーレント結像系の光学的条件は、結像レンズの物体側開口数を０．７とし、輪帯光源の内側σを０．３、外側σを０．７とし、照明光の波長を０．５５μｍとした。ここで、σとは照明光学系の開口数と結像レンズの物体側開口数の比である。また、標本を照明光が透過する際に生じる最大光路長差を２．８８ラジアンとして、シミュレーションにより標本の複素振幅分布を生成した。これは、核と細胞質の間に、最大屈折率差０．０５が生じるとして細胞をモデル化したものである。なお、これらの値は本実施例において例示的に使用したものであって、他の値を用いてもよい。また、全ての画像のサイズは、２００×２００画素である。

図９（ａ）〜（ｃ）において、第１、第２および第３の基底は、６×８画素の要素を縦方向に３２個、横方向に３２個タイリングして示している。

表１には、標本画像から求めた標本の複素振幅分布の実部画像および虚部画像と、真の標本の複素振幅分布の実部画像および虚部画像との類似度をＲＭＳＥで評価した結果をまとめて示す。

次に、実施例２と同様に、本実施例の優位性を示すために、インテグラルイメージとスパースコーディングを組み合わせた従来技術により、部分コヒーレント結像系を用いて得られた標本画像から未知の標本の複素振幅分布を求めた例を示す。まず、インテグラルイメージをステップＳ５０２において用いることで、従来技術の単なる組み合わせにより標本画像から未知の標本の複素振幅分布を求めた。つまり、本実施例が用いる式（１），（２）で示されるルールではなく、実施例２で説明した式（６）で示されるルールを用いて入力画像から中間画像を生成した。また、従来技術の単なる組み合わせでは、このように入力画像から中間画像を生成するルールが異なるため、ステップＳ５０８で第２の小領域のＡＣ成分からＤＣ成分を求める方法も本実施例と異なる。具体的には、本実施例が用いる式（３）で示される方法ではなく、実施例２で説明した式（７）と式（８）で示される方法を用いた。

その他のステップＳ５０１、Ｓ５０３〜Ｓ５０７、Ｓ５０９およびＳ４０１〜Ｓ４０７は本実施例と同様に行うことで、従来技術の単なる組み合わせによって標本画像から標本の複素振幅分布を求めた。

図１０には、従来技術の単なる組み合わせにより標本画像から未知の標本の複素振幅分布を求めた例を示す。図１０（ａ）には、標本画像から従来技術の単なる組み合わせにより求めた標本の複素振幅分布の実部画像を示す。図１０（ｂ）には、標本画像から従来技術の単なる組み合わせにより求めた標本の複素振幅分布の虚部画像を示す。図１０（ｃ），（ｄ），（ｅ）にはそれぞれ、従来技術の単なる組み合わせにより生成された第１の基底、第２の基底および第３の基底を示す。なお、全ての画像はそれぞれの画素値の二乗和が１になるように規格化した。また、全ての画像のサイズは、２００×２００画素である。図１０（ｃ）〜（ｅ）においては、第１、第２および第３の基底を、６×８画素の要素を縦方向に３２個、横方向に３２個タイリングして示している。

表２には、従来技術の単なる組み合わせにより標本画像から求めた標本の複素振幅分布の実部画像および虚部画像と、図８（ｄ），（ｅ）に示した真の標本の複素振幅分布の実部画像および虚部画像との類似度を、ＲＭＳＥで評価した結果をまとめて示す。

この表２と表１との比較から、本実施例の方が、従来技術の単なる組み合わせと比べて、求められた実部および虚部画像が真の実部および虚部画像とより類似していると言える。これは、本実施例と従来技術の単なる組み合わせとでは、上述したように入力画像から中間画像を生成するルールが異なり、さらに生成した中間画像を用いて辞書学習により生成される基底が異なるためである。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

病理標本の画像の色変換や標本画像から標本の複素振幅分布を求めたりすることを正確に行える画像処理を可能とする。

１０１ 画像処理装置

Claims (8)

1. 第１の画像からスパースコーディングを用いて第２の画像を生成する画像処理方法であって、
   画像内の部分領域における画素値の平均値をＤＣ成分といい、該部分領域での画素値分布から前記ＤＣ成分を減算した成分をＡＣ成分というとき、
   前記第１の画像から生成される中間画像であって、該中間画像内の部分領域における複数の画素値の差分がその部分領域に対応する前記第１の画像内の部分領域における前記ＤＣ成分と等しくなる画素値分布を有する処理用中間画像を生成し、
   前記処理用中間画像内にて抽出した第１の部分領域における前記ＡＣ成分と、辞書学習により生成された基底とを用いて、第２の部分領域のＡＣ成分を求める第１の処理を行い、
   前記第２の部分領域での複数の画素値の差分を、前記第２の画像のうち前記第２の部分領域に対応する部分領域における前記ＤＣ成分として求める第２の処理を行い、
   前記処理用中間画像内において前記第１の部分領域を抽出する場所を変更しながら前記第１および第２の処理を反復して行うことにより、前記第２の画像内の複数の部分領域における前記ＤＣ成分を求めることを特徴とする画像処理方法。
2. 前記基底の生成において、
   前記第１の画像と前記第２の画像のそれぞれに応じた学習用画像を用意し、
   前記学習用画像から生成される中間画像であって、該中間画像内の部分領域における複数の画素値の差分がその部分領域に対応する前記学習用画像内の部分領域における前記ＤＣ成分と等しくなる画素値分布を有する学習用中間画像を生成し、
   前記学習用中間画像から抽出した複数の部分領域の前記ＡＣ成分を用いた辞書学習により前記基底を生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記第１の画像内にて抽出した部分領域における前記ＡＣ成分と、辞書学習により生成されたＡＣ成分用基底とを用いて、前記第２の画像のうち前記第１の画像内にて抽出した部分領域に対応する部分領域における前記ＡＣ成分を求める第３の処理を行い、
   前記第１の画像内において前記部分領域を抽出する場所を変更しながら前記第３の処理を反復して行うことにより、前記第２の画像内の複数の部分領域の前記ＡＣ成分を求め、
   前記第２の画像内の前記複数の部分領域において求められた前記ＡＣ成分と前記ＤＣ成分とを対応する部分領域ごとに足し合わせることで前記第２の画像を生成することを特徴とする請求項１に記載の画像処理方法。
4. 標本に対して部分コヒーレントまたは完全コヒーレントな結像系を用いた撮像により生成された標本画像を前記第１の画像として取得し、該標本画像から、前記標本を透過した光の複素振幅分布を示す前記第２の画像を生成する画像処理方法であって、
   前記標本画像内にて抽出した部分領域における前記ＡＣ成分と、辞書学習により生成されたＡＣ成分用基底とを用いて、前記標本の複素振幅分布の実部の画像と虚部の画像のうち前記標本画像内にて抽出した部分領域に対応する部分領域における前記ＡＣ成分をそれぞれ求める第３の処理を行い、
   前記標本画像内において前記部分領域を抽出する場所を変更しながら前記第３の処理を反復して行うことにより、前記実部の画像内と前記虚部の画像内の複数の部分領域における前記ＡＣ成分をそれぞれ求め、
   前記実部の画像内と前記虚部の画像内の前記複数の部分領域においてそれぞれ求められた前記ＡＣ成分と前記ＤＣ成分とを対応する部分領域ごとに足し合わせることで前記複素振幅分布を求めることを特徴とする請求項１に記載の画像処理方法。
5. 前記ＡＣ成分用基底の生成において、
   前記第１および第２の画像、または前記標本画像および前記標本のそれぞれ応じて学習用画像を用意し、
   前記学習用画像から抽出した複数の部分領域の前記ＡＣ成分を用いた辞書学習により前記ＡＣ成分用基底を生成することを特徴とする請求項３または４に記載の画像処理方法。
6. コンピュータに、第１の画像からスパースコーディングを用いて第２の画像を生成する画像処理を実行させる画像処理プログラムであって、
   画像内の部分領域における画素値の平均値をＤＣ成分といい、該部分領域での画素値分布から前記ＤＣ成分を減算した成分をＡＣ成分というとき、
   前記画像処理は、
   前記第１の画像から生成される中間画像であって、該中間画像内の部分領域における複数の画素値の差分がその部分領域に対応する前記第１の画像内の部分領域における前記ＤＣ成分と等しくなる画素値分布を有する処理用中間画像を生成し、
   前記処理用中間画像内にて抽出した第１の部分領域における前記ＡＣ成分と、辞書学習により生成された基底とを用いて、第２の部分領域のＡＣ成分を求める第１の処理を行い、
   前記第２の部分領域での複数の画素値の差分を、前記第２の画像のうち前記第２の部分領域に対応する部分領域における前記ＤＣ成分として求める第２の処理を行い、
   前記処理用中間画像内において前記第１の部分領域を抽出する場所を変更しながら前記第１および第２の処理を反復して行うことにより、前記第２の画像内の複数の部分領域における前記ＤＣ成分を求めることを特徴とする画像処理プログラム。
7. 請求項６に記載の画像処理プログラムを記憶したことを特徴とするコンピュータにより読み取り可能な記憶媒体。
8. 第１の画像からスパースコーディングを用いて第２の画像を生成する画像処理装置であって、
   画像内の部分領域における画素値の平均値をＤＣ成分といい、該部分領域での画素値分布から前記ＤＣ成分を減算した成分をＡＣ成分というとき、
   前記第１の画像から生成される中間画像であって、該中間画像内の部分領域における複数の画素値の差分がその部分領域に対応する前記第１の画像内の部分領域における前記ＤＣ成分と等しくなる画素値分布を有する処理用中間画像を生成する手段と、
   前記処理用中間画像内にて抽出した第１の部分領域における前記ＡＣ成分と、辞書学習により生成された基底とを用いて、第２の部分領域のＡＣ成分を求める第１の処理を行う手段と、
   前記第２の部分領域での複数の画素値の差分を、前記第２の画像のうち前記第２の部分領域に対応する部分領域における前記ＤＣ成分として求める第２の処理を行う手段とを有し、
   前記処理用中間画像内において前記第１の部分領域を抽出する場所を変更しながら前記第１および第２の処理を反復して行うことにより、前記第２の画像内の複数の部分領域における前記ＤＣ成分を求めることを特徴とする画像処理装置。