JP6124718B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、観察対象物に光を照射しデジタル画像を取得する撮像装置に関するものであり、特に、画像のノイズを軽減する技術に関する。

病理標本等の観察対象物が載ったスライドを撮影し、高精細のデジタル画像を生成する撮像装置が知られている。この種の撮像装置は、スライドスキャナ、デジタルスキャナ、バーチャルスライドシステム、デジタル顕微鏡システムなどと呼ばれている。従来、このような撮像装置は、小口径のレンズとイメージセンサを用い、スライドをスイープしながら複数回撮影を行うことで複数の部分画像を得て、それらを合成して観察対象物全体のデジタル画像を生成する構成が一般的である。しかし、撮像装置は、撮影の時間差など撮影条件の影響で（例えば温度特性により）スライドが微小に変位し物点がずれるドリフト現象が発生することが知られている。その結果、部分画像同士の境界に不連続が発生するため、部分画像同士を合成する（繋ぎ合わせる）際にはその境界が目立たぬよう画像処理が行われる。一方、撮影時間の短縮と合成処理及び境界補正処理の削減のため、大口径のレンズとイメージセンサを用いて広い視野内を一度に撮影する方法が提案されている。しかし、広い範囲を一度に撮影すると、広く照射された光がスライドで拡散し、思わぬ方向からレンズ内へ入光してしまう課題がある。そこで、レンズ面や鏡筒内の乱反射によるフレアを減らすために、視野を複数の小領域に分割し、小領域ごとに照明（小領域外は消灯する）して撮影を行い、得られた小領域ごとの画像を合成する方法（例えば、特許文献１）が提案されている。

特開２００６−２９２４２１号公報

しかしながら、特許文献１の方法では、小口径のレンズとイメージセンサを用いて撮影した場合と同様、観察対象物を分割して撮影し、部分画像同士を合成して全体のデジタル画像を生成する。そのため、画像の境界における不連続が目立つ可能性があった。

そこで、本発明は、広い視野の撮像装置において、照明光の拡散等に起因するノイズを除去しつつ、画像の境界における不連続を低減することのできる技術を提供することを目的とする。

本発明の第１態様は、被写体を照明する光源部と、前記光源部により照明された前記被写体を撮影する受光素子部と、前記光源部により前記被写体の全体を照明した状態で前記被写体を撮影することにより、第１の画像を取得する第１の撮影処理と、前記光源部により前記被写体の第１エリアを照明せず、且つ、前記第１エリアの周辺の第２エリアを照明した状態で前記被写体を撮影することにより、前記第２エリアを照明した光に起因して前記第１エリア内に生じるノイズを表す第２の画像を取得する第２の撮影処理と、を実行する制御部と、前記第２の画像を用いて、前記第１の画像の前記第１エリアに対応する部分からノイズを除去するノイズ除去処理を実行する画像処理部と、を備えることを特徴とする撮像装置である。

本発明の第２態様は、被写体を照明する光源部と、前記光源部により照明された前記被写体を撮影する受光素子部と、画像処理部と、を備える撮像装置の制御方法であって、前記光源部により前記被写体の全体を照明した状態で前記被写体を撮影することにより、第１の画像を取得するステップと、前記光源部により前記被写体の第１エリアを照明せず、且つ、前記第１エリアの周辺の第２エリアを照明した状態で前記被写体を撮影することにより、前記第２エリアを照明した光に起因して前記第１エリア内に生じるノイズを表す第２の画像を取得するステップと、前記画像処理部によって、前記第２の画像を用いて、前記第１の画像の前記第１エリアに対応する部分からノイズを除去するステップと、を含むことを特徴とする撮像装置の制御方法である。

本発明によれば、広い視野の撮像装置において、照明光の拡散等に起因するノイズを除去しつつ、画像の境界における不連続を低減することができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図。 ノイズの発生原理とノイズ込画像を説明する図。 第１実施形態のノイズ画像とノイズ除去画像を説明する図。 第１実施形態に係る撮像装置の制御を説明するフローチャート。 第２実施形態のノイズ画像とノイズ除去画像を説明する図。 第２実施形態に係る撮像装置の制御を説明するフローチャート。 第２実施形態の変形例を説明する図。

＜第１実施形態＞
本発明の第１実施形態は、被写体の全体（視野全体）を照明した状態で撮影したノイズ込画像と、視野の一部エリアを消灯し、周辺エリアからのノイズ光のみを撮影したノイズ画像とから、一部エリアのノイズを軽減した差分画像を導出する例である。視野とは、撮像装置が一度に照明し撮影することのできる範囲をいう。

以下、本発明の第１実施形態について、図面を参照して説明する。
図１は本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。なおここでは、撮像装置として、透過照明光を用いた明視野光学顕微鏡の光学系を持つデジタルスキャナを用いて説明する。

デジタルスキャナ１００は、受光素子部１０１、導光部１０２、固定部１０４、光源部１０５、画像保存部１０６、画像差分出力部（画像処理部）１０７、出力インターフェース１０８、全体制御部１０９を有する。デジタルスキャナ１００は、被写体（撮影対象）である観察対象物１０３が投入されると、透過光の拡散により発生するノイズを抑えた（除去された）観察対象物１０３のデジタル画像を生成し、出力インターフェース１０８より出力する。なお、出力された観察対象物１０３のデジタル画像は、補助記憶装置に保存されたり、ディスプレイに出力されたり、印刷装置に出力されたりする。例えば、高精細のデジタル画像をディスプレイ表示することにより、観察対象物１０３の細部の観察を肉眼で行うことが容易になる。このようなシステムは、例えば、病理診断、分析、検査など様々な用途に利用される。なお本実施形態はデジタル画像の生成処理に特徴があり、生成されたデジタル画像の用途は問わないので、ここでは詳しい説明を割愛する。

次に各ブロックについて説明する。
受光素子部１０１は、イメージセンサであり、２次元に配列された個々の受光素子で検知した光の明暗（強度）を電気信号化し、デジタル画像を作成する機能を持つ。イメージ
センサは、例えば、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又は相補性金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ
Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いた固体撮像素子である。受光素子部１０１は、全体制御部１０９より指示を受けると、全体もしくは一部の受光素子からのみ電気信号を得ることにより、全体もしくは一部のエリアのデジタル画像を作成することができる。受光素子部１０１は、電気信号を得る受光素子のエリアを指定することができる。

導光部１０２は、観察対象物１０３からの光（光像）を受光素子部１０１に導く結像光学系であり、接眼レンズ及び対物レンズおよび鏡筒からなる。接眼レンズは、対物レンズから導かれた像を拡大し受光素子部１０１の受光面（像面）に結像させる。対物レンズは、観察対象物１０３の像を拡大し接眼レンズに導く。鏡筒は、対物レンズと接眼レンズの位置を保ち受光素子部１０１への焦点が合うよう位置の固定、意図しない方向から受光素子部１０１への入光を防ぐ機能を持つ。

観察対象物１０３は、顕微鏡で観察するためのガラス標本である。ガラス標本はスライドガラスと観察対象である組織片と組織片を覆うカバーガラスとからなり、プレパラートとも呼ばれる。本実施形態では、観察対象物１０３を透過した光の明暗を受光素子部１０１で観察するので、光が透過可能な組織片を用いる。観察対象物１０３は、ユーザもしくは挿入機（不図示）によって固定部１０４にセットされる。

固定部１０４は、観察対象物１０３を支持し、光源部１０５から受光素子１０１に至る光路の間に固定しておくステージである。固定部１０４はＸ，Ｙ，Ｚの３方向に移動可能であり、観察対象物１０３をＸＹ面内（光軸に垂直な面内）で移動したり、Ｚ方向（光軸に平行な方向）に移動したりすることができる。

光源部１０５は、観察対象物１０３に平行光を照射する照明装置であり、照射するエリアを部分的に点灯／消灯することができるマイクロミラーアレイ素子を用いた光源である。光源部１０５は、全体制御部１０９より点灯させるエリアの指示を受けると、マイクロミラーアレイ素子単位で点灯することができる。照射された平行光は、観察対象物１０３が無ければ全て受光素子部１０１に達する。さらに、部分的に点灯した光源部１０５のエリアと受光素子部１０１のエリアとが常に一致する。光源部１０５、固定部１０４、導光部１０２から構成されるユニットを顕微鏡装置とも呼ぶ。

図２（ａ）〜図２（ｃ）を用いて、光源部１０５で点灯したエリアと受光素子部１０１のエリアとの対応と、光源部１０５からの光がノイズとして受光素子部１０１に到達する理由について説明する。
図２（ａ）は、受光素子部１０１、観察対象物１０３、光源部１０５を模式的に示している図である。この例では、光源部１０５が４つのエリア２５１、２５２、２５３、２５４に分かれ、各エリア２５１〜２５４はマイクロミラーアレイ素子によって独立して点灯消灯できる。受光素子部１０１も４つのエリア２１１、２１２、２１３、２１４に分かれている。各エリア２１１〜２１４は、複数の受光素子からなり、独立して照射された光の明暗を電気信号に変えることができる。観察対象物１０３の４つのエリア２３１、２３２、２３３、２３４は、光源部１０５と受光素子部１０５の各エリアとの対応を説明するために示したエリアである。

エリアの対応関係を、光源部１０５のエリア２５１のみ点灯した場合を例に挙げて、説明する。光源部１０５のエリア２５１から発した光は、図２（ａ）の実線矢印のように、観察対象物１０３のエリア２３１を透過し受光素子部１０１のエリア２１１に達する。次に、観察対象物１０３を透過した光によってノイズが発生するしくみについて説明する。
観察対象物１０３のエリア２３１に照射された光が観察対象物１０３を透過する際、反射や屈折等により拡散光が発生してしまう。この拡散光は、意図しない角度で導光部１０２へ入光するため、導光部１０２内で反射や屈折等が発生し、図２（ａ）の点線矢印のように、受光素子部１０１のエリア２１１以外にノイズ光として達してしまう。

図２（ｂ）の２０１は、光源部１０５のエリア２５１のみ点灯した状態で受光素子部１０１により撮影される画像を模式的に示している。画像２０１の４つのエリアＩ２１１、Ｉ２１２、Ｉ２１３、Ｉ２１４はそれぞれ受光素子部１０１のエリア２１１、２１２、２１３、２３４に対応している。また、各エリアＩ２１１〜Ｉ２１４の中に記載された符号は、各エリアＩ２１１〜Ｉ２１４の明るさ（受光素子部１０１で検出される光の強度）を示している。具体的には、Ｓ２３１は、観察対象物１０３のエリア２３１の透過光（図２（ａ）の実線矢印）に基づく明るさを表し、Ｎ２３１は、観察対象物１０３のエリア２３１を光が透過する際に発生した拡散光（図２（ａ）の点線矢印）に基づく明るさを表している。このように、光源部１０５のエリア２５１だけを点灯した場合であっても、観察対象物１０３のエリア２３１の拡散光が受光素子部１０１の他のエリア２１２、２１３、２１４にノイズＮ２３１として撮影されてしまう。

図２（ｃ）の２０２は、光源部１０５の全エリア２５１〜２５４を点灯した状態で受光素子部１０１により撮影される画像を模式的に示している。各エリアＩ２１１〜Ｉ２１４の中に記載された符号は、各エリアＩ２１１〜Ｉ２１４の明るさ（受光素子部１０１で検出される光の強度）を示している。Ｓ２３１、Ｓ２３２、Ｓ２３３、Ｓ２３４は、それぞれ観察対象物１０３のエリア２３１、２３２、２３３、２３４の透過光に基づく明るさを表している。また、Ｎ２３１、Ｎ２３２、Ｎ２３３、Ｎ２３４は、それぞれ観察対象物１０３のエリア２３１、２３２、２３３、２３４を光が透過する際に発生した拡散光に基づく明るさを表している。

受光素子部１０１のエリア２１１には、観察対象物１０１の対応エリア２３１の透過光と、対応エリア２３１の周辺のエリア２３２、２３３、２３４の拡散光とが到達し、それらの合成光が受光素子部１０１のエリア２１１にて画像化される。すなわち、画像２０２のエリアＩ２１１の明るさは、観察対象物１０３の対応エリア２３１の透過光に基づく明るさと、周辺エリア２３２、２３３、２３４の拡散光に基づく明るさの合計（Ｓ２３１＋（Ｎ２３２＋Ｎ２３３＋Ｎ２３４））となる。拡散光に基づく明るさ（Ｎ２３２＋Ｎ２３３＋Ｎ２３４）はノイズ成分である。同様に、画像２０２のエリアＩ２１２の明るさは（Ｓ２３２＋（Ｎ２３１＋Ｎ２３３＋Ｎ２３４））となる。また、エリアＩ２１３の明るさは、（Ｓ２３３＋（Ｎ２３１＋Ｎ２３２＋Ｎ２３４））となり、エリアＩ２１４の明るさは、（Ｓ２３４＋（Ｎ２３１＋Ｎ２３２＋Ｎ２３３））となる。このように、光源部１０５の全エリア２５１〜２５４を点灯させて受光素子部１０１の全エリア２１１〜２１４で撮影すると、対応エリア以外のエリアから到来するノイズ光に起因するノイズ成分を含む全体画像（ノイズ込画像）が取得されてしまう。

次に図３（ａ）と図３（ｂ）を用いて、光源の一部分を消灯してノイズ光のみを撮影する方法について説明する。
図３（ａ）の３０１は、光源部１０５のエリア２５１を消灯し、周辺の他のエリア２５２、２５３、２５４を点灯した状態で受光素子部１０１により撮影される画像を模式的に示している。このように、光源部１０５のエリア２５１のみを点灯させなかった場合、受光素子部１０１のエリア２１１には、観察対象物１０３の対応エリア以外のエリア２３２、２３３、２３４からのノイズ光のみが到達する。したがって、光源部１０５のエリア２５１を消灯して受光素子部１０１のエリア２１１で撮影することによって、観察対象物１０３のエリア２３２、２３３、２３４から受光素子部１０１のエリア２１１に入射するノイズ光のみを画像化することができる。このようにして得た画像３０１のエリアＩ２１１
の部分を、エリア２１１のノイズ画像と呼ぶ。ノイズ画像Ｉ２１１の明るさは、（Ｎ２３２＋Ｎ２３３＋Ｎ２３４）となる。

画像保存部１０６は、受光素子部１０１から電気信号化された画像データを受け取り保存する。画像保存部１０６は、全体制御部１０９からの指示により、受光素子部１０１全体で撮影した「ノイズ込画像」と受光素子部１０１の一部のエリアで撮影した「ノイズ画像」を保存する。
画像差分出力部１０７は、全体制御部１０９からの指示により、画像保存部１０６からノイズ込画像とノイズ画像を読み込み、ノイズ込画像からノイズ画像を減算した差分画像を作成し出力する。

ノイズ込画像とノイズ画像との差分が、ノイズが除去された画像になることを説明する。
図３（ｂ）の３０２は、ノイズ込画像である図２（ｃ）の画像２０２と、エリア２１１のノイズ画像である図３（ａ）の画像３０１のエリアＩ２１１の部分との差分画像を示している。出力された差分画像３０２のエリアＩ２１１では、ノイズ成分（Ｎ２３２＋Ｎ２３３＋Ｎ２３４）が除去され、観察対象物１０３の対応エリア２３１の透過光のみに基づく画像が得られていることがわかる。なお、他のエリア２１２、２１３、２１４のノイズ成分を除去したい場合には、同様の処理を行えばよい。

出力インターフェース１０８は、画像差分出力部１０７から出力される画像データを出力するインターフェースである。出力インターフェース１０８は、例えばＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルに従い補助記憶装置にデータを送信する。

全体制御部１０９は、受光素子部１０１と、光源部１０５と、画像保存部１０６と、画像差分出力部１０７に指示を出し、全体のノイズ込画像とノイズ画像を撮影させ、部分的にノイズが除去された画像を出力させる。
全体制御部１０９の制御について、図４（ａ）〜図４（ｃ）のフローチャートを用いて説明する。図４（ａ）は、全体制御部１０９の制御全体の流れを示すフローチャートであり、ユーザにより設定された撮影指示により処理が開始され、ノイズが除去された画像を出力することで終了する。図４（ｂ）は、全体撮影（図４（ａ）のステップ４２０）の詳細を示すフローチャートであり、図４（ｃ）は、ノイズ撮影（図４（ａ）のステップ４３０）の詳細を示すフローチャートである。

ステップ４１０において、ユーザからの撮影開始指示を受け取ると、全体制御部１０９がデジタルスキャナ１００の各ユニットを制御し撮影準備を行う。例えば、観察対象物１０３であるスライドの搬送・設置、受光素子部１０１及び光源部１０５の起動、画像保存部１０５及び画像差分出力部１０７の初期化、ノイズを除去するエリアの設定などが実行される。

ステップ４２０の全体撮影処理（第１の撮影処理）は、光源部１０５により視野の全体を照明した状態で観察対象物１０３を撮影することにより、ノイズ込画像を取得する処理である。ステップ４２０の処理を図４（ｂ）を用いて説明する。ステップ４２１では、全体制御部１０９が、光源部１０５に対し、全エリアの点灯を指示する。これにより、受光素子部１０１の全エリアに、観察対象物１０３の透過光が入光する。ステップ４２２では、全体制御部１０９が、受光素子部１０１に対し、全エリアの撮影を指示する。ステップ４２３では、全体制御部１０９が、光源部１０５に対し、全エリアの消灯を指示する。ステップ４２４では、全体制御部１０９が、画像保存部１０６に対し、受光素子１０１で撮影された全エリアの画像を「ノイズ込画像」として保存することを指示する。その結果、
図２（ｃ）のノイズ込画像２０２を取得することができる。実際の装置では、受光素子部１０１から得られる画像データ（生データ）に対し、デモザイキング、ホワイトバランス調整、ガンマ補正、色補正、エンコードなどの必要な画像処理が行われるが、ここでは説明を割愛する。

ステップ４３０のノイズ撮影処理（第２の撮影処理）は、視野の一部エリアを照明しない（周辺エリアは照明する）状態で観察対象物１０３を撮影することにより、周辺エリアを照明した光に起因して一部エリア内に生じるノイズを画像化する処理である。ステップ４３０の処理を図４（ｃ）を用いて説明する。ステップ４３１では、全体制御部１０９が、光源部１０５に対し、ノイズを除去するエリアに対応する光源を消灯し、それ以外のエリアに対応する光源（ノイズ光の原因となる光源）を点灯させる指示を行う。ステップ４３２では、全体制御部１０９が、受光素子部１０１に対し、ノイズを除去するエリア（消灯したエリアと対になるエリア）の撮影を指示する。消灯したエリアと対になるエリアには、観察対象物１０３の透過光が入射しないので、点灯したエリアに由来するノイズ光のみが撮影される。ステップ４３３では、全体制御部１０９が、光源部１０５に対し、全エリアの消灯を指示する。ステップ４３４では、全体制御部１０９が、画像保存部１０６に対し、受光素子１０１で撮影されたエリアの画像を「ノイズ画像」として保存することを指示する。その結果、図３（ａ）のノイズ画像Ｉ２１１を取得することができる。

ステップ４４０では、全体制御部１０９が、画像差分出力部１０７に対し、ノイズ込画像とノイズ画像との差分を出力するよう指示する。画像差分出力部１０７は、ノイズ込画像の各画素の画素値からノイズ画像の対応画素の画素値を減算することで、差分画像を生成する。なお、ノイズ込画像の画素値よりもノイズ画像の画素値の方が大きい場合には、差分画像の画素値はゼロにすればよい。その結果、図３（ｂ）のノイズが除去された画像３０２を取得することができる。

ところで、特許文献１（特開２００６−２９２４２１号公報）に提案された方法のように、撮影するエリアに対応する光源のみ点灯し、他を消灯すれば、撮影するエリアに入り込むノイズ光を低減することができる。これを応用すれば、ノイズ込画像の一部エリアのノイズを除去する方法として、一部エリアに対応する光源のみ点灯した状態で当該エリアのノイズなし画像を撮影し、ノイズ込画像の一部エリアをノイズなし画像に差し替える、という方法も考えられる。しかしながら、そのような方法の場合には、ドリフト現象に起因する画像境界の不連続の問題が顕在化する。つまり、ノイズ込画像の撮影とノイズなし画像の撮影のあいだに時間差があるため、その間に生じる温度変化によりフォーカス面等の変化が発生し、ノイズ込画像とノイズなし画像とのあいだに僅かなズレが生じる。そのため、ノイズ込画像の一部をノイズなし画像に差し替えると、その繋ぎ目において画像の不連続が発生してしまうのである。

これに対し、本実施形態の方法では、観察対象物の全体画像（ノイズ込画像）を一度の撮影で取得するので（つまり画像の繋ぎ合わせを行わないので）、観察対象物の像の不連続という問題は発生しない。しかも、ノイズ画像はノイズ込画像に比べてダイナミックレンジが十分小さいので、ドリフト現象によりノイズ画像とノイズ込画像に含まれるノイズ成分とのあいだに多少のズレが生じたとしても、最終結果である差分画像の上では殆ど無視できる。したがって、本実施形態の方法によれば、画像全体で連続性が高く、且つ、ノイズ光に起因するノイズ成分が軽減された、高品質な画像を簡易な方法で得ることができる。

本実施形態では、明視野光学顕微鏡を持つデジタルスキャナを用いて説明したが、イメージセンサで撮影される領域の一部分を輝度制御できる方式であれば、光学系は明視野に限定されるものでなく、暗視野や蛍光などの顕微鏡でもよい。また、イメージセンサで撮
影できる光が得られれば、光学系は透過光に限定されるものではなく、反射光であってもよい。

ノイズ画像を作成するエリア（ノイズを除去するエリア）は、ユーザによって指定させてもよいし、固定のエリア（予め決まったエリア）でもよいし、全体制御部１０９がノイズを除去するエリアを自動で選択してもよい。例えば、事前の検査により観察対象物の中の関心部位（病変部位など）が分かっていれば、その関心部位に該当するエリアのノイズを除去すればよい。関心部位の検出は、ユーザが行ってもよいし、観察対象物１０３をプリスキャンしたデータもしくは全体撮影で得たノイズ込画像から画像処理により自動検出してもよい。デジタルスキャナ１００が、画像診断を支援するための診断支援装置（不図示）と接続されており、診断支援装置から関心部位に関する情報の入力を受けてもよい。

本実施形態では、説明の便宜から、２×２の４つのエリアに分割する例を示したが、エリアの分割数や形状などは適宜設計できる。また本実施形態では、ノイズ画像の生成のため、ノイズを除去したいエリアと対になる光源部１０５のエリアのみ消灯し、他のエリアはすべて点灯した。しかし、ノイズを除去したいエリアへの影響が少ないと考えられるエリア、例えばノイズを除去したいエリアから遠いエリア、の光源は消灯してもよい。また本実施形態では、マイクロミラーアレイ素子を駆動することで光源部１０５の点灯／消灯エリアを制御したが、２次元のシャッターアレイにより光源部１０５の光を選択的に遮ることによっても同様の制御が実現できる。また本実施形態では、ノイズ画像を撮影する際に、一部の受光素子のみを用いて、ノイズを除去したいエリアの画像データのみを取得する構成としたが、受光素子部１０１の全体の画像データを取得した後にノイズ画像データを切り出してもよい。すなわち、観察対象物１０３の一部のエリアに対する照明は行わず、当該エリアの周辺のエリアは照明した状態で、当該エリアを撮影した画像（ノイズ画像）を取得できさえすれば、光源部１０５や受光素子部１０１の構成はどのようなものでもよい。

以上述べたように、本実施形態では、視野全体を照明した状態で観察対象物を撮影することでノイズ込画像（第１の画像）を取得すると共に、視野の一部エリアを消灯した状態で撮影することにより当該一部エリアのノイズ画像（第２の画像）を取得する。そして、ノイズ込画像の当該一部エリアに対応する部分から、ノイズ画像で表されるノイズ成分を減算することで、ノイズ除去処理を行う。したがって、広い視野の撮像装置であっても、照明光の拡散等に起因するノイズを除去しつつ、画像の境界における不連続を低減することができる。

＜第２実施形態＞
前述した第１実施形態では、被写体の一部エリア（視野の一部）のノイズを軽減したが、第２実施形態では、被写体の全エリア（全視野）のノイズを軽減する。具体的には、第２実施形態では、一部エリアを消灯し当該エリアのノイズを撮影するという処理を、消灯するエリアを切り替えながら繰り返すことで、全エリアのノイズ画像を取得し、全エリアのノイズ込画像とノイズ画像とから差分画像を生成する。デジタルスキャナの基本構成は第１実施形態のものと同じであるが、全エリアのノイズ画像を取得するための制御が異なる。以下では、先に説明した第１実施形態と異なる構成を主に説明し、第１実施形態と共通する構成については説明を省略する。

図５（ａ）〜図５（ｃ）を用いて、受光素子部１０１の全エリア（視野全体）のノイズ画像を撮影し差分画像を出力する方法について説明する。

図５（ａ）の６０１は、光源部１０５のエリア２５２を消灯し、周辺の他のエリア２５１、２５３、２５４を点灯した状態で受光素子部１０１により撮影される画像を模式的に
示している。エリア２５２を消灯し、観察対象物１０３の対応エリア２３２を照明しないことで、他のエリア２３１、２３３、２３４からのノイズ光に由来するノイズ画像Ｉ２１２を受光素子部１０１のエリア２１２で撮影できる。なお、ノイズのみを画像化できる理由は、第１実施形態の図３（ａ）の画像３０１について説明したのと同じ理由である。同様に、光源部１０５のエリア２５３を消灯し他のエリアを点灯した状態で、受光素子１０１のエリア２１３で撮影を行うことで、エリア２１３に対応するノイズ画像が得られる。また、光源部１０５のエリア２５４を消灯し他のエリアを点灯した状態で、受光素子１０１のエリア２１４で撮影を行うことで、エリア２１４に対応するノイズ画像が得られる。このように視野内を部分的に消灯しノイズ画像を撮影する処理を繰り返すことで、視野全体のノイズ画像を取得することができる。図５（ｂ）の６０２は、４つのエリアのノイズ画像Ｉ２１１、Ｉ２１２、Ｉ２１３、Ｉ２１４を合成して得た、視野全体のノイズ画像を示している。

図５（ｃ）の６０３は、ノイズ込画像（図２（ｃ）の画像２０２）と、全体ノイズ画像（図５（ｂ）の画像６０２）との差分画像を示している。このように、第１実施形態で作成したノイズ込画像とエリアごとに作成したノイズ画像とを用いることで、視野全体のノイズを除去できることがわかる。

第２実施形態の全体制御部１０９の制御について、図４（ａ）、図４（ｂ）、図６のフローチャートを用いて説明する。第１実施形態との違いは、図４（ａ）のステップ４３０のノイズ撮影の処理が図６に示すものに置き換わっている点のみであり、その他の処理は第１実施形態と同じである。

本実施形態のノイズ撮影ステップ４３０では、受光素子部１０１の一部分のエリアでノイズ画像を取得する処理を繰り返し、ステップ４２０で撮影した全エリア分のノイズ画像を取得する。本実施形態のノイズ撮影ステップ４３０の処理を図６を用いて説明する。

ステップ７３１では、全体制御部１０９が、光源部１０５に対し、一部エリアの光源を消灯し、その周辺エリアの光源（ノイズ光の原因となる光源）を点灯させる指示を行う。全体制御部１０９は、ステップ７３１〜ステップ７３５のループを繰り返す度に、光源を消灯するエリア（ノイズ画像を撮影するエリア）を切り換える。例えば、全体制御部１０９は、初回は光源部１０５のエリア２５１を消灯し、２回目はエリア２５２、３回目はエリア２５３、４回目はエリア２５４を順に消灯する。

ステップ４３２、ステップ４３３、ステップ４３４は、図４（ｃ）と同じ処理であり、消灯されたエリアのノイズ画像を撮影し保存するステップである。ステップ７３５では、全体制御部５０９が、全エリアのノイズ画像を撮影したかどうか判定を行い、不足があった場合にステップ７３１に戻り、次のエリアの撮影を行うよう指示する。具体的には光源部１０５の各エリア２５１、２５２、２５３、２５４を順に消灯し、対となる受光素子部１０１のエリア２１１、２１２、２１３、２１４を順に撮影することで、図５（ｂ）に示す全エリアのノイズ画像６０２を作成することができる。全エリアのノイズ画像が撮影された場合、ノイズ撮影処理を終了し、図４（ａ）のステップ４４０に進む。

ステップ４４０では、全体制御部１０９が、画像差分出力部１０７に対し、ノイズ込画像（図２の２０２）とノイズ画像（図５の６０２）の差分を出力するよう指示する。その結果、全エリアのノイズが除去された画像（図５の６０３）を取得することができる。

前述したように、ノイズ込画像と各ノイズ画像とのあいだには、撮影の時間差に起因するズレが発生する。しかしながら、本実施形態の方法では、観察対象物の全体画像（ノイズ込画像）を一度の撮影で取得するので、観察対象物の像の不連続という問題は発生しな
い。しかも、ノイズ画像はノイズ込画像に比べてダイナミックレンジが十分小さいので、ドリフト現象によりノイズ画像とノイズ込画像に含まれるノイズ成分とのあいだに多少のズレが生じたとしても、最終結果である差分画像の上では殆ど無視できる。したがって、本実施形態の方法によれば、画像全体で連続性が高く、且つ、ノイズ光に起因するノイズ成分が軽減された、高品質な画像を簡易な方法で得ることができる。

本実施形態では、光源部１０５を消灯するエリア（照明しないエリア）が互いに重ならないようにノイズ撮影処理を複数回実行することで、複数のエリアそれぞれのノイズ画像を取得し、それらを繋ぎあわせることで視野全体のノイズ画像を作成した。しかし、視野全体のノイズ画像を取得することができれば、前述の方法に限らない。例えば、ノイズを発生させてしまう光源を順に点灯し、受光素子１０１の対応する消灯エリアの撮影を行うことでノイズ画像を取得する方法でも構わない。つまり、消灯エリア（照明しないエリア）が部分的に重なりをもち、且つ、点灯エリア（照明するエリア）が互いに重ならないように、ノイズ撮影処理を複数回実行し、それらを足し合わせる（重ね合せる）ことで視野全体のノイズ画像を作成するのである。図７（ａ）〜図７（ｄ）を用いて詳しく説明する。

図７（ａ）の８０１は、光源部１０５のエリア２５２、２５３、２５４を消灯し、エリア２５１だけを点灯した状態で、受光素子部１０１により撮影される画像を模式的に示している。受光素子部１０１のエリア２１２、２１３、２１４において、観察対象物１０３のエリア２３１からのノイズ光に起因するノイズ成分Ｎ２３１を画像化できることがわかる。図７（ｂ）の８０２は、光源部１０５のエリア２５２のみを点灯した状態で、観察対象物１０３のエリア２３２からのノイズ光を撮影した画像である。図７（ｃ）の８０３は、光源部１０５のエリア２５３のみを点灯した状態で、観察対象物１０３のエリア２３３からのノイズ光を撮影した画像である。図７（ｄ）の８０４は光源部１０５のエリア２５４のみを点灯した状態で、観察対象物１０３のエリア２３４からのノイズ光を撮影した画像である。画像８０１のエリアＩ２１２〜Ｉ２１４と、画像８０２のエリアＩ２１１、Ｉ２１３、Ｉ２１４と、画像８０３のエリアＩ２１１、Ｉ２１２、Ｉ２１４と、画像８０４のエリアＩ２１１〜Ｉ２１３とを合算すると、図５（ｂ）と同様の全体ノイズ画像が得られる。

図７（ａ）〜図７（ｄ）に示す方法は、各エリアにおいてノイズ画像の足し合わせを行うので、ノイズ画像間の撮影時間差による像ズレを分散させる効果がある。したがって、図５（ａ）に示すようなエリア毎にノイズ画像を撮影する方法に比べ、差分画像全体の連続性を更に向上することができる。

本実施形態では、ノイズ画像を作成するエリアを受光素子部１０１の全体エリアとしたが、必ずしも全体のエリアである必要はなく、ノイズを軽減したい複数エリアのみでもよい。また、デジタルスキャナが１つの視野内に複数の受光素子部１０１を備える構成であれば、複数の受光素子部１０１のそれぞれに対し、上記処理を適用してもよい。また、一度に撮影可能な視野に比べて観察対象物が大きいために、観察対象物を相対移動させて複数回の撮影を行う場合には、撮影の度に上記処理を適用してもよい。

以上述べたように、本実施形態では、ノイズ撮影処理を複数回実行することで、視野内の複数エリア又は全エリアに対応するノイズ画像を取得する。そして、視野全体を照明した状態で撮影したノイズ込画像から、複数エリア又は全エリアのノイズ成分を除去する。したがって、第１実施形態と同様、広い視野の撮像装置であっても、照明光の拡散等に起因するノイズを除去しつつ、画像の境界における不連続を低減することができる。さらに、本実施形態の方法によれば、第１実施形態よりも広い範囲のノイズ除去が可能である。

１００ デジタルスキャナ
１０１ 受光素子部
１０３ 観察対象物
１０５ 光源部
１０７ 画像差分出力部
１０９ 全体制御部

Claims (14)

1. 被写体を照明する光源部と、
   前記光源部により照明された前記被写体を撮影する受光素子部と、
   前記光源部により前記被写体の全体を照明した状態で前記被写体を撮影することにより、第１の画像を取得する第１の撮影処理と、前記光源部により前記被写体の第１エリアを照明せず、且つ、前記第１エリアの周辺の第２エリアを照明した状態で前記被写体を撮影することにより、前記第２エリアを照明した光に起因して前記第１エリア内に生じるノイズを表す第２の画像を取得する第２の撮影処理と、を実行する制御部と、
   前記第２の画像を用いて、前記第１の画像の前記第１エリアに対応する部分からノイズを除去するノイズ除去処理を実行する画像処理部と、
   を備える
   ことを特徴とする撮像装置。
2. 前記ノイズ除去処理は、前記第１の画像の前記第１エリアに対応する部分から前記第２の画像を減算する処理である
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記光源部は、前記被写体を平行光で照明する照明装置である
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記被写体を支持する固定部と、前記被写体の光像を拡大し前記受光素子部へと導く光学系とを有しており、
   前記光源部と前記固定部と前記光学系によって顕微鏡装置が構成されている
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の撮像装置。
5. 前記制御部は、照明しない前記第１エリアを変えながら前記第２の撮影処理を複数回実行することにより、複数の第１エリアについての複数の第２の画像を取得し、
   前記画像処理部は、前記複数の第２の画像を用いて、前記第１の画像の前記複数の第１エリアに対応する部分からノイズを除去する
   ことを特徴とする請求項１〜４のうちいずれか１項に記載の撮像装置。
6. 前記制御部は、照明しない前記第１エリアが互いに重ならないように前記複数の第２の画像を取得する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御部は、照明しない前記第１エリアが部分的に重なりをもち、且つ、照明する前記第２エリアが互いに重ならないように前記複数の第２の画像を取得する
   ことを特徴とする請求項５に記載の撮像装置。
8. 被写体を照明する光源部と、
   前記光源部により照明された前記被写体を撮影する受光素子部と、
   画像処理部と、
   を備える撮像装置の制御方法であって、
   前記光源部により前記被写体の全体を照明した状態で前記被写体を撮影することにより、第１の画像を取得するステップと、
   前記光源部により前記被写体の第１エリアを照明せず、且つ、前記第１エリアの周辺の第２エリアを照明した状態で前記被写体を撮影することにより、前記第２エリアを照明した光に起因して前記第１エリア内に生じるノイズを表す第２の画像を取得するステップと、
   前記画像処理部によって、前記第２の画像を用いて、前記第１の画像の前記第１エリアに対応する部分からノイズを除去するステップと、
   を含むことを特徴とする撮像装置の制御方法。
9. 前記画像処理部は、前記第１の画像の前記第１エリアに対応する部分から前記第２の画像を減算することにより、ノイズを除去する
   ことを特徴とする請求項８に記載の撮像装置の制御方法。
10. 前記光源部は、前記被写体を平行光で照明する照明装置である
    ことを特徴とする請求項８又は９に記載の撮像装置の制御方法。
11. 前記撮像装置は、前記被写体を支持する固定部と、前記被写体の光像を拡大し前記受光素子部へと導く光学系とを有しており、
    前記光源部と前記固定部と前記光学系によって顕微鏡装置が構成されている
    ことを特徴とする請求項８〜１０のうちいずれか１項に記載の撮像装置の制御方法。
12. 照明しない前記第１エリアを変えながら前記第２の画像を取得するステップを複数回実行することにより、複数の第１エリアについての複数の第２の画像を取得し、
    前記画像処理部は、前記複数の第２の画像を用いて、前記第１の画像の前記複数の第１エリアに対応する部分からノイズを除去する
    ことを特徴とする請求項８〜１１のうちいずれか１項に記載の撮像装置の制御方法。
13. 照明しない前記第１エリアが互いに重ならないように前記複数の第２の画像を取得することを特徴とする請求項１２に記載の撮像装置の制御方法。
14. 照明しない前記第１エリアが部分的に重なりをもち、且つ、照明する前記第２エリアが互いに重ならないように前記複数の第２の画像を取得する
    ことを特徴とする請求項１２に記載の撮像装置の制御方法。

Images