JPWO2013179723A1 - 情報処理装置、情報処理方法、プログラム及び顕微鏡システム - Google Patents

Abstract

複数のデジタル画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能な情報処理装置、情報処理方法、プログラム及び顕微鏡システムを提供する。情報処理装置に設けられた画像解析部により、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する。そして、全体画像よりも高倍率で各領域に対応する部分画像を撮像する際は、画像解析部の判断結果に基づいて、観察対象物が存在する可能性がありかつ観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後で、観察対象物が存在する可能性がありかつ観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像が撮像されるように、顕微鏡の駆動を制御する。

Description

本技術は、顕微鏡により撮像された画像情報を処理する情報処理装置、情報処理方法、そのプログラム及び情報処理装置を備えた顕微鏡システムに関する。より詳しくは、観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせて、広視野の顕微鏡画像を合成する技術に関する。

医療、病理、生物及び材料などの分野においては、広視野でかつ高倍率の顕微鏡観察画像を得るために、デジタル顕微鏡により観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせる技術が用いられている。この技術を用いたバーチャル顕微鏡システムは、得られた顕微鏡観察画像について、ユーザーが任意の位置を任意の倍率で表示させることが可能であり、またネットワークを介して離れた場所で表示させることも可能であることから、病理診断における組織・細胞検査用途で特に注目されている。

一方、バーチャル顕微鏡システムにおいて、高解像度の顕微鏡観察画像を得るには、観察対象領域をより小さな区分に分割して撮像すればよいが、部分画像の数が多くなるほど、より高い精度で撮像及び繋ぎ合わせ（スティッチング）処理を行う必要がある。そこで、従来、バーチャル顕微鏡システムにおいて、高品質の顕微鏡観察画像を短時間で得るため、種々の検討がなされている（例えば、特許文献１〜３参照）。

例えば、特許文献１には、処理時間の短縮化を目的として、部分画像を生成する処理装置と、繋ぎ合わせ処理を行う処理装置とを別にした顕微鏡システムが提案されている。また、特許文献２には、捜査時の撮像位置ずれによる誤差を防止するため、部分画像を撮像する際に位置ずれを検出し、その結果に基づいて各部分画像の繋ぎ合わせ位置を補正する顕微鏡装置が提案されている。更に、特許文献３には、繋ぎ合わされる各部分画像に重なり合う領域を設け、この領域についてマッチング処理を行い、その結果と位置情報に基づいて繋ぎ合わせ処理を行うことで、歪みのない顕微鏡観察画像を合成する技術が提案されている。

特開２０１１−１１８１０７号公報 特開２００６−２８４９６５号公報 特開２０１２−１０２７５号公報

しかしながら、前述した従来の技術には、部分画像同士の繋ぎ合わせ精度が十分ではないという問題点がある。具体的には、特許文献２に記載の顕微鏡装置のように、撮像位置情報のみに基づいて繋ぎ合わせ処理を行うと、繋ぎ合わせた部分に誤差が生じる可能性が高く、繋ぎ合わせる部分画像の数が多くなる程、繋ぎ合わせ誤差が大きくなる。

この繋ぎ合わせ誤差は、特許文献３に記載の技術のようにマッチング処理を行うことで低減することが可能であるが、この方法でも、重なり合う領域（マッチング部分）に検体が存在しないとマッチングがとれないため、位置情報に基づいて部分画像同士を繋ぎ合わせることとなる。このような理由から、バーチャル顕微鏡システムでは、多数の部分画像を高精度に繋ぎ合わせることが可能な技術の開発が求められている。

そこで、本開示は、複数のデジタル画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能な情報処理装置、情報処理方法、プログラム及び顕微鏡システムを提供することを主目的とする。

本開示に係る情報処理装置は、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析部と、該画像解析部の判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御部と、を有し、前記撮像制御部は、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する。
本開示の情報処理装置では、観察対象物が存在する可能性がある領域のうち観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を後に撮像しているため、観察対象物が存在しない部分画像同士の繋ぎ合わせ処理が低減する。これにより、繋ぎ合わせ処理時時に誤差が発生しにくくなるため、繋ぎ合わせ精度が向上する。
前記画像解析部は、前記領域毎に観察対象物が存在する可能性を示す尤度を算出してもよい。
その場合、前記撮像制御部は、前記尤度が高い領域から撮像されるように前記部分画像の撮像を制御することができる。
また、この情報処理装置には、前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域の尤度を下げる存在レベル処理部が設けられていてもよい。
前記存在レベル処理部は、例えば、前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域の尤度を、前記観察対象物が存在すると判断される範囲で最小の尤度に置換することができる。
また、前記存在レベル処理部は、前記全体画像の各領域を、前記観察対象物が第１の尤度で存在する第１領域と、第１の尤度よりも低い第２の尤度で存在する第２領域と、前記観察対象物が存在しない第３領域とに分類すると共に、前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域は前記第２領域に分類してもよい。
更に、前記存在レベル処理部は、前記観察対象物が存在しない領域のうち前記観察対象物が存在している可能性がある領域と隣接する領域を、前記観察対象物が存在すると判断される範囲で最小の尤度に置換することもできる。
更にまた、前記存在レベル処理部は、前記全体画像の各領域を、前記観察対象物が第１の尤度で存在する第１領域と、第１の尤度よりも低い第２の尤度で存在する第２領域と、前記観察対象物が存在しない第３領域とに分類し、前記観察対象物が存在しない領域のうち前記観察対象物が存在している可能性がある領域と隣接する領域の分類を、前記第３領域から前記第２領域に変更してもよい。
一方、本開示の情報処理装置には、前記画像解析部の判断結果に基づいて、観察対象物の存在情報を示す存在マップを作成する存在マップ生成部を設けることもできる。
また、前記画像解析部の判断結果に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を設け、前記撮像制御部は、前記撮像順序生成部で作成された撮像順序に基づいて、前記顕微鏡の駆動を制御してもよい。
その場合、前記撮像順序生成部は、移動距離がより小さくなるように撮像順序を作成することができる。
更に、前記全体画像が記憶される全体画像記憶部を備えていてもよい。
更にまた、前記部分画像を繋ぎ合わせて、前記全体画像よりも高倍率の顕微鏡観察画像を合成する画像合成部を備えていてもよい。
更にまた、ネットワーク上のサーバと通信可能な通信部を設け、前記画像解析部は、前記通信部を介して、前記画像解析部による前記領域の判断結果に関する情報を、前記サーバに送信することもできる。

本開示に係る情報処理方法は、画像解析部によって、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析工程と、撮像制御部によって、前記画像解析工程での判断結果に基づいて、前記領域に対応し前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御工程と、を有し、前記撮像制御工程では、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する。

本開示に係るプログラムは、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析機能と、該画像解析機能による判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像を撮像する際、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する撮像制御機能と、を情報処理装置に実行させる。

本開示に係る顕微鏡システムは、観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、前記情報処理装置には、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析部と、該画像解析部の判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御部と、が設けられており、前記撮像制御部は、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する。

本開示によれば、繋ぎ合わせ精度が向上するため、多数の部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することができる。

本開示の第１の実施形態の顕微鏡システムの概要を示す図である。 図１に示すデジタル顕微鏡１の構成例を示すブロック図である。 図１に示す情報処理装置２の構成例を示すブロック図である。 図３に示す画像処理部２３の構成例を示すブロック図である。 本開示の第１の実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。 情報処理部２における処理及びデータの流れを示すシーケンス図である。 存在レベル処理部２３３でのレベル変更処理の概要を示す図であり、Ａは処理前、Ｂは処理後のレベルを示す図である。 存在レベル処理部２３３でのレベル変更処理の流れを示すフローチャート図である。 情報処理装置２による撮像順序作成処理の流れを示すフローチャート図である。 撮像順序生成部２３５で生成された撮像順序を示す図である。 本開示の第２の実施形態の顕微鏡システムにおける撮影範囲割増処理の概要を示す図である。

以下、本開示を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本開示は、以下に示す各実施形態に限定されるものではない。また、説明は、以下の順序で行う。

１．第１の実施の形態
（外側を後に撮像する顕微鏡システムの例）
２．第２の実施の形態
（存在マップを広く作成する顕微鏡システムの例）

＜１．第１の実施の形態＞
［顕微鏡システムの構成］
先ず、本開示の第１の実施形態に係るバーチャル顕微鏡システムについて説明する。図１は本実施形態の顕微鏡システムの概要を示す図である。本実施形態の顕微鏡システムは、各種プレパラート標本を高倍率で撮像して観察するものであり、図１に示すように、デジタル顕微鏡１と情報処理装置２とを少なくとも備える。

また、本実施形態の顕微鏡システムには、サーバ３及び／又は画像表示装置４が設けられていてもよい。その場合、情報処理装置２、サーバ３及び画像表示装置４は、直接接続することもできるが、ネットワーク５を介して相互に通信可能に接続することもできる。

［デジタル顕微鏡１］
デジタル顕微鏡１は、光源、対物レンズ、撮像素子及びステージなどを備えており、ステージ上に載置されたプレパラート標本に対して所定の照明光を照射し、観察対象物を透過した光や観察対象物から発せられた光などを撮像する。図２はデジタル顕微鏡１の構成例を示すブロック図である。図２に示すように、本実施形態の顕微鏡システムが備えるデジタル顕微鏡１には、全体画像撮像部１１と部分画像撮像部１２とが設けられている。

全体画像撮像部１１は、光源、低倍率の対物レンズ及び低解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する。一方、部分画像撮像部１２は、光源、高倍率の対物レンズ及び高解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域の一部を、高倍率かつ高解像度で撮影する。即ち、デジタル顕微鏡１では、低解像度の全体画像（サムネイル画像）と、全体画像よりも高解像度の部分画像（スライド画像）が撮像される。

また、デジタル顕微鏡１には、全体画像撮像部１１及び部分画像撮像部１２による撮像処理を制御する撮像装置コントローラ１３や、情報処理装置２と接続するための入出力インターフェイス部１４などが設けられていてもよい。入出力インターフェイス部１４を設けることで、情報処理装置２からの制御コマンドの入力や、情報処理装置２に対する全体画像撮像部１１及び部分画像撮像部１２で撮像された各画像データの出力が可能となる。

［情報処理装置２］
図３は情報処理装置２の構成例を示すブロック図である。情報処理装置２は、デジタル顕微鏡１の駆動を制御する撮像制御部２４と、デジタル顕微鏡１で撮像された各画像を処理する画像処理部２３とを備えている。また、情報処理装置２には、ＣＰＵ（Central Processing Unit）２１、メモリ２２、画像合成部２５、入出力インターフェイス部２６及びハードディスク２７などが設けられていてもよい。

（画像処理部２３）
図４は画像処理部２３の構成例を示すブロック図である。図４に示すように、画像処理部２３には、観察対象領域全体を撮像した全体画像（サムネイル画像）を解析する画像解析部２３２が設けられている。この画像解析部２３２では、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する。

画像解析部２３２において観察対象物が存在するか否かを判断する方法は、特に限定されるものではないが、例えば領域毎に観察対象物が存在する可能性を示す尤度を算出する方法を採用することができる。なお、ここでいう「尤度」には、観察対象物の存在確率だけでなく、存在の有無の概念も含む。

また、画像処理部２３には、画像解析部２３２の判断結果に基づいて、各領域の存在レベルを決定する存在レベル処理部２３３が設けられていてもよい。この存在レベル処理部２３３では、例えば、観察対象物が存在している可能性がある領域のうち観察対象物が存在しない領域と隣接する領域の尤度を、画像解析部２３２の判断結果よりも下げる。即ち、観察対象物が存在している可能性がある領域でも、観察対象物が存在しない領域と隣接する領域については、観察対象物が存在する可能性を低くする。

具体的には、観察対象物が存在している可能性がある領域のうち観察対象物が存在しない領域と隣接する領域の尤度を、観察対象物が存在すると判断される範囲で最小の尤度に置換するなどの処理を行う。例えば、全体画像の各領域を、観察対象物が第１の尤度で存在する第１領域、第１の尤度よりも低い第２の尤度で存在する第２領域、観察対象物が存在しない第３領域の３段階に分類した場合は、第３領域に隣接する領域を全て第２領域にする。

更に、画像処理部２３には、存在マップ生成部２３４が設けられていてもよい。この存在マップ生成部２３４では、画像解析部２３２の判断結果に基づいて、各領域における観察対象物の存在情報を示す存在マップを作成する。なお、画像処理部２３に存在レベル処理部２３３が設けられている場合は、存在マップ生成部２３４は、存在レベル処理部２３３で決定された存在レベルに基づいて、存在マップを作成する。また、画像解析部２３２で尤度を算出している場合は、存在マップ生成部２３４は、各領域の尤度に基づいて存在マップを作成することができる。

更にまた、画像処理部２３には、デジタル顕微鏡１で部分画像を撮像する順序を作成する撮像順序生成部２３５が設けられていてもよい。この撮像順序生成部２３５では、画像解析部２３２の判断結果に基づいて、撮像順序（撮像シーケンス）を作成する。その際、撮像順序生成部２３５は、観察対象物が存在する可能性がありかつ観察対象物が存在する可能性がある領域に隣接する領域を撮像した後で、観察対象物が存在する可能性がありかつ観察対象物が存在しない領域と隣接する領域を撮像するように撮像順序を作成する。

また、撮像順序は、観察対象物が存在する可能性がより高い領域から撮像し、撮像移動距離がより小さくなるように作成されていることが好ましい。更に、撮像順序生成部２３５は、画像解析部２３２で算出された尤度、存在レベル処理部２３３で決定された存在レベル又は存在マップ生成部２３４で作成された存在マップに基づいて、撮像順序を作成してもよい。なお、作成された撮像順序は、インターフェイス２３１を介して、撮像制御部２４に出力される。

（撮像制御部２４）
撮像制御部２４は、画像解析部２３２の判断結果などに基づいて、デジタル顕微鏡１により部分画像を撮像する際の駆動を制御する。具体的には、撮像制御部２４は、観察対象物が存在する可能性がありかつ観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後で、観察対象物が存在する可能性がありかつ観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように制御する。

また、画像解析部２３２において各領域の尤度を算出していた場合は、撮像制御部２４は、尤度が高い領域から撮像されるようにデジタル顕微鏡１の駆動を制御することが好ましい。なお、画像処理部２３に撮像順序生成部２３５が設けられている場合は、撮像順序生成部２３５で作成された撮像順序（撮像シーケンス）に従い、デジタル顕微鏡１の駆動を制御することもできる。

（ＣＰＵ２１）
ＣＰＵ２１は、情報処理装置２に設けられた各部を統括的に制御するものであり、例えば前述した画像処理部２３や撮像制御部２４などを統括的に制御するプログラムを実行する。また、ＣＰＵ２１は情報処理装置２の各部で実行される演算処理や、画像のエンコードや後述する画像合成部２５で実行される部分画像のパターンマッチング処理などを行うこともできる。

（メモリ２２）
メモリ２２は、ＣＰＵ２１の作業領域として用いられ、デジタル顕微鏡１で撮影され入出力インターフェイス部２６から入力された部分画像（スライド画像）や全体画像（サムネイル画像）などを一時的に記憶する。

（画像合成部２５）
画像合成部２５には、デジタル顕微鏡１で撮像された複数の部分画像（スライド画像）を繋ぎ合わせて、高倍率かつ高解像度の広視野顕微鏡観察画像を合成する。この画像合成部２５には、入出力インターフェイス部２６を介して、部分画像（スライド画像）が順次入力される。そして、部分画像（スライド画像）は、撮像順にマッチング処理が行われ、その結果に基づいて繋ぎ合わせ（スティッチング）処理される。

ここで、本実施形態の顕微鏡システムでは、部分画像は、観察対象物が存在する可能性がありかつ観察対象物が存在する可能性がある領域に隣接する領域の後で、観察対象物が存在する可能性がありかつ観察対象物が存在しない領域と隣接する領域を撮像している。これにより、観察対象物が存在しない部分画像同士の繋ぎ合わせ処理が低減するため、繋ぎ合わせ処理時に誤差が発生しにくくなり、繋ぎ合わせ精度が向上する。

（ハードディスク２７）
ハードディスク２７には、例えば画像処理部２３での処理結果（各領域の尤度、存在レベル、存在マップ、撮像順序など）や画像合成部２５で合成された広視野顕微鏡観察画像などが記憶される。

なお、これらのデータの一部又は全部は、ネットワーク５上のサーバ３に記憶することもできる。その場合、情報処理装置２に、サーバ３との接続用インターフェイス（図示せず）を設け、ネットワーク５を介して相互に通信可能とすればよい。

また、前述した情報処理装置２の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータなどに実装することが可能である。このようなコンピュータプログラムは、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどの記録媒体に格納されていてもよく、また、ネットワークを介して配信することもできる。

［サーバ３］
サーバ３は、情報処理装置２からアップロードされた各種データを管理し、要求に応じて画像表示装置４や情報処理装置２に出力する。また、サーバ３は、画像表示装置４で閲覧可能な画像について、画像表示装置４のユーザーのためのＧＵＩ（Graphical User Interface）を生成する。

［画像表示装置４］
画像表示装置４は、サーバ３又は情報処理装置２から出力された部分画像（スライド画像）や複数の部分画像（スライド画像）を合成した広視野顕微鏡観察画像を表示する。例えば、プレパラート標本が病理標本である場合は、画像表示装置４のユーザ（画像の閲覧者）は医師などであり、表示された画像に基づいて病理診断を行う。

［ネットワーク５］
ネットワーク５は、情報処理装置２、サーバ３及び画像表示装置４を、互いに双方向通信可能に接続する通信回線網である。このネットワーク５は、例えば、インターネット、電話回線網、衛星通信網、同報通信路などの公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮなどの専用回線網などで構成されており、有線か無線かは問わない。また、このネットワーク５は、本実施形態の顕微鏡システムに専用に設けられた通信回線網であってもよい。

［動作］
次に、本実施形態の顕微鏡システムの動作の一例について説明する。図５は本実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図であり、図６はその情報処理装置２における処理及びデータの流れを示すシーケンス図である。

図５に示すように、本実施形態の顕微鏡システムにより対象物の顕微鏡観察する場合は、先ず、デジタル顕微鏡１の全体画像撮像部１１が、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する（ステップＳ１）。このステップＳ１で撮像された全体画像（サムネイル画像）は、デジタル顕微鏡１のインターフェイス１４から出力され、情報処理装置２のインターフェイス２６を介して、画像処理部２３に入力される。

そして、画像処理部２３の画像解析部２３２において、入力された全体画像（サムネイル画像）を複数の領域に分割し、例えば尤度を算出するなどの方法で、領域毎に観察対象物が存在するか否かを判断する（ステップＳ２）。例えば、各領域の尤度は、画像認識処理などによって算出することができる。

引き続き、存在レベル処理部２３３で、観察対象物が存在する可能性がある領域のうち観察対象物が存在しない領域と隣接する領域の尤度を、画像解析部２３２の判断結果よりも低くするなどの処理を行い、各領域の存在レベルを決定する（ステップＳ３）。図７は存在レベル処理部２３３でのレベル変更処理の概要を示す図であり、図７Ａは処理前の存在レベルを示す図であり、図７Ｂは処理後の存在レベルを示す図である。また、図８は存在レベル処理部２３３でのレベル変更処理の流れを示すフローチャート図である。

例えば、存在レベル処理部２３３では、図７Ａに示すように、全体画像の各領域を、尤度に応じて、観察対象物６が存在している領域（レベル２）、観察対象物６が存在しているかもしれない領域（レベル１）、観察対象物６が存在していない領域（レベル０）の３段階に分類する。この段階では、存在レベルが「２」であり、領域内に観察対象物６は存在しているものの、繋ぎ合わせる部分には観察対象物６がないため、繋ぎ合わせ処理が困難な領域が存在する（図７Ａの○で囲んだ部分）。

そこで、本実施形態の顕微鏡システムでは、図８に示す存在レベル処理を行い、観察対象物が存在する可能性がある領域のうち観察対象物が存在しない領域と隣接する領域の尤度を、観察対象物６が存在すると判断される範囲で最小の尤度に置換する。これにより、図７Ｂに示すように、観察対象物６が存在している可能性がある「レベル２」及び「レベル１」の各領域の中で、最も外側の領域は存在レベルが「１」となる。その結果、撮像順序は、尤度が高い領域から順に撮像されるよう作成されるため、確実に観察対象物６がある部分が優先的に撮影され、観察対象物６の外周部分は後で撮像されることとなる。

次に、存在マップ生成部２３４において、存在レベル処理部２３３で決定された存在レベルに基づいて、各領域における観察対象物の存在情報を示す存在マップを作成する（ステップＳ４）。そして、撮像順序生成部２３５において、存在マップに基づいて、部分画像の撮像順序を作成する（ステップＳ５）。図９は情報処理装置２による撮像順序作成処理の流れを示すフローチャート図であり、図１０は撮像順序生成部２３５で生成された撮像順序を示す図である。

図９に示すように、撮像順序（撮像シーケンス）は、例えば、尤度（存在レベル）がより高い領域から撮像すると共に、移動距離がより小さくなるように作成する。具体的には、ステップＳ２で図１０Ａに示す尤度が算出され、ステップＳ３の存在レベル処理工程を経て図１０Ｂに示す存在マップが作成された場合、図１０Ｃに示すような撮像順序が作成される。

図１０Ｃに示す撮像順序に従い、部分画像を撮像すると、観察対象物が存在する可能性がある領域でも、観察対象物が存在する可能性がある領域に隣接する領域が先に、観察対象物が存在しない領域と隣接する領域は後で撮像される。これにより、後述する部分画像の繋ぎ合わせ処理においても、同様の順番で処理されることとなり、マッチングがとれず、部分画像同士を位置情報で繋ぎ合わせる回数が低減する。その結果、画像合成時の繋ぎ合わせ精度が向上する。

次に、図６に示すように、撮像順序生成部２３５で作成された撮像順序（撮像シーケンス）は、インターフェイス２３１を介して撮像制御部２４に出力され、撮像制御部２４は、撮像順序に基づいてデジタル顕微鏡１の駆動を制御する。これにより、撮像順序に基づいて、デジタル顕微鏡１の部分画像撮像部１２により、部分画像が撮像される（ステップＳ６）。

部分画像撮像部１２で撮像された部分画像は、順次、情報処理装置２に出力され、画像合成部２５において、繋ぎ合わせ処理される（ステップＳ７）。本実施形態の顕微鏡システムでは、確実に観察対象物がある部分を優先的に撮影し、繋ぎ合わせ処理を行っているため、繋ぎ合わせ処理時に誤差が発生しにくい。その結果、部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能となる。

また、本実施形態の顕微鏡システムでは、観察対象物が存在する可能性がありかつ観察対象物が存在しない領域と隣接する領域（例えば観察対象物の外周部分など）を後で撮像しているため、部分画像撮影時に無駄な移動を低減することができる。その結果、撮影処理に要する時間も短縮することができる。

＜２．第２の実施の形態＞
次に、本開示の第２の実施形態に係る顕微鏡システムについて説明する。本実施形態の顕微鏡システムでは、撮り逃がしを避けるために、観察対象物が存在する可能性がある領域よりも広い領域が撮像されるよう尤度を変更する。図１１は本実施形態の顕微鏡システムにおける撮影範囲割増処理の概要を示す図である。

本実施形態の顕微鏡システムでは、存在レベル処理部２３３において、観察対象物が存在しない領域のうち観察対象物が存在している可能性がある領域と隣接する領域を、観察対象物が存在すると判断される範囲で最小の尤度に置換する。例えば、全体画像の各領域を、観察対象物が存在している領域（レベル２）、観察対象物が存在しているかもしれない領域（レベル１）、観察対象物が存在していない領域（レベル０）の３段階に分類した場合、レベル１，２に隣接するレベル０の領域をレベル１に変更する。

これにより、図１１に示すように、部分画像が撮像される範囲（存在レベル１，２）が追加され、観察対象物が存在する領域の周囲の領域も撮像されることとなる。その結果、観察対象物が存在する領域を確実に撮像することができる。なお、本実施形態の顕微鏡システムにおける上記以外の構成及び効果は、前述した第１の実施形態と同様である。

また、本開示は、以下のような構成をとることもできる。
（１）
観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析部と、
該画像解析部の判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御部と、を有し、
前記撮像制御部は、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する情報処理装置。
（２）
前記画像解析部は、前記領域毎に観察対象物が存在する可能性を示す尤度を算出する（１）に記載の情報処理装置。
（３）
前記撮像制御部は、前記尤度が高い領域から撮像されるように前記部分画像の撮像を制御する（２）に記載の情報処理装置。
（４）
前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域の尤度を下げる存在レベル処理部を有する（２）又は（３）に記載の情報処理装置。
（５）
前記存在レベル処理部は、前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域の尤度を、前記観察対象物が存在すると判断される範囲で最小の尤度に置換する（４）に記載の情報処理装置。
（６）
前記存在レベル処理部は、前記全体画像の各領域を、前記観察対象物が第１の尤度で存在する第１領域と、第１の尤度よりも低い第２の尤度で存在する第２領域と、前記観察対象物が存在しない第３領域とに分類すると共に、前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域は前記第２領域に分類する（４）又は（５）に記載の情報処理装置。
（７）
前記存在レベル処理部は、前記観察対象物が存在しない領域のうち前記観察対象物が存在している可能性がある領域と隣接する領域を、前記観察対象物が存在すると判断される範囲で最小の尤度に置換する（４）〜（６）のいずれかに記載の情報処理装置。
（８）
前記存在レベル処理部は、前記全体画像の各領域を、前記観察対象物が第１の尤度で存在する第１領域と、第１の尤度よりも低い第２の尤度で存在する第２領域と、前記観察対象物が存在しない第３領域とに分類し、前記観察対象物が存在しない領域のうち前記観察対象物が存在している可能性がある領域と隣接する領域の分類を、前記第３領域から前記第２領域に変更する（４）〜（７）のいずれかに記載の情報処理装置。
（９）
前記画像解析部の判断結果に基づいて、観察対象物の存在情報を示す存在マップを作成する存在マップ生成部を有する（１）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記画像解析部の判断結果に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を有し、
前記撮像制御部は、前記撮像順序生成部で作成された撮像順序に基づいて、前記顕微鏡の駆動を制御する請求項（１）〜（９）のいずれかに記載の情報処理装置。
（１１）
前記撮像順序生成部は、移動距離がより小さくなるように撮像順序を作成する請求項１０に記載の情報処理装置。
（１２）
更に、前記全体画像が記憶される全体画像記憶部を備える（１）〜（１１）のいずれかに記載の情報処理装置。
（１３）
更に、前記部分画像を繋ぎ合わせて、前記全体画像よりも高倍率の顕微鏡観察画像を合成する画像合成部を備え（１）〜（１２）のいずれかに記載の情報処理装置。
（１４）
更に、ネットワーク上のサーバと通信可能な通信部を備え、
前記画像解析部は、前記通信部を介して、前記画像解析部による前記領域の判断結果に関する情報を、前記サーバに送信する（１）〜（１３）のいずれかに記載の情報処理装置。
（１５）
画像解析部によって、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析工程と、
撮像制御部によって、前記画像解析工程での判断結果に基づいて、前記領域に対応し前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御工程と、を有し、
前記撮像制御工程では、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する情報処理方法。
（１６）
観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析機能と、
該画像解析機能による判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像を撮像する際、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する撮像制御機能と、
を情報処理装置に実行させるプログラム。
（１７）
観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、
前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、
前記情報処理装置には、
観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析部と、
該画像解析部の判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御部と、
が設けられており、
前記撮像制御部は、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する顕微鏡システム。

１ デジタル顕微鏡
２ 情報処理装置
３ サーバ
４ 画像表示装置
５ ネットワーク
６ 観察対象物
１１ 全体画像撮像部
１２ 部分画像撮像部
１３ 撮像装置コントローラ
１４、２６、２３１ インターフェイス
２１ ＣＰＵ
２２ メモリ
２３ 画像処理部
２４ 撮像制御部
２５ 画像合成部
２７ ハードディスク
２３２ 画像解析部
２３３ 存在レベル処理部
２３４ 存在マップ生成部
２３５ 撮像順序生成部

例えば、特許文献１には、処理時間の短縮化を目的として、部分画像を生成する処理装置と、繋ぎ合わせ処理を行う処理装置とを別にした顕微鏡システムが提案されている。また、特許文献２には、走査時の撮像位置ずれによる誤差を防止するため、部分画像を撮像する際に位置ずれを検出し、その結果に基づいて各部分画像の繋ぎ合わせ位置を補正する顕微鏡装置が提案されている。更に、特許文献３には、繋ぎ合わされる各部分画像に重なり合う領域を設け、この領域についてマッチング処理を行い、その結果と位置情報に基づいて繋ぎ合わせ処理を行うことで、歪みのない顕微鏡観察画像を合成する技術が提案されている。

本開示の第１の実施形態の顕微鏡システムの概要を示す図である。 図１に示すデジタル顕微鏡１の構成例を示すブロック図である。 図１に示す情報処理装置２の構成例を示すブロック図である。 図３に示す画像処理部２３の構成例を示すブロック図である。 本開示の第１の実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。 情報処理装置２における処理及びデータの流れを示すシーケンス図である。 存在レベル処理部２３３でのレベル変更処理の概要を示す図であり、Ａは処理前、Ｂは処理後のレベルを示す図である。 存在レベル処理部２３３でのレベル変更処理の流れを示すフローチャート図である。 情報処理装置２による撮像順序作成処理の流れを示すフローチャート図である。 撮像順序生成部２３５で生成された撮像順序を示す図である。 本開示の第２の実施形態の顕微鏡システムにおける撮影範囲割増処理の概要を示す図である。

図１０Ｃに示す撮像順序に従い、部分画像を撮像すると、観察対象物が存在する可能性がある領域でも、観察対象物が存在する可能性がある領域に隣接する領域が先に、観察対象物が存在しない領域と隣接する領域は後で撮像される。これにより、後述する部分画像の繋ぎ合わせ処理においても、同様の順番で処理されることとなり、マッチングがとれ、部分画像同士を位置情報で繋ぎ合わせる回数が低減する。その結果、画像合成時の繋ぎ合わせ精度が向上する。

Claims (17)

1. 観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析部と、
   該画像解析部の判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御部と、を有し、
   前記撮像制御部は、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する情報処理装置。
2. 前記画像解析部は、前記領域毎に観察対象物が存在する可能性を示す尤度を算出する請求項１に記載の情報処理装置。
3. 前記撮像制御部は、前記尤度が高い領域から撮像されるように前記部分画像の撮像を制御する請求項２に記載の情報処理装置。
4. 前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域の尤度を下げる存在レベル処理部を有する請求項３に記載の情報処理装置。
5. 前記存在レベル処理部は、前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域の尤度を、前記観察対象物が存在すると判断される範囲で最小の尤度に置換する請求項４に記載の情報処理装置。
6. 前記存在レベル処理部は、前記全体画像の各領域を、前記観察対象物が第１の尤度で存在する第１領域と、第１の尤度よりも低い第２の尤度で存在する第２領域と、前記観察対象物が存在しない第３領域とに分類すると共に、前記観察対象物が存在する可能性がある領域のうち前記観察対象物が存在しない領域と隣接する領域は前記第２領域に分類する請求項４に記載の情報処理装置。
7. 前記存在レベル処理部は、前記観察対象物が存在しない領域のうち前記観察対象物が存在している可能性がある領域と隣接する領域を、前記観察対象物が存在すると判断される範囲で最小の尤度に置換する請求項４に記載の情報処理装置。
8. 前記存在レベル処理部は、前記全体画像の各領域を、前記観察対象物が第１の尤度で存在する第１領域と、第１の尤度よりも低い第２の尤度で存在する第２領域と、前記観察対象物が存在しない第３領域とに分類し、前記観察対象物が存在しない領域のうち前記観察対象物が存在している可能性がある領域と隣接する領域の分類を、前記第３領域から前記第２領域に変更する請求項４に記載の情報処理装置。
9. 前記画像解析部の判断結果に基づいて、観察対象物の存在情報を示す存在マップを作成する存在マップ生成部を有する請求項１に記載の情報処理装置。
10. 前記画像解析部の判断結果に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を有し、
    前記撮像制御部は、前記撮像順序生成部で作成された撮像順序に基づいて、前記顕微鏡の駆動を制御する請求項１に記載の情報処理装置。
11. 前記撮像順序生成部は、移動距離がより小さくなるように撮像順序を作成する請求項１０に記載の情報処理装置。
12. 更に、前記全体画像が記憶される全体画像記憶部を備える請求項１に記載の情報処理装置。
13. 更に、前記部分画像を繋ぎ合わせて、前記全体画像よりも高倍率の顕微鏡観察画像を合成する画像合成部を備える請求項１に記載の情報処理装置。
14. 更に、ネットワーク上のサーバと通信可能な通信部を備え、
    前記画像解析部は、前記通信部を介して、前記画像解析部による前記領域の判断結果に関する情報を、前記サーバに送信する請求項１に記載の情報処理装置。
15. 画像解析部によって、観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析工程と、
    撮像制御部によって、前記画像解析工程での判断結果に基づいて、前記領域に対応し前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御工程と、を有し、
    前記撮像制御工程では、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する情報処理方法。
16. 観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析機能と、
    該画像解析機能による判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像を撮像する際、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する撮像制御機能と、
    を情報処理装置に実行させるプログラム。
17. 観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、
    前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、
    前記情報処理装置には、
    観察対象領域全体を撮像した全体画像を複数の領域に分割し、領域毎に観察対象物が存在するか否かを判断する画像解析部と、
    該画像解析部の判断結果に基づいて、前記領域に対応する前記全体画像よりも高倍率の部分画像の撮像を制御する撮像制御部と、
    が設けられており、
    前記撮像制御部は、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在する可能性がある領域に隣接する領域に対応する第１の部分画像を撮像した後、前記観察対象物が存在する可能性がありかつ前記観察対象物が存在しない領域と隣接する領域に対応する第２の部分画像を撮像するように撮像を制御する顕微鏡システム。

Images