JP6172146B2 - 情報処理装置、情報処理方法、プログラム及び顕微鏡システム - Google Patents

Description

本技術は、顕微鏡により撮像された画像情報を処理する情報処理装置、情報処理方法、そのプログラム及び情報処理装置を備えた顕微鏡システムに関する。より詳しくは、観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせて、広視野の顕微鏡画像を合成する技術に関する。

医療、病理、生物及び材料などの分野においては、広視野でかつ高倍率の顕微鏡観察画像を得るために、デジタル顕微鏡により観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせる技術が用いられている。この技術を用いたバーチャル顕微鏡システムは、得られた顕微鏡観察画像について、ユーザーが任意の位置を任意の倍率で表示させることが可能であり、またネットワークを介して離れた場所で表示させることも可能であることから、病理診断における組織・細胞検査用途で特に注目されている。

一方、バーチャル顕微鏡システムにおいて、高解像度の顕微鏡観察画像を得るには、観察対象領域をより小さな区分に分割して撮像すればよいが、部分画像の数が多くなるほど、より高い精度で撮像及び繋ぎ合わせ（スティッチング）処理を行う必要がある。そこで、従来、バーチャル顕微鏡システムにおいて、高品質の顕微鏡観察画像を短時間で得るため、種々の検討がなされている。

例えば、特許文献１には、処理時間の短縮化を目的として、部分画像を生成する処理装置と、繋ぎ合わせ処理を行う処理装置とを別にした顕微鏡システムが提案されている。また、特許文献２には、走査時の撮像位置ずれによる誤差を防止するため、部分画像を撮像する際に位置ずれを検出し、その結果に基づいて各部分画像の繋ぎ合わせ位置を補正する顕微鏡装置が提案されている。

特開２０１１−１１８１０７号公報 特開２００６−２８４９６５号公報

しかしながら、前述した従来のバーチャル顕微鏡システムでは、マッチング処理において相関関係が高いと判断されたものを基準にして繋ぎ合わせを行っているが、相関関係が高いもの同士の繋ぎ合わせが、必ずしも正確な繋ぎ合わせを実現できるとは限らない。具体的には、部分画像にゴミなどの試料以外の異物が含まれている場合、これらが試料よりも相関関係が高いと判断され、誤った繋ぎ合わせが行われることがある。特に、試料上にカバーガラスの縁部が存在している場合に、この問題が生じやすい。

そこで、本開示は、複数のデジタル画像中に異物の画像が存在していても、画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能な情報処理装置、情報処理方法、プログラム及び顕微鏡システムを提供することを主目的とする。

本開示に係る情報処理装置は、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、を有し、前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する。
本開示の情報処理装置では、観察対象領域に異物が存在していても、異物の部分画像を試料の部分画像と優先的に繋ぎ合わせる処理を行う。これにより、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれを防止できるため、繋ぎ合わせ精度が向上する。
この情報処理装置には、観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部が設けられていてもよく、前記撮像順序生成部は、複数の領域に分割された前記全体画像の第１の領域に異物が存在するときは、前記第１の領域の次に撮像される第２の領域として試料が存在する領域を選択し、前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第１の部分画像及び前記第２の部分画像を取得してもよい。
また、前記画像取得部が、観察対象領域の一部が撮像された複数の部分画像から、前記第１の部分画像に繋ぎ合わせる前記第２の部分画像を取得し、前記繋合位置調整部が、前記第１の部分画像に対し、前記第２の部分画像の繋合位置を調整してもよい。
また、前記画像取得部は、前記第２の部分画像として異物が存在しない部分画像を取得してもよい。
また、前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第２の部分画像として異物が存在する部分画像を取得してもよい。
また、前記画像取得部は、前記第２の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像を取得対象外としてもよい。
また、この情報処理装置には、前記部分画像について、異物及び試料の存在の有無を判定する画像解析部が設けられていてもよい。
また、前記画像解析部は、前記全体画像の前記領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行うことができる。
その場合、前記画像解析部は、同視野で撮像条件が異なる２種類の全体画像を用いて、異物及び試料の存在の有無を判定してもよい。
また、前記画像解析部は、前記全体画像の各領域について試料の存在度合いを示す第１尤度と、異物の存在確率を算出する第２尤度とを算出してもよい。
その場合、前記画像解析部は、前記第１尤度及び前記第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成することもできる。
更に、この情報処理装置には、前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成部が設けられていてもよい。
その場合、前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第２の画像として前記部分画像の中から任意の部分画像を取得し、前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第１の部分画像に前記第２の部分画像を繋ぎ合わせてもよい。
更に、前記画像取得部は、前記第２の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外としてもよい。

本開示に係る情報処理方法は、画像取得部によって、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得工程と、繋合位置調整部によって、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整工程と、を有し、前記画像取得工程では、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する。

本開示に係るプログラムは、第１の部分画像及び第２の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整機能と、を情報処理装置に実行させる。

本開示に係る顕微鏡システムは、観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、前記情報処理装置には、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、が設けられており、前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する。

本開示によれば、異物の画像が存在していても、繋ぎ合わせ位置のずれを防止するため、多数の部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することができる。

本開示の第１の実施形態の顕微鏡システムの概要を示す図である。 図１に示すデジタル顕微鏡１の構成例を示すブロック図である。 図１に示す情報処理装置２の構成例を示すブロック図である。 図３に示す画像処理部２３の構成例を示すブロック図である。 本開示の第１の実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。 画像解析部２３２における存在マップ作成処理の概要を示す図である。 画像解析部２３２における存在マップ作成処理の概要を示す図である。 画像取得部２３３において部分画像に繋ぎ合わせる画像を取得する流れを示すフローチャート図である。 画像解析部２３２における存在マップ作成処理の概要を示す図である。 試料と異物とが混在した状態の概要を示す図である。 本開示の第２の実施形態の顕微鏡システムにおける情報処理装置２の構成例を示すブロック図である。 図１１に示す画像処理部２３の構成例を示すブロック図である。 本開示の第２の実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。 情報処理装置２における処理及びデータの流れを示すシーケンス図である。 情報処理装置２による撮像順序作成処理の流れを示すフローチャート図である。 撮像順序生成部２３５において撮像順序を決定する流れを示すフローチャート図である。 撮像順序生成部２３５で生成された撮像順序を示す図である。 本開示の第２の実施形態の変形例における顕微鏡システムの全体動作の概要を示すフローチャート図である。

以下、本開示を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本開示は、以下に示す各実施形態に限定されるものではない。また、説明は、以下の順序で行う。

１．第１の実施の形態
（異物が存在する画像を試料が存在する画像に優先的に繋合するシステムの例）
２．第２の実施の形態
（撮像シーケンスを作成するシステムの例）

＜１．第１の実施の形態＞
［顕微鏡システムの構成］
先ず、本開示の第１の実施形態に係るバーチャル顕微鏡システムについて説明する。図１は本実施形態の顕微鏡システムの概要を示す図である。本実施形態の顕微鏡システムは、各種プレパラート標本を高倍率で撮像して観察するものであり、図１に示すように、デジタル顕微鏡１と情報処理装置２とを少なくとも備える。

この情報処理装置２には、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部２３３と、第１の部分画像と第２の部分画像との繋合位置を調整する繋合位置調整部２３４とが少なくとも設けられている。そして、画像取得部２３３では、第１の部分画像に異物が存在するときは、第２の部分画像として試料が存在する部分画像を優先的に取得する。

また、本実施形態の顕微鏡システムには、サーバ３及び／又は画像表示装置４が設けられていてもよい。その場合、情報処理装置２、サーバ３及び画像表示装置４は、直接接続することもできるが、ネットワーク５を介して相互に通信可能に接続することもできる。

［デジタル顕微鏡１］
デジタル顕微鏡１は、光源、対物レンズ、撮像素子及びステージなどを備えており、ステージ上に載置されたプレパラート標本に対して所定の照明光を照射し、観察対象物を透過した光や観察対象物から発せられた光などを撮像する。図２はデジタル顕微鏡１の構成例を示すブロック図である。図２に示すように、本実施形態の顕微鏡システムが備えるデジタル顕微鏡１には、全体画像撮像部１１と部分画像撮像部１２とが設けられている。

全体画像撮像部１１は、光源、低倍率の対物レンズ及び低解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する。このとき、全体画像撮像部１１において、同視野で撮像条件が異なる２種類の全体画像を撮像する。その場合、例えば、全体画像撮像部１１には、明視野照明光を照射する光源及び暗視野照明光を照射する光源の２種類の光源を設ける。また、全体画像撮像部１１には、明視野画像を取得すべきモード又は暗視野画像を取得すべきモードのどちらを実行するかを判断する照明制御部が設けられていてもよい。この照明制御部は、各モードに応じたパラメータを光源に対して設定し、光源から、各モードに適した照明光を照射させることができる。

全体画像撮像部１１では、明視野照明を用いる場合、例えば、試料が載置されたプレパラートの下方（プレパラートに対して撮像素子と反対側）からプレパラートに光を照射することができる。これにより、光を透過する部分についてはプレパラート上にある、試料及びカバーガラスなどの異物の画像を取得することができる。

一方で、全体画像撮像部１１では、暗視野照明を用いる場合、例えば、上方側からプレパラートが照明される。このとき、撮像素子により撮像された画像からは、プレパラートにおいて光が散乱された部分の情報を取得することができる。光の散乱は、例えばカバーガラスの縁部等で生ずるので、暗視野画像には、例えばプレパラート上の試料を覆うように載置されたカバーガラスの縁部が白く現れる。これにより、全体画像撮像部１１では、カバーガラスの縁部を際立たせた画像を取得することができる。このように、全体画像撮像部１１では、明視野画像及び暗視野画像の２種類の全体画像を取得することができる。

また、部分画像撮像部１２は、光源、全体画像撮像部１１よりも高倍率の対物レンズ及び高解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域の一部を、高倍率かつ高解像度で撮影する。即ち、デジタル顕微鏡１では、低解像度の全体画像（サムネイル画像）と、全体画像よりも高解像度の部分画像（スライド画像）が撮像される。

また、デジタル顕微鏡１には、全体画像撮像部１１及び部分画像撮像部１２による撮像処理を制御する撮像装置コントローラ１３や、情報処理装置２と接続するための入出力インターフェイス部１４などが設けられていてもよい。入出力インターフェイス部１４を設けることで、情報処理装置２からの制御コマンドの入力や、情報処理装置２に対する全体画像撮像部１１及び部分画像撮像部１２で撮像された各画像データの出力が可能となる。

［情報処理装置２］
図３は情報処理装置２の構成例を示すブロック図である。情報処理装置２は、デジタル顕微鏡１で撮像された各画像を処理する画像処理部２３を備えている。また、情報処理装置２には、ＣＰＵ（Central Processing Unit）２１、メモリ２２、画像合成部２４、入出力インターフェイス部２５及びハードディスク２６などが設けられていてもよい。

（画像処理部２３）
図４は画像処理部２３の構成例を示すブロック図である。図４に示すように、画像処理部２３には、観察対象領域全体を撮像した全体画像（サムネイル画像）を解析する画像解析部２３２が設けられていてよい。

この画像解析部２３２では、観察対象領域全体を撮像した全体画像の領域毎に異物及び試料が存在するか否かを判断する。例えば、画像解析部２３２では、同視野で撮像条件が異なる２種類の全体画像の夫々を複数の領域に分割し、その２種類の全体画像を比較することで、異物及び試料が存在するか否かを判断することができる。なお、ここでいう「異物」とは、試料を覆うカバーガラスの縁部又は試料に混入したゴミ等を指し、画像解析部２３２により、部分画像中における異物の存在の有無が判定される。

画像解析部２３２において観察対象物が存在するか否かを判断する方法は、特に限定されるものではないが、例えば領域毎に異物及び試料が存在する可能性を示す尤度を算出する方法を採用することができる。なお、ここでいう「尤度」には、観察対象物の存在確率だけでなく、存在の有無の概念も含む。

より具体的には、尤度は、例えば、全体画像のうち、明視野画像の各領域を、観察対象物が存在している領域（レベル２）、観察対象物が存在しているかもしれない領域（レベル１）、観察対象物が存在していない領域（レベル０）の３段階に分類できる。また、例えば、全体画像のうち、暗視野画像の各領域を、異物が存在している領域（レベル１）、異物が存在していない領域（レベル０）の２段階に分類できる。画像解析部２３２では、この明視野画像及び暗視野画像の尤度を比較することにより、試料及び異物の存在を判断することができる。

また、画像処理部２３には、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部２３３が設けられている。例えば、画像取得部２３３は、観察対象領域の一部が撮像された複数の部分画像から、第１の部分画像に繋ぎ合わせる部分画像として第２の部分画像を取得することができる。この画像取得部２３３では、その第１の部分画像に異物が存在するときは、第２の部分画像として試料が存在する部分画像を優先的に取得する。

また、画像処理部２３には、繋合位置調整部２３４が設けられる。この繋合位置調整部２３４では、画像取得部２３３により選択された繋ぎ合わせる部分画像同士の繋ぎ合わせ位置の調整（マッチング処理）をする。

繋合位置調整部２３４で繋ぎ合わせ位置を調整する方法は、特に限定されないが、例えば夫々の部分画像に繋ぎ合わせる領域（のりしろ領域）の複数の画素ごとの輝度値が算出され、その輝度値に基づいて自己相関関数が算出されることで行われる。また、重なる領域の画素ごとに輝度値の差の自乗が算出されることで繋ぎ合わせ位置が調整されてもよい。その他、画像のパターンマッチングに利用される各種アルゴリズムが利用可能である。

（ＣＰＵ２１）
ＣＰＵ２１は、情報処理装置２に設けられた各部を統括的に制御するものであり、例えば前述した画像処理部２３などを統括的に制御するプログラムを実行する。また、ＣＰＵ２１は情報処理装置２の各部で実行される演算処理を行ったり、画像のエンコードや後述する画像合成部２４で実行される部分画像のパターンマッチング処理などを行うこともできる。

（メモリ２２）
メモリ２２は、ＣＰＵ２１の作業領域として用いられ、デジタル顕微鏡１で撮影され入出力インターフェイス部２５から入力された部分画像（スライド画像）や全体画像（サムネイル画像）などを一時的に記憶する。

（画像合成部２４）
画像合成部２４では、デジタル顕微鏡１で撮像された複数の部分画像（スライド画像）を繋ぎ合わせて、高倍率かつ高解像度の広視野顕微鏡観察画像を合成する。この画像合成部２４には、入出力インターフェイス部２５を介して、部分画像（スライド画像）が順次入力される。そして、部分画像（スライド画像）は、撮像順にマッチング処理が行われ、その結果に基づいて繋ぎ合わせ（スティッチング）処理される。

ここで、本実施形態の顕微鏡システムでは、異物が存在する部分画像が存在するときは、その異物が存在する部分画像に繋ぎ合わせる部分画像として、試料が存在する画像が優先的に取得される。これにより、異物が存在する部分画像同士を繋ぎ合わせることを抑制するため、繋ぎ合わせ位置のずれを防止し、繋ぎ合わせ精度が向上する。

（ハードディスク２６）
ハードディスク２６には、例えば画像処理部２３での処理結果（各領域の尤度、存在レベル、存在マップ、撮像順序など）や画像合成部２４で合成された広視野顕微鏡観察画像などが記憶される。

なお、これらのデータの一部又は全部は、ネットワーク５上のサーバ３に記憶することもできる。その場合、情報処理装置２に、サーバ３との接続用インターフェイス（図示せず）を設け、ネットワーク５を介して相互に通信可能とすればよい。

また、前述した情報処理装置２の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータなどに実装することが可能である。このようなコンピュータプログラムは、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどの記録媒体に格納されていてもよく、また、ネットワークを介して配信することもできる。

［サーバ３］
サーバ３は、情報処理装置２からアップロードされた各種データを管理し、要求に応じて画像表示装置４や情報処理装置２に出力する。また、サーバ３は、画像表示装置４で閲覧可能な画像について、画像表示装置４のユーザのためのＧＵＩ（Graphical User Interface）を生成する。

［画像表示装置４］
画像表示装置４は、サーバ３又は情報処理装置２から出力された部分画像（スライド画像）や複数の部分画像（スライド画像）を合成した広視野顕微鏡観察画像を表示する。例えば、プレパラート標本が病理標本である場合は、画像表示装置４のユーザ（画像の閲覧者）は医師などであり、表示された画像に基づいて病理診断を行う。

［ネットワーク５］
ネットワーク５は、情報処理装置２、サーバ３及び画像表示装置４を、互いに双方向通信可能に接続する通信回線網である。このネットワーク５は、例えば、インターネット、電話回線網、衛星通信網、同報通信路などの公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮなどの専用回線網などで構成されており、有線か無線かは問わない。また、このネットワーク５は、本実施形態の顕微鏡システムに専用に設けられた通信回線網であってもよい。

［動作］
次に、本実施形態の顕微鏡システムの動作の一例について説明する。図５は本実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。

図５に示すように、本実施形態の顕微鏡システムにより対象物の顕微鏡観察をする場合は、先ず、デジタル顕微鏡１の全体画像撮像部１１が、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する（ステップＳ１ａ）。このステップＳ１ａで撮像された全体画像（明視野画像）は、デジタル顕微鏡１のインターフェイス１４から出力され、情報処理装置２のインターフェイス２５を介して、画像処理部２３に入力される。

そして、画像処理部２３の画像解析部２３２において、入力された第１全体画像（サムネイル画像）を複数の領域に分割し、例えば尤度を算出するなどの方法で、領域毎に観察対象物が存在するか否かを判断する（ステップＳ２ａ）。例えば、各領域の尤度は、画像認識処理などによって算出することができる。そして、画像解析部２３２で各領域における尤度に基づいて、観察対象物の存在情報を示す存在マップを作成する（ステップＳ３ａ）。

また、デジタル顕微鏡１の全体画像撮像部１１は、明視野画像と同じ視野であって、観察対象領域の試料を覆うカバーガラスの縁部などの異物を有する全体画像（暗視野画像）を、低倍率かつ低解像度で撮影する（ステップＳ１ｂ）。このとき、光源等の撮像条件が、上述したステップＳ１ｂにおける撮像条件とは異なるため、全体画像撮像部１１は、試料及びカバーガラスの縁部などの異物のうち、異物を際立たせて撮影することができる。このステップＳ１ｂで撮像された暗視野画像も、デジタル顕微鏡１のインターフェイス１４から出力され、情報処理装置２のインターフェイス２６を介して、画像処理部２３に入力される。

そして、ステップＳ２ａ及びステップＳ３ａで行われた処理と同様の処理が、ステップＳ１ｂで撮像された暗視野画像に対しても行われる（ステップＳ２ｂ及びステップＳ３ｂ）。ステップＳ２ｂでは、各領域の尤度が、画像認識処理などによって算出される。そして、ステップＳ３ｂでは、画像解析部２３２で各領域における尤度に基づいて、異物の存在情報を示す存在マップを作成する。なお、ステップＳ２ｂ及びＳ３ｂで行われる処理は、ステップＳ１ａで明視野画像が撮像され、ステップＳ１ｂで暗視野画像が撮像された後、ステップＳ２ａ及びＳ３ａで行われる処理と並行して行うことができる。

次に、画像解析部２３２で、ステップＳ３ａで作成された存在マップをステップＳ３ｂで作成された存在マップに基づいて補正する（ステップＳ４）。図６及び図７は、存在マップ作成処理の概要を示す図である。

例えば、図６Ａに示すように、まず、全体画像撮像部１１が、スライドガラス８上の観察対象物６及び異物（カバーガラスの縁部）７の明視野画像を任意の観察領域９で撮像する。続いて、図６Ｂに示すように、画像解析部２３２では、全体画像の各領域を、尤度に応じて、観察対象物６が存在している領域（レベル２）、観察対象物６が存在しているかもしれない領域（レベル１）、観察対象物６が存在していない領域（レベル０）の３段階に分類する。この段階では、観察対象物６及び異物７の存在する領域の存在レベルは「２」である。

次に、図６Ｃに示すように、全体画像撮像部１１は、異物７を際立たせて撮像できるように、光源などの撮像条件を変更して暗視野画像を撮像する。このとき、異物（カバーガラスの縁部）７の存在する領域の存在レベルは「１」である（図６Ｃの○で囲んだ部分）。そして、図６Ｄに示すように、画像解析部２３２では、図６Ｂに示す存在マップから図６Ｃに示す存在マップを減算することで、存在マップを補正する。これにより、異物７の存在する領域の存在レベルが「１」になる。また、本実施形態の顕微鏡システムでは、異物が存在する部分画像に基づく存在マップの補正処理については、異物がカバーガラスである場合に限られず、図７に示すようにゴミ等の異物７であっても同様に行われる。

なお、本実施形態の顕微鏡システムでは、後述するステップＳ５で行われる部分画像の撮像処理を行うことができ、ステップＳ６で行われる部分画像同士の繋ぎ合わせ処理を行うことができれば、存在マップの作成処理方法は、上述したステップＳ１ａ、Ｓ２ａ、Ｓ３ａ、Ｓ１ｂ、Ｓ２ｂ及びＳ３ｂで行われる処理方法に限られない。

次に、デジタル顕微鏡１の部分画像撮像部１２により、部分画像が撮像される（ステップＳ５）。そして、画像取得部２３３で、撮像された部分画像の夫々について、繋ぎ合わせる部分画像を取得する（ステップＳ６）。図８は部分画像に繋ぎ合わせる画像を取得する流れを示すフローチャート図である。

具体的には、図８に示すように、まず、画像取得部２３３で、任意の部分画像（第１の部分画像）を取得する（ステップＳ６−ａ）。この画像取得部２３３では、その第１の部分画像に異物が存在するときは、第２の部分画像として試料が存在する部分画像を優先的に取得する（ステップＳ６−ｂ、Ｓ６−ｃ）。このとき、画像取得部２３３では、第２の部分画像として、第１の部分画像に繋ぎ合わせる部分画像を取得することができる。また、画像取得部２３３では、第２の部分画像としては、試料が存在し、かつ異物が存在しない部分画像を取得することが好ましい。

一方で、画像取得部２３３では、異物が存在する部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、この異物が存在する部分画像に繋ぎ合わせる部分画像として、異物が存在する部分画像を取得してもよい（ステップＳ６−ｄ、Ｓ６−ｅ）。また、画像取得部２３３では、第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、任意の部分画像を取得することができる（ステップＳ６−ｆ）。この場合において、任意の部分画像は、デジタル顕微鏡１のステージ面方向の位置に関する情報に基づいて繋ぎ合わせればよい。

また、画像取得部２３３では、異物が存在する部分画像に繋ぎ合わせる部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像や、位置情報に基づいて繋ぎ合わされた異物が存在する部分画像などを取得対象外とすることが好ましい。

図９は、図８に示す処理が実行された存在マップの概要を示す図である。図９に示すように、図８に示す処理が行われると、異物（カバーガラスの縁部）７同士を繋ぎ合わせることを防止でき、観察対象物６の存在する画像と異物７の画像とを優先的に繋ぎ合わせることが可能となる。

次に、繋合位置調整部２３４において、繋ぎ合わせる部分画像の繋ぎ合わせ位置を調製する（ステップＳ７）。図１０は、試料と異物とが混在した状態の概要を示す図である。図９に示した処理が実行されることで、異物が存在する部分画像は試料が存在する画像と優先的に繋ぎ合うように制御される。そのため、図１０Ａ及び図１０Ｂに示すように、観察対象物６上にカバーガラスなどの異物７が存在していても、図１０Ｃに示すような異物が存在する部分画像同士を繋ぎ合わせることにより発生しやすい、繋ぎ合わせ位置のずれを防止できる。

次に、部分画像は、順次、情報処理装置２に出力され、画像合成部２４において、繋ぎ合わせ処理がされる（ステップＳ８）。このステップＳ８で行われる繋ぎ合わせ処理は、前述したステップＳ７で部分画像の繋ぎ合わせ位置が調整され、繋ぎ合わせ順序（繋合シーケンス）及び部分画像がメモリ２２に一旦格納されてから行われてもよい。本実施形態の顕微鏡システムでは、観察対象領域に異物が存在していても、異物が存在する部分画像を試料が存在する部分画像と優先的に繋ぎ合わせる処理を行っているため、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれが発生しにくい。その結果、部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能となる。

なお、本実施形態の顕微鏡システムでは、２種類の全体画像として明視野画像及び暗視野画像を用いる場合について説明したが、本開示はかかる例に限定されるものではない。

＜２．第２の実施の形態＞
次に、本開示の第２の実施形態に係る顕微鏡システムについて説明する。図１１は、本実施形態の顕微鏡システムにおける情報処理装置２の構成例を示すブロック図であり、図１２は、その情報処理装置２における画像処理部２３の構成例を示すブロック図である。

図１２に示すように、本実施形態の顕微鏡システムでは、情報処理装置２に、部分画像の撮像順序（撮像シーケンス）を作成する撮像順序生成部２３５と、第１の部分画像及び第２の部分画像を取得する画像取得部２３３と、これらの部分画像の繋合位置を調整する繋合位置調整部２３４とが少なくとも設けられている。そして、撮像順序生成部２３５で作成された撮像順序（撮像シーケンス）に従って、画像取得部２３３が第１の部分画像及び第２の部分画像を取得する。

また、図１１に示すように、本実施形態の顕微鏡システムでは、情報処理装置２が撮像制御部２７を備えている。撮像制御部２７は、撮像順序生成部２３５の作成した撮像順序（撮像シーケンス）に基づいて、デジタル顕微鏡１により部分画像を撮像する際の駆動を制御する。

撮像順序生成部２３５は、例えば、画像解析部２３２の判断結果に基づいて撮像順序（撮像シーケンス）を作成する。画像解析部２３２では、前述した第１の実施形態における画像解析部２３２と同様の方法で、全体画像の領域毎に異物及び試料の存在の有無を判定する。そして、撮像順序生成部２３５では、異物が存在する可能性が高い領域よりも、観察対象物が存在する可能性がより高い領域が先に撮像され、且つ撮像移動距離がより小さくなるように撮像シーケンスを作成する。なお、撮像順序生成部２３５は、画像解析部２３２で算出された尤度、画像解析部２３２で作成された存在マップに基づいて、撮像順序を作成してもよい。更に、作成された撮像順序（撮像シーケンス）は、インターフェイス２３１を介して、撮像制御部２７に出力される。

図１３は、本実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図であり、図１４は、その情報処理装置２における処理及びデータの流れを示すシーケンス図である。

本実施形態の顕微鏡システムでは、まず、全体画像撮像部１１が撮像した第１全体画像及び第２全体画像に基づいて、画像解析部２３２で、前述した第１の実施形態と同様に、全体画像を複数の領域に分割し、補正した存在マップを作成する（ステップＳ１ａ〜Ｓ３ａ、Ｓ１ｂ〜Ｓ３ｂ、Ｓ４）。

次に、撮像順序生成部２３５において、補正した存在マップに基づいて、部分画像の撮像順序（撮像シーケンス）を作成する（ステップＳ９）。図１５は情報処理装置２による撮像順序作成処理の流れをより詳細に示すフローチャート図である。図１６は撮像順序生成部２３５において撮像順序を決定する流れを示すフローチャート図である。図１７は撮像順序生成部２３５で生成された撮像順序を示す図である。

図１５に示すように、撮像順序（撮像シーケンス）は、例えば、尤度（存在レベル）がより高い領域から撮像し、移動距離がより小さくなるように作成する。

その際、本実施形態の顕微鏡システムでは、観察対象領域中に異物が存在している場合、より詳細に撮像順序を作成することができる。具体的には、図１６に示すように、まず、撮像順序生成部２３５で最初に撮像する領域（第１の領域）を選択する（ステップＳ９−ａ）。この撮像順序生成部２３５では、その第１の領域に異物が存在するときは、第１の領域の次に撮像する領域（第２の領域）として、試料が存在する領域を優先的に選択する（ステップＳ９−ｂ、Ｓ９−ｃ）。また、撮像順序生成部２３５では、第２の領域としては、試料が存在し、かつ異物が存在しない領域を選択することが好ましい。

一方で、撮像順序生成部２３５では、異物が存在する領域に隣接する領域の中に、試料が存在する領域がないときは、この異物が存在する領域の次に撮像する領域として、異物が存在する領域を選択してもよい（ステップＳ９−ｄ、Ｓ９−ｅ）。また、撮像順序生成部２３５は、第１の領域の撮像領域に隣接する領域に、試料及び異物のいずれも存在しないときには、任意の領域を第１の領域の次に撮像する領域とすることができる（ステップＳ９−ｆ）。この場合において、任意の領域は、デジタル顕微鏡１のステージ面方向の位置に関する情報に基づいて決定すればよい。

また、撮像順序生成部２３５では、異物が存在する領域の次に撮像する領域を選択する際、試料及び異物のいずれかが存在する領域として選択された領域や、位置情報に基づいて選択された領域などを選択対象外とすることが好ましい。例えば、図１７Ａに示す存在マップが作成された場合、図１７Ｂに示すような撮像順序が作成される。

続いて、図１４に示すように、撮像順序生成部２３５で作成された撮像順序（撮像シーケンス）は、インターフェイス２３１を介して撮像制御部２７に出力され、撮像制御部２７は、撮像順序に基づいてデジタル顕微鏡１の駆動を制御する。そして、本実施形態の顕微鏡システムでは、この撮像順序に基づいて、デジタル顕微鏡１の部分画像撮像部１２により、部分画像が撮像される（ステップＳ５）。

次に、画像取得部２３３により、撮像順序生成部２３５で作成された撮像順序に従って、第１の部分画像及び第２の部分画像を取得し、繋ぎ合わせ位置の調整や画像合成等を行う（ステップＳ６〜Ｓ８）。このとき、本実施形態の顕微鏡システムでは、第１の領域に異物が存在するときは、第２の領域を試料が存在する領域とする撮像順序が撮像順序生成部２３５により作成されており、画像取得部２３３では、その順序に従って撮像された複数の部分画像を取得している。

本実施形態の顕微鏡システムでは、観察対象領域に異物が存在していても、異物が存在する領域を試料が存在する領域よりも後に撮像するように撮像順序を作成し、その順に繋ぎ合わせ処理を行っているため、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれが発生しにくい。その結果、部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能となる。また、本実施形態の顕微鏡システムでは、撮像した複数の部分画像をメモリ２２に格納せずに繋ぎ合わせ処理を行うことができるため、顕微鏡システムのデータ量を抑制することができる。更に、本実施形態の顕微鏡システムでは、撮像後の処理に要する時間を短縮することもできる。

（変形例）
また、本開示の第２の実施形態の変形例に係る顕微鏡システムでは、１種類の全体画像を用いて、異物及び試料の存在の有無を判定することができる。図１８は、本変形例の顕微鏡システムの全体動作の概要を示すフローチャート図である。

本変形例の顕微鏡システムでは、画像解析部２３２により、全体画像撮像部１１が撮像した１種類の全体画像から、異物及び試料の存在を判定する。画像解析部２３２において異物及び試料が存在するか否かを判断する方法は、特に限定されるものではないが、例えば領域毎に観察対象物が存在する可能性を示す尤度を算出する方法を採用することができる。

より具体的には、画像解析部２３２では、例えば、全体画像撮像部１１により撮像された画像により異物及び試料を識別し、全体画像を部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第１尤度と、異物の存在確率を示す第２尤度とを算出することができる。１種類の全体画像から異物及び試料を区別する方法については、メモリに予め記憶された、異物及び試料に関する輝度又は形状等の情報に基づいて行われる。そして、画像解析部２３２では、各領域の第１尤度及び第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成することができる。

なお、画像解析部２３２は、１種類の全体画像から試料及び異物の存在情報を示す存在マップと、異物の存在情報を示す存在マップとの２種類の存在マップを作成し、それらの存在マップを補正してもよい。

これにより、観察対象領域に異物が存在していても、１種類の全体画像で異物及び試料を区別して、観察対象物６が存在する領域を優先的に撮影し、異物７の領域を後で撮影できる。本変形例の顕微鏡システムでは、画像を撮像する時間と、撮像後の処理に要する時間とを短縮し、全工程に要する時間を短縮することもできる。なお、本変形例の顕微鏡システムにおける上記以外の構成及び効果は、前述した第２の実施形態と同様である。

また、本開示は、以下のような構成をとることもできる。
（１）
観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、
前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、を有し、
前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理装置。
（２）
観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を有し、
前記撮像順序生成部は、複数の領域に分割された全体画像の第１の領域に異物が存在するときは、前記第１の領域の次に撮像される第２の領域として試料が存在する領域を選択し、
前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第１の部分画像及び前記第２の部分画像を取得する（１）に記載の情報処理装置。
（３）
前記画像取得部は、観察対象領域の一部が撮像された複数の部分画像から、前記第１の部分画像に繋ぎ合わせる前記第２の部分画像を取得し、
前記繋合位置調整部は、前記第１の部分画像に対し、前記第２の部分画像の繋合位置を調整する（１）に記載の情報処理装置。
（４）
前記画像取得部は、前記第２の部分画像として異物が存在しない部分画像を取得する（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第２の部分画像として異物が存在する部分画像を取得する（１）〜（４）のいずれかに記載の情報処理装置。
（６）
前記画像取得部は、前記第２の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像は取得対象外とする（１）〜（５）のいずれかに記載の情報処理装置。
（７）
前記部分画像について、異物及び試料の存在の有無を判定する画像解析部を備える（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記画像解析部は、全体画像の複数の領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行う（７）に記載の情報処理装置。
（９）
前記画像解析部は、同視野で撮像条件が異なる２種類の全体画像を用いて、異物及び試料の存在の有無を判定する（７）又は（８）に記載の情報処理装置。
（１０）
前記画像解析部は、前記全体画像を前記部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第１尤度と、異物の存在確率を算出する第２尤度とを算出する（８）又は（９）に記載の情報処理装置。
（１１）
前記画像解析部は、前記第１尤度及び前記第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成する（１０）に記載の情報処理装置。
（１２）
前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成部を備える（１）〜（１１）のいずれかに記載の情報処理装置。
（１３）
前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第２の部分画像として前記部分画像の中から任意の部分画像を取得し、
前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第１の部分画像に前記第２の部分画像を繋ぎ合わせる（１２）に記載の情報処理装置。
（１４）
前記画像取得部は、前記第２の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外とする（１３）に記載の情報処理装置。
（１５）
画像取得部により、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得工程と、
繋合位置調整部により、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整工程と、を有し、
前記画像取得工程では、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理方法。
（１６）
観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、
前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整機能と、を情報処理装置に実行させるプログラム。
（１７）
観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、
前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、
前記情報処理装置には、
観察対象領域の一部が撮像された複数の部分画像から、第１の部分画像及び第２の部分画像を取得する画像取得部と、
前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、
が設けられており、
前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する顕微鏡システム。

１ デジタル顕微鏡
２ 情報処理装置
３ サーバ
４ 画像表示装置
５ ネットワーク
６ 観察対象物
７ 異物
８ スライドガラス
１１ 全体画像撮像部
１２ 部分画像撮像部
１３ 撮像装置コントローラ
１４、２５、２３１ インターフェイス
２１ ＣＰＵ
２２ メモリ
２３ 画像処理部
２４ 画像合成部
２６ ハードディスク
２７ 撮像制御部
２３２ 画像解析部
２３３ 画像取得部
２３４ 繋合位置調整部
２３５ 撮像順序生成部

Claims (15)

1. 観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、
   前記部分画像について、異物及び試料の存在の有無を判定する画像解析部と、
   前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、
   前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成部と
   を有し、
   前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理装置。
2. 観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を有し、
   前記撮像順序生成部は、複数の領域に分割された全体画像の第１の領域に異物が存在するときは、前記第１の領域の次に撮像される第２の領域として試料が存在する領域を選択し、
   前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第１の部分画像及び前記第２の部分画像を取得する請求項１に記載の情報処理装置。
3. 前記画像取得部は、観察対象領域の一部が撮像された複数の部分画像から、前記第１の部分画像に繋ぎ合わせる前記第２の部分画像を取得し、
   前記繋合位置調整部は、前記第１の部分画像に対し、前記第２の部分画像の繋合位置を調整する請求項１に記載の情報処理装置。
4. 前記画像取得部は、前記第２の部分画像として異物が存在しない部分画像を取得する請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第２の部分画像として異物が存在する部分画像を取得する請求項１〜３のいずれか１項に記載の情報処理装置。
6. 前記画像取得部は、前記第２の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像は取得対象外とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記画像解析部は、全体画像の複数の領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行う請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記画像解析部は、同視野で撮像条件が異なる２種類の全体画像を用いて、異物及び試料の存在の有無を判定する請求項１〜６のいずれか１項に記載の情報処理装置。
9. 前記画像解析部は、前記全体画像を前記部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第１尤度と、異物の存在確率を算出する第２尤度とを算出する請求項７又は８に記載の情報処理装置。
10. 前記画像解析部は、前記第１尤度及び前記第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成する請求項９に記載の情報処理装置。
11. 前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第２の部分画像として前記部分画像の中から任意の部分画像を取得し、
    前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第１の部分画像に前記第２の部分画像を繋ぎ合わせる請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 前記画像取得部は、前記第２の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外とする請求項１１に記載の情報処理装置。
13. 画像取得部により、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得工程と、
    画像解析部により、前記部分画像について、異物及び試料の存在の有無を判定する画像解析工程と、
    繋合位置調整部により、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整工程と、
    画像合成部により、前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成工程と
    を有し、
    前記画像取得工程では、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理方法。
14. 観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、
    前記部分画像について、異物及び試料の存在の有無を判定する画像解析機能と、
    前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整機能と、
    前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成機能と
    を情報処理装置に実行させるプログラム。
15. 観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、
    前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、
    前記情報処理装置には、
    観察対象領域の一部が撮像された複数の部分画像から、第１の部分画像及び第２の部分画像を取得する画像取得部と、
    前記部分画像について、異物及び試料の存在の有無を判定する画像解析部と、
    前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、
    前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成部と
    が設けられており、
    前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する顕微鏡システム。