JP7030986B2 - 画像生成装置、画像生成方法および画像生成プログラム - Google Patents

Description

開示の技術は、異なる複数の合焦画像を合成して合成画像を生成する画像生成装置、画像生成方法および画像生成プログラムに関する。

複数の単焦点画像（合焦画像）を合成して全焦点画像を生成する技術が知られている。

当該技術では、単焦点画像からソフトマッチングにより細胞の画像を検出し、細胞に焦点が合った領域の領域画像を単焦点画像から抽出し、焦点が合った領域画像を組み合わせて全焦点の合成画像を生成する。

特開２０１３－２３６５６４号公報

しかし、複数の単焦点画像内の対応する領域の領域画像を見比べた場合に、細胞に焦点が合った領域画像が１つだけ存在する場合であれば、特許文献１に記載の発明のように、細胞に焦点が合った領域画像だけを組みあわせて合成することにより、全焦点の合成画像が得られる。しかし、焦点の合い方によっては、対応する複数の領域画像において、画像内の一部の細胞に焦点が合っているが一部の細胞には焦点が合っていない領域画像が複数含まれる場合もある。

例えば、対応する複数の領域画像のうち、ある領域画像の中には、細胞に焦点が合っている領域と、細胞に焦点が合っていない領域とがある割合で存在し、別の領域画像の中にも、細胞に焦点が合っている領域と、細胞に焦点が合っていない領域とが上述の割合とは異なる割合で存在する場合がある。すなわち、対応する複数の領域画像の各々の画像において、細胞に焦点が合っている領域と焦点に領域が合っていない領域との割合が異なる場合、換言すると、焦点の合い方が異なる領域画像が混在する場合がある。このような場合、特許文献１記載の発明では、細胞に焦点が合った領域画像を組みあわせて全焦点の合成画像を生成するので、複数の領域画像の中から全焦点の合成画像の生成に用いる領域画像を選択できない。

開示の技術は、上記事情に鑑みてなされたものであり、複数の合焦画像において焦点の合い方が異なる領域画像が混在する場合でも、合成画像を生成しうる画像生成装置、画像生成方法および画像生成プログラムを提供することを目的とする。

開示の技術に係る画像生成装置は、観察対象を含む、異なる合焦状態の複数の合焦画像から、特定の特徴を検出する処理を行なう検出部と、検出部により検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定する決定部と、決定部により決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成する生成部と、を有する。

ここで、適用度合いは、例えば、複数の画像が二つの画像である場合、１００対０、７０対３０、５０対５０等の比として設定される。

上記の画像生成装置において、決定部は、検出された特定の特徴を何れかの領域画像に含む領域画像の組に対して決定したパラメータに基づいて、検出された特定の特徴を何れの領域画像にも含まない領域画像の組に対するパラメータを決定しうる。

上記の画像生成装置において、決定部は、特定の特徴を何れかの領域画像に含む領域画像の組の対応領域から、特定の特徴を何れの領域画像にも含まない領域画像の組の対応領域までの距離に基づいて、特定の特徴を何れの領域画像にも含まない領域画像の組に対するパラメータを決定しうる。

上記の画像生成装置において、決定部は、特定の特徴を何れの領域画像に含まない領域画像の組について、予め設定された適用度合いにより、パラメータを決定しうる。

上記の画像生成装置において、生成部は、合成領域画像を対応領域の位置に従って並べて結合することにより、合成画像を生成しうる。

上記の画像生成装置において、特定の特徴は、観察対象に含まれる対象物の画像の特徴および非対象物の画像の特徴の少なくとも一方でありうる。

上記の画像生成装置において、決定部は、領域画像に対象物の画像の特徴が含まれる場合、対象物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、対象物の画像の特徴を含まない領域画像の合成画像への適用度合いより高くして、パラメータを決定し、領域画像に非対象物の画像の特徴が含まれる場合、非対象物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、非対象物の画像の特徴を含まない領域画像の合成領域画像への適用度合いより低くして、パラメータを決定しうる。

上記の画像生成装置において、一の対応領域における前記領域画像の組の中に、対象物の特徴を含む複数の領域画像が存在する場合、決定部は、各領域画像における対象物の特徴が占める面積の割合に基づいて、各領域画像に対するパラメータを決定しうる。

上記の画像生成装置において、対象物は、生細胞であり、非対象物は、観察対象に含まれる生細胞以外の異物でありうる。異物としては、死細胞およびゴミが含まれる。

上記の画像生成装置において、決定部は、生細胞の画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定しうる。

上記の画像生成装置において、決定部は、異物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、異物の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも低くして、パラメータを決定しうる。

上記の画像生成装置において、対象物は、前記生細胞に加え、収容部の底面に表れるパターンを含み、決定部は、パターンの画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴および異物の画像の特徴の両方を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定しうる。

上記の画像生成装置は、何れの領域画像にも特定の特徴が検出されない対応領域について、警告を発生する警告部をさらに有しうる。

開示の技術に係る画像生成方法は、観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、検出工程により検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定する決定工程と、決定工程により決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成する生成工程と、を有する。

開示の技術に係る画像生成プログラムは、観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、検出工程により検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定する決定工程と、決定工程により決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成する生成工程と、をコンピュータに実行させる。

また、本開示の画像生成装置は、観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出し、検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定し、決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成するプロセッサ、を有する。

開示の技術によれば、対応領域毎に、領域画像の合成領域画像への適用度合いを表すパラメータを決定し、パラメータに基づいて領域画像を合成する。これにより、開示の技術では、複数の領域画像から画像全域で細胞に焦点が合った領域画像が得られない場合でも、合成画像を生成しうる。

開示の技術の実施形態に係る観察装置の概略構成を示す図である。 載置台の一例を示す図である。 撮像部により撮像される位相差画像の一例を示す図である。 開示の技術の実施形態に係る制御部の構成を示すブロック図である。 培養容器内における走査経路を実線で示した図である。 培養容器内の任意の位置に視野がある場合における、第１の変位センサおよび第２の変位センサと、培養容器との位置関係を示す図である。 培養容器内の任意の位置に視野がある場合における、第１の変位センサおよび第２の変位センサと、培養容器との位置関係を示す図である。 合成領域画像の生成の流れを示すフローチャートである。 特定の特徴を検出する様子を示す図である。 パラメータ決定処理（１）の流れを示すフローチャートである。 焦点の合い方が異なる複数の領域画像の一例を示す図である。 対応領域に表れる領域画像の組に特定の特徴を含まない場合のパラメータの決定を説明するための図である。 パラメータ決定処理（２）の流れを示すフローチャートである。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、開示の技術の実施形態に係る観察装置の概略構成を示す図である。図２は、載置台の一例を示す図である。図３は、撮像部により撮像される位相差画像の一例を示す図である。

観察装置は、載置台１０に載置された培養容器２０と培養容器２０に収容される培養液とを観察対象として、顕微鏡装置３０により観察するための装置である。載置台１０および顕微鏡装置３０は、制御部４０により制御される。各構成について、順に説明する。

載置台１０は、培養容器２０を載置可能なステージである。図２に示すように、載置台１０の中央には、矩形の開口１１が形成されている。この開口１１を形成する部材の上に培養容器２０が設置され、顕微鏡装置３０により観察するための光が通過するように構成されている。

載置台１０には、移動部１２が取り付けられている。移動部１２は、載置台１０を互いに直交するＸ方向およびＹ方向に自由に移動可能である。Ｘ方向およびＹ方向は、Ｚ方向に直交する方向であり、水平面内において互いに直交する方向である。本実施形態においては、Ｘ方向を主走査方向とし、Ｙ方向を副走査方向とする。移動部１２は、圧電素子などを有するアクチュエータから構成される。載置台１０のＸ－Ｙ平面における移動は、制御部４０によって制御される。載置台１０がＸ－Ｙ平面を移動することによって、載置台１０上の培養容器２０が顕微鏡装置３０に対して移動する。

なお、本実施形態では、載置台１０を顕微鏡装置３０に対して移動することにより、顕微鏡装置３０により観察対象を観察する位置を変更する例を示すが、これに限定されない。顕微鏡装置３０を載置台１０に対して移動してもよいし、載置台１０および顕微鏡装置３０の両方を移動してもよい。載置台１０に載置された培養容器２０および顕微鏡装置３０の少なくとも一方が他方に対して相対的に移動すれば、いかなる態様を採用することもできる。なお、本開示において、例えば、顕微鏡装置３０の位置が固定されており、培養容器２０だけが移動している場合でも、「顕微鏡装置３０が培養容器２０に対して相対的に移動している」と表現する。また、本開示では、顕微鏡装置３０および培養容器２０のいずれが実際に移動している場合でも、相対的な移動に伴う軌道を、「走査軌道」と表現する。

また、培養容器２０を載置台１０に載置して移動するのではなく、培養容器２０の少なくとも一ヶ所を把持する把持部を用い、把持部を動かして、培養容器２０をＸ－Ｙ平面において移動させてもよい。

培養容器２０は、平板状のプレート２１に複数の収容部２２が形成されてなる。培養容器２０は、例えば、シャーレ、ディッシュまたはウェルプレートなどを用いることができる。収容部２２は、例えば、平面視すると円形の凹部であり、ウェルとも呼ばれる。収容部２２には、観察対象である培養液に漬かった各種の細胞等の対象物が収容される。対象物は主に、生細胞である。収容部２２に収容される細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。培養液には、意図しないゴミまたは死細胞も含まれうる。収容部２２の底面は加工処理されている。収容部２２の底面の加工処理の一例として、規則的な微細なパターンの形成がある。パターンとしては、複数の直線または曲線の規則的な繰り返し、同心の複数の環、規則的な凹凸の繰り返し等がある。パターンは、たとえば、ブラストなどによるパターニングにより、収容部２２の底面に形成されている。収容部２２の底面が加工処理されていることにより、細胞が底面に定着しやすくなる。

顕微鏡装置３０は、観察対象の位相差画像を撮像するものである。顕微鏡装置３０は、高倍率の画像を得るために、培養容器２０の各収容部２２よりも小さい視野により、観察対象および培養容器２０の部分画像を撮像する。上述のように、培養容器２０が顕微鏡装置３０に対して移動することによって、顕微鏡装置３０が培養容器２０を走査し、一連の部分画像が得られる。

顕微鏡装置３０は、光源３１と、スリット３２と、コンデンサレンズ３３と、対物レンズ３４と、フォーカス調整機構３５と、結像レンズ３６と、ハーフミラー３７と、撮像部３８と、測定部３９とを備えている。

光源３１は、白色光を射出する。スリット３２は、光源３１から射出された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられて形成されている。白色光がスリットを通過することによってリング状の照明光Ｌが形成される。コンデンサレンズ３３は、リング状の照明光Ｌを、観察対象に集光させる。

対物レンズ３４は、培養容器２０を介して、コンデンサレンズ３３に対向して配置される。対物レンズ３４は、培養容器２０内の観察対象の像を結像させる。フォーカス調整機構３５は、光軸方向（Ｚ方向）に移動可能な位相差レンズを含み、位相差レンズが光軸方向に移動することによって、オートフォーカス制御を行なう。オートフォーカス制御により、ハーフミラー３７を介して撮像部３８によって撮像される位相差画像のコントラストが調整される。被写界深度を拡張するために、撮像部３８は、収容部２２内の同じＸ－Ｙ平面上の位置において、Ｚ方向の異なる複数の位置で合焦状態がそれぞれ異なる複数の合焦画像を取得し、フォーカス調整機構３５は、撮像部３８が合焦画像を取得する撮像位置においてオートフォーカス制御を行なう。本実施形態では、同じＸ－Ｙ平面上の位置においてＺ方向の二ヶ所（収容部２２の底面、および底面と培養液の液面の間）での合焦画像が得られるように、同じＸ－Ｙ平面上の位置で二回のオートフォーカス制御が行なわれる。撮像部３８の詳細については後述する。

なお、位相差レンズの光軸方向の移動は、例えば、制御部４０からの信号に基づく圧電素子のようなアクチュエータの駆動により実現できる。ただし、位相差レンズの駆動は、圧電素子に限らず、位相差レンズをＺ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。また、位相差レンズの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズまたはフォーカス調整機構３５を交換可能に構成するようにしてもよい。当該交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。

結像レンズ３６は、フォーカス調整機構３５を通過した位相差画像が入射され、これを撮像部３８に結像する。

撮像部３８は、測定部３９に固定的に取り付けられ、結像レンズ３６によって結像され、ハーフミラー３７を透過またはハーフミラー３７を反射した位相差画像を撮像する。本実施形態では、撮像部３８は、二つの撮像部３８ａおよび撮像部３８ｂを含む。撮像部３８ａおよび撮像部３８ｂは、同じＸ－Ｙ平面上の位置においてＺ方向にそれぞれ異なる位置で位相差画像を撮像するのに必要な距離だけ、結像レンズ３６から離間して配置される。撮像部３８ａ、３８ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子である。撮像素子としては、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いてもよい。以下では、位相差画像を、単に画像とも呼ぶ。本実施形態では、撮像部３８が二つの撮像部３８ａおよび撮像部３８ｂを備える場合について説明する。しかし、これに限定されず、撮像部３８は、三つ以上の撮像部を備えてもよい。

撮像部３８ａおよび撮像部３８ｂは、同じＸ－Ｙ平面上の位置において、それぞれＺ方向に異なる撮像位置で培養容器２０の画像を撮像し、例えば、図３に示すような部分画像５０、５１を撮像する。部分画像５０、５１には、生細胞６０～６３の画像、死細胞６４の画像、ゴミ６５の画像、収容部の底面のパターン６６の画像などが含まれる。図３に示す例では、部分画像５０においては、生細胞６０に焦点が合っており、生細胞６１、６３および死細胞６４には焦点が合っていない。部分画像５１においては、生細胞６１、６２、死細胞６４およびゴミ６５に焦点が合っており、生細胞６０、６３には焦点が合っていない。このように、同じＸ－Ｙ平面上の位置において、それぞれ異なるＺ方向の撮像位置で撮像された部分画像５０、５１では、対象物である生細胞６０～６３およびパターン６６の画像と、非対象物である死細胞６４およびゴミ６５の画像は見え方が異なる。

以下では、上記の対物レンズ３４、フォーカス調整機構３５、結像レンズ３６および撮像部３８を合わせて、結像光学系Ｃとも呼ぶ。

測定部３９は、培養容器２０および撮像部３８の少なくとも一方の相対的な移動に伴う走査軌道に沿って、載置台１０に設置された培養容器２０のＺ方向の位置を連続的に検出する。

測定部３９は、具体的には、第１の変位センサ３９ａおよび第２の変位センサ３９ｂを備える。第１の変位センサ３９ａおよび第２の変位センサ３９ｂは、結像光学系Ｃを挟んで、図１に示すＸ方向に並べて設けられている。本実施形態における第１の変位センサ３９ａおよび第２の変位センサ３９ｂはレーザー変位計であり、培養容器２０にレーザー光を照射し、その反射光を検出することによって、培養容器２０の収容部２２の底面のＺ方向の位置を検出し、撮像部３８から収容部２２の底面までの距離を測定するものである。

なお、収容部２２の底面とは、収容部２２の底面と収容部２２に収容される培養液との境界面であり、すなわち観察対象設置面である。

測定部３９によって検出された撮像部３８から収容部２２の底面までの距離は、制御部４０に出力される。制御部４０は、入力された距離に基づいて、フォーカス調整機構３５を制御し、オートフォーカス制御（焦点の制御）を行う。なお、第１の変位センサ３９ａおよび第２の変位センサ３９ｂによる培養容器２０の位置の検出およびオートフォーカス制御については、後で詳述する。

次に、顕微鏡装置３０を制御する制御部４０の構成について説明する。図４は、開示の技術の実施形態に係る制御部の構成を示すブロック図である。

制御部４０は、上述のように顕微鏡装置３０の全体を制御し、かつ各種の処理を実行する。制御部４０は、顕微鏡装置制御部４１、走査制御部４２、記憶部４３、検出部４４、決定部４５、生成部４６、入力部４７および表示部４８を有する。制御部４０は、ＣＰＵ

（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、半導体メモリおよびストレージ等を備えたコンピュータから構成される。ストレージに本発明の観察プログラムの一実施形態がインストールされている。そして、この観察プログラムがＣＰＵに実行されることによって、図４に示す顕微鏡装置制御部４１、走査制御部４２、検出部４４、決定部４５および生成部４６が機能する。

顕微鏡装置制御部４１は、上述したように測定部３９によって検出された培養容器２０のＺ方向の位置情報に基づいて、フォーカス調整機構３５を制御する。そして、フォーカス調整機構３５の駆動によって位相差レンズが光軸方向に移動し、オートフォーカス制御が行われる。被写界深度を拡張するために、オートフォーカス制御は、同じＸ－Ｙ平面の位置において、合焦状態の異なる複数の合焦画像が得られるように、同じＸ－Ｙ平面の位置においてＺ方向に複数回行なわれる。本実施形態では、顕微鏡装置制御部４１は、Ｘ－Ｙ平面の各撮像位置においてそれぞれ合焦状態の異なる二つの合焦画像が撮像されるように、フォーカス調整機構３５を制御する。なお、フォーカス調整機構３５により結像レンズ３６を移動させる（Ｚ方向の異なる撮像位置において撮像する）代わりに、Ｚ方向の一ヶ所の撮像位置においてフォーカスの合わせ方を変えることにより複数の合焦画像を撮像してもよい。なお、本明細書において、「合焦画像」とは、画像の少なくとも一部においてフォーカスが合っている画像である。

また、顕微鏡装置制御部４１は、培養容器２０を走査する際に、撮像部３８ａおよび撮像部３８ｂによる撮像を制御する。基本的には、予め記憶部４３に走査中の撮像タイミングが記憶されており、顕微鏡装置制御部４１は、記憶されたタイミングに基づいて撮像を行う。

走査制御部４２は、移動部１２を駆動制御し、載置台１０をＸ方向およびＹ方向に移動させる。記憶部４３は、撮像部３８ａおよび撮像部３８ｂによる撮像タイミング等の各種データおよび各機能部を実現させる観察プログラムを記憶している。

検出部４４は、収容部２２に収容された培養液を撮像部３８ａ、３８ｂにより撮像して得られた、異なる複数のＺ方向の撮像位置において撮像された複数の合焦画像から、特定の特徴を検出する処理を行なう。特定の特徴は、観察対象である培養液に含まれる対象物の画像の特徴および非対象物の画像の特徴の少なくとも一方である。対象物は、生細胞であり、非対象物は、生細胞以外の培養液に含まれる異物である。異物としては、死細胞およびゴミが含まれる。また、対象物には、収容部２２の底面に施されたパターンが含まれてもよい。対象物にパターンが含まれる場合、検出部４４は、複数の合焦画像からパターンを検出する。上述のように、収容部２２の底面のパターンには、生細胞が付着しやすい。従って、パターンを検出すれば、間接的に、生細胞を検出できている可能性がある。このため、焦点の合い方（合焦の程度）によっては、異なる複数のＺ方向の撮像位置で撮像された複数の合焦画像中に生細胞に焦点が合った合焦画像が含まれておらず、コンピュータによるソフトマッチングにより直接的に生細胞を検出できない場合がある。このような場合でも、収容部の底面のパターンが検出されれば、当該パターンが検出された領域画像を合成画像に用いることにより、ユーザが肉眼で確認して生細胞を判別できる場合がある。したがって、収容部の底面に焦点があった領域の画像は有用である。

決定部４５は、検出部４４により検出された特定の特徴に基づいて、異なるＺ方向の撮像位置での部分画像５０、５１から合成領域画像を生成する際に、各画像中の領域画像を合成領域画像に適用する適用度合い（重み）を表すパラメータを決定する。決定部４５は、異なるＺ方向の撮像位置での部分画像５０、５１の各々に対応する複数の対応領域における領域画像の組毎に、パラメータを決定する。対応領域は、複数の部分画像間において同じ位置に対応する領域のことである。例えば、図３に示す部分画像５０、５１がそれぞれ格子状に区分されたときに、同じ位置の格子が対応領域５５となる。図３では、左上の対応領域５５のみ示している。しかし、左上の格子に限らず、部分画像５０、５１間で同じ位置の格子は、全て対応領域５５となる。領域画像は、部分画像５０、５１のそれぞれの対応領域５５に表れる画像のことであり、同じ位置の対応領域５５毎に組となる。パラメータは、組に含まれる領域画像を合成領域画像に適用する際の適用度合いであり、例えば、１００対０、７０対３０、５０対５０等の比として設定される。本実施形態においては、百分率としても分かりやすいように、合計が１００となるように、比の値を決定する。１００対０の場合、組に含まれる一方の領域画像が、１００％合成領域画像に用いられ、他方の領域画像が全く合成領域画像に用いられないことを意味する。また、７０対３０の場合、組に含まれる一方の領域画像が、７０％合成領域画像に用いられ、他方の領域画像が、３０％合成領域画像に用いられる。パラメータの決定の仕方について、詳細は後述する。合成領域画像は、対応領域に含まれる複数の領域画像を、重ね合わせパラメータに従って合成してできる画像である。なお、本実施形態では、二つの部分画像５０、５１を合成する例について説明するが、三つ以上の画像を合成する場合にも、本実施形態の画像生成装置を適用できることは言うまでもない。

生成部４６は、決定部４５により決定されたパラメータに基づいて、複数の部分画像の領域画像を複数の対応領域毎に合成して合成領域画像を生成する。例えば、ある対応領域を表す領域画像の組に、パラメータとして７０対３０の適用度合いが設定されているとする。この場合、生成部４６は、例えば、一方の領域画像を構成する画素の明度を０．７倍し、他方の領域画像を構成する画素の明度を０．３倍して、対応する画素毎に合算して、合成領域画像の画素値とする。これにより、パラメータに比例して明度が足された合成領域画像が生成される。生成部４６は、すべての対応領域で領域画像同士を組み合せ、得られた合成領域画像をさらに対応領域の位置で並べて合成し、目的とする合成画像（部分画像）を生成する。生成部４６は、顕微鏡装置３０によって撮像された一連の部分画像の全てについて、同様の処理により合成画像を生成し、一連の合成画像を結合することによって、１枚の全体合成画像を生成する。

入力部４７は、マウスおよびキーボードなどを備えたものであり、各種の必要なデータおよびユーザによる種々の設定入力を受け付ける。本実施形態の入力部４７は、例えば、上述の培養容器２０の形状情報、撮像位置に関するデータの入力を受け付ける。

表示部４８は、例えば液晶ディスプレイなどを備え、上述したように生成部４６によって生成された全体合成画像を表示する。また、表示部４８をタッチパネルによって構成し、入力部４７と兼用するようにしてもよい。

次に、走査制御部４２による載置台１０の移動制御および顕微鏡装置制御部４１による顕微鏡装置３０の制御について、詳細に説明する。

図５は、培養容器内における走査経路を実線Ｍで示した図である。図６および図７は、培養容器内の任意の位置に視野がある場合における、第１の変位センサおよび第２の変位センサと、培養容器との位置関係を示す図である。

本実施形態においては、走査制御部４２による制御によって載置台１０をＸ方向およびＹ方向に移動させ、顕微鏡装置３０を培養容器２０内において２次元状に走査する。走査の過程で、顕微鏡装置３０の各視野内において、観察対象の部分画像を撮像する。なお、本実施形態においては、培養容器２０として６つの収容部２２を有するウェルプレートを用いる。

図５に示すように、顕微鏡装置３０の視野は、走査開始点Ｓから走査終了点Ｅまで実線Ｍに沿って移動する。すなわち、視野は、Ｘ方向の正方向（図５の右方向）に走査された後、Ｙ方向（図５の下方向）に移動し、逆の負方向（図５の左方向）に走査される。次いで、視野は、再びＹ方向に移動し、再び正方向に走査される。このように、視野は、Ｘ方向についての往復移動とＹ方向への移動を繰り返し行うことによって、培養容器２０内を２次元状に走査される。

本実施形態においては、図６および図７に示すように、第１の変位センサ３９ａと第２の変位センサ３９ｂが結像光学系Ｃを挟んでＸ方向に並べて設けられている。そして、結像光学系Ｃの視野Ｒは、上述したように培養容器２０内を２次元状に走査される。この際、培養容器２０に対する結像光学系Ｃの視野Ｒの位置よりも視野Ｒの移動方向前側の位置において培養容器２０のＺ方向の位置が検出される。具体的には、視野Ｒが、図６に示す矢印方向（図６の右方向）に移動している場合には、第１の変位センサ３９ａおよび第２の変位センサ３９ｂのうち、視野Ｒの移動方向前側の第１の変位センサ３９ａによって培養容器２０のＺ方向の位置が検出される。そして、視野Ｒが、図６に示す位置から第１の変位センサ３９ａの位置まで移動した場合に、前もって検出された培養容器２０のＺ方向の位置情報が用いられてオートフォーカス制御が行われ、部分画像（複数の画像）の撮像が行われる。

一方、視野Ｒが、図７の矢印方向（図７の左方向）に移動している場合には、第１の変位センサ３９ａおよび第２の変位センサ３９ｂのうち、視野Ｒの移動方向前側の第２の変位センサ３９ｂによって培養容器２０のＺ方向の位置が検出される。そして、視野Ｒが、図７に示す位置から第２の変位センサ３９ｂの位置まで移動した場合に、前もって検出された培養容器２０のＺ方向の位置情報が用いられてオートフォーカス制御が行われ、部分画像の撮像が行われる。

このように第１の変位センサ３９ａを用いた培養容器２０の検出と第２の変位センサ３９ｂを用いた培養容器２０の検出とを視野Ｒの移動方向に応じて切り替える。これによって、常に、視野Ｒの部分画像の撮像に先行して、その視野Ｒの位置における培養容器２０のＺ方向の位置情報を取得できる。

そして、顕微鏡装置制御部４１は、上述したように先行して検出された培養容器２０のＺ方向の位置情報に基づいて、フォーカス調整機構３５を駆動制御することによって、オートフォーカス制御を行う。具体的には、顕微鏡装置制御部４１には、培養容器２０のＺ方向の位置情報と結像光学系Ｃの光軸方向の移動量との関係が予め設定されている。ここで、培養容器２０のＺ方向の一つの位置に対して、結像光学系Ｃの光軸方向の移動量が二つ対応付けられている。これにより、Ｚ方向の異なる二つの撮像位置において撮像部３８ａおよび撮像部３８ｂによる撮像が可能となる。顕微鏡装置制御部４１は、入力された培養容器２０のＺ方向の位置情報に基づいて、結像光学系Ｃの光軸方向の移動量を求め、その移動量に応じた制御信号をフォーカス調整機構３５に出力する。フォーカス調整機構３５は、入力された制御信号に基づいて駆動し、これにより位相差レンズが光軸方向に移動し、培養容器２０のＺ方向の位置に応じたフォーカス調整が行われる。

次に、生成部４６による合成画像の生成について、詳細に説明する。

図８は、合成画像の生成の流れを示すフローチャートである。図９は、特定の特徴を検出する様子を示す図である。なお、図９において、部分画像５０、５１中の複数の縦線５６および複数の横線５７は、画像として写っている線ではなく、部分画像５０、５１を格子状の複数の対応領域に区分するための線である。

図８に示す処理は、制御部４０（ＣＰＵ）がストレージから合成プログラムを読み込み、ＲＡＭに展開することによって実現される。

制御部４０は、撮像部３８ａおよび撮像部３８ｂから、Ｚ方向の異なる複数の撮像位置の画像を取得する（ステップＳ１０１）。

制御部４０は、検出部４４として、複数の画像から特定の特徴を検出する（ステップＳ１０２）。特定の特徴は、上述の通り、対象物および非対象物の画像の特徴の両方である。本フローチャートの説明では、対象物として、生細胞および収容部２２の底面のパターンを検出し、非対象物として、死細胞およびゴミ等の異物を検出する。制御部４０は、生細胞、収容部２２の底面のパターン、並びに死細胞およびゴミ等の異物を、パターンマッチング等の画像処理により検出する。パターンマッチングのために、生細胞、底面のパターン、死細胞およびゴミの特徴量が予め制御部４０のストレージに記憶されている。制御部４０は、例えば、図９に示すように、部分画像５０においては生細胞（群）６０を検出し、部分画像５１においては生細胞（群）６１を検出する。

制御部４０は、各画像を対応領域毎の領域画像に区分する（ステップＳ１０３）。具体的には、制御部４０は、図９に示すように、複数の縦線５６および複数の横線５７により部分画像５０、５１を区分し、部分画像５０、５１の左上の格子から右下の格子まで、部分画像５０、５１において同じ位置の格子を１番目～ｎ番目の対応領域として認識する。

そして、部分画像５０、５１は、ｎ個の対応領域により、ｎ個の領域画像に区分される。

制御部４０は、初期値としてｉに１を代入する（ステップＳ１０４）。

制御部４０は、ｉ番目の対応領域に表れる部分画像５０の領域画像と部分画像５１の領域画像とを含む領域画像の組に、特定の特徴を含む領域画像が少なくとも一つ含まれる否か判断する（ステップＳ１０５）。ステップＳ１０２において検出した特定の特徴は、図９においてグレーに網かけして示される領域画像に含まれる。

ｉ番目の対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれる場合

（ステップＳ１０５：ＹＥＳ）、制御部４０は、各領域画像を合成画像に適用する度合いを表すパラメータを決定する（ステップＳ１０６）。この処理を、以下では、パラメータ決定処理（１）と呼ぶ。パラメータ決定処理（１）の詳細については、後述する。ｉ番目の対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれない場合（ステップＳ１０５：ＮＯ）、制御部４０は、ステップＳ１０７の処理に進む。

制御部４０は、ｉ＝ｎか否か判断する（ステップＳ１０７）。すなわち、制御部４０は、全ての対応領域について、ステップＳ１０５の判断が完了したか否か判断する。ｉ＝ｎではない場合（ステップＳ１０７：ＮＯ）、制御部４０は、ｉの値を１だけインクリメントして（ステップＳ１０８）、ステップＳ１０５の処理に戻る。ｉ＝ｎである場合（ステップＳ１０７：ＹＥＳ）、制御部４０は、パラメータが未決定の対応領域について、既にパラメータが決まっている別の対応領域のパラメータを参照して、パラメータを決定する

（ステップＳ１０９）。この処理を、以下では、パラメータ決定処理（２）と呼ぶ。パラメータ決定処理（２）の詳細については、後述する。

制御部４０は、パラメータに従い対応領域の組毎に領域画像を合成し、合成領域画像を生成する（ステップＳ１１０）。ここで、制御部４０は、まず、ｎ個の対応領域の組毎に、パラメータとして設定された適用度合いに基づき、領域画像同士を重ね合わせる。したがって、パラメータを反映したｎ個の合成領域画像が生成される。そして、制御部４０は、ｎ個の合成領域画像を、対応領域の位置に従って並べて結合することによって、目的とする合成画像（部分画像）を生成する。なお、合成画像をさらに撮像部３８によるＸ－Ｙ平面の撮像位置に従って並べて結合することによって、全体合成画像が生成される。

上記のパラメータ決定処理（１）およびパラメータ決定処理（２）について、具体的に説明する。まず、対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれる場合のパラメータ決定処理（１）について説明する。なお、パラメータ決定処理（１）

においては、対応領域に表れる領域画像の組に含まれる複数の領域画像に特定の特徴が含まれる場合もある。

図１０は、パラメータ決定処理（１）の流れを示すフローチャートである。図１１は、焦点の合い方が異なる複数の領域画像の一例を示す図である。

制御部４０は、組になっている領域画像の中で、複数の領域画像が対象物の画像の特徴を含むか否か判断する（ステップＳ２０１）。複数の領域画像が対象物の画像の特徴を含まない場合（ステップＳ２０１：ＮＯ）、制御部４０は、ステップＳ２０３の処理に進む。

複数の領域画像が対象物の画像の特徴を含む場合（ステップＳ２０１：ＹＥＳ）、制御部４０は、各領域画像中の対象物に焦点が合っている領域の割合に基づいて、各領域画像の合成画像への適用度合いを決定する（ステップＳ２０２）。

例えば、図１１に示すように、対応する領域画像５５Ａおよび領域画像５５Ｂにおいて、対象物である生細胞６７および生細胞６８の画像が含まれるとする。ここで、領域画像５５Ａにおいては、生細胞６７には焦点が合っており、生細胞６８には焦点が合っていない。一方、領域画像５５Ｂにおいては、生細胞６８には焦点が合っており、生細胞６７には焦点が合っていない。制御部４０は、領域画像５５Ａにおいて、焦点が合っている生細胞６７が占める面積の割合を求める。制御部４０は、例えば、６０％が焦点が合っている面積の割合と算出する。さらに、制御部４０は、領域画像５５Ｂにおいて、焦点が合っている生細胞６８が占める面積の割合を求める。制御部４０は、例えば、４０％が焦点が合っている面積の割合と算出する。この算出結果から、制御部４０は、合成画像に対する領域画像５５Ａの適用度合いと、領域画像５５Ｂの適用度合いとの比を、６０：４０としてパラメータを決定する。このように、制御部４０は、焦点が合っている対象物が占める面積の割合を利用して、各領域画像５５の適用度合いを決定できる。

なお、図１１では、対象物が占める面積の割合が、領域画像５５Ａにおいては６０％、領域画像５５Ｂにおいては４０％と、合わせてちょうど１００％であった。しかし、それぞれの領域画像５５において対象物が占める面積の割合が合わせて１００％とならない場合でも、特に問題はない。例えば、対象物が占める面積の割合が、領域画像５５Ａにおいては７０％、領域画像５５Ｂにおいては５０％であっても、適用度合いの比は、７０：５０（７：５）となるだけである。

なお、図１１では、対象物が生細胞である場合について説明したが、もう一つの対象物である収容部２２の底面のパターンが領域画像に含まれる場合も対象物が生細胞である場合と同様に、各領域画像において、対象物である収容部２２の底面のパターンが占める面積の割合を利用して、各領域画像の適用度合いを決定できる。

図１０の説明に戻る。制御部４０は、組になっている領域画像の中に、特定の特徴として生細胞の画像の特徴を含む領域画像があるか否か判断する（ステップＳ２０３）。生細胞の画像の特徴を含む領域画像がない場合（ステップＳ２０３：ＮＯ）、制御部４０は、ステップＳ２０５の処理に進む。生細胞の画像の特徴を含む領域画像がある場合（ステップＳ２０３：ＹＥＳ）、制御部４０は、生細胞の画像を含む領域画像の適用度合いを組になっている他の領域画像よりも高く設定する（ステップＳ２０４）。例えば、制御部４０は、生細胞の画像の特徴を含む領域画像の適用度合いと組になっている他の領域画像の適用度合いとの比を、１００：０として、パラメータを決定する。なお、適用度合いの比は、１００：０に限定されず、生細胞の画像を含む領域画像の適用度合いの方が高ければ、どのような比が設定されてもよい。

続けて、制御部４０は、組になっている領域画像の中に、特定の特徴として異物の画像の特徴を含む領域画像があるか否か判断する（ステップＳ２０５）。異物の画像の特徴を含む領域画像がない場合（ステップＳ２０５：ＮＯ）、制御部４０は、ステップＳ２０７の処理に進む。異物の画像の特徴を含む領域画像がある場合（ステップＳ２０５：ＹＥＳ）、制御部４０は、異物の画像の特徴を含む領域画像の適用度合いを組になっている他の領域画像よりも低く設定する（ステップＳ２０６）。例えば、制御部４０は、異物の画像の特徴を含む領域画像の適用度合いと組になっている他の領域画像の適用度合いとの比を、０：１００として、パラメータを決定する。なお、適用度合いの比は、０：１００に限定されず、異物の画像の特徴を含む領域画像の適用度合いの方が低ければ、どのような比が設定されてもよい。また、一つの領域画像に特定の特徴として、生細胞の画像の特徴と異物の画像の特徴の両方が含まれる場合、生細胞の画像の特徴が優先され、異物の画像の特徴が含まれていても、適用度合いは低く設定されなくてもよい。

続けて、制御部４０は、組になっている領域画像の中に、特定の特徴として収容部２２の底面のパターンの画像の特徴を含む領域画像があるか否か判断する（ステップＳ２０７）。パターンの画像の特徴を含む領域画像がない場合（ステップＳ２０７：ＮＯ）、制御部４０は、図８のステップＳ１０７の処理に進む。パターンの画像の特徴を含む領域画像がある場合（ステップＳ２０７：ＹＥＳ）、制御部４０は、パターンの画像の特徴を含む領域画像の適用度合いを、組になっている他の領域画像よりも高く設定する（ステップＳ２０８）。例えば、制御部４０は、パターンの画像の特徴を含む領域画像の適用度合いと組になっている他の領域画像の適用度合いとの比を、１００：０として、パラメータを決定し、図８のステップＳ１０７の処理に進む。なお、適用度合いの比は、１００：０に限定されず、パターンの画像の特徴を含む領域画像の適用度合いの方が高ければ、どのような比が設定されてもよい。また、特定の特徴としてパターンの画像の特徴を含む領域画像がある場合であっても、他の領域画像に他の特定の特徴が含まれる場合は、パターンを含む領域画像の適用度合いを高く設定はしなくてもよい。なお、上述の通り、生細胞は、パターンに沿った凹凸に粘着しやすい性質を有する。そのため、収容部２２の底面に焦点があっており、パターンの画像の特徴が検出される場合には、収容部２２の底面に付着している生細胞にも焦点があっている可能性がある。このため、パターンの画像の特徴を含む領域画像の適用度合いを高めることが重要である。

以上のように、対応領域に表れる領域画像の組に含まれる領域画像に、特定の特徴が含まれる場合については、特定の特徴の種類に応じて、パラメータが決定される。

次に、対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれない場合のパラメータ決定処理（２）について説明する。

図１２は、対応領域に表れる領域画像の組に特定の特徴を含まない場合のパラメータの決定を説明するための図である。図１３は、パラメータ決定処理（２）の流れを示すフローチャートである。

図１２において、上段の二つの部分画像７０、７１は、Ｚ方向の異なる撮像位置において撮像された部分画像であり、下段の部分画像９０は、部分画像７０および部分画像７１を重ね合わせて合成した部分画像を示す。部分画像７０においては、生細胞８０、８１が検出され、部分画像７１においては、生細胞８２の画像の特徴が特定の特徴として検出されている。生細胞８０～８２の画像の特徴が含まれる領域画像は、図中の網かけにより示される通りである。網かけの領域画像を含む対応領域については、上述の図１０の通り、パラメータが決定され、部分画像９０に反映される。残りの対応領域については、図１３に示すように、パラメータが決定される。

図１３に示す処理では、制御部４０により特定の特徴が検出された領域画像を含む領域画像の組に設定されたパラメータを考慮して、特定の特徴が検出されない領域画像のみを含む領域画像の組のパラメータを決定する。たとえば、制御部４０は、何れの領域画像にも特定の特徴が検出されない対応領域については、何れかの特定の特徴が検出された別の対応領域のパラメータと当該別の対応領域までの距離に基づいて、パラメータを決定する。理由は次の通りである。例えば、生細胞は、収容部２２の底面に集まることが多く、また、死細胞は培養液の液面に集まる（浮遊する）ことが多い。このように、特定の特徴として検出される対象物および非対象物は、同じ種類同士で集まることが多い。したがって、検出された特定の特徴を含む領域画像に近い領域画像ほど、特定の特徴が検出されていなくても、同じ特定の特徴が存在する確率が高い。このため、距離に反比例した重みをパラメータに適用することにより、合成領域画像に対象物は表れやすく、非対象物は表れにくくできる。

制御部４０は、パラメータが未決定の対応領域を特定する（ステップＳ３０１）。以下では、図１２に示す対応領域７５がステップＳ３０１で特定される場合について説明する。

制御部４０は、対応領域７５から、パラメータが決定済の対応領域との距離を算出する

（ステップＳ３０２）。ここで、パラメータが決定済の対応領域とは、図１０に示すパラメータ決定処理（１）によりパラメータが決定されている対応領域を示す。二つの部分画像を重ね合わせた図１２の部分画像９０において見ると、網かけの対応領域がパラメータが決定済の対応領域である。同じ特定の特徴に基づいてパラメータが決定されている連続する対応領域を一群とみなすと、一群のうちの対応領域７５に最も近い対応領域を一つだけピックアップすることができる。生細胞８０が検出されている対応領域の一群のうち、対応領域７５に最も近いのは対応領域７６である。同様に、生細胞８１および生細胞８２がそれぞれ検出されている対応領域の一群のうち、対応領域７７、７８が、対応領域７５に最も近い。ステップＳ３０２では、対応領域７５から、対応領域７６～７８までの距離Ｌ１、Ｌ２、Ｌ３が算出される。距離Ｌ１、Ｌ２、Ｌ３は、例えば、対応領域７５の中心から、対応領域７６～７８の中心までの距離として得られる。

制御部４０は、算出した距離Ｌ１、Ｌ２、Ｌ３を用いて、パラメータが決定済の対応領域７６～７８を用いる重みを決定する（ステップＳ３０３）。重みは、距離と反比例した大きさに決定される。すなわち、対応領域７５から近い領域ほど高い重みが決定される。

例えば、対応領域７５から距離Ｌ１だけ離れた対応領域７６については、次の式（１）により重みＷ_７６が決定される。

同様に、対応領域７５から距離Ｌ２だけ離れた対応領域７７についての重みＷ_７７、対応領域７５から距離Ｌ３だけ離れた対応領域７８についての重みＷ_７８も、式（１）の分子を１／Ｌ１から１／Ｌ２、１／Ｌ３に代えて決定される。なお、Ｗ_７６＋Ｗ_７７＋Ｗ_７８＝１となる。

制御部４０は、上記の重みを用いて、対応領域７５のパラメータを算出する（ステップＳ３０４）。算出するパラメータをＰ_７５、対応領域７６～７８のパラメータをＰ_７６～Ｐ_７８と表す場合、次の式（２）となる。

Ｐ_７５＝Ｗ_７６×Ｐ_７６＋Ｗ_７７×Ｐ_７７＋Ｗ_７８×Ｐ_７８ … 式（２）

より詳細に、具体的な数値を例示して説明する。以下の例では、簡単に、重みＷ_７６、Ｗ_７７、Ｗ_７８が、それぞれ、１／２、１／４、１／４であったとする。また、決定済のパラメータＰ_７６、Ｐ_７７、Ｐ_７８が、それぞれ、（１００，０）、（０，１００）、（１００，０）だったとする。ここで、（１００，０）は、部分画像９０を形成する際の、部分画像７０の領域画像と部分画像７１の領域画像との適用度合いが１００：０であることを示す。

式（２）にこれらの具体的な数値を代入すると、Ｐ_７５＝１／２×（１００，０）＋１／４×（０，１００）＋１／４×（１００，０）＝（５０，０）＋（０，２５）＋（２５，０）＝（７５，２５）となる。すなわち、対応領域７５において部分画像９０を形成する際には、部分画像７０の適用度合いが７５％、部分画像７１の適用度合いが２５％となる。

制御部４０は、全ての対応領域についてパラメータが決定されたか否かを判断する（ステップＳ３０５）。全ての対応領域についてパラメータが決定されていない場合（ステップＳ３０５：ＮＯ）、制御部４０は、ステップＳ３０１の処理に戻る。全ての対応領域についてパラメータが決定されている場合（ステップＳ３０５：ＹＥＳ）、制御部４０は、図８のステップＳ１１０の処理に戻る。

なお、上記説明では、特定の特徴が検出されている連続する対応領域の一群のうち一つの対応領域７６（７７、７８）をピックアップして、特定の特徴を含まない対応領域のパラメータの決定に用いている。しかし、特定の特徴を含まない対応領域のパラメータの決定には、特定の特徴が検出されている対応領域の一群の全ての対応領域を用いてもよい。

以上のように、本実施形態の観察装置によれば、Ｚ方向の異なる撮像位置において撮像した複数の画像の対応領域毎に表れる領域画像の組毎に、合成領域画像への適用度合いを表すパラメータを決定し、パラメータに基づいて合成領域画像を合成する。なお、制御部４０は、領域画像の組において、複数の領域画像が対象物の画像を含む場合、各領域画像中の対象物に焦点が合っている領域の面積の割合に基づいて適用度合いのパラメータを決定する。従って、Ｚ方向の異なる焦点において、複数の対象物に焦点が合っている場合、より大きな面積の範囲において焦点が合っている領域画像の適用度合いを高めつつ、小さい面積の範囲において焦点が合っている領域画像も合成画像に適用する。従って、いずれの領域画像に表れる対象物の画像も、合成画像に適用されることになる。結果として、ユーザが合成画像を参照したときに、Ｚ方向に異なる位置に存在する全ての対象物を認識しうる。

また、制御部４０が特定の特徴を検出できなかった領域画像しか含まない領域画像の組にも当該領域画像に近い領域画像のパラメータの適用度合いに基づいて特定の特徴が合成領域画像に適用されうる。そして、合成領域画像を対応領域の位置に従って並べて結合することにより合成画像が生成される。このように、合成画像を生成することにより結果として、ユーザが合成画像を見て確認した場合に、特定の特徴を確認できる場合がある。さらに、合成画像を撮像位置に従って並べて結合することにより全体合成画像が生成されるので、ユーザが全体合成画像を見て確認した場合に、特定の特徴を確認できる場合がある。

また、図１０に示すように、観察装置は、生細胞の画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定する。したがって、合成領域画像に生細胞の画像が表れやすくでき、ひいては合成画像にも生細胞の画像を表れやすくできる。

また、観察装置は、異物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、異物の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも低くして、パラメータを決定する。したがって、合成領域画像に異物の画像が表れにくくでき、ひいては合成画像にも異物の画像を表れにくくできる。

また、観察装置は、パターンの画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴および異物の画像の特徴の両方を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定する。したがって、合成領域画像にパターンの画像が表れやすくできる。

また、観察装置は、対応領域毎に、何れかの領域画像に特定の特徴が検出されるか否かを判断し、何れの領域画像にも特定の特徴が検出されない対応領域については、何れかの特定の特徴が検出された別の対応領域のパラメータと当該別の対応領域までの距離に基づいて、パラメータを決定する。これにより、特定の特徴が検出されない領域画像のみを含む領域画像の組を合成する際に、合成領域画像に対象物（生細胞）は表れやすく、非対象物は表れにくくできる。

本発明は、上記実施形態に限定されない。種々の改変が可能である。

たとえば、図１３に示す処理では、何れの領域画像にも特定の特徴が検出されない対応領域については、何れかの特定の特徴が検出された別の対応領域のパラメータと当該別の対応領域までの距離に基づいて、パラメータを決定している。しかし、何れの領域画像にも特定の特徴が検出されない対応領域に関してパラメータを決定する際に、別の対応領域のパラメータを考慮しなくてもよい。たとえば、何れの領域画像にも特定の特徴が検出されない対応領域については、予め設定された適用度合いによりパラメータを決定してもよい。ここで、予め設定された適用度合いは、たとえば、対応領域に表れる領域画像で等しくできる。具体的には、たとえば対応領域に表れる領域画像が二つの場合、適用度合いは、５０対５０にできる。

また、図１３に示す処理では、何れの領域画像にも特定の特徴が検出されない対応領域についてパラメータを決定している。観察装置は、このパラメータの決定に加えて、あるいは、パラメータの決定の代わりに、ユーザに対して警告を発生する警告部をさらに有してもよい。警告部は、制御部４０の一機能として実現でき、たとえば、表示部４８に、何れの領域画像にも特定の特徴が検出されない対応領域がある旨をユーザに伝えるための警告メッセージを表示させる。これにより、ユーザは、何れの領域画像にも特定の特徴が検出されない対応領域において特定の特徴に見落としがないか注意が喚起される。ユーザは、場合によっては、合成前の部分画像を確認して、特定の特徴に見落としがないかを判断できる。

また、上記実施形態では、顕微鏡装置３０が観察対象および培養容器２０の部分画像を撮像する形態を例に説明した。しかし、顕微鏡装置３０は、部分画像を撮像する際の倍率よりも低い倍率で撮像する場合など、観察対象および培養容器２０の全体を収める視野を有し、部分画像ではなく、全体の画像を撮像してもよい。この場合においても、全体の画像を領域画像に分けて、各領域画像にパラメータを与えて合成できる。この場合、できた合成画像は、部分画像ではなく、全体の画像となる。

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した観察処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、観察処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態では、顕微鏡装置３０が二つの撮像部３８ａ、３８ｂを備える形態を例に説明したが、これに限定されず、一つの撮像部がＺ方向の異なる複数の撮像位置で観察対象を撮像する形態でもよい。

また、上記実施形態では、観察処理のプログラムが記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１０ 載置台

１１ 開口

１２ 移動部

２０ 培養容器

２１ プレート

２２ 収容部

３０ 顕微鏡装置

３１ 光源

３２ スリット

３３ コンデンサレンズ

３４ 対物レンズ

３５ フォーカス調整機構

３６ 結像レンズ

３７ ハーフミラー

３８、３８ａ、３８ｂ 撮像部

３９ 測定部

３９ａ 第１の変位センサ

３９ｂ 第２の変位センサ

４０ 制御部

４１ 顕微鏡装置制御部

４２ 走査制御部

４３ 記憶部

４４ 検出部

４５ 決定部

４６ 生成部

４７ 入力部

４８ 表示部

５０、５１、７０、７１、９０ 画像

５５、７５～７８ 対応領域

５６ 縦線

５７ 横線

６０～６３、８０～８２ 生細胞

６４ 死細胞

６５ ゴミ

６６ パターン

Ｃ 結像光学系

Ｅ 走査終了点

Ｌ１、Ｌ２、Ｌ３ 距離

Ｌ 照明光

Ｍ 走査経路

Ｒ 視野

Claims (13)

1. 観察対象を含む、異なる合焦状態の複数の合焦画像から、特定の特徴を検出する処理を行なう検出部と、
   前記検出部により検出された前記特定の特徴に基づいて、前記複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、前記領域画像から合成領域画像を生成する際の前記領域画像の前記合成領域画像への適用度合いを表すパラメータを決定する決定部と、
   前記決定部により決定された前記パラメータに基づいて、前記領域画像を前記複数の対応領域毎に合成して前記合成領域画像を生成する生成部と、
   を有し、
   前記決定部は、検出された前記特定の特徴を何れかの領域画像に含む前記領域画像の組に対して決定したパラメータに基づいて、検出された前記特定の特徴を何れの領域画像にも含まない前記領域画像の組に対するパラメータを決定する画像生成装置。
2. 前記決定部は、前記特定の特徴を何れかの領域画像に含む前記領域画像の組の前記対応領域から、前記特定の特徴を何れの領域画像にも含まない前記領域画像の組の前記対応領域までの距離に基づいて、前記特定の特徴を何れの領域画像にも含まない前記領域画像の組に対するパラメータを決定する請求項１に記載の画像生成装置。
3. 前記生成部は、前記合成領域画像を前記対応領域の位置に従って並べて結合することにより、合成画像を生成する請求項１または２に記載の画像生成装置。
4. 前記特定の特徴は、前記観察対象に含まれる対象物の画像の特徴および非対象物の画像の特徴の少なくとも一方である請求項１～３のいずれか一項に記載の画像生成装置。
5. 前記決定部は、領域画像に前記対象物の画像の特徴が含まれる場合、前記対象物の画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記対象物の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いより高くして、前記パラメータを決定し、領域画像に前記非対象物の画像の特徴が含まれる場合、前記非対象物の画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記非対象物の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いより低くして、前記パラメータを決定する請求項４に記載の画像生成装置。
6. 一の対応領域における前記領域画像の組の中に、前記対象物の特徴を含む複数の領域画像が存在する場合、前記決定部は、各領域画像における前記対象物の特徴が占める面積の割合に基づいて、各領域画像に対するパラメータを決定する請求項４または請求項５に記載の画像生成装置。
7. 前記対象物は、生細胞であり、前記非対象物は、前記観察対象に含まれる前記生細胞以外の異物である請求項４～６のいずれか一項に記載の画像生成装置。
8. 前記決定部は、前記生細胞の画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記生細胞の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いよりも高くして、前記パラメータを決定する請求項７記載の画像生成装置。
9. 前記決定部は、前記異物の画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記異物の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いよりも低くして、前記パラメータを決定する請求項７または請求項８に記載の画像生成装置。
10. 前記対象物は、前記生細胞に加え、収容部の底面に表れるパターンを含み、
    前記決定部は、前記パターンの画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記生細胞の画像の特徴および前記異物の画像の特徴の両方を含まない領域画像の前記合成領域画像への適用度合いよりも高くして、前記パラメータを決定する請求項７～９いずれか一項に記載の画像生成装置。
11. 何れの領域画像にも前記特定の特徴が検出されない対応領域について、警告を発生する警告部をさらに有する請求項１～１０のいずれか一項に記載の画像生成装置。
12. 観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、
    前記検出工程により検出された前記特定の特徴に基づいて、前記複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、前記領域画像から合成領域画像を生成する際の前記領域画像の前記合成領域画像への適用度合いを表すパラメータを決定する決定工程と、
    前記決定工程により決定された前記パラメータに基づいて、前記領域画像を前記複数の対応領域毎に合成して前記合成領域画像を生成する生成工程と、
    を有し、
    前記決定工程においては、検出された前記特定の特徴を何れかの領域画像に含む前記領域画像の組に対して決定したパラメータに基づいて、検出された前記特定の特徴を何れの領域画像にも含まない前記領域画像の組に対するパラメータを決定する画像生成方法。
13. 観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、
    前記検出工程により検出された前記特定の特徴に基づいて、前記複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、前記領域画像から合成領域画像を生成する際の前記領域画像の前記合成領域画像への適用度合いを表すパラメータを決定する決定工程と、
    前記決定工程により決定された前記パラメータに基づいて、前記領域画像を前記複数の対応領域毎に合成して前記合成領域画像を生成する生成工程と、
    をコンピュータに実行させる画像生成プログラムであり、
    前記決定工程においては、検出された前記特定の特徴を何れかの領域画像に含む前記領域画像の組に対して決定したパラメータに基づいて、検出された前記特定の特徴を何れの領域画像にも含まない前記領域画像の組に対するパラメータを決定する画像生成プログラム。

Images