JP7554083B2

JP7554083B2 - 画像処理方法、画像処理装置および撮像装置

Info

Publication number: JP7554083B2
Application number: JP2020157369A
Authority: JP
Inventors: 拓矢安田
Original assignee: Screen Holdings Co Ltd
Current assignee: Screen Holdings Co Ltd
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2024-09-19
Anticipated expiration: 2040-09-18
Also published as: US20220092743A1; EP3979188A1; US11810273B2; JP2022051094A

Description

この発明は、複数の撮影画像に基づいて合焦点画像を生成する画像処理方法、画像処理装置および撮像装置に関するものである。

細胞の培養および解析には、細胞を含む試料を撮像した画像が用いられることがある。試料は、ウェルプレートまたはマイクロプレート等と呼ばれる複数のウェル（凹部）が設けられた平板状の容器や、単一のウェルを有するディッシュと呼ばれる平皿状の容器を用いて作成される。撮像対象物である細胞はウェル内に培養液とともに保持される。このような細胞を含む試料を画像として記録する際、液中の種々の深さに細胞が分布することから、深さ方向の焦点位置を変えて複数回撮像を行い、得られた複数の画像を合成して合焦点画像を作成することが行われる。

例えば本願出願人が先に開示した特許文献１では、焦点位置を変えながら撮像された複数の画像から合焦点画像を作成する技術が記載されている。この技術は、合焦位置を示す画素参照値を用いた合成方法に、空間距離と鮮鋭度による重み付け計算を加える事で、空間方向に違和感のない合焦点画像を生成するものである。

特許第６３０１４１６号

ところで、ウェル内では複数の細胞が複雑に分布している。つまり、２つの細胞が高さ方向において大きく離れているものの、平面視では重なっていることがある。この場合、上記技術を用いると、１つの画素は１つの画像参照値のみを用いるため、画像参照値の対象となった細胞に対する重み付けが強くなり、後で説明する図３の左下段に示すように、他の細胞と重なり合う部分に欠け等が発生する問題があった。

この発明は、上記課題に鑑みなされたものであり、複数の対象物が複雑に分布している場合であっても、各対象物が鮮明に映し出された合焦点画像を作成することができる画像処理方法、画像処理装置および撮像装置を提供することを目的とする。

この発明の第１態様は、複数の撮影画像に基づいて合焦点画像を生成する画像処理方法であって、（ａ）焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより、複数の画素で構成される撮影画像をＮ個取得する工程と、（ｂ）画素毎に、合焦点画像の各座標の輝度値として参照すべき撮影画像の番号である画像参照値および補正用鮮鋭度をそれぞれ１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）求める工程と、（ｃ）座標毎に、画像参照値と補正用鮮鋭度とに基づいて輝度値を算出する工程と、（ｄ）算出された輝度値を組み合わせて、合焦点画像を生成する工程と、を備え、工程（ｂ）は、画素毎に、（ｂ－１）各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を取得する工程と、（ｂ－２）Ｎ個の個別鮮鋭度から補正用鮮鋭度および画像参照値を求める工程と、を有し、工程（ｂ－２）では、画素毎に、Ｎ個の個別鮮鋭度からＭ個の補正用鮮鋭度およびＭ個の画像参照値を求めることを特徴としている。
また、この発明の第２態様は、複数の撮影画像に基づいて合焦点画像を生成する画像処理方法であって、（ａ）焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより、複数の画素で構成される撮影画像をＮ個取得する工程と、（ｂ）画素毎に、合焦点画像の各座標の輝度値として参照すべき撮影画像の番号である画像参照値および補正用鮮鋭度をそれぞれ１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）求める工程と、（ｃ）座標毎に、画像参照値と補正用鮮鋭度とに基づいて輝度値を算出する工程と、（ｄ）算出された輝度値を組み合わせて、合焦点画像を生成する工程と、を備え、工程（ｂ）は、画素毎に、（ｂ－１）各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を取得する工程と、（ｂ－２）Ｎ個の個別鮮鋭度から補正用鮮鋭度および画像参照値を求める工程と、を有し、工程（ｂ－２）では、画素毎に、Ｎ個の個別鮮鋭度のうち、最上位の個別鮮鋭度と、しきい値以上の鮮鋭度を有する次位の個別鮮鋭度から補正用鮮鋭度および画像参照値を求める
ことを特徴としている。

また、この発明の第３態様は、複数の撮影画像に基づいて合焦点画像を生成する画像処理装置であって、焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより取得された複数の画素で構成される撮影画像を記憶する画像記憶部と、画素毎に、各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を算出するとともにＮ個の個別鮮鋭度から補正用鮮鋭度を１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）算出する鮮鋭度算出部と、画素毎に、補正用鮮鋭度に対応して合焦点画像の各座標の輝度値として参照すべき撮影画像の番号である画像参照値を決定する画像参照値決定部と、座標毎に、画像参照値と補正用鮮鋭度とに基づいて輝度値を算出する輝度値算出部と、算出された輝度値を組み合わせて、合焦点画像を生成する合焦点画像生成部と、を備え、鮮鋭度算出部は、画素毎に、Ｎ個の個別鮮鋭度からＭ個の補正用鮮鋭度を算出し、画像参照値決定部は、画素毎に、Ｎ個の個別鮮鋭度からＭ個の画像参照値を決定することを特徴としている。
また、この発明の第４態様は、複数の撮影画像に基づいて合焦点画像を生成する画像処理装置であって、焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより取得された複数の画素で構成される撮影画像を記憶する画像記憶部と、画素毎に、各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を算出するとともにＮ個の個別鮮鋭度から補正用鮮鋭度を１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）算出する鮮鋭度算出部と、画素毎に、補正用鮮鋭度に対応して合焦点画像の各座標の輝度値として参照すべき撮影画像の番号である画像参照値を決定する画像参照値決定部と、座標毎に、画像参照値と補正用鮮鋭度とに基づいて輝度値を算出する輝度値算出部と、算出された輝度値を組み合わせて、合焦点画像を生成する合焦点画像生成部と、を備え、鮮鋭度算出部は、画素毎に、Ｎ個の個別鮮鋭度のうち、最上位の個別鮮鋭度と、しきい値以上の鮮鋭度を有する次位の個別鮮鋭度から補正用鮮鋭度を算出し、画像参照値決定部は、画素毎に、最上位の個別鮮鋭度と次位の個別鮮鋭度から画像参照値を決定することを特徴としている。

さらに、この発明の第５態様は、撮像装置であって、上記画像処理装置と、対象物を撮影する撮像部と、対象物に向けて光を出射する照明部と、撮像部の焦点位置を光軸に沿って変化させる移動機構と、を有することを特徴としている。

このように構成された発明では、各焦点位置での鮮鋭度が個別鮮鋭度として算出された後で、当該個別鮮鋭度から補正用鮮鋭度が１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）算出されるとともに画像参照値が決定される。そして、画素毎に画像参照値と補正用鮮鋭度とに基づいて輝度値が算出され、さらに、それらの輝度値を組み合わせることで合焦点画像が生成される。

上記のように、本発明によれば、複数の対象物が複雑に分布している場合であっても、各対象物が鮮明に映し出された合焦点画像を作成することができる。

本発明に使用されるウェルプレートの一例を示す図である。本発明に係る撮像装置の一実施形態の概略構成を示す図である。従来技術により得られる合焦点画像と、本実施形態により得られる合焦点画像とを模式的に示す図である。本発明に係る画像処理装置の第１実施形態において演算処理部により実現される機能を概念的に示すブロック図である。演算処理部により実現される処理の流れを示すフローチャートである。演算処理部により実現される処理内容を説明するための図である。演算処理部により実現される処理内容の一例を示す図である。本発明に係る画像処理装置の第２実施形態で行われる画像処理方法を説明するための図である。本発明に係る画像処理装置の第２実施形態で行われる画像処理方法を説明するための図である。本発明に係る画像処理装置の第３実施形態で行われる画像処理方法を説明するための図である。本発明に係る画像処理装置の第４実施形態で行われる画像処理方法を説明するための図である。

以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。

図１は本発明に使用されるウェルプレートの一例を示す図である。具体的には、図１はウェルプレート９の斜視図である。ウェルプレート９は、複数のウェル９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培地とともに撮像対象物となる複数の細胞を保持する。本実施形態では、上面視におけるウェル９１の形状は、円形として説明する。ただし、ウェル９１の形状は、矩形、角丸矩形等の他の形状であってもよい。ここで、各図における方向を統一的に示すために、図１に示すようにＸＹＺ直交座標系を設定する。例えばＸＹ平面を水平面、Ｚ軸を鉛直軸と考えることができる。以下においては（－Ｚ）方向を鉛直下向きとする。

図２は本発明に係る撮像装置の一実施形態の概略構成を示す図である。この撮像装置１は、ウェルプレート９の上面に形成されたウェル９１と称される凹部に担持された培地中で培養される細胞、細胞コロニー、細菌等（以下、「細胞等」と称し参照符号Ｃを付す）の生試料を本発明の「対象物」として撮像する装置である。なお、この撮像装置１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば６ないし３８４穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置１を使用することが可能である。

ウェルプレート９の各ウェル９１には、培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等Ｃが、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェル９１に投入された後ゲル化するものであってもよい。この撮像装置１では、例えばウェル９１の内底面で培養された細胞等Ｃを撮像対象とすることができる。

撮像装置１は、ウェルプレート９を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御する演算処理部１４１を有する制御部１４とを備えている。ホルダ１１は、試料を培地Ｍとともに各ウェル９１に担持するウェルプレート９の下面周縁部に当接してウェルプレート９を略水平姿勢に保持する。

照明部１２は、ホルダ１１により保持されたウェルプレート９に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、ウェルプレート９に設けられたウェル９１内の細胞等が上方から照明される。

ホルダ１１により保持されたウェルプレート９の下方に、撮像部１３が設けられる。撮像部１３には、ウェルプレート９の直下位置に図示を省略する撮像光学系が配置されており、撮像光学系の光軸は鉛直方向（Ｚ方向）に向けられている。図２は側面図であり、図の上下方向が鉛直方向を表す。

撮像部１３により、ウェル９内の細胞等が撮像される。具体的には、照明部１２から出射されウェル９の上方から液体に入射した光が撮像対象物を照明し、ウェル９底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。

撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向（ＸＹ方向）および鉛直方向（Ｚ方向）に移動可能となっている。具体的には、メカ制御部１４６が演算処理部１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させることにより、撮像部１３がウェル９１に対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。撮像視野内に１つのウェル９１の全体が収められた状態で撮像されるときには、メカ制御部１４６は、光軸が当該ウェル９１の中心と一致するように、撮像部１３を水平方向に位置決めする。

また、駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線矢印で示すように照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。これにより、どのウェル９１が撮像される場合でも、当該ウェル９１の中心および照明部１２の光中心が常に撮像部１３の光軸上に位置することとなり、各ウェル９１に対する照明条件を一定にして、撮像条件を良好に維持することができる。

撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。演算処理部１４１は、受信した画像データに基づき適宜画像処理を実行する画像処理部として機能する。制御部１４はさらに、画像データを記憶保存するための画像記憶部として機能する画像メモリ１４４と、演算処理部１４１が実行すべきプログラムや演算処理部１４１により生成されるデータを記憶保存するためのメモリ１４５とを有しているが、これらは一体のものであってもよい。演算処理部１４１は、メモリ１４５に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。

その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。

なお、制御部１４は、上記したハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置１の制御部１４として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像装置１には、撮像部１３等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。

図３は、従来技術により得られる合焦点画像と、本実施形態により得られる合焦点画像とを模式的に示す図である。例えば図２中の部分拡大図に示すように、ウェル９１内に複数の細胞Ｃが鉛直方向（高さ方向）Ｚにおいて大きく離れているものの、平面視では重なっていることがある。ここで、撮像対象となっているウェル９１について、その撮像部１３の撮影視野内に、２つの細胞Ｃが存在するものとする。以下では、上記部分拡大図中の左側の細胞Ｃを第１細胞Ｃ１と称し、右側の細胞Ｃを第２細胞Ｃ２と称する。撮像部１３の焦点位置をＮ段階、例えば５段階に変化させつつ上記ウェル９１を撮像すると、例えば図３の上段に示すように、５つの撮影画像ＣＩ０～ＣＩ４が得られる。図３の例では、第１細胞Ｃ１については、焦点位置Ｈ０での撮影画像ＣＩ０において最も焦点が合っており、第２細胞Ｃ２については、焦点位置Ｈ４での撮影画像ＣＩ４において最も焦点が合っている。また、焦点位置Ｈ２での撮影画像ＣＩ２においては、細胞Ｃ１、Ｃ２が部分的に重なって映っている。

こうして得られた５つの撮影画像ＣＩ０～ＣＩ４に対し、特許文献１に記載の従来技術を適用して合焦点画像ＡＩを作成すると、次のような問題が発生することがある。従来技術では、撮影画像ＣＩ０～ＣＩ４のそれぞれについて、画素毎に、鮮鋭度が算出される。そして、撮影画像ＣＩ０～ＣＩ４の互いに対応する画素の間で鮮鋭度を比較することで、座標ごとに画像参照値が決定される。このように１つの画素に対し、１つの画像参照値のみが決定される。したがって、平面視で重なっている２つの細胞Ｃ１、Ｃ２のうち画像参照値の対象となった細胞Ｃ１に対する重み付けが強くなる。その結果、同図の左下段に示すように、細胞Ｃ１、Ｃ２同士が重なり合う部分に欠け等が発生することがあった。

これに対し、本実施形態では、以下に詳述するように画素毎に複数の画像参照値を選択し、補正用鮮鋭度を基準とした合成を行うため、同図の左下段に示すように各細胞Ｃ１、Ｃ２が鮮明に映し出された合焦点画像ＡＩを作成することができる。以下、図４ないし図７を参照しつつ本発明に係る画像処理装置および画像処理方法の第１実施形態について詳述する。

図４は、本発明に係る画像処理装置の第１実施形態において演算処理部により実現される機能を概念的に示すブロック図である。演算処理部１４１は、撮像制御部１４１ａと画像処理部１４１ｂとを有する。撮像制御部１４１ａは、予めメモリ１４５に記憶された撮像用の制御プログラムに従って、照明部１２、撮像部１３および駆動機構１５を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞Ｃの撮影処理が進行し、例えば図３に示すようにウェル９１毎に５つの撮影画像ＣＩ０～ＣＩ４が取得され、画像メモリ１４４に記憶される。なお、撮影処理は特許文献１に記載の従来技術と同一であるため、ここでは撮影処理の説明は省略する。

一方、画像処理部１４１ｂは、予めメモリ１４５に記憶された画像処理用の制御プログラムに従って、図５に示す画像処理を実行する。つまり、画像処理部１４１ｂは、
・画素毎に、鮮鋭度を算出する個別鮮鋭度算出部ｂ１と、
・画素毎に、Ｍ個の補正用鮮鋭度を算出する補正用鮮鋭度算出部ｂ２と、
・画素毎に、合焦点画像ＡＩの各座標の輝度値として参照すべき撮影画像ＣＩ０～ＣＩ４の番号である画像参照値をＭ個決定する画像参照値決定部ｂ３と、
・座標毎に、Ｍ個の画像参照値とＭ個の補正用鮮鋭度とに基づいて輝度値を算出する輝度値算出部ｂ４と、
・算出された輝度値を組み合わせて、合焦点画像ＡＩを生成する合焦点画像生成部ｂ５と、
を有している。これらの各部が行う具体的な処理は以下の通りである。

図５は、演算処理部により実現される処理の流れを示すフローチャートである。図６は、演算処理部により実現される処理内容を説明するための図である。図７は、演算処理部により実現される処理内容の一例を示す図である。

演算処理部１４１が、上述した撮影処理によって得られた複数の撮影画像ＣＩ０～ＣＩ４を画像メモリ１４４から読み出す（ステップＳＴ１）。次に、演算処理部１４１の個別鮮鋭度算出部ｂ１が、複数の撮影画像ＣＩ０～ＣＩ４のそれぞれについて、画素毎に、個別鮮鋭度を算出する（ステップＳＴ２）。より詳しくは、図６に示すように、撮影画像ＣＩ０を構成する画素の各々について個別鮮鋭度Ｓ０（０，０）～Ｓ０（ｘmax，ｙmax）を算出する。また、他の撮影画像ＣＩ１～ＣＩ４についても同様である。なお、同図中の点線は画素の区分を模式的に示している。また、本明細書中の「個別鮮鋭度」は、従来技術の「鮮鋭度」と同様に、その画素付近における画像の明瞭さ（sharpness）を示す指標である。本実施形態では、個別鮮鋭度Ｓ０（０，０）～Ｓ４（ｘmax，ｙmax）は、例えば、その画素を中心とする一定の領域における画素の輝度変化に基づいて計算される。ただし、個別鮮鋭度に、周辺画素の輝度の分散値、輝度の最大値、輝度の最小値、画素そのものの輝度値などが用いられてもよい。

従来技術では、複数の撮影画像ＣＩ０～ＣＩ４の互いに対応する画素の間で、上記鮮鋭度を比較することにより、座標ごとに画像参照値Ａを決定していた。これに対し、本実施形態では、ｘ座標およびｙ座標をそれぞれ０から最大値ｍａｘに変化させながら補正用鮮鋭度算出部ｂ２がＭ個の補正用鮮鋭度を算出するとともに画像参照値決定部ｂ３がＭ個の画像参照値を決定する（ステップＳＴ３～ＳＴ７）。本実施形態では、発明内容の理解を容易なものとするために、図５～図７では値Ｍを「２」に固定したケースを例示している。以下、図５～図７を参照しつつ、補正用鮮鋭度の算出および画像参照値の決定について説明する。

ステップＳＴ３では、図５および図６に示すように、補正用鮮鋭度算出部ｂ２がステップＳＴ２で算出された個別鮮鋭度の全部から画素（ｘm，ｙn）に対応する個別鮮鋭度Ｓ０（ｘm，ｙn）、Ｓ１（ｘm，ｙn）、Ｓ２（ｘm，ｙn）、Ｓ３（ｘm，ｙn）、Ｓ４（ｘm，ｙn）を抽出する。それに続いて、補正用鮮鋭度算出部ｂ２は抽出された個別鮮鋭度Ｓ０（ｘm，ｙn）～Ｓ４（ｘm，ｙn）から最上位の鮮鋭度を補正用鮮鋭度Ｓ（０，ｘm，ｙn）として決定する（ステップＳＴ４）。これに続いて、画像参照値決定部ｂ３が最上位の補正用鮮鋭度Ｓ（０，ｘm，ｙn）に対応する画像参照値Ａ（０，ｘm，ｙn）を決定する（ステップＳＴ５）。ここで、ステップＳＴ２により例えば図７に示す個別鮮鋭度が算出され、補正用鮮鋭度の算出の対象となっている座標（ｘm，ｙn）が座標（１，３）であると仮定して説明を続ける。この場合、補正用鮮鋭度算出部ｂ２は、
Ｓ０（１，３）＝７０
Ｓ１（１，３）＝３０
Ｓ２（１，３）＝１０
Ｓ３（１，３）＝５
Ｓ４（１，３）＝１０
を抽出する。そして、補正用鮮鋭度算出部ｂ２は個別鮮鋭度Ｓ０（１，３）を補正用鮮鋭度Ｓ（０，１，３）と決定するとともに、画像参照値決定部ｂ３は画像参照値Ａ（０，１，３）を「０」と決定する。

こうして、最上位の補正用鮮鋭度Ｓ（０，ｘm，ｙn）および画像参照値Ａ（０，ｘm，ｙn）が求まると、補正用鮮鋭度算出部ｂ２は次位の補正用鮮鋭度Ｓ（１，ｘm，ｙn）を算出する（ステップＳＴ６）。また、画像参照値決定部ｂ３は上記補正用鮮鋭度Ｓ（１，ｘm，ｙn）に対応する画像参照値Ａ（１，ｘm，ｙn）を決定する（ステップＳＴ７）。なお、上記座標（１，３）について、図７に示すように、補正用鮮鋭度算出部ｂ２は個別鮮鋭度Ｓ１（１，３）を次位の補正用鮮鋭度Ｓ（１，１，３）を「３０」と決定するとともに、画像参照値決定部ｂ３は次位の画像参照値Ａ（１，１，３）を「１」と決定する。

なお、本実施形態では、画素毎に、上記したようにＭ＝２、つまり上位２つの補正用鮮鋭度Ｓ（０，ｘ，ｙ）、Ｓ（１，ｘ，ｙ）を算出するとともに、それらに対応する画像参照値Ａ（０，ｘ，ｙ）、Ａ（１，ｘ，ｙ）を求めているが、Ｍの値はこれに限定されるものではなく、焦点位置の数Ｎよりも少ない範囲であることを条件に、３以上であってもよい。

次に、演算処理部１４１の輝度値算出部ｂ４が、上記複数の画像参照値Ａと、各撮影画像ＣＩ０～ＣＩ４の輝度値とに基づいて、合焦点画像を構成する各座標の輝度値Ｖを算出する（ステップＳＴ８）。つまり、各座標の画像参照値Ａが示す撮影画像ＣＩの当該座標の輝度値に対して、周囲の座標の画像参照値Ａが示す撮影画像ＣＩの輝度値を反映させて、合焦点画像の当該座標の輝度値Ｖを算出する。具体的には、輝度値算出部ｂ４は、例えば次の数式（１）を用いて、合焦点画像を構成する各座標の輝度値Ｖを算出する

ここで、数式（１）中のＶ（ｘn，ｙn）は、合焦点画像内の座標（ｘn，ｙn）における輝度値（算出すべき輝度値）を示す。数式（１）中のｋ，ｌは、それぞれ、着目する座標（ｘn，ｙn）からの周囲の座標までのｘ方向およびｙ方向の距離を示す。数式（１）中のｆｘ，ｆｙは、着目する座標からの考慮に入れる座標の範囲（輝度値を反映させる範囲）を示す。σｄは、距離の重み付け係数である。σｓは、補正用鮮鋭度Ｓの重み付け係数である。補正用鮮鋭度Ｓは、０～１の値に正規化されているものとする。Ｍ（ｘ，ｙ）は指定画素における採用された画像参照値Ａおよび補正用鮮鋭度Ｓの数である（上記第1実施形態では、「２」に固定されている）。

数式（１）は、距離の重み付け量と補正用鮮鋭度Ｓの重み付け量とを、それぞれガウシアン係数で表現し、それらの掛け合わせを行うことを意味する。すなわち、輝度値算出部ｂ４は、着目する座標の輝度値に、周囲の座標の輝度値を、距離および補正用鮮鋭度Ｓに応じた重み付けで反映させて、合焦点画像の各座標の輝度値Ｖを算出する。より詳述すると、輝度値算出部ｂ４は、まず、各座標について、画像参照値Ａが示す撮影画像ＣＩの当該座標の輝度値を参照する。そして、その輝度値に対して、周囲の座標の画像参照値Ａが示す撮影画像ＣＩの輝度値を反映させる。その際、着目する座標からの距離が近い座標ほど、輝度値を大きく影響させる。また、補正用鮮鋭度Ｓが高いほど、輝度値を大きく影響させる。

その後、演算処理部１４１の合焦点画像生成部ｂ５が、座標毎に算出された輝度値Ｖを組み合わせて、合焦点画像を生成する（ステップＳＴ９）。これにより、図３中の右下段に示すように、５つの撮影画像ＣＩ０～ＣＩ４に基づいて生成される合焦点画像ＡＩには、細胞Ｃ１、Ｃ２同士が重なり合う部分に欠け等が現れることなく、細胞Ｃ１、Ｃ２が共にボケの少ない状態で現れる。

以上のように、画素毎に、補正用鮮鋭度Ｓおよび画像参照値ＡをそれぞれＭ個（本実施形態では、２個）求め、これらに基づいて合焦点画像ＡＩを生成している。このため、当該合焦点画像ＡＩでは、鉛直方向（高さ方向）Ｚにおいて互いに異なる位置（高さ）に存在する細胞Ｃがそれぞれ鮮明に映し出されている。その結果、複数の細胞Ｃがウェル９１内で複雑に分布している場合であっても、各細胞Ｃを明確に確認することができる。

上記したように、第１実施形態では、図３の上段に示すように５つの撮影画像ＣＩ０～ＣＩ４を取得する工程が本発明の工程（ａ）の一例に相当している。また、図５のステップＳＴ２が本発明の工程（ｂ－１）の一例に相当するとともに、ステップＳＴ３～ＳＴ７が本発明の工程（ｂ－２）の一例に相当しており、それらステップＳＴ２～ＳＴ７が本発明の工程（ｂ）の一例に相当している。さらに、図５のステップＳＴ８、ＳＴ９がそれぞれ本発明の工程（ｃ）、（ｄ）の一例に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記第１実施形態では、画素毎に、抽出した５つの個別鮮鋭度Ｓ０～Ｓ４から上位２つを補正用鮮鋭度Ｓ（０，ｘ，ｙ）、Ｓ（１，ｘ，ｙ）を算出するとともに画像参照値Ａ（０，ｘ，ｙ）、Ａ（１，ｘ，ｙ）を一義的に決定している。これに対し、本発明に係る画像処理装置の第２実施形態では、次の説明するように補正用鮮鋭度Ｓ（１，ｘ，ｙ）および画像参照値Ａ（１，ｘ，ｙ）の設定を一部変更している。

図８Ａおよび図８Ｂは本発明に係る画像処理装置の第２実施形態で行われる画像処理方法を説明するための図である。例えば図８Ａ中の丸印で示すように、同一座標において次位の画像参照値Ａ（１，ｘ，ｙ）が画像参照値Ａ（０，ｘ，ｙ）と隣接するとき、一方の細胞Ｃに焦点が合っている高さに対し、高さ方向を少しずらすと、同図中の符号Ｒで細胞Ｃの画像がボケることがある。そこで、これを効果的に回避するために、図８Ｂに示すように、更に次位（３番目）を画像参照値Ａ（１，ｘ，ｙ）として設定してもよい。例えば図７に示す個別鮮鋭度が既に算出されている場合、図８Ｂにおいて太枠で囲ったように、上記隣接条件により画像がボケる座標（１，２）の補正用鮮鋭度Ｓ（１，１，２）を３番目に大きな個別鮮鋭度の値「５０」とするとともに画像参照値Ａ（１，ｘ，ｙ）を「１」から「４」に変更してもよい。こうすることで、同図に示すように、ボケのない鮮明な合焦点画像ＡＩが得られる。

また、上記第１実施形態では、個別鮮鋭度の値にかかわらず上位Ｍ個を補正用鮮鋭度として採用するとともに画像参照値ＡをＭ個決定している。ここで、補正用鮮鋭度の採用基準として、所定のしきい値を設定してもよい（第３実施形態）。

図９は本発明に係る画像処理装置の第３実施形態で行われる画像処理方法を説明するための図である。この第３実施形態では、第１実施形態と同様にして個別鮮鋭度Ｓ０～Ｓ４が算出される。一方、ステップＳＴ３では、補正用鮮鋭度算出部ｂ２がステップＳＴ２で算出された個別鮮鋭度の全部から画素（ｘm，ｙn）に対応する個別鮮鋭度Ｓ０（ｘm，ｙn）、Ｓ１（ｘm，ｙn）、Ｓ２（ｘm，ｙn）、Ｓ３（ｘm，ｙn）、Ｓ４（ｘm，ｙn）を抽出する。それに続いて、補正用鮮鋭度算出部ｂ２は抽出された個別鮮鋭度Ｓ０（ｘm，ｙn）～Ｓ４（ｘm，ｙn）のうち所定のしきい値（例えば「３０」以上）で、しかも最上位の鮮鋭度を補正用鮮鋭度Ｓ（０，ｘm，ｙn）として決定する（ステップＳＴ４）。これに続いて、画像参照値決定部ｂ３が最上位の補正用鮮鋭度Ｓ（０，ｘm，ｙn）に対応する画像参照値Ａ（０，ｘm，ｙn）を決定する（ステップＳＴ５）。

このように第３実施形態では、上記しきい値条件を加えているため、例えば図９に示すように、画素によっては抽出された個別鮮鋭度Ｓ０（ｘm，ｙn）～Ｓ４（ｘm，ｙn）のいずれもがしきい値を超えない場合がある。そこで、本実施形態では、上記個別鮮鋭度Ｓ０（ｘm，ｙn）～Ｓ４（ｘm，ｙn）のうち最大値を例外的に補正用鮮鋭度Ｓ（０，ｘm，ｙn）として決定するとともに、それに対応する画像参照値Ａ（０，ｘm，ｙn）を決定する（ステップＳＴ５）。例えば、図９中の画素（ｘmax，ｙmax）の個別鮮鋭度Ｓ０～Ｓ４は、
Ｓ０（ｘmax，ｙmax）＝０
Ｓ１（ｘmax，ｙmax）＝０
Ｓ２（ｘmax，ｙmax）＝２
Ｓ３（ｘmax，ｙmax）＝１
Ｓ４（ｘmax，ｙmax）＝０
であるため、補正用鮮鋭度算出部ｂ２は補正用鮮鋭度Ｓ（０，ｘmax，ｙmax）を「２」に設定するとともに画像参照値決定部ｂ３は画像参照値Ａ（０，ｘmax，ｙmax）を「２」に設定する。

また、補正用鮮鋭度算出部ｂ２は、上記しきい値条件を満足し、しかも次位となる補正用鮮鋭度Ｓ（１，ｘm，ｙn）を算出する（ステップＳＴ６）。また、画像参照値決定部ｂ３は上記補正用鮮鋭度Ｓ（１，ｘm，ｙn）に対応する画像参照値Ａ（１，ｘm，ｙn）を決定する（ステップＳＴ７）。ここで、しきい値条件を満足しない画素について、最上位の補正用鮮鋭度Ｓ（０，ｘm，ｙn）では例外規定を設けているが、次位となる補正用鮮鋭度Ｓ（１，ｘm，ｙn）では、同図に示すように、補正用鮮鋭度Ｓ（１，ｘm，ｙn）を「０」に設定するとともに画像参照値Ａ（１，ｘm，ｙn）を「なし」とし、輝度計算（ステップＳＴ８）の対象から外している。すなわち、画素毎に、補正用鮮鋭度Ｓの個数および画像参照値Ａの個数をそれぞれ１またはＭ個に可変となっている。このため、次のような作用効果が得られる。

第１実施形態および第２実施形態では、画素毎の画像参照値Ａの個数Ｍを固定しており、弱い鮮鋭度であっても、それを輝度値Ｖの算出に用いている。このことが合焦点画像ＡＩにボケ領域が含まれる要因となることがある。これに対し、第３実施形態では、上記個数Ｍを可変とし、弱い鮮鋭度については輝度値Ｖの算出から除外している。したがって、合焦点画像ＡＩにボケ領域が含まれるのを抑制し、より鮮明な合焦点画像ＡＩを作成することができる。

また、上記第３実施形態では、所定のしきい値「３０」を予め設定しているが、個別鮮鋭度Ｓ０～Ｓ４の最大値を基準としてしきい値を設定してもよい（図４実施形態）。

図１０は本発明に係る画像処理装置の第４実施形態で行われる画像処理方法を説明するための図である。この第４実施形態が第３実施形態と大きく相違する点が、ステップＳＴ３～ＳＴ７を実行する前に、ステップＳＴ２で算出された全個別鮮鋭度のうち最大値を求め、その最大値に係数（例えば０．４）を掛けたものを上記しきい値として設定する工程が含まれている。当該しきい値の設定が完了すると、それ以降については第３実施形態と同様にして合焦点画像ＡＩを作成する。このように第４実施形態においても、第３実施形態と同様に、合焦点画像ＡＩへのボケ領域の混入を抑制し、より鮮明な合焦点画像ＡＩを作成することができる。

また、上記実施形態では、焦点位置を光軸に沿って５段階に変化させつつ対象物を撮影することにより、５個の撮影画像ＣＩ０～ＣＩ４を取得している、つまりＮ＝５である。このＮの値は５に限定されるものではなく、２～４または６以上であってもよい。

また、輝度値Ｖを上記の数式（１）により算出しているが、数式（１）に代えて、他の計算式を用いてもよい。計算式は、各座標の画像参照値Ａが示す撮影画像の輝度値に対して、周囲の座標の画像参照値Ａが示す撮影画像の輝度値を反映させるための計算式であればよい。

また、上記実施形態では、１つのウェル９１に対して１つの視野が設定され、当該視野において、焦点位置を変えて撮影を行う場合について説明した。しかしながら、１つのウェル９１を複数の視野に分けて、各視野の間で撮像部１３を移動させつつ、視野毎に複数の撮影画像を取得してもよい。その場合、視野毎に、上記画像処理を行って合焦点画像を生成し、得られた合焦点画像を合成（タイリング）して、１つのウェル９１の画像を生成すればよい。

また、上記実施形態では、撮影対象物となる細胞Ｃが、ウェルプレート９の複数のウェル９１内に保持されている。しかしながら、細胞Ｃは、ウェルプレート９以外の容器に保持されていてもよい。

また、上記実施形態では、単体の細胞Ｃを撮影対象物としていた。しかしながら、撮影対象物は、複数の細胞が立体的に集合した細胞集塊（スフェロイド）であってもよい。また、撮影対象物は、細胞以外の試料であってもよい。

また、上記実施形態では、撮影対象物の上方に照明部１２が配置され、撮影対象物の下方に撮像部１３が配置されていた。しかしながら、撮影対象物の下方に照明部１２が配置され、撮影対象物の上方に撮像部１３が配置されていてもよい。

また、上記実施形態では、撮像部１３の光学系に含まれる一部の光学部品を移動させることにより、撮像部１３の焦点位置を変化させていた。しかしながら、撮像部１３全体を昇降移動させることにより、ウェル９１内における撮像部１３の焦点位置を、光軸に沿って変化させてもよい。また、撮影対象物を保持する容器を昇降移動させることにより、容器に対する撮像部１３の焦点位置を、相対的に変化させてもよい。すなわち、本発明における「移動機構」は、撮像部１３全体を移動させる機構または容器（ウェルプレート９）を移動させる機構であってもよい。

また、上記実施形態では、細胞Ｃを保持する容器の位置が固定され、照明部１２および撮像部１３が水平方向に移動していた。しかしながら、照明部１２および撮像部１３の位置を固定して、容器を水平方向に移動させてもよい。

この発明は、複数の撮影画像に基づいて合焦点画像を生成する画像処理技術および当該画像処理技術を用いる撮像装置全般に適用することができる。

１…撮像装置
９…ウェルプレート
１２…照明部
１３…撮像部
１４１…演算処理部
１４１ａ…撮像制御部
１４１ｂ…画像処理部
１４４…画像メモリ（画像記憶部）
Ａ…画像参照値
ＡＩ…合焦点画像
ｂ１…個別鮮鋭度算出部
ｂ２…補正用鮮鋭度算出部
ｂ３…画像参照値決定部
ｂ４…輝度値算出部
ｂ５…合焦点画像生成部
Ｃ，Ｃ１，Ｃ２…細胞
ＣＩ０～ＣＩ４…撮影画像
Ｈ０～Ｈ４…焦点位置
Ｖ…輝度値
Ｚ…鉛直方向

Claims

複数の撮影画像に基づいて合焦点画像を生成する画像処理方法であって
（ａ）焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより、複数の画素で構成される撮影画像をＮ個取得する工程と
（ｂ）前記画素毎に、合焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値および補正用鮮鋭度をそれぞれ１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）求める工程と
（ｃ）座標毎に、前記画像参照値と前記補正用鮮鋭度とに基づいて輝度値を算出する工程と
（ｄ）算出された輝度値を組み合わせて、合焦点画像を生成する工程と、を備え、
前記工程（ｂ）は、前記画素毎に
（ｂ－１）各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を取得する工程と
（ｂ－２）前記Ｎ個の個別鮮鋭度から前記補正用鮮鋭度および前記画像参照値を求める工程と、を有し、
前記工程（ｂ－２）では、前記画素毎に、前記Ｎ個の個別鮮鋭度から前記Ｍ個の補正用鮮鋭度および前記Ｍ個の画像参照値を求める
ことを特徴とする画像処理方法。
請求項１に記載の画像処理方法であって、
前記工程（ｂ－２）では、前記画素毎に、前記Ｎ個の個別鮮鋭度のうち上位Ｍ個を前記補正用鮮鋭度として抽出するとともに抽出された前記Ｍ個の補正用鮮鋭度にそれぞれ対応する前記撮影画像の番号を前記Ｍ個の画像参照値とする画像処理方法。
複数の撮影画像に基づいて合焦点画像を生成する画像処理方法であって
（ａ）焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより、複数の画素で構成される撮影画像をＮ個取得する工程と
（ｂ）前記画素毎に、合焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値および補正用鮮鋭度をそれぞれ１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）求める工程と
（ｃ）座標毎に、前記画像参照値と前記補正用鮮鋭度とに基づいて輝度値を算出する工程と
（ｄ）算出された輝度値を組み合わせて、合焦点画像を生成する工程と、を備え、
前記工程（ｂ）は、前記画素毎に
（ｂ－１）各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を取得する工程と
（ｂ－２）前記Ｎ個の個別鮮鋭度から前記補正用鮮鋭度および前記画像参照値を求める工程と、を有し、
前記工程（ｂ－２）では、前記画素毎に、前記Ｎ個の個別鮮鋭度のうち、最上位の個別鮮鋭度と、しきい値以上の鮮鋭度を有する次位の個別鮮鋭度から前記補正用鮮鋭度および前記画像参照値を求める
ことを特徴とする画像処理方法。
請求項３に記載の画像処理方法であって、
全個別鮮鋭度の最大値に対して一定の係数を掛けた値を前記しきい値とする画像処理方法。
複数の撮影画像に基づいて合焦点画像を生成する画像処理装置であって、
焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより取得された複数の画素で構成される撮影画像を記憶する画像記憶部と、
前記画素毎に、各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を算出するとともに前記Ｎ個の個別鮮鋭度から補正用鮮鋭度を１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）算出する鮮鋭度算出部と、
前記画素毎に、前記補正用鮮鋭度に対応して合焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、
座標毎に、前記画像参照値と前記補正用鮮鋭度とに基づいて輝度値を算出する輝度値算出部と、
算出された輝度値を組み合わせて、合焦点画像を生成する合焦点画像生成部と、を備え、
前記鮮鋭度算出部は、前記画素毎に、前記Ｎ個の個別鮮鋭度から前記Ｍ個の補正用鮮鋭度を算出し、
前記画像参照値決定部は、前記画素毎に、前記Ｎ個の個別鮮鋭度から前記Ｍ個の画像参照値を決定する
ことを特徴とする画像処理装置。
複数の撮影画像に基づいて合焦点画像を生成する画像処理装置であって、
焦点位置を光軸に沿ってＮ段階（ただし、Ｎは２以上の自然数）に変化させつつ対象物を撮影することにより取得された複数の画素で構成される撮影画像を記憶する画像記憶部と、
前記画素毎に、各焦点位置での鮮鋭度を算出してＮ個の個別鮮鋭度を算出するとともに前記Ｎ個の個別鮮鋭度から補正用鮮鋭度を１またはＭ個（ただし、Ｍは２以上かつＮ未満の自然数）算出する鮮鋭度算出部と、
前記画素毎に、前記補正用鮮鋭度に対応して合焦点画像の各座標の輝度値として参照すべき前記撮影画像の番号である画像参照値を決定する画像参照値決定部と、
座標毎に、前記画像参照値と前記補正用鮮鋭度とに基づいて輝度値を算出する輝度値算出部と、
算出された輝度値を組み合わせて、合焦点画像を生成する合焦点画像生成部と、を備え、
前記鮮鋭度算出部は、前記画素毎に、前記Ｎ個の個別鮮鋭度のうち、最上位の個別鮮鋭度と、しきい値以上の鮮鋭度を有する次位の個別鮮鋭度から前記補正用鮮鋭度を算出し、
前記画像参照値決定部は、前記画素毎に、前記最上位の個別鮮鋭度と前記次位の個別鮮鋭度から前記画像参照値を決定する
ことを特徴とする画像処理装置。
請求項５または６に記載の画像処理装置と、
前記対象物を撮影する撮像部と、
前記対象物に向けて光を出射する照明部と、
前記撮像部の焦点位置を光軸に沿って変化させる移動機構と、
を有することを特徴とする撮像装置。