JP7076361B2 - 画像処理方法、画像処理装置、プログラムおよび記憶媒体 - Google Patents

Description

この発明は、容器の凹部に担持された培地を撮像した画像から、凹部の周縁部の無効領域とその内側の有効領域との境界を特定する画像処理技術に関するものである。

細胞の解析には、ウェルプレートまたはマイクロプレート等と呼ばれる、複数のウェル（凹部）が設けられた平板状の容器が用いられる。解析対象物の細胞はウェル内に培地とともに保持される。そして、カメラで細胞を撮像して解析に供される。撮像の際、ウェルとその周囲が撮像される場合には、画像の中から、解析対象の細胞が含まれる有効領域であるウェル内部と周縁部の無効領域との境界を精度よく検出する必要がある。

これに関し、特許文献１には、マイクロプレートの試験ウェル壁境界を識別する方法が開示されている。特許文献１に記載の方法は、マイクロプレートの画像から、試験ウェルの壁境界の特徴を検出する。そして、壁境界の特徴を使用して、壁境界の候補エッジ画像を生成する。その候補エッジ画像を解析して試験ウェルの外周境界の空間的位置を計算し、その情報を使用して内周境界を決定する。

特許第５９２０９９４号

撮像時のウェル内には培養液等の液体が保持されているため、表面張力により液体の表面に凹状のメニスカスが形成される。また、ウェル側壁面がテーパー形状を有している場合や、撮像方向に傾きがある場合等には、ウェルの側壁面が映り込むことがある。また、照明光の入射方向に傾きがある場合には、ウェルの周縁部に暗い影が生じることがある。さらに、ウェルの周縁部に気泡や細胞由来の付着物が付着している場合がある。

これらに起因して、特許文献１の方法で特定される内周境界が、画像における有効領域と無効領域との境界を必ずしも的確に表していないケースがある。また、同じ原因により、ウェルの周縁部で境界が部分的に不明瞭となるケースや、境界の特徴を有するエッジが複数含まれるケース等も生じている。そのため、このように不明瞭な画像からでも有効領域と無効領域との境界を確実に特定することのできる技術が求められている。

この発明は上記課題に鑑みなされたものであり、培地を担持する容器の凹部を撮像した画像から、凹部の周縁部の無効領域とその内側の有効領域との境界を確実に、しかも精度よく特定することのできる技術を提供することを目的とする。

この発明の一の態様は、培地を担持する容器の凹部を撮像した画像から、前記凹部の周縁部の無効領域とその内側の有効領域との境界を特定する画像処理方法であって、上記目的を達成するため、前記画像内の前記周縁部の近傍に、前記周縁部に沿った周方向の位置が互いに異なり、前記凹部の中央から前記周縁部へ向かう径方向に延びる所定サイズの探索領域を複数設定する工程と、前記探索領域内でエッジ検出を実行し、検出されたエッジ位置およびエッジ強度を前記探索領域ごとに取得する工程と、前記探索領域の各々について、前記周方向において当該探索領域と隣接する他の探索領域を、当該探索領域に対して前記径方向にシフトさせたときに画像パターンの類似度が最も高くなる相対シフト量を求める工程と、一の前記探索領域内における前記境界の位置を、当該探索領域および前記周方向において近傍範囲にある前記探索領域それぞれの前記エッジ位置、前記エッジ強度および前記相対シフト量に基づき特定する工程とを備えている。

このように構成された発明では、凹部の周縁部近傍に、径方向に延びる探索領域が周方向に複数設定される。そして、探索領域内での径方向において求められたエッジ検出の結果と、周方向において求められた相対シフト量とに基づき、当該探索領域内での境界位置が特定される。

探索領域内において強いエッジが検出されればそのエッジ位置が境界位置である蓋然性が高いと言えるが、誤検出の可能性もある。また、検出されたエッジの強度が低いもしくは有意なエッジが見つからない場合には他の方法で補う必要がある。本発明では、周方向で近傍にある探索領域との画像内容の比較により、境界である可能性の高い位置を特定することができる。

具体的には次の通りである。境界を不明瞭にする原因となる画像内の要素は、周方向にある程度の連続性を持って分布していると考えられる。したがって、周方向において近傍にある探索領域間における画像内容の変化は比較的緩やかである。このため境界の位置も緩やかに変化してゆくと考えられる。言い換えれば、エッジが見つからない探索領域であっても、その近傍の他の探索領域において境界の位置がわかっていれば、その位置から推定して境界位置を求めることが可能である。

２つの探索領域を径方向に相対シフトさせ、画像パターンの類似度が最も高くなるように両者の位置を合わせたとき、２つの探索領域間で画像内容が類似しており、上記した連続性を考慮すれば両者の境界の位置も概ね揃っていると言える。したがって、このときの相対シフト量は、２つの探索領域間での境界位置の変化量を示していることになる。この情報を用いれば、当該探索領域で明確なエッジが見つかっているか否かに関わらず、他の探索領域の情報から境界の位置を推定することができる。

これらの情報を組み合わせて境界位置を特定することで、この発明では、周縁部の近傍に明確なエッジが見つからない場合であっても、周縁部の無効領域とその内側の有効領域との境界を確実に、しかも精度よく特定することが可能である。

上記のように、本発明によれば、凹部の周縁部近傍に複数設定した探索領域の各々について、エッジ検出および隣接する探索領域との間で画像パターンの類似度が最も高くなる相対シフト量を求める処理を実行している。これらで得られる情報を組み合わせることで、周縁部の無効領域とその内側の有効領域との境界を確実に、しかも精度よく特定することができる。

本発明に使用されるウェルプレートの一例を示す図である。 本実施形態における撮像装置の概略構成を示す図である。 撮像における問題点について説明する図である。 ウェルを撮像した画像の例を模式的に示す図である。 本実施形態における画像処理の原理を示す図である。 本実施形態における画像処理を示すフローチャートである。 基準点および探索領域を示す図である。 各探索領域内の画像における輝度変化の例を示す図である。 画像パターン比較の例を示す図である。 各探索領域間でのパターン比較の結果を例示する図である。 求められた情報から境界位置を特定する原理を示す図である。 角丸矩形ウェルの画像への対応例を示す図である。

以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。

図１は本発明に使用されるウェルプレートの一例を示す図である。具体的には、図１（ａ）はウェルプレート９の上面図であり、図１（ｂ）はその斜視図である。ウェルプレート９は、複数のウェル９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培地とともに撮像対象物となる複数の細胞を保持する。本実施形態では、上面視におけるウェル９１の形状は、円形として説明する。ただし、ウェル９１の形状は、矩形、角丸矩形等の他の形状であってもよい。

図２は本実施形態における撮像装置の概略構成を示す図である。この撮像装置１は、ウェルプレート９の上面に形成されたウェル９１と称される凹部に担持された培地中で培養される細胞、細胞コロニー、細菌等（以下、「細胞等」と称し参照符号Ｃを付す）の生試料を撮像する装置である。なお、この撮像装置１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば６ないし３８４穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置１を使用することが可能である。

ウェルプレート９の各ウェル９１には、培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等Ｃが、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェル９１に投入された後ゲル化するものであってもよい。この撮像装置１では、例えばウェル９１の内底面で培養された細胞等Ｃを撮像対象とすることができる。

撮像装置１は、ウェルプレート９を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料を培地Ｍとともに各ウェル９１に担持するウェルプレート９の下面周縁部に当接してウェルプレート９を略水平姿勢に保持する。

照明部１２は、ホルダ１１により保持されたウェルプレート９に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、ウェルプレート９に設けられたウェルＷ内の細胞等が上方から照明される。

ホルダ１１により保持されたウェルプレート９の下方に、撮像部１３が設けられる。撮像部１３には、ウェルプレート９の直下位置に図示を省略する撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。図２は側面図であり、図の上下方向が鉛直方向を表す。

撮像部１３により、ウェル９１内の細胞等が撮像される。具体的には、照明部１２から出射されウェル９１の上方から液体に入射した光が撮像対象物を照明し、ウェル９１底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。

撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させることにより、撮像部１３がウェル９１に対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。撮像視野内に１つのウェル９１の全体が収められた状態で撮像されるときには、メカ制御部１４６は、光軸が当該ウェル９１の中心と一致するように、撮像部１３を水平方向に位置決めする。

また、駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線矢印で示すように照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。これにより、どのウェル９１が撮像される場合でも、当該ウェル９１の中心および照明部１２の光中心が常に撮像部１３の光軸上に位置することとなり、各ウェル９１に対する照明条件を一定にして、撮像条件を良好に維持することができる。

撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する。制御部１４はさらに、画像データを記憶保存するための画像メモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのメモリ１４５とを有しているが、これらは一体のものであってもよい。ＣＰＵ１４１は、メモリ１４５に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。

その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。

なお、制御部１４は、上記したハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置１の制御部１４として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像装置１には、撮像部１３等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。

図３は撮像における問題点について説明する図である。より具体的には、図３は培地Ｍを担持した状態のウェル９１の側面断面を示している。同図に示すように、ウェル９１の側壁面９２は上部から底部に向けて断面積が漸減するテーパー形状となっていることがある。また、ウェル９１に注入されている培地Ｍがウェル側壁面９２との接触部分でメニスカスによる盛り上がりが生じる。また、照明光Ｌが鉛直方向に対し斜めに入射することで、ウェル側壁面９２の影が液面に映り込むことがある。さらに、ウェル９１の側壁面９２と底面９３との接続部分に細胞由来の老廃物等が付着していることがある。

このような状態を取り得るウェル９１が、矢印Ｄ１で示すように底面９３側から、または矢印Ｄ２で示すように上部開口側から撮像されるとき、上記した種々の原因により、ウェル９１の周縁部において輪郭が不明瞭となることがある。

図４はウェルを撮像した画像の例を模式的に示す図である。図４（ａ）に示すように、ウェルプレート上面９ａの一部を含んでウェル９１を撮像した画像ＩＭにおいては、特にウェル９１の周縁部付近において上記した原因により不規則な濃淡が現れている。画像ＩＭにおいて、解析対象である細胞等が含まれるのは中央部の高輝度で略一様な領域Ａ１であり、ウェル側壁面のテーパーやメニスカス等により暗く映った領域Ａ２や、周縁部付近の付着物等により中央部と異なる輝度を持つ領域Ａ３については、解析エラーの原因となるおそれがあるので除外する必要がある。このため、画像から、中央部の領域Ａ１とそれ以外の領域とを区画する境界の位置を特定する必要がある。

本明細書では、ウェル中央部の比較的高輝度で一様な領域Ａ１を、解析対象となる細胞等を当該領域から良好に抽出することのできる「有効領域」と称する一方、ウェル周縁部の不規則な濃淡を含み解析に利用できない領域Ａ２，Ａ３を「無効領域」と称する。そうすると、求められるのは画像から有効領域と無効領域との境界を特定することである。

ここで、図４（ａ）に示すように、画像内でウェル９１の仮想的な中心とみなせる点Ｏを原点とし、原点Ｏから周縁部に向かう径方向を動径ｒ方向、原点Ｏ回りの回転方向を偏角θ方向とする極座標系（ｒ，θ）を設定する。偏角θの起点については、例えば画像において原点Ｏから上向きの方向をθ＝０とすることができる。

種々の偏角θに対して、原点Ｏから動径方向における有効領域Ａ１と無効領域との境界までの距離を符号Ｒで表す。そうすると、図４（ｂ）に示すように、有効領域Ａ１と無効領域との境界は、偏角θに対し距離Ｒをプロットしたプロファイルによって表すことができる。言い換えれば、このプロファイルを求めることにより、画像における境界の位置を特定したことになる。次に説明する本実施形態の画像処理は、このプロファイルを求めるためのものである。まずその基本的な考え方を説明し、その後で具体的な処理内容について説明する。

図５は本実施形態における画像処理の原理を示す図である。図５（ａ）に破線で示すように、原点Ｏから放射状に延びる複数の動径方向が設定される。ここでは原点Ｏから互いに等角度間隔で８つの動径方向が設定されるが、その数は任意である。この数が多いほどより複雑な形状の境界にも対応可能となるが、処理に要する時間は長くなる。また等角度間隔である必要は必ずしもないが、演算処理の便宜からはこのような規則性を持たせておくことが有利である。

こうして設定された各動径上で、有効領域Ａ１と無効領域との境界が検出される。図４（ｂ）に示すように、検出された境界位置をθに対してプロットし、実線で示す滑らかな曲線で結ぶと、図に点線で示す目的のプロファイルに近い曲線が得られる。したがって、各動径上で境界の位置が特定できれば、適宜の曲線近似によって必要なプロファイルを得ることが可能である。以下、その具体的処理内容の一例を説明する。

図６は本実施形態における画像処理を示すフローチャートである。この画像処理は、本発明に係る「画像処理方法」の一実施形態であり、撮像装置１の制御部１４に設けられたＣＰＵ１４１が、予めメモリ１４５に記憶されている制御プログラムを実行して装置各部に所定の動作を行わせることにより実現される。なお、この処理は、画像データが予め準備されていれば、一般的な構成のコンピュータ装置でも実現可能なものである。その意味において、本発明は、コンピュータにより実行されるプログラムとして、またそれを記憶した記憶媒体として実現することが可能である。

最初に、ウェルを撮像した画像データが取得される（ステップＳ１０１）。この撮像装置１は撮像機能を有しており、ホルダ１１にセットされたウェルプレート９に設けられたウェル９１を撮像することにより画像データを取得することが可能である。また、外部の撮像装置あるいはストレージ装置からインターフェース部１４２を介して与えられる画像データを取得する態様であってもよい。

次に、画像に基準点を設定するための基準位置情報が取得される（ステップＳ１０２）。基準位置情報は、画像内におけるウェル周縁部の概略位置を特定するための情報であり、周縁部の厳密な位置を示すものである必要はない。例えばウェル９１の開口サイズや形状などに関する設計データから予め作成しておくことが可能である。このような情報は予めメモリ１４５に記憶されていてもよく、また必要に応じてユーザの指示入力によって与えられてもよい。また、取得された画像に対する簡易的な画像処理により、ウェル９１の中心位置や直径などの概算値が求められる態様でもよい。また、撮像時の光軸とウェル中心とが概ね一致するとの前提の下、画像の中心が仮想的にウェルの中心とされてもよい。

こうして与えられた基準位置情報に基づき、画像内に複数の基準点が設定されるとともに、基準点を含む探索領域が各基準点のそれぞれについて設定される（ステップＳ１０３）。

図７は基準点および探索領域を示す図である。ここでは、原点Ｏの周りに等角度間隔で８つの基準点Ｐ０～Ｐ７が設定されるが、基準点の数および配置はこれに限定されない。ただし、基準点はウェル９１の周縁部の近傍で、周方向には互いに位置を異ならせて複数設けられることが必要である。周縁部の全周にわたって精度よく境界位置を特定するためには、周方向に分散して基準点が設けられることが好ましい。

まず基準点Ｐ０～Ｐ７の設定について説明する。図７（ａ）に破線で示すように、基準位置情報に基づき仮設定された原点Ｏに対し複数の（ここでは８つの）動径方向が選択され、各動径上でウェル９１の周縁部の近傍に位置する点が、基準点Ｐ０～Ｐ７とされる。ウェル９１の周縁部の位置に一致させる必要はない。後の演算を簡単にするためには、各基準点Ｐ０～Ｐ７は原点Ｏからの距離が互いに等しいことが好ましい。

次に、各動径上で、基準点を含み、動径方向つまり径方向に延びる探索領域Ｒ０～Ｒ７が設定される。例えば基準点Ｐ０に対応する探索領域Ｒ０は、図７（ｂ）に示すように、基準点Ｐ０を中心として径方向に所定の長さを有する１画素分の幅のライン画像である。探索領域Ｒ０の長さは、当該動径方向における有効領域Ａ１と無効領域との境界が探索領域内に含まれるように設定される。すなわち、予想される境界位置の変動を確実にカバーすることができるように、基準点Ｐ０の位置およびそこから延びる探索領域Ｒ０の長さが設定されればよい。他の基準点Ｐ１～Ｐ７および探索領域Ｒ１～Ｒ７についても同様である。

なお、基準点は探索領域の中心である必要は必ずしもない。例えば基準点がウェル９１の外周部より外側に設定され、そこから探索領域が原点Ｏ方向に延びていてもよい。また、基準点の情報は後の処理に使用されないので、基準点を定めることなく各動径方向の探索領域が設定されてもよい。この場合には、原点Ｏから各探索領域までの距離が互いに等しいことが望ましい。また、探索領域の幅は１画素分に限定されず、複数画素分の幅であってもよい。

このようにして設定された各探索領域Ｒ０～Ｒ７のそれぞれについてエッジ検出が実行され（ステップＳ１０４）、画像内容が急峻な変化を示すエッジの位置およびエッジ強度が求められる。各探索領域Ｒ０～Ｒ７のエッジ位置およびエッジ強度はメモリ１４５に記憶される（ステップＳ１０５）。

エッジ検出のアルゴリズムとしては特に限定されず、公知のものを用いることができる。ただし、エッジ強度が所定値以上の明確なエッジが検出され、これよりエッジ強度の弱い輝度変化しかない場合にはエッジなしと判定されることが望ましい。また、各探索領域内でのエッジ検出は、図７（ｂ）に示すように、ウェル９１の中心側から周縁側に向けて探索が行われることが望ましい。

図８は各探索領域内の画像における輝度変化の例を示す図である。図７（ａ）に例示する画像ＩＭにおいて設定された各探索領域Ｒ０～Ｒ７のそれぞれについて、ウェル中心側から周縁側へ向かう輝度変化を模式的に描画すると図８のようになる。いずれの領域においても、ウェル中央側（図において左方）で培地Ｍの輝度に対応する高輝度の領域が広がっており、周縁側（図において右方）で輝度の低下が起こっている。ウェル周縁部の状態により、輝度低下が生じる位置やその変化態様はまちまちである。

求めるべき有効領域Ａ１と無効領域との境界は、培地Ｍ由来の輝度が維持されているウェル中央部の領域とこれより輝度変動のある領域とを隔てるものであるから、図８の各グラフを左から右へ見たときに最初に輝度の低下が起こり始める位置にあると考えてよい。このことから、エッジの探索はウェル中央部から周縁部に向かう方向に実行され、最初に検出されたエッジが有効とされる。

なお、周縁部での輝度変化の態様としては、高輝度から低輝度への変化と、低輝度から高輝度への変化とがあり得る。対象となる試料において輝度変化の方向が既知である場合には、その知見に基づき、高輝度から低輝度へ変化するエッジ、および低輝度から高輝度へ変化するエッジのいずれか一方のみを検出するようにしてもよい。

図８においてグラフの横軸に付した黒丸印はエッジ検出により特定されるエッジの位置を示している。探索領域Ｒ０～Ｒ３，Ｒ７においては急峻な輝度低下がありこの位置がエッジと判断される。一方、探索領域Ｒ６におけるエッジは輝度変化が比較的小さく、エッジ強度の弱いエッジである。また、探索領域Ｒ４，Ｒ５では輝度変化が緩やかでありエッジは検出されない。

次に、各探索領域について、当該探索領域内の画像パターンと、周方向において当該探索領域に隣接する他の１つの探索領域内の画像パターンとが比較される（ステップＳ１０６）。図７（ａ）に示されるように、ウェル周縁部における画像パターンは、周方向において概ね緩やかに変化する。したがって、周方向における探索領域間の間隔が適切に設定されていれば、隣接する探索領域間での画像パターンの差異もさほど大きくはならない。このため、隣接する探索領域の間では、有効領域Ａ１と無効領域との境界の位置（以下、単に「境界位置」ということがある）は大きく異ならないと考えられる。

画像パターンが緩やかに変化するという性質から、一方の探索領域に対して他方の探索領域を動径方向に相対シフトさせながら画像パターンを比較したとき、境界位置が概ね同じになるときに画像パターンの類似度が最も高くなると考えられる。言い換えれば、画像パターンの類似度が最も高くなるときのシフト量が、両探索領域の間での境界位置の差を表していると言える。

そこで、隣接する探索領域間で画像パターンの類似度が最も高くなるときのシフト量を求めれば、両探索領域の間で境界位置がどのように推移しているかを把握することができる。類似度については、一方の画像パターンに対し他方の画像パターンをテンプレートとする一次元パターンマッチングの考え方を適用することができる。すなわち、他方の画像パターンを１画素ずつシフトさせながら一方の画像パターンとの画素ごとの差分を求め、その絶対値の合計値が最も小さくなるときの相対シフト量が、両探索領域間での境界位置の変化量を表す。したがって、この関係を用いれば、一方の境界位置から他方の境界位置を推定することが可能となる。こうして求められた相対シフト量はメモリ１４５に記憶される（ステップＳ１０７）。ここでは画像パターンの類似度を評価する尺度として差分の絶対値の合計値を用い、これが最小となるときの相対シフト量を求めているが、画像パターンの類似度の評価には他の公知のパターンマッチング手法が用いられてもよい。

図９は画像パターン比較の例を示す図である。図９（ａ）は２つの探索領域Ｒ１，Ｒ２間の比較例を示す。図からわかるように、探索領域Ｒ２の画像パターンを一定量左にシフトさせた状態で両パターンを重ね合わせると差分が小さくなることから、探索領域Ｒ２では探索領域Ｒ１と比較して境界位置が右側（すなわちウェル周縁側）に移動していることが示唆される。図８に示すように、検出されたエッジの位置も同様の傾向を示しており、このエッジ位置が境界位置である妥当性が高いと言える。

このようなパターン比較による境界位置の推定は、エッジが検出されなかった場合にも有効に機能する。例えば、図９（ｂ）はエッジが検出された探索領域Ｒ３と、これと（＋θ）方向に隣接し、エッジが検出されなかった探索領域Ｒ４との比較例を示している。この場合、両者を重ねるとシフト量ゼロでも高い相関がある。このことから、探索領域Ｒ３，Ｒ４の間では境界位置の移動は少ないと考えられる。探索領域Ｒ３で検出されたエッジ位置が境界位置を示すものであるとすれば、探索領域Ｒ４における境界位置も同じ位置にあると推定できる。

また、図９（ｃ）はいずれもエッジが検出されなかった探索領域Ｒ４，Ｒ５間での比較例を示す。この場合でも、例えば探索領域Ｒ５のパターンを一定量右方向へシフトさせることで差分を最小とすることができれば、そのときのシフト量が両探索領域間での境界位置の移動量を表していると考えられる。そして、上記のように探索領域Ｒ４における境界位置が隣接する探索領域Ｒ３でのエッジ位置から推定可能であれば、そこからさらに探索領域Ｒ５の境界位置も推定することができる。

このように、隣接する探索領域間でのパターン比較により、明確なエッジが含まれるか否かに関わらず、両探索領域間での境界位置の移動量を推定することが可能である。したがって、エッジ検出結果では境界位置が特定されない探索領域についても、その周辺の探索領域における境界位置から境界位置を推定することが可能である。

図１０は各探索領域間でのパターン比較の結果を例示する図である。探索領域Ｒ０は探索領域Ｒ１とパターン比較される。また、探索領域Ｒ１は探索領域Ｒ２とパターン比較される。同様に、１つの探索領域Ｒｘは、（＋θ）方向に隣接する他の探索領域Ｒ（ｘ＋１）とパターン比較され、両者の差分を最小とするための相対シフト量が求められる。ここでｘは第ｘ番目の探索領域を表す添え字である。探索領域Ｒ７は、（＋θ）方向に隣接する探索領域Ｒ０とパターン比較される。

この結果では、探索領域Ｒ２は探索領域Ｒ１に対し左方向に適宜の１単位（例えば画素単位）の相対シフト量となり、探索領域Ｒ３は探索領域Ｒ２に対し右方向に１単位の相対シフト量となる。例えば図において右方向を正とすれば、探索領域Ｒ２は探索領域Ｒ１に対し（－１）の相対シフト量を有し、探索領域Ｒ３は探索領域Ｒ２に対し（＋１）の相対シフト量を有すると表現することができる。隣接探索領域間の相対シフト量を積算してゆけば、隣接関係にない２つの探索領域間でのシフト量を表すことができる。これを「積算シフト量」と称することとする。積算シフト量は、周方向における境界の候補位置を指標する情報となる。

図１１は求められた情報から境界位置を特定する原理を示す図である。ここまで説明した処理により、図１１（ａ）に示すように、探索領域Ｒ０～Ｒ７のそれぞれについて、検出されたエッジの位置および強度と、隣接探索領域との間の相対シフト量と、相対シフト量の積算値として求まる積算シフト量とが求められ、これらはメモリ１４５に記憶されている。これらから、各探索領域Ｒ０～Ｒ７における境界位置を決定してゆく。

これらの結果から境界位置を求める方法は、図１１（ａ）の表を図１１（ｂ）に示すように図示することによって理解しやすくなる。なお、ここでは説明を単純化して原理をより理解しやすくするために、各探索領域Ｒ０～Ｒ７がそれぞれ９画素分の長さを有するものとする。すなわち、図１１（ａ）に示されるエッジ位置やシフト量は画素単位で表され、図１１（ｂ）では正方形１つが１つの画素を表している。

図１１（ｂ）左端のバーグラフ状の図は、各探索領域Ｒ０～Ｒ７の画像パターンと、検出されたエッジ位置とを表したものである。それぞれの画像パターンは図７（ａ）に対応する濃淡を有している。黒丸印がエッジ位置を表している。その右側には検出されたエッジ強度が示される。さらにその右側には、境界位置の推移を示す積算シフト量がバーグラフ上の位置で表されている。

これらを上から順に見てゆくと、探索領域Ｒ０から探索領域Ｒ３まではいずれ強いエッジが検出されており、しかも検出されたエッジ位置の変化と、積算シフト量で表される境界位置の変化とが一致している。このことから、これらのエッジ位置が、有効領域と無効領域との境界の位置を表している蓋然性が高いと言える。したがって、これらのエッジ位置についてはそのまま境界位置とみなすことができる。

次に、探索領域Ｒ４では大きな輝度変化がなくエッジが検出されていない。このとき積算シフト量を見ると、１つ上の探索領域Ｒ３と同じ位置に境界があることが示されている。したがってこのとき、探索領域Ｒ３の境界位置と同じ位置を探索領域Ｒ４の境界位置とみなす。また、探索領域Ｒ５でもエッジが検出されていないが、積算シフト量は、近傍の探索領域よりも１つ左側の位置に境界位置があることを示している。したがって、そのような位置を境界位置とみなす。

探索領域Ｒ６ではエッジが検出されているが、その強度は他のエッジよりも弱く、またそのエッジ位置も、積算シフト量で示される近傍探索領域間の境界位置の関係と一致しない。この場合にはエッジ位置を境界位置とせず、近傍の探索領域、特に強いエッジが検出されている探索領域Ｒ７における境界位置と積算シフト量とで決まる位置を境界位置とする。

探索領域Ｒ７については強いエッジが検出されており、そのエッジ位置と、隣接する探索領域Ｒ０におけるエッジ位置との関係についても、積算シフト量で示される関係と一致している。したがって、この場合はエッジ位置を境界位置とみなすことができる。

図１１（ｂ）の右端は確定された境界位置を示したものである。黒丸印はエッジ検出結果から推定された境界位置を示し、白丸印はパターン比較の結果を加味して補足・修正された境界位置を示している。左側の一様かつ高輝度の領域から低輝度の領域に遷移する位置に境界位置が設定されており、図５（ａ）に示した境界特定の目的が達成されていることがわかる。

このように、上記の考え方によって各探索領域の境界位置を確定させてゆくことにより、十分な強度のエッジが検出されない部分についても、ウェル中央側の高輝度の領域（有効領域）と周縁部の低輝度の領域（無効領域）との境界を精度よく特定することができる。

上記の境界特定方法の原理を整理すると以下の通りである。
（１）強いエッジが検出されている探索領域については、そのエッジ位置が境界位置を表す蓋然性が高いものとする。特に、近傍の探索領域の間でのエッジ位置の変化が積算シフト量で示される境界位置の変化とよく合致している場合には、その蓋然性がより高いものとする。また、このような強いエッジは、近傍の探索領域における境界位置の特定にも強い影響を及ぼすようにする。
（２）弱いエッジが検出されている探索領域およびエッジが検出されていない探索領域については、積算シフト量で示される境界位置の変化態様をより重視して境界位置を特定する。すなわち、積算シフト量で示される境界位置の変化態様に基づき、当該探索領域の近傍で確定される境界位置から境界位置を推定する。

詳しい説明は省略するが、このような原理は、例えば下記の（式１）に基づく演算によって具現化することが可能である。

（式１）において、変数ｎは設定される探索領域の数（この例では８）を表し、変数ｘはそのうち１つを特定するためのパラメータである（すなわち、ｘは０≦ｘ＜ｎの関係を満たす整数）。左辺Ｐｌ（ｘ）は、第ｘ番目の探索領域Ｒｘにおいて境界に対応する画素の位置を表し、この演算によって求めようとする解である。また、右辺Ｐｅ（ｘ）は第ｘ番目の探索領域Ｒｘにおいて検出されたエッジ位置を画素位置で表したものであり、Ｓ（ｘ）はそのエッジ強度である。

また、Ｇｓ（ｘ）は探索領域Ｒ０～Ｒｘの積算シフト量である。また、関数Ｍ（ｘ＋ｋ，ｎ）は剰余演算関数を略記したものであり、正確には次式（式２）：
Ｍ（ｘ＋ｋ，ｎ）＝ｍｏｄ（ｘ＋ｋ＋ｎ，ｎ） … （式２）
により表すことができる。（式２）右辺は、値（ｘ＋ｋ＋ｎ）を値ｎで除したときの剰余を返す関数である。

また、変数ｍは、１つの探索領域Ｐｘの境界位置を特定する際に参照される近傍の探索領域の数を示す整数パラメータである。具体的には、当該探索領域Ｒｘに対し、（－θ）方向および（＋θ）方向にそれぞれ幾つの探索領域を「近傍」とみなすかを表す。例えばｍ＝１である場合、当該探索領域と、周方向においてこれを挟む１つずつの探索領域Ｒ（ｘ－１），Ｒ（ｘ＋１）とが近傍範囲とみなされ、これらの探索領域について求められた情報から、中央の探索領域Ｒｘにおける境界位置が特定される。

パラメータｍを大きくすると、１つの探索領域の境界位置に、当該探索領域から離れた探索領域の情報も反映されることになるため、ノイズや誤検出による影響を軽減することができる。その反面、局所的な境界位置の変動が打ち消されてしまうという問題がある。周方向における探索領域の配置ピッチ（これはパラメータｎが大きいほど小さくなる）が十分に小さければ、このような問題を生じることなくパラメータｍを大きくすることが可能である。これらのことから、ウェル周縁部に現れる輝度の不規則性の程度や、それをどこまで細かく検出する必要があるかに応じて、パラメータｍ，ｎが設定されることが望ましい。またこれらを大きくすることで処理時間も長くなるので、この点も考慮してパラメータ設定を行う必要がある。

上記の原理に基づき、各探索領域Ｒ０～Ｒ７のそれぞれにおいて、有効領域と無効領域との境界の位置が特定される（ステップＳ１０８）。こうして境界位置を求めることは、図５（ａ）に示す黒丸印の位置を特定するのと等価である。したがって、これらの境界位置の間を補間する近似曲線を求めることで（ステップＳ１０９）、周方向の全周にわたって有効領域と無効領域との境界を特定することができる。近似方法については公知のものから適宜選択可能である。そして、例えばこうして特定された境界に基づきマスクを作成すれば、原画像から有効領域Ａ１のみを切り出すことが可能となる。

以上説明したように、上記実施形態においては、ウェルプレート９が本発明の「容器」に相当しており、ウェル９１が本発明の「凹部」に相当している。また、上記実施形態の撮像装置１においては、撮像部１３が本発明の「画像取得部」として機能しており、制御部１４、特にＣＰＵ１４１が本発明の「制御部」として機能している。なお、原画像データを外部装置から取得する態様においては、外部装置との通信を担うインターフェース部１４２が本発明の「画像取得部」として機能することになる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では平面視において円形のウェル９１の画像を処理対象としているが、ウェルの断面形状としては、この他にも矩形の四隅を丸めた、いわゆる角丸矩形のものも広く用いられている。上記実施形態の画像処理は、このような形状のウェルにも対応可能なものである。

図１２は角丸矩形ウェルの画像への対応例を示す図である。図１２（ａ）に破線で示すように、角丸矩形の断面形状を有するウェルＷの画像に対しても、その概略中心から放射状に複数の動径方向を設定することができる。そして、各動径上にそれぞれ探索領域Ｒ１０～Ｒ１７を設定し、上記と同様の処理によって各探索領域内での境界位置を特定することができる。

各探索領域を中心から等距離に配置した場合、図１２（ｂ）に示すように、理想的な状態でも中心からウェル周縁部までの距離Ｒが周期的に変動することになり、特定される境界の位置もうねることになるが、処理自体は上記と同じとすることができる。ただし、全周にわたって境界位置を表す近似曲線を精度よく求めるためには、探索領域の数については円形の場合より多くすることが好ましい。

また、上記実施形態では、原画像および各探索領域においては原画像の各画素の輝度値がそのまま用いられているが、適宜のフィルタ処理によって平滑化がなされてもよい。これにより、ノイズや有効領域内に分布する細胞の像に起因する誤検出を低減することができる。ただし、境界位置の微小な変化の情報が失われる恐れがあることに留意する必要がある。

また例えば、検出されたエッジ位置や相対シフト量についても計算値をそのまま使用しているが、径方向および周方向において隣接する他の計算値との間で平滑化が行われてもよい。また例えば、最終的に特定された境界位置についても、周方向に平滑化を行うことで局所的な歪みを除去するようにしてもよい。

また、上記実施形態の（式１）では、パラメータｍで定まる近傍範囲のうち強いエッジ強度を持つエッジが強い影響力を持つように構成されているが、周方向における当該探索領域からの距離の大小は反映されていない。現実的には、処理対象の探索領域から離れるほど与える影響は小さくなると考えられるから、（式１）に探索距離ｋに応じた重み付けが加えられてもよい。

また例えば、上記実施形態のパターン比較においては、探索領域間で画像の差分が最小となる相対シフト量が求められているが、その差分値、つまり両画像がどの程度類似しているか（あるいは乖離しているか）の情報は用いられていない。隣接する対象領域間で画像の類似度が高いほど相対シフト量が持つ情報の信頼性は高いと考えられるから、例えばパターンマッチングにおけるマッチングスコアに応じてシフト量に重み付けが加えられるようにしてもよい。

以上、具体的な実施形態を例示して説明してきたように、本発明においては、エッジ強度が所定値より大きいエッジが検出された探索領域については、エッジ位置を境界の位置とする一方、エッジ強度が所定値より小さいまたはエッジが検出されない探索領域については、周方向において隣接する他の探索領域の境界の位置を当該探索領域の相対シフト量に応じて補正した位置を、当該探索領域の境界の位置とすることができる。このような構成によれば、十分な強度のエッジが存在しない探索領域についても、確実にかつ高い蓋然性で境界位置を定めることができる。

また、複数の探索領域は、凹部の中央部に設定した仮想中心からの距離が互いに等しくなるように設定されてもよい。このような構成によれば、各探索領域間でのエッジ位置や画像内容の比較において仮想中心からの距離の違いを考慮する必要がないので、処理が簡単になる。特に凹部の形状が円形である場合に有効である。

またこの場合、複数の探索領域は、周方向において等角度間隔で設けられてもよい。このような構成によれば、周方向において各探索領域の画像内容を比較するときに、それらの周方向における距離の違いを考慮する必要がなく、やはり処理を簡単にすることができる。

また、エッジ検出では、探索領域を中央から周縁部へ向かう方向に探索して最初のエッジを検出するようにしてもよい。凹部に培地が注入された一般的なケースでは、培地は透明に近い一方、周縁部では光が種々の方向に散乱するため周縁部が中央部よりも暗く映ることが多い。このことから、中央部から周縁部に向けてエッジを探索することで、仮に探索領域内にエッジに該当する箇所が複数あったとしても、それらのうち中央の有効領域とその外側の無効領域とのエッジを検出することができる。また、エッジ検出では、高輝度から低輝度へ変化するエッジ、低輝度から高輝度へ変化するエッジの少なくとも一方が検出されてもよい。特に、培地から周縁部に向かう方向における輝度変化が既知である場合には、高輝度から低輝度への変化、低輝度から高輝度への変化のいずれかのみの検出により、目的とするエッジを検出することが可能である。

また、この発明では、探索領域ごとに求められた境界の位置に基づき、境界を近似する曲線が特定されてもよい。このような構成によれば、各探索領域について離散的に求められた境界位置の間を補間して、周方向の全周にわたって境界位置を表す情報を得ることができる。

この発明は、細胞、細胞塊等を撮像した画像から生きている細胞等を検出するものであり、例えば創薬スクリーニングなど、医学や生化学の分野に特に好適に適用可能なものである。

１ 撮像装置（画像処理装置）
９ ウェルプレート（容器）
１３ 撮像部（画像取得部）
１４ 制御部
９１ ウェル（凹部）
Ｃ 細胞
Ｍ 培地
Ｒ０～Ｒ７ 探索領域

Claims (10)

1. 培地を担持する容器の凹部を撮像した画像から、前記凹部の周縁部の無効領域とその内側の有効領域との境界を特定する画像処理方法において、
   前記画像内の前記周縁部の近傍に、前記周縁部に沿った周方向の位置が互いに異なり、前記凹部の中央から前記周縁部へ向かう径方向に延びる所定サイズの探索領域を複数設定する工程と、
   前記探索領域内でエッジ検出を実行し、検出されたエッジ位置およびエッジ強度を前記探索領域ごとに取得する工程と、
   前記探索領域の各々について、前記周方向において当該探索領域と隣接する他の探索領域を、当該探索領域に対して前記径方向にシフトさせたときに画像パターンの類似度が最も高くなる相対シフト量を求める工程と、
   一の前記探索領域内における前記境界の位置を、当該探索領域および前記周方向において近傍範囲にある前記探索領域それぞれの前記エッジ位置、前記エッジ強度および前記相対シフト量に基づき特定する工程と
   を備える画像処理方法。
2. 前記エッジ強度が所定値より大きいエッジが検出された前記探索領域については、前記エッジ位置を前記境界の位置とする一方、
   前記エッジ強度が前記所定値より小さいまたはエッジが検出されない前記探索領域については、前記周方向において隣接する他の前記探索領域の前記境界の位置を当該探索領域の前記相対シフト量に応じて補正した位置を、当該探索領域の前記境界の位置とする請求項１に記載の画像処理方法。
3. 前記複数の探索領域は、前記凹部の中央部に設定した仮想中心からの距離が互いに等しい請求項１または２に記載の画像処理方法。
4. 前記複数の探索領域は、前記周方向において等角度間隔で設けられる請求項３に記載の画像処理方法。
5. 前記エッジ検出では、前記探索領域を前記中央から前記周縁部へ向かう方向に探索して最初のエッジを検出する請求項１ないし４のいずれかに記載の画像処理方法。
6. 前記エッジ検出では、高輝度から低輝度へ変化するエッジ、低輝度から高輝度へ変化するエッジの少なくとも一方を検出する請求項１ないし５のいずれかに記載の画像処理方法。
7. 前記探索領域ごとに求められた前記境界の位置に基づき、前記境界を近似する曲線を特定する請求項１ないし６のいずれかに記載の画像処理方法。
8. コンピュータに、請求項１ないし７のいずれかに記載の画像処理方法の各工程を実行させるプログラム。
9. 請求項８に記載のプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
10. 容器の培地を担持する凹部を撮像した画像を取得する画像取得部と、
    前記画像取得部が取得した前記画像に対し、請求項１ないし７のいずれかに記載の画像処理方法を実行する制御部と
    を備える画像処理装置。

Images