JP6255819B2 - 計測用コンピュータプログラム、計測装置及び計測方法 - Google Patents

Description

本発明は、画像に写った物体の量を計測するためのコンピュータプログラム、計測装置及び計測方法に関する。

微生物検査では、シャーレといった容器内で微生物を培養し、その微生物のコロニーの数を計測することが行われている。しかし、コロニー数の計測は検査者の負担が大きく、コロニー数を正確にカウントできないことがある。そこで、コロニー数をプロセッサで自動的にカウントできるようにするコントラストチャンバが提案されている（例えば、特許文献１を参照）。

しかし、特許文献１に記載のコントラストチャンバのような、コロニー計測用の専用機材を用いるためには、検査者がその機材の操作に習熟することが求められる。また特許文献１に記載のコントラストチャンバは、容器を適切に照明するための光源、容器内のコロニーを計測するための読み取りヘッド及びその読み取りヘッドを駆動する機構などを有するため、比較的高価である。そのため、特許文献１に記載のコントラストチャンバのような専用機材を用いなくてもコロニー数を計測できることが好ましい。

また、被写体を異なる方向から複数回撮影することによって得られた複数の撮影画像を合成する技術が提案されている（例えば、特許文献２を参照）。

特表平７−５００５０５号公報 特開２００６−２８７５０４号公報

シャーレ撮影用の機材を用いる代わりに、特許文献２に開示された技術を利用して、シャーレ内の微生物のコロニー数を計測するには、シャーレを撮影した各画像からシャーレ内の領域を特定することが求められる。

一つの側面では、本発明は、容器を互いに異なる複数の方向から撮影して得られる複数の画像からその容器内の物体の量を計測する対象の領域を特定できるコンピュータプログラムを提供することを目的とする。

一つの実施形態によれば、コンピュータプログラムが提供される。このコンピュータプログラムは、底面とその底面から立ち上がる側壁とを有する容器を互いに異なる方向から撮影することにより生成された複数の画像のそれぞれから、側壁の上部の縁の輪郭の少なくとも一部及び底面の輪郭の少なくとも一部を検出し、複数の画像のそれぞれについて、その画像上の側壁の上部の縁により形成される閉形状または底面の形状が所定の方向から見たときの形状となるように画像補正処理を実行して複数の補正画像を生成し、生成した複数の補正画像のそれぞれについて、側面の上部の縁の輪郭に囲まれた領域と底面の輪郭に囲まれた領域とが重なる領域を、容器の内部の一部に相当する部分領域として抽出し、複数の補正画像のそれぞれの部分領域を位置合わせして合成される領域を、容器内の物体の量を計測する対象の領域として特定する処理をコンピュータに実行させる命令を有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

容器を互いに異なる複数の方向から撮影して得られる複数の画像からその容器内の物体の量を計測する対象の領域を特定できる。

（ａ）は、容器の一例であるシャーレの画像の一例を示す図である。（ｂ）は、シャーレの側壁近傍の培地の概略を示す図である。 一つの実施形態による計測装置の概略構成図である。 処理部の機能ブロック図である。 シャーレが写った画像の一例を示す図である。 位置合わせされた３枚の画像の各内部領域と検出されたコロニーの位置の関係を表す模式図である。 計測処理の動作フローチャートである。 （ａ）は、斜め上方からシャーレを撮影した場合における、画像から検出されるエッジの一例を示す図である。（ｂ）〜（ｅ）は、それぞれ、（ａ）に示された画像からエッジの集合を楕円近似することによって検出される楕円の一例を示す図である。 検出された楕円と天面及び底面の判別の可否との関係を表すテーブルを示す図である。

以下、図を参照しつつ、一つの実施形態による計測装置について説明する。
この計測装置は、シャーレといった、立体的な容器に収容された物体の所定量を、カメラによりその容器を互いに異なる方向から撮影して得られる複数の画像に基づいて計測する。

本実施形態では、容器は、円筒形状を有し、かつ上端が開口となっているシャーレである。一般にシャーレは円筒形で、正円の底面と、底面からほぼ垂直に立ち上がる側壁とを有する皿部と、皿部とほぼ同形で皿部よりも直径が大きく皿部に覆いかぶせることができる蓋部との２枚１組からなる。皿部の側壁の縁（底面と反対側の縁）は皿の底面と平行になるように切断加工されている。本実施形態で撮影対象とするのは、蓋を取り去った皿部のみであり、以下の説明においては、シャーレの皿部のみを指してシャーレと記載する場合がある。また計測対象となる物体は、シャーレ上に培養された微生物のコロニーである。そして計測する所定量はコロニーの数である。しかし容器は、シャーレでなくてもよく、天面と底面があり、天面が透明または開口となっている容器であればよい。容器の天面が開口となっている場合には、厳密には天面は存在しないが、容器側壁の縁（底面と反対側の縁）により形成される閉じた平面を、天面に相当するとみなすことができる。以下の説明においては、シャーレの皿部の側壁の縁（底面と反対側の縁）により形成される閉じた平面を、天面と記載する場合がある。また計測対象となる物体は、微生物のコロニーに限られない。さらに、所定量もコロニーの数に限られない。

図１（ａ）に、容器の一例であるシャーレの画像の一例を示し、図１（ｂ）に、シャーレの側壁近傍の培地の概略を示す。
カメラがシャーレ１１０の真上に配置されない限り、図１（ａ）に示されるように、シャーレ１１０の側壁１１０ａがシャーレ１１０の底面１１０ｂの一部を隠すことにより、カメラによって生成された画像１００には底面１１０ｂの一部が写らない。また、図１（ｂ）に示されるように、シャーレ１１０の側壁１１０ａの近傍では、シャーレ１１０内に設けられた培地１０１が側壁１１０ａに沿って盛り上がる。そのため、カメラがシャーレ１１０の真上に配置されたとしても、カメラは、側壁１１０ａ近傍の培地１０１を斜めから撮影することになる。したがって、側壁１１０ａ近傍の培地１０１上にコロニー１０２が複数存在する場合、複数のコロニー１０２がシャーレ１１０の真上に配置されたカメラからは重なって見えるので、画像上でもコロニー１０２が重なる。そのため、その画像に基づいてコロニー１０２の数を正確にカウントすることは困難である。

そこで、本実施形態による計測装置は、シャーレを互いに異なる複数の方向から撮影することで得られる複数の画像のそれぞれについて、その画像上に写ったシャーレの天面の輪郭と底面の輪郭を検出する。またこの計測装置は、画像上での天面または底面の形状が所定の方向から見たときの形状となるように各画像を補正する。この計測装置は、天面と底面の位置関係から、天面の輪郭で囲まれた部分と底面の輪郭で囲まれた部分とが重なる領域を、コロニーが存在する可能性があるシャーレ内部の一部に相当する内部領域として求める。そしてこの計測装置は、各補正画像の内部領域を位置合わせする。これにより、この計測装置は、各画像の内部領域のうち、画像間で重複している共通部分と重複していない非共通部分を特定することで、各画像上でのシャーレ内の領域を特定する。そしてこの計測装置は、共通部分では、同じコロニーを２重にカウントしないように各画像の内部領域に含まれるコロニーの数を求める。

図２は、一つの実施形態による計測装置の概略構成図である。図２に示されるように、計測装置１は、インターフェース部１１と、表示部１２と、記憶部１３と、処理部１４と、記憶媒体アクセス装置１５とを有する。計測装置１は、例えば、スタンドアロン型のコンピュータであってもよく、あるいは、通信ネットワークと接続されたサーバコンピュータであってもよい。そして計測装置１は、カメラ２から取得した、シャーレが写った画像に基づいて、シャーレ内の微生物のコロニーの数を計測する。

カメラ２は、例えばデジタルカメラであり、シャーレを互いに異なる方向から撮影することにより、同一のシャーレが写った複数の画像を生成する。そしてカメラ２は、その複数の画像を計測装置１へ出力する。なお、シャーレを撮影するカメラは１台でなく、複数台であってもよい。そして複数のカメラがそれぞれ互いに異なる方向からシャーレを撮影して、それぞれ同一のシャーレが写った画像を生成し、各カメラが画像を計測装置１へ出力してもよい。

インターフェース部１１は、例えば、計測装置１を、カメラ２と接続するための通信インターフェース及びその制御回路を有する。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）などの通信規格に従ったインターフェースとすることができる。

あるいは、インターフェース部１１は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。そして計測装置１は、カメラ２により同一のシャーレを互いに異なる方向から撮影して得られた複数の画像が保存された他の機器から、通信ネットワークを介して、その複数の画像を取得してもよい。
インターフェース部１１は、シャーレが写った複数の画像を処理部１４へ渡す。

表示部１２は、例えば、液晶ディスプレイなどの表示装置を有する。そして表示部１２は、例えば、ビデオインターフェースを介して処理部１４と接続され、処理部１４による、微生物のコロニー数の計測結果を表示する。また表示部１２は、処理部１４により実行されたアプリケーションに関連する各種情報などを表示する。

記憶部１３は、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そして記憶部１３は、処理部１４で実行される計測処理用コンピュータプログラム及び計測処理で用いられる各種のデータを記憶する。さらに記憶部１３は、カメラ２から受信した画像を記憶してもよい。

記憶媒体アクセス装置１５は、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１６にアクセスする。そして記憶媒体アクセス装置１５は、例えば、記憶媒体１６に記憶された、処理部１４上で実行される計測用のコンピュータプログラムを読み込み、そのコンピュータプログラムを記憶部１３に記憶させる。

処理部１４は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部１４は、同一のシャーレを互いに異なる方向から撮影して得られた複数の画像に基づいてシャーレ内の微生物のコロニーの数の計測処理を実行する。

図３は、処理部１４の機能ブロック図である。処理部１４は、輪郭検出部２１と、形状補正部２２と、内部領域抽出部２３と、共通部分抽出部２４と、計数部２５とを有する。処理部１４が有するこれらの各部は、例えば、処理部１４が有するプロセッサ上で動作するコンピュータプログラムによって実現される機能モジュールである。なお、処理部１４が有するこれらの各部は、処理部１４が有するプロセッサとは別個の集積回路として計測装置１に実装されてもよい。

輪郭検出部２１は、各画像から、シャーレの底面の輪郭の少なくとも一部とシャーレの天面の輪郭の少なくとも一部を検出する。

図４は、シャーレが写った画像の一例を示す。
本実施形態では、上記のように、シャーレ４０１は上端が開放された円筒形状を有する。そのため、シャーレ４０１を斜め上方から撮影した場合の天面の輪郭４０１ａ及び底面の輪郭４０１ｂは、画像４００上で楕円形状を持つ。また一般に、シャーレの側壁は低いので、シャーレを斜め方向から撮影することにより得られる画像では、シャーレの天面の輪郭４０１ａと底面の輪郭４０１ｂは重なる。

そこで輪郭検出部２１は、各画像に対して、例えば、sobelフィルタまたはprewittフィルタといったエッジ検出フィルタを用いたエッジ検出処理を実行することにより、画像上でエッジが写っている画素であるエッジ画素を検出する。そして輪郭検出部２１は、例えば、最小二乗法を用いてエッジ画素の集合を楕円方程式で近似する。輪郭検出部２１は、その近似により得られた複数の楕円方程式のそれぞれで表された楕円のうち、画像上の垂直方向に沿って互いに重なる二つの楕円を検出する。そして輪郭検出部２１は、検出した上側の楕円をシャーレの天面の輪郭とし、一方、検出した下側の楕円をシャーレの底面の輪郭とする。

なお、輪郭検出部２１は、シャーレの天面の輪郭及びシャーレの底面の輪郭を他の輪郭検出方法に従って検出してもよい。例えば、輪郭検出部２１は、シャーレの天面の輪郭を表すテンプレートと、エッジ画像のテンプレートマッチングにより、画像上でシャーレの天面の輪郭を検出してもよい。なお、エッジ画像は、例えば、上記のエッジ画素とエッジ以外の画素が異なる値を持つ２値画像とすることができる。同様に、輪郭検出部２１は、シャーレの底面の輪郭を表すテンプレートとエッジ画像のテンプレートマッチングにより、画像上でシャーレの底面の輪郭を検出してもよい。なお、シャーレの底面に対する法線とカメラ２の光軸間の角度及びシャーレとカメラ２間の距離に応じて画像上の天面の形状及び底面の形状は変わる。そこで、想定されるシャーレの底面に対する法線とカメラ２の光軸間の想定角度及びシャーレとカメラ２間の想定距離ごとに、シャーレの天面及び底面のテンプレートが用意されることが好ましい。なおテンプレートは、例えば、予め記憶部１３に記憶される。

輪郭検出部２１は、各画像について、シャーレの天面の輪郭を表す楕円方程式及び底面の輪郭を表す楕円方程式を、形状補正部２２及び内部領域抽出部２３に通知する。

形状補正部２２は、シャーレの底面の形状または天面の形状が、その底面または天面を所定の方向から見たときの形状となるように各画像を補正する。本実施形態では、形状補正部２２は、シャーレの真上もしくは真下からそのシャーレを見たときの天面または底面の形状、すなわち、正円となるように各画像を補正する。例えば、シャーレの底面の輪郭を表す楕円方程式における、長軸方向の半径をa、短軸方向の半径をbとする。このとき、形状補正部２２は、底面を表す楕円の中心を原点として、画像の各画素について、原点からその画素までの距離を長軸方向に沿ってr/a倍し、かつ、短軸方向に沿ってr/b倍するように、画像を補正する。これにより、補正後の各画像上で底面の輪郭は、補正前の画像における底面の輪郭の中心と同じ位置を中心とする半径rの円の方程式で表される。同様に、シャーレの天面の輪郭も半径rの円の方程式で表される。ただし、補正後の画像での天面の輪郭の中心の位置は、補正前の画像における、底面の中心から天面の中心までのベクトルを底面の長軸方向にr/a倍し、短軸方向にr/b倍したベクトルに応じて、補正後の画像上の底面の中心から離れた位置となる。なお半径rは、補正後の各画像においてコロニーが検出可能なサイズとなるように、例えば、100〜300画素に設定される。

なお、本実施形態では、シャーレの底面の輪郭と天面の輪郭は相似している。そこで形状補正部２２は、シャーレの底面の輪郭を表す楕円方程式の代わりに、シャーレの天面の輪郭を表す楕円方程式の長軸方向の半径a'と短軸方向の半径b'を、底面の輪郭を表す楕円方程式の長軸方向の半径aと短軸方向の半径bの代わりに利用してもよい。

あるいは、形状補正部２２は、各画像に対して視点変換処理を実行することで、シャーレの底面の形状または天面の形状が、底面または天面を所定の方向から見たときの形状となるように各画像を補正してもよい。例えば、形状補正部２２は、画像上での長軸方向及び短軸方向と、長軸方向の半径と短軸方向の半径の比と、長軸方向の半径及びカメラ２の画角に基づいて、シャーレとカメラ２間の位置関係を推定できる。そこで形状補正部２２は、その位置関係に基づいて、カメラ２の光軸がシャーレの底面の法線と平行になる位置でカメラ２がシャーレを撮影したときの画像となるように視点変換処理を行って、シャーレの底面の形状及び天面の形状が正円となるように各画像を補正する。

形状補正部２２は、補正後の各画像と、補正後の各画像での天面の輪郭に相当する円の方程式及び底面の輪郭に相当する円の方程式を内部領域抽出部２３及び共通部分抽出部２４へ渡す。なお、以下では、説明の便宜上、補正された画像を単に補正画像と呼ぶ。

内部領域抽出部２３は、各補正画像から、それぞれ、シャーレの内部の一部に相当する領域である内部領域を抽出する。

再度図４を参照すると、画像上でシャーレの天面の輪郭４０１ａに囲まれた領域と底面の輪郭４０１ｂに囲まれた領域とが重なる部分４０２が内部領域、すなわち、画像を撮影したカメラからシャーレ内の培地を直接見通せる領域であるので、コロニー数を計測する対象とすべき領域であることが分かる。なお、輪郭４０１ａに囲まれた領域と輪郭４０１ｂに囲まれた領域の何れか一方にのみ含まれる部分は、シャーレの側壁に対応する。そして画像の補正の前後において、天面の輪郭と底面の輪郭の位置関係は変わらないので、補正画像上でも、天面の輪郭に囲まれた領域と底面の輪郭に囲まれた領域とが重なる部分が内部領域である。

そこで内部領域抽出部２３は、各補正画像において、天面の輪郭を表す円の方程式と底面の輪郭を表す円の方程式を参照して、天面の輪郭に囲まれた領域と底面の輪郭に囲まれた領域とが重なる部分を内部領域として抽出する。そして内部領域抽出部２３は、補正画像ごとに、その補正画像の内部領域を表す情報を共通部分抽出部２４に通知する。なお、内部領域を表す情報は、例えば、補正画像のサイズと同じサイズを持ち、かつ、内部領域に含まれる画素の値とその他の画素の値が異なる２値画像とすることができる。

共通部分抽出部２４は、各補正画像を位置合わせする。これにより、計測装置１は、同一のシャーレを撮影した複数枚の画像からシャーレ内に相当する領域を特定することができる。また共通部分抽出部２４は、各補正画像の内部領域のうち、二つ以上の補正画像の内部領域が重なっている部分を共通部分として抽出する。

共通部分抽出部２４は、各補正画像を位置合わせするための基準点とするために、例えば、補正画像ごとに、内部領域内で複数の特徴点を抽出する。例えば、共通部分抽出部２４は、各補正画像の内部領域に対してコーナー検出フィルタなど、特徴点抽出用のフィルタを用いたフィルタ処理を行って特徴点を抽出する。あるいは、共通部分抽出部２４は、所定のテンプレートと各補正画像の内部領域との間でテンプレートマッチングを行って正規化相互相関値を算出し、その正規化相互相関値が所定の閾値以上となる内部領域内の位置を特徴点として抽出してもよい。テンプレートは、例えば、コロニーの代表的な形状または輝度分布を持つ。あるいは、テンプレートは、シャーレの底面に設けられた特徴的な構造を表すものであってもよい。

次に、共通部分抽出部２４は、例えば、各補正画像のうちの一つを基準画像とする。そして共通部分抽出部２４は、基準画像以外の何れかの補正画像を対象画像とする。共通部分抽出部２４は、例えば、基準画像の特徴点の一つを第１の基準特徴点として選択し、対象画像の特徴点の一つを第２の基準特徴点として選択する。そして共通部分抽出部２４は、第２の基準特徴点と第１の基準特徴点が一致するように、対象画像を平行移動させる。その後、共通部分抽出部２４は、対象画像を回転させながら、その二つの補正画像間で一致する特徴点の個数を求める。共通部分抽出部２４は、第１の基準特徴点と第２の基準特徴点の組み合わせを変えつつ、上記の処理を繰り返して、一致する特徴点の個数と、その時の対象画像の平行移動量及び回転角度を求める。そして共通部分抽出部２４は、一致する特徴点の個数が最大値となったときの平行移動量及び回転角度に応じて対象画像をアフィン変換する。これにより、共通部分抽出部２４は、基準画像に対象画像を位置合わせする。

あるいは、共通部分抽出部２４は、基準画像と対象画像間の相対的な位置を変えつつパターンマッチングを行って、基準画像と対象画像が最も一致する対象画像の位置を検出してもよい。そして共通部分抽出部２４は、その最も一致する位置へ対象画像を移動させることで、基準画像に対象画像を位置合わせしてもよい。

共通部分抽出部２４は、対象画像を変えつつ、上記の処理を繰り返すことにより、全ての画像を位置合わせする。なお、共通部分抽出部２４は、位置合わせされた対象画像を次の対象画像に対する基準画像としてもよい。そして共通部分抽出部２４は、全ての補正画像が位置合わせされた状態で、画素ごとに、どの補正画像の内部領域に含まれるかを調べる。共通部分抽出部２４は、画素ごとに、その画素が内部領域に含まれる補正画像の識別番号を対応付ける。複数の補正画像の識別番号が対応付けられた画素が、その複数の補正画像の共通部分に含まれる。

共通部分抽出部２４は、画素ごとに対応付けられた、補正画像の識別番号を計数部２５に通知する。

計数部２５は、共通部分に含まれる物体が２以上の補正画像について重複して求められることがないように、各補正画像の内部領域のそれぞれから、容器内の物体の所定量を計測する。本実施形態では、計数部２５は、共通部分に含まれる微生物のコロニーの数が２以上の補正画像について重複して求められることがないように、各補正画像の内部領域のそれぞれから、シャーレ内の微生物のコロニーの数を求める。

まず、計数部２５は、各補正画像の内部領域から、それぞれコロニーを検出する。そのために、計数部２５は、例えば、内部領域内で輝度が予め定められた所定値以上となる局所的なピークとなる点を抽出する。計数部２５は、抽出されたピーク点のうち、予め規定された閾値より近くにあるピーク点の組み合わせを求め、その組み合わせごとに、ピーク点同士を結ぶ直線上の画素の輝度変化を求める。そして計数部２５は、その輝度変化が所定の閾値未満であれば、その組み合わせに含まれるピーク点を一つのコロニーとして検出し、その組み合わせに含まれる各ピーク点の中心をコロニーの位置とする。一方、その輝度変化が所定の閾値以上であれば、計数部２５は、その組み合わせに含まれる各ピーク点をそれぞれ別個のコロニーとして検出する。

あるいは、計数部２５は、例えば、各補正画像の内部領域とコロニーを表すテンプレートとの間で相対的な位置を変えつつテンプレートマッチングを行って、内部領域内の各画素について正規化相互相関値を算出する。そして計数部２５は、その正規化相互相関値が所定の検出閾値以上となる画素に、コロニーが存在すると判定する。あるいはまた、計数部２５は、内部領域を複数のブロックに分割し、ブロックごとに輝度、色などに関する特徴量を求めてもよい。そして計数部２５は、その特徴量を、サポートベクトルマシン、adaBoost識別器といった、コロニーが存在するか否かの判定結果を出力するように予め学習された識別器に入力することで、ブロックごとにコロニーが存在するか否かを判定してもよい。

計数部２５は、各補正画像の内部領域からコロニーが検出されると、検出されたコロニーの数の合計を算出する。その際、計数部２５は、各補正画像においてコロニーが有ると判定された画素が共通部分に含まれるか否か判定する。コロニーが有ると判定された画素が共通部分に含まれない場合、すなわち、何れかの一つの補正画像にのみ写っているコロニーである場合、計数部２５は、コロニーの数を１インクリメントする。

一方、計数部２５は、共通部分に含まれると判定されたコロニーが検出された画素を、その画素について重なっている補正画像の組み合わせごとに分類する。そして計数部２５は、補正画像の組み合わせごとに、その組み合わせに含まれる補正画像のうちでその共通部分から検出されたコロニー数の最大値を、その組み合わせの補正画像間の共通部分に写っているコロニーの数とする。

図５を参照しつつ、コロニー数計測の例を示す。図５は、位置合わせされた３枚の補正画像の各内部領域と検出されたコロニーの位置の関係を表す模式図である。この例では、各補正画像の内部領域５０１〜５０３が位置合わせされている。このうち、共通部分５１１では、内部領域５０１と内部領域５０２とが重なっている。また共通部分５１２では、内部領域５０１と内部領域５０３とが重なっている。さらに共通部分５１３では、内部領域５０２と内部領域５０３とが重なっている。そして共通部分５１４では、内部領域５０１〜内部領域５０３の全てが重なっている。

図５では、内部領域５０１から検出されたコロニー５２１は丸印で表される。同様に、内部領域５０２から検出されたコロニー５２２は菱形で表される。そして内部領域５０３から検出されたコロニー５２３は星印で表される。この例では、内部領域５０１〜５０３について、他の内部領域と重なっていない部分からは、それぞれ、２個、２個、１個のコロニーが検出されている。また、内部領域５０１と内部領域５０２とが重なった共通部分５１１では、内部領域５０１から２個のコロニーが検出され、一方、内部領域５０２から３個のコロニーが検出されている。したがって、計数部２５は、共通部分５１１のコロニー数を３とする。

同様に、内部領域５０１と内部領域５０３とが重なった共通部分５１２では、内部領域５０１から１個のコロニーが検出され、一方、内部領域５０３から２個のコロニーが検出されている。したがって、計数部２５は、共通部分５１２のコロニー数を２とする。さらに、内部領域５０２と内部領域５０３とが重なった共通部分５１３では、内部領域５０２から２個のコロニーが検出され、一方、内部領域５０３からも２個のコロニーが検出されている。したがって、計数部２５は、共通部分５１３のコロニー数を２とする。さらに、内部領域５０１〜５０３の全てが重なった共通部分５１４では、内部領域５０１〜５０３から、それぞれ、３個、１個、２個のコロニーが検出されている。したがって、計数部２５は、共通部分５１４のコロニー数を３とする。
以上より、計数部２５は、コロニー数の合計を、2+2+1(単独領域の個数)+3(共通部分５１１)+2(共通部分５１２)+2(共通部分５１３)+3(共通部分５１４)=15個とする。
上記のように、内部領域及び共通部分のコロニー数を求めることで、計数部２５は、コロニーの検出漏れを抑制することができる。

なお、計数部２５は、共通部分に含まれるコロニーの個数を、その共通部分と重なる各補正画像の内部領域から検出されたコロニーの個数の平均値としてもよい。あるいは、計数部２５は、共通部分に含まれるコロニーの個数を、その共通部分と重なる各補正画像の内部領域から検出されたコロニーの個数に、その内部領域に対応する補正前の画像の撮影方向に応じた重み係数を乗じた値の合計としてもよい。この場合、撮影時のカメラ２の位置がシャーレの真上に近いほど、すなわち、カメラ２の光軸とシャーレの底面の法線のなす角が小さいほど、側壁付近を除いては、画像上でコロニー同士が重なって見える可能性が小さくなると考えられる。したがって、重み係数は、カメラ２の光軸とシャーレの底面の法線のなす角が小さいほど大きくなることが好ましい。またシャーレの底面の法線とカメラ２の光軸となす角が小さいほど、画像上でのシャーレの底面の形状は正円に近づく。そこで計数部２５は、共通部分と重なる各内部領域に対応する補正前の画像上でのシャーレの底面を表す楕円方程式の長軸の半径aに対する短軸の半径bの比(b/a)の合計Σ(b/a)で、各画像のその比(b/a)を割った値を重み係数としてもよい。このように、カメラの向きに応じてコロニーの個数を加重平均することで、計数部２５は、共通部分に含まれるコロニーの個数を正確に算出できる。

あるいはまた、計数部２５は、共通部分と重なる内部領域の一つから検出されたコロニーの位置が他の内部領域から検出されたコロニーの位置と一致する場合には、それらのコロニーは同じものとして、コロニー数を１だけインクリメントしてもよい。一方、共通部分と重なる複数の内部領域のそれぞれから検出されたコロニーの位置が互いに異なる場合には、計数部２５は、それらのコロニーは別個のものとして、検出された数だけコロニー数をカウントしてもよい。例えば、図５において、共通部分５１３では、コロニー５３１は、内部領域５０２と内部領域５０３の両方から同じ位置で検出されているので、計数部２５は、コロニー５３１を一つとしてカウントする。一方、コロニー５３２は、内部領域５０２からは検出されているが、内部領域５０３からは検出されていない。逆に、コロニー５３３は、内部領域５０３からは検出されているが、内部領域５０２からは検出されていない。したがって計数部２５は、コロニー５３２、５３３を、それぞれ、別個のコロニーとしてカウントする。結果として、計数部２５は、共通部分５１３に含まれるコロニー数を３個とする。
この変形例によれば、何れか一つの画像から検出されたコロニーは全てカウントされるので、計数部２５は、本来のコロニー数よりもコロニー数を少なく推定してしまうことを抑制できる。

計数部２５は、検出したコロニー数の合計を表示部１２に出力する。あるいは、計数部２５は、検出したコロニー数の合計を記憶部１３に記憶させてもよい。

図６は、計測処理の動作フローチャートである。
輪郭検出部２１は、同一のシャーレを互いに異なる方向から撮影して得られた複数の画像のそれぞれから、シャーレの天面の輪郭の少なくとも一部及び底面の輪郭の少なくとも一部を検出する（ステップＳ１０１）。形状補正部２２は、シャーレの底面の形状または天面の形状が、シャーレの真上から底面または天面を見たときの形状、すなわち、正円となるように各画像を補正する（ステップＳ１０２）。

内部領域抽出部２３は、各補正画像について底面の輪郭で囲まれた領域と天面の輪郭で囲まれた領域とが重なった領域を内部領域として抽出する（ステップＳ１０３）。そして共通部分抽出部２４は、各補正画像の内部領域を位置合わせして、複数の補正画像の内部領域が重なった共通部分を抽出することでシャーレ内の領域を特定する（ステップＳ１０４）。
計数部２５は、共通部分に含まれる微生物のコロニーの数が２以上の補正画像について重複して求められることがないように、図５を用いて説明したような方法により、各補正画像の内部領域のそれぞれから検出したコロニーの数に基づいて、シャーレ内の微生物のコロニーの数を求める（ステップＳ１０５）。そして計測装置１は、そのコロニー数を、例えば、表示部１２に表示させる。その後、計測装置１は、計測処理を終了する。

以上に説明してきたように、この計測装置は、計数対象の物体を収容する容器を互いに異なる方向から撮影して得られる複数の画像のそれぞれから、容器の天面と底面が重なった領域を内部領域として抽出する。そしてこの計測装置は、各内部領域を位置合わせして、複数の内部領域が重なる共通部分を特定した上で、共通部分に含まれる物体の所定量を２重計上しないように、各内部領域に含まれる物体の所定量をカウントすることで、容器内の物体の所定量を求める。そのため、この計測装置は、容器撮影用の専用機材を用いなくても、その容器を異なる方向から撮影した複数の画像から、計測対象とすべき領域を特定することができる。また、そのような画像を用いて容器内の物体の所定量を求めることができる。またこの計測装置は、容器を斜め方向から撮影して得られる画像を利用できるので、容器の側壁近傍などにおいて検出対象の物体が垂直方向に重なって存在する場合でも、物体の所定量を正確に計数できる。

なお、輪郭検出部２１は、楕円近似によって容器の一例であるシャーレの天面の輪郭及び底面の輪郭を検出する場合、天面の輪郭の一部及び底面の輪郭の一部に沿った楕円が検出されることもある。

図７（ａ）は、斜め上方からシャーレを撮影した場合における、画像から検出されるエッジの集合の一例を示す図である。また図７（ｂ）〜図７（ｅ）は、それぞれ、図７（ａ）に示された画像からエッジの集合を楕円近似することによって検出される楕円の一例を示す図である。

図７（ａ）に示されるように、画像７００では、天面の輪郭に相当するエッジの集合７０１と底面の輪郭に相当するエッジの集合７０２が、垂直方向に沿って互いに重なって検出される。ここで、画像７００のエッジの集合を楕円近似すると、図７（ｂ）及び図７（ｃ）に示される、天面の輪郭を表す楕円７１１及び底面の輪郭を表す楕円７１２が得られることが好ましい。しかし、実際には、図７（ｄ）に示される、底面の輪郭の画像上で上側のエッジと、天面の輪郭の画像上で下側のエッジを近似する楕円７１３、あるいは、図７（ｅ）に示される、天面の輪郭の画像上で上側のエッジと底面の輪郭の画像上で下側のエッジを近似する楕円７１４が得られることがある。楕円７１３は、内部領域の輪郭を表し、楕円７１４は、シャーレの外形を表す。

エッジの集合を楕円近似することにより、この４種類の楕円のうちの一つ以上が検出される可能性が高い。そこで輪郭検出部２１は、検出された楕円の数及び位置関係に基づいて、天面の輪郭及び底面の輪郭を決定してもよい。

図８は、検出された楕円と天面及び底面の判別の可否との関係を表すテーブルを示す図である。
テーブル８００において、各行は、それぞれ、検出された楕円の一つの組み合わせに対応する。左端の列８０１の各欄には、それぞれ、便宜的に付した、検出された楕円の組み合わせの識別番号が示される。列８０２〜８０５の各欄は、それぞれ、天面の輪郭、底面の輪郭、内部領域の輪郭、シャーレの外形に相当する楕円のうち、検出されたものを丸印で表す。列８０６は、輪郭検出部２１が天面の輪郭と底面の輪郭を識別できる場合の天面の輪郭に相当する楕円と底面の輪郭に相当する楕円を示す。一方、列８０７は、輪郭検出部２１が天面の輪郭と底面の輪郭の少なくとも一方を識別できるか否かを示す。

テーブル８００に示されるように、互いに交差する２個の楕円を含む、２個以上の楕円が検出された場合には、輪郭検出部２１は、交差する二つの楕円のうちの画像上で上側の楕円を天面の輪郭と識別し、下側の楕円を底面の輪郭と識別できる。また、３個の楕円が検出され、そのうちの二つの楕円の何れの組み合わせについても互いに交差しない場合には、内部領域の輪郭及びシャーレの外形に相当する楕円と、天面の輪郭または底面の輪郭の何れか一方に相当する楕円が検出されている。この場合において、最も外側の楕円がシャーレの外形に相当し、最も内側の楕円が内部領域の輪郭に相当する。そして、それら二つ以外の楕円（以下では、便宜上、着目楕円と呼ぶ）の画像上で上側がシャーレの外形に相当する楕円と接し、下側が内部領域の輪郭に相当する楕円と接する場合、着目楕円は天面の輪郭に相当する。一方、着目楕円の画像上で上側が内部領域の輪郭に相当する楕円と接し、下側がシャーレの外形に相当する楕円と接する場合、着目楕円は底面の輪郭に相当する。

検出された楕円の組み合わせが上記以外の場合には、輪郭検出部２１は、天面の輪郭及び底面の輪郭を識別できない。

ただし、二つの楕円が検出され、そのうちの一方の楕円に他方の楕円全体が含まれる場合には、外側の楕円はシャーレの外形に相当し、内側の楕円は内部領域に相当する。この場合には、輪郭検出部２１は、内側の楕円の画像上で上半分に相当するエッジと外側の楕円の画像上で下半分に相当するエッジを再度楕円近似することで、底面の輪郭に相当する楕円を検出できる。

輪郭検出部２１は、テーブル８００に従って、画像から検出された楕円に基づいて天面の輪郭及び底面の輪郭のうちの少なくとも一方と内部領域を識別できる場合、その画像を計測処理の以降の処理に利用する。一方、画像から検出された楕円に基づいて天面の輪郭及び底面の輪郭のうちの何れも識別できない場合、輪郭検出部２１は、その画像を以降の処理に利用せず、破棄してもよい。

また変形例によれば、容器の外形が円筒状でなく、他の形状、例えば、直方体の形状を有していることがある。この場合、輪郭検出部２１は、容器の天面の輪郭形状及び底面の輪郭形状に応じてエッジの集合を近似すればよい。例えば、容器の外形が直方体であれば、輪郭検出部２１は、エッジの集合を台形で近似すればよい。そして形状補正部２２は、天面の輪郭に相当する台形及び底面の輪郭に相当する台形が長方形となるように画像を補正すればよい。

さらに他の変形例によれば、共通部分抽出部２４は、各画像から検出された有効部分領域を位置合わせして、同じ位置の画素の値（輝度値または赤、緑、青の各色の値）をそれぞれ平均することによって合成画像を生成してもよい。そして計数部２５は、その合成画像における内部領域から、コロニーを検出し、そのコロニー数の合計を求めてもよい。

さらに他の変形例によれば、計数部２５は、補正前の各画像の内部領域から、検出対象の物体が写っている画素を検出してもよい。例えば、シャーレの側壁近傍の培地のコロニーのように、検出対象の物体が容器の底面に対して斜め方向に並んでいる場合では、補正画像よりも、補正前の画像の方が、画像上での物体の分離が容易である。このような場合、計数部２５は、補正前の画像の内部領域から検出対象の物体が写っている画素を検出することが好ましい。

この場合、計数部２５は、形状補正部２２による処理と同様の処理を物体が検出された画素に対して行うことで、補正画像上での物体が検出された画素の位置を特定できる。さらに、計数部２５は、位置合わせの際に求められた画像の平行移動量及び回転量に従って、物体が検出された画素の位置を移動させることで、位置合わせ後の補正画像上での物体が検出された画素の位置を特定できる。

さらに他の変形例によれば、形状補正部２２は、容器の天面または底面の形状が、容器の天面または底面を真上以外の他の方向から見たときの形状となるように各画像を補正してもよい。特に、容器の側壁の複数個所に特徴的な構造がある場合、形状補正部２２は、例えば、テンプレートマッチングにより画像上でその構造の何れかを検出する。そして形状補正部２２は、検出した構造の位置から画像上での容器の天面または底面の輪郭の上端または下端までの回転角を求めることで、底面に平行な面における撮影方向を特定できる。また上記のように、容器が円筒形状を有していれば、形状補正部２２は、容器の底面の輪郭を近似する楕円の長軸の長さと短軸の長さの比で、その底面の法線に対する撮影方向の傾きを特定できる。そして形状補正部２２は、各画像について、容器の底面に平行な面における撮影方向及びその底面の法線に対する撮影方向の傾きが一致するように、視点変換処理を行えばよい。

さらに他の変形例によれば、計数部２５は、容器内の物体の所定量として、容器内の物体の数以外のその物体に関する量、例えば、容器内に占める物体の面積を求めてもよい。そして容器内に占める物体は、例えば、シャーレ内の培地、あるいは微生物のコロニーとすることができる。この場合、計数部２５は、位置合わせされた各補正画像の内部領域のうちで検出対象となる物体が写っている画素の数の合計を物体の面積とすればよい。ただしこの場合も、共通部分では、検出対象となる物体が写っている画素の数が２重計上されないように、計数部２５は、その共通部分において物体が検出された画素の数を、例えば、上記の実施形態と同様の手法に従って決定すればよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
底面と該底面から立ち上がる側壁とを有する容器を互いに異なる方向から撮影することにより生成された複数の画像のそれぞれから、前記側壁の上部の縁の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出し、
前記複数の画像のそれぞれについて、当該画像上の前記側壁の上部の縁により形成される閉形状または前記底面の形状が所定の方向から見たときの形状となるように画像補正処理を実行して複数の補正画像を生成し、
生成した前記複数の補正画像のそれぞれについて、前記側面の上部の縁の輪郭に囲まれた領域と前記底面の輪郭に囲まれた領域とが重なる領域を、前記容器の内部の一部に相当する部分領域として抽出し、
前記複数の補正画像のそれぞれの部分領域を位置合わせして合成される領域を、前記容器内の物体の量を計測する対象の領域として特定する、
処理をコンピュータに実行させるコンピュータプログラム。
（付記２）
前記物体の量は、前記容器内に収容されている前記物体の数であり、
前記物体の量を計測することは、二つ以上の前記補正画像の前記部分領域が重なる共通部分及び前記部分領域のそれぞれから検出した前記物体の数に基づいて、前記容器内の前記物体の数を求める、付記１に記載のコンピュータプログラム。
（付記３）
前記物体の量を計測することは、二つ以上の前記画像の前記部分領域のそれぞれのうちの前記共通部分と重なる部分から検出された物体の数のうちの最大値を当該共通部分に含まれる物体の数とする、付記２に記載のコンピュータプログラム。
（付記４）
前記物体の量を計測することは、二つ以上の前記画像の前記部分領域のそれぞれのうちの前記共通部分と重なる部分から検出された物体の数について、対応する画像についての撮影方向が前記容器の底面の法線に近いほど大きくなる重み係数を用いて加重平均することにより得られた数を当該共通部分に含まれる物体の数とする、付記２に記載のコンピュータプログラム。
（付記５）
前記物体の量を計測することは、二つ以上の前記画像の前記部分領域のそれぞれのうちの前記共通部分と重なる部分から検出された物体のうち、当該二つ以上の前記部分領域を位置合わせしたときに同じ位置となる物体を同一の物体とし、一方、前記部分領域のそれぞれから検出された物体のうち、当該二つ以上の前記部分領域を位置合わせしたときに異なる位置となる物体をそれぞれ別個の物体として当該共通部分に含まれる物体の数を求める、付記２に記載のコンピュータプログラム。
（付記６）
前記容器はシャーレであり、前記物体の数は、前記容器内で培養された微生物のコロニーの数である、付記２〜５の何れかに記載のコンピュータプログラム。
（付記７）
前記所定の方向は、前記容器の底面の法線方向である、付記１〜６の何れかに記載のコンピュータプログラム。
（付記８）
前記側壁の上部の縁により形成される閉形状の輪郭及び底面の輪郭は円であり、
前記閉形状の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出することは、前記複数の画像のそれぞれについて、当該画像からエッジを検出し、該エッジの集合を楕円近似することによって前記閉形状の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出する、付記１〜７の何れかに記載のコンピュータプログラム。
（付記９）
前記閉形状の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出することは、前記複数の画像の何れかにおいて、前記エッジの集合を楕円近似することによって３個以上の楕円が検出され、検出された楕円のうちの二つが交差している場合、該交差している楕円のうちの画像上で上側の楕円を前記閉形状の輪郭とし、一方、該交差している楕円のうちの下側の楕円を前記底面の輪郭とする、付記８に記載のコンピュータプログラム。
（付記１０）
底面と該底面から立ち上がる側壁とを有する容器を互いに異なる方向から撮影することにより生成された複数の画像のそれぞれから、前記側壁の上部の縁の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出する輪郭検出部と、
前記複数の画像のそれぞれについて、当該画像上の前記側壁の上部の縁により形成される閉形状または前記底面の形状が所定の方向から見たときの形状となるように画像補正処理を実行して複数の補正画像を生成する形状補正部と、
生成した前記複数の補正画像のそれぞれについて、前記側壁の上部の縁の輪郭に囲まれた領域と前記底面の輪郭に囲まれた領域とが重なる領域を、前記容器の内部の一部に相当する部分領域として抽出する内部領域抽出部と、
前記複数の補正画像のそれぞれの前記部分領域を位置合わせして合成される領域を、前記容器内の物体の量を計測する対象の領域として特定する共通部分抽出部と、
を有する計測装置。
（付記１１）
底面と該底面から立ち上がる側壁とを有する容器を互いに異なる方向から撮影することにより生成された複数の画像のそれぞれから、前記側壁の上部の縁の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出し、
前記複数の画像のそれぞれについて、当該画像上の前記側壁の上部の縁により形成される閉形状または前記底面の形状が所定の方向から見たときの形状となるように画像補正処理を実行して複数の補正画像を生成し、
生成した前記複数の補正画像のそれぞれについて、前記側壁の上部の縁の輪郭に囲まれた領域と前記底面の輪郭に囲まれた領域とが重なる領域を、前記容器の内部の一部に相当する部分領域として抽出し、
前記複数の補正画像のそれぞれの前記部分領域を位置合わせして合成される領域を、前記容器内の物体の量を計測する対象の領域として特定する、
ことを含む計測方法。

１ 計測装置
２ カメラ
１１ インターフェース部
１２ 表示部
１３ 記憶部
１４ 処理部
１５ 記憶媒体アクセス装置
１６ 記憶媒体
２１ 輪郭検出部
２２ 形状補正部
２３ 内部領域抽出部
２４ 共通部分抽出部
２５ 計数部

Claims (7)

1. 底面と該底面から立ち上がる側壁とを有する容器を互いに異なる方向から撮影することにより生成された複数の画像のそれぞれから、前記側壁の上部の縁の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出し、
   前記複数の画像のそれぞれについて、当該画像上の前記側壁の上部の縁により形成される閉形状または前記底面の形状が所定の方向から見たときの形状となるように画像補正処理を実行して複数の補正画像を生成し、
   生成した前記複数の補正画像のそれぞれについて、前記側壁の上部の縁の輪郭に囲まれた領域と前記底面の輪郭に囲まれた領域とが重なる領域を、前記容器の内部の一部に相当する部分領域として抽出し、
   前記複数の補正画像のそれぞれの前記部分領域を位置合わせして合成される領域を、前記容器内の物体の量を計測する対象の領域として特定する、
   処理をコンピュータに実行させるコンピュータプログラム。
2. 前記物体の量は、前記容器内に収容されている前記物体の数であり、
   前記物体の量を計測することは、二つ以上の前記補正画像の前記部分領域が重なる共通部分及び前記部分領域のそれぞれから検出した前記物体の数に基づいて、前記容器内の前記物体の数を求める、請求項１に記載のコンピュータプログラム。
3. 前記物体の量を計測することは、二つ以上の前記画像の前記部分領域のそれぞれのうちの前記共通部分と重なる部分から検出された物体の数のうちの最大値を当該共通部分に含まれる物体の数とする、請求項２に記載のコンピュータプログラム。
4. 前記物体の量を計測することは、二つ以上の前記画像の前記部分領域のそれぞれのうちの前記共通部分と重なる部分から検出された物体の数について、対応する画像についての撮影方向が前記容器の底面の法線に近いほど大きくなる重み係数を用いて加重平均することにより得られた数を当該共通部分に含まれる物体の数とする、請求項２に記載のコンピュータプログラム。
5. 前記物体の量を計測することは、二つ以上の前記画像の前記部分領域のそれぞれのうちの前記共通部分と重なる部分から検出された物体のうち、当該二つ以上の前記部分領域を位置合わせしたときに同じ位置となる物体を同一の物体とし、一方、前記部分領域のそれぞれから検出された物体のうち、当該二つ以上の前記部分領域を位置合わせしたときに異なる位置となる物体をそれぞれ別個の物体として当該共通部分に含まれる物体の数を求める、請求項２に記載のコンピュータプログラム。
6. 底面と該底面から立ち上がる側壁とを有する容器を互いに異なる方向から撮影することにより生成された複数の画像のそれぞれから、前記側壁の上部の縁の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出する輪郭検出部と、
   前記複数の画像のそれぞれについて、当該画像上の前記側壁の上部の縁により形成される閉形状または前記底面の形状が所定の方向から見たときの形状となるように画像補正処理を実行して複数の補正画像を生成する形状補正部と、
   生成した前記複数の補正画像のそれぞれについて、前記側壁の上部の縁の輪郭に囲まれた領域と前記底面の輪郭に囲まれた領域とが重なる領域を、前記容器の内部の一部に相当する部分領域として抽出する内部領域抽出部と、
   前記複数の補正画像のそれぞれの前記部分領域を位置合わせして合成される領域を、前記容器内の物体の量を計測する対象の領域として特定する共通部分抽出部と、
   を有する計測装置。
7. 底面と該底面から立ち上がる側壁とを有する容器を互いに異なる方向から撮影することにより生成された複数の画像のそれぞれから、前記側壁の上部の縁の輪郭の少なくとも一部及び前記底面の輪郭の少なくとも一部を検出し、
   前記複数の画像のそれぞれについて、当該画像上の前記側壁の上部の縁により形成される閉形状または前記底面の形状が所定の方向から見たときの形状となるように画像補正処理を実行して複数の補正画像を生成し、
   生成した前記複数の補正画像のそれぞれについて、前記側壁の上部の縁の輪郭に囲まれた領域と前記底面の輪郭に囲まれた領域とが重なる領域を、前記容器の内部の一部に相当する部分領域として抽出し、
   前記複数の補正画像のそれぞれの前記部分領域を位置合わせして合成される領域を、前記容器内の物体の量を計測する対象の領域として特定する、
   ことを含む計測方法。

Images