JP6476977B2 - 識別装置、識別方法、プログラム - Google Patents
識別装置、識別方法、プログラム Download PDFInfo
- Publication number
- JP6476977B2 JP6476977B2 JP2015030704A JP2015030704A JP6476977B2 JP 6476977 B2 JP6476977 B2 JP 6476977B2 JP 2015030704 A JP2015030704 A JP 2015030704A JP 2015030704 A JP2015030704 A JP 2015030704A JP 6476977 B2 JP6476977 B2 JP 6476977B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- condition
- identification
- unit
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
Description
本発明は、画像中の識別情報を特定する識別装置等に関するものである。
従来から、撮像した画像に識別情報を付与することで、画像を識別情報とともに管理することが行われている。例えば、特許文献1には、培養容器内のドロップ領域(細胞の場所)を画像処理によって検出し、ドロップ領域に識別情報を付与し、培養容器の種類と細胞の識別情報を関連付けて管理する培養容器管理等装置等が開示されている。
ところで、特許文献1の例では、ドロップ領域は、ディッシュの底面に培養液を滴下して成るため、ディッシュの底面に対して凸部を形成する。このように、検出対象が凸部(或いは凹部)で形成されるような場合、撮像条件、照明条件などの条件によって、検出対象の画像特性が大きく変動し、検出対象を正しく検出できない場合がある。
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、撮像条件、照明条件などの条件が変動する場合であっても、画像中の検出対象を好適に検出することが可能な識別装置等を提供することである。
前述の課題を解決するために第1の発明は、検出対象となる凹凸を含む画像を取得する取得手段と、条件の異なる複数のサンプル画像を記憶する記憶手段と、
前記取得手段によって取得した対象画像と、前記記憶手段に記憶された前記サンプル画像とを用いて、前記対象画像の条件を推定する推定手段と、前記推定手段により推定された条件の前記サンプル画像と、前記対象画像を用いて、前記凹凸を検出する検出手段と、を具備することを特徴とする識別装置である。
前記取得手段によって取得した対象画像と、前記記憶手段に記憶された前記サンプル画像とを用いて、前記対象画像の条件を推定する推定手段と、前記推定手段により推定された条件の前記サンプル画像と、前記対象画像を用いて、前記凹凸を検出する検出手段と、を具備することを特徴とする識別装置である。
前記記憶手段は、前記サンプル画像の特徴量を記憶し、前記推定手段は、前記サンプル画像の特徴量と、前記対象画像の特徴量に基づいて、前記対象画像の条件を推定してもよい。
前記推定手段は、前記対象画像および前記サンプル画像から複数の特徴量を算出し、前記サンプル画像の前記複数の特徴量のうち前記対象画像の特徴量との距離が近い当該特徴量の比率を算出する算出手段と、前記比率が大きい前記サンプル画像を選定する選定手段と、を具備し、選定されたサンプル画像の条件を前記対象画像の条件としてもよい。
前記推定手段は、前記サンプル画像と前記対象画像を鮮鋭化した画像に基づいて、前記対象画像の条件を推定してもよい。
前述の課題を解決するために第2の発明は、検出対象となる凹凸を含む画像を取得する取得ステップと、条件の異なる複数のサンプル画像を記憶する記憶ステップと、前記取得ステップによって取得した対象画像と、前記記憶ステップに記憶された前記サンプル画像とを用いて、前記対象画像の条件を推定する推定ステップと、前記推定ステップにより推定された条件の前記サンプル画像と、前記対象画像を用いて、前記凹凸を検出する検出ステップと、を含むことを特徴とする識別方法である。
前述の課題を解決するために第3の発明は、コンピュータを、検出対象となる凹凸を含む画像を取得する取得手段と、条件の異なる複数のサンプル画像を記憶する記憶手段と、前記取得手段によって取得した対象画像と、前記記憶手段に記憶された前記サンプル画像とを用いて、前記対象画像の条件を推定する推定手段と、前記推定手段により推定された条件の前記サンプル画像と、前記対象画像を用いて、前記凹凸を検出する検出手段と、して機能させるためのプログラムである。
本発明によって、撮像条件、照明条件などの条件が変動する場合であっても、画像中の検出対象を好適に検出することが可能な識別装置等を提供することができる。
以下、図面に基づいて、本発明の好適な実施形態について詳細に説明する。本発明は、後述する識別装置が、マイクロウェルの識別を自動で行う場合に好適であるが、これに限定されるわけではない。本発明は、前述の課題と同様の課題に適用すれば、同様の効果を生ずる。
<マイクロウェル識別システム200>
図1は、マイクロウェル識別システム200の構成例を示す図である。マイクロウェル識別システム200は、識別装置100と、顕微鏡101と、複数のマイクロウェル11(11a〜11h)が配置された容器であるシャーレ1と、によって構成される。マイクロウェル識別システム200は、シャーレ1が保持するマイクロウェル11を顕微鏡101によって観察し、その撮像画像から観察中のマイクロウェル11の識別情報を自動で特定する。
図1は、マイクロウェル識別システム200の構成例を示す図である。マイクロウェル識別システム200は、識別装置100と、顕微鏡101と、複数のマイクロウェル11(11a〜11h)が配置された容器であるシャーレ1と、によって構成される。マイクロウェル識別システム200は、シャーレ1が保持するマイクロウェル11を顕微鏡101によって観察し、その撮像画像から観察中のマイクロウェル11の識別情報を自動で特定する。
(顕微鏡101)
顕微鏡101は、ステージ102に載置されたシャーレ1内のマイクロウェル11とその近傍を観察するために用いられる。顕微鏡101は、レンズにより拡大したステージ102上の対象物の画像を顕微鏡画像Imとして識別装置100に送信する。識別装置100は、顕微鏡画像Imを顕微鏡101から取得し、後述するマイクロウェル識別処理を実行する。なお、本発明において「対象画像」とは、顕微鏡画像Imを意味する。
顕微鏡101は、ステージ102に載置されたシャーレ1内のマイクロウェル11とその近傍を観察するために用いられる。顕微鏡101は、レンズにより拡大したステージ102上の対象物の画像を顕微鏡画像Imとして識別装置100に送信する。識別装置100は、顕微鏡画像Imを顕微鏡101から取得し、後述するマイクロウェル識別処理を実行する。なお、本発明において「対象画像」とは、顕微鏡画像Imを意味する。
(マイクロウェル11)
図2は、マイクロウェル11の配列について説明する図である。図示されるように、シャーレ1には細胞(本実施形態では受精卵)サイズと同程度の複数のマイクロウェル11(11a〜11h)が配置された細胞収容部2が設けられる。本実施形態では、細胞収容部2に8個のマイクロウェル11が配置される例を示す。各マイクロウェル11は培養液で満たされ、個別管理が必要な受精卵が収容される。
図2は、マイクロウェル11の配列について説明する図である。図示されるように、シャーレ1には細胞(本実施形態では受精卵)サイズと同程度の複数のマイクロウェル11(11a〜11h)が配置された細胞収容部2が設けられる。本実施形態では、細胞収容部2に8個のマイクロウェル11が配置される例を示す。各マイクロウェル11は培養液で満たされ、個別管理が必要な受精卵が収容される。
図3は、マイクロウェル11及びその近傍を拡大した図であり、図3(a)は平面図、図3(b)は図3(a)のA−Aによる断面図である。各マイクロウェル11の近傍には、マイクロウェル11を識別するための識別部12と、顕微鏡画像Im上で識別部12を検出する際の基準となる位置を示す位置決め部13とが設けられる。
(識別部12)
識別部12は同一の円形状のドット15で構成され、各マイクロウェル11の左側の上段位置と中段位置と下段位置に最大3個まで設けられる。図3(a)には、3個のドット15を上段位置と中段位置と下段位置に配置する識別部12のパターンの一例を示す。対応するマイクロウェル11に対する識別部12の上段位置と中段位置と下段位置の位置関係は、シャーレ1内の全てのマイクロウェル11で等しい。
識別部12は同一の円形状のドット15で構成され、各マイクロウェル11の左側の上段位置と中段位置と下段位置に最大3個まで設けられる。図3(a)には、3個のドット15を上段位置と中段位置と下段位置に配置する識別部12のパターンの一例を示す。対応するマイクロウェル11に対する識別部12の上段位置と中段位置と下段位置の位置関係は、シャーレ1内の全てのマイクロウェル11で等しい。
各マイクロウェル11には固有の識別情報(以下、「マイクロウェルID」とも表記)が割り当てられ、各マイクロウェル11は対応する識別部12内のドット15の個数及び配置の組み合わせ(パターン)に基づいて識別可能となっている。識別情報については、図4にて後述する。
(位置決め部13)
位置決め部13の形状は、シャーレ1内の全てのマイクロウェル11で同一の楕円形状である。対応するマイクロウェル11に対する位置決め部13の位置関係、及び、位置決め部13に対する識別部12の位置関係は、シャーレ1内の全てのマイクロウェル11で同一である。図3(a)には、マイクロウェル11の左側の位置に位置決め部13が設けられる例を示す。位置決め部13は、識別装置100が識別部12と区別できるように、識別部12のドット15とは異なる形状(楕円形状)を有する。
位置決め部13の形状は、シャーレ1内の全てのマイクロウェル11で同一の楕円形状である。対応するマイクロウェル11に対する位置決め部13の位置関係、及び、位置決め部13に対する識別部12の位置関係は、シャーレ1内の全てのマイクロウェル11で同一である。図3(a)には、マイクロウェル11の左側の位置に位置決め部13が設けられる例を示す。位置決め部13は、識別装置100が識別部12と区別できるように、識別部12のドット15とは異なる形状(楕円形状)を有する。
図3(b)には、図3(a)の断面図を示す。図3(b)に示されるように、マイクロウェル11は、受精卵14を個別に収容するために好適な凹部を形成する。識別部12の各ドット15は、図示されるように円形の凸部を形成する。図示しないが、位置決め部13も同様に楕円形の凸部を形成する。マイクロウェル11、識別部12、及び位置決め部13の外郭は、シャーレ1の底面に対して傾斜を有するため、顕微鏡101によって観察する際に光の屈折に起因して暗くなり、顕微鏡画像Im上でそれらを認識することが可能となる。なお、識別部12の各ドット15、位置決め部13は、上記とは異なり凹部を形成してもよい。
図4は、マイクロウェル11の識別情報について説明する図である。図4のA〜Hは、図2のマイクロウェル11a〜11hに対応し、各マイクロウェル11の識別部12のドット15を黒丸印で表す。即ち、識別部12の上段位置、中段位置、下段位置に配置されるドット15のパターンに対応する。
図に示すように、識別部12は対応するマイクロウェル11ごとに異なる個数及び配置のドット15の組み合わせによって構成される。従って、識別装置100は、顕微鏡画像Imから識別部12内のドット15の個数及び配置を検出することで、対応するマイクロウェル11の識別情報(マイクロウェルID)を特定することが可能となる。
(識別装置100)
図5は、識別装置100のハードウエアの構成例を示すブロック図である。識別装置100は、図5に示すように、例えば、制御部21、記憶部22、メディア入出力部23、通信制御部24、入力部25、表示部26、周辺機器I/F部27等が、バス28を介して接続されて構成される。
図5は、識別装置100のハードウエアの構成例を示すブロック図である。識別装置100は、図5に示すように、例えば、制御部21、記憶部22、メディア入出力部23、通信制御部24、入力部25、表示部26、周辺機器I/F部27等が、バス28を介して接続されて構成される。
制御部21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。CPUは、記憶部22、ROM、記憶媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス28を介して接続された各装置を駆動制御し、識別装置100が行う後述する処理を実現する。ROMは、不揮発性メモリであり、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部21が各処理を行うために使用するワークエリアを備える。
記憶部22は、HDD(Hard Disk Drive)等であり、制御部21が実行するプログラムや、プログラム実行に必要なデータ、OS(Operating System)等が格納されている。これらのプログラムコードは、制御部21により必要に応じて読み出されてRAMに移され、CPUに読み出されて実行される。記憶部22は、マイクロウェルIDに対応する識別部12内のドット15の組み合わせパターン(図4参照)に関する情報等が予め記憶される。
メディア入出力部23は、例えば、CDドライブ、DVDドライブ、MOドライブ、フロッピー(登録商標)ディスクドライブ、等のメディア入出力装置であり、データの入出力を行う。
通信制御部24は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
通信制御部24は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
入力部25は、各種パラメータの設定値の入力、ユーザからの指示の入力等を行い、例えば、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部21へ出力する。
表示部26は、例えば、CRTモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路(ビデオアダプタ等)で構成され、制御部21の制御により入力された表示情報、取得した顕微鏡画像Im等をディスプレイ装置上に表示させる。
周辺機器I/F部(インターフェース)27は、コンピュータに顕微鏡101を接続させるためのポートであり、周辺機器I/F部27を介してコンピュータは顕微鏡101から顕微鏡画像Imを取得する。周辺機器I/F部17は、USBやIEEE1394やRS−232C等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は、有線、無線を問わない。
バス28は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
バス28は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
[条件データ30]
識別装置100の記憶部22には、予め、条件の異なる複数の条件データ30が保持されている。ここで、「条件」とは、顕微鏡101の撮像画像の画像特性に影響を与える、撮像条件、照明条件、顕微鏡設定条件などのことをいう。記憶部22には、条件の異なる複数の条件データ30が、条件の情報と紐づいて保持される。
識別装置100の記憶部22には、予め、条件の異なる複数の条件データ30が保持されている。ここで、「条件」とは、顕微鏡101の撮像画像の画像特性に影響を与える、撮像条件、照明条件、顕微鏡設定条件などのことをいう。記憶部22には、条件の異なる複数の条件データ30が、条件の情報と紐づいて保持される。
本発明の要旨は、条件の異なる複数の条件データ30を用いて、顕微鏡画像Imの条件を推定し、推定した条件に係る条件データ30を用いて、顕微鏡画像Imの位置決め部13、識別部12を高精度に検出することである。これにより、例えば、顕微鏡画像Imを撮像条件、照明条件、顕微鏡設定条件などの条件が観察の度に変動するような場合であっても、好適に位置決め部13、識別部12を検出することができる。
特に、本実施形態では、「条件」として、顕微鏡101の「焦点位置」を例に説明をする。焦点位置の異なる条件データ30を保持する趣旨は次の通りである。通常、顕微鏡101で受精卵14を観察する場合、顕微鏡101の焦点位置は、マイクロウェル11に収容される受精卵14の赤道付近に合わせる。しかしながら、マイクロウェル11は、シャーレ1内の細胞収容部2の水平面に対して、凹部を形成する一方で、位置決め部13と識別部12は凸部を形成するため、マイクロウェル11に収容される受精卵14に焦点位置を合わせて観察すると、位置決め部13と識別部12に焦点位置が合わなくなる。また、受精卵14は成長によりサイズが変化するため、顕微鏡101の焦点位置は観察の都度、変動する。
このため、位置決め部13の輪郭がぼやけ、また、そのぼやけ度合も一定ではないため、位置決め部13の検出精度が低下し、位置決め部13に基づいて検出する識別部12の検出精度も低下するという問題が起こる。ここで、焦点位置がマイクロウェル11の凹部の比較的浅い位置であれば、位置決め部13の輪郭は鮮明であり、例えばRobinson Compass Masksを使用したエッジ検出等により、位置決め部13を検出することは可能である。しかしながら、焦点位置がマイクロウェル11の凹部の深い位置になると、細胞収容部2の水平面から焦点位置が遠ざかるため、位置決め部13の輪郭がぼやけ、エッジ検出等だけでは、位置決め部13を精度良く検出することは困難となる。
本実施形態では、どのような焦点位置(条件)であっても良好な検出結果を得るために、異なる焦点位置毎のデータ、すなわち、焦点位置を変えながら位置決め部13、識別部12を撮影したサンプル画像から作成した条件データ30を用意しておき、この条件データ30を用いて、顕微鏡画像Imの焦点位置(条件)を推定する。そして、推定した焦点位置(条件)に係る条件データ30を用いて、顕微鏡画像Imから位置決め部13及び識別部12を高精度に検出する。これにより、顕微鏡画像Imの焦点位置の影響による誤検知を防ぎ、マイクロウェル11の識別情報を良好に特定することが可能となる。
ここで、本実施形態の条件データ30には、焦点位置をN段階(P1、P2、・・・、PN)に変えて撮像した各サンプル画像の特徴量(特徴ベクトル)が含まれる。また、条件データ30として、条件データ30Aと条件データ30Bを用意する。条件データ30Aは、検出対象である「位置決め部13」を、顕微鏡101の焦点位置をN段階に変えて撮像した各サンプル画像の特徴量を含んでおり、焦点位置(P1、P2、・・・、PN)の情報と紐づいて記憶部22に格納されている。また、条件データ30Bは、検出対象である「識別部12のドット15」を、顕微鏡101の焦点位置をN段階に変えて撮像した各サンプル画像の特徴量を含んでおり、焦点位置(P1、P2、・・・、PN)と紐づいて記憶部22に格納されている。
図6は、本実施形態に係る条件データ30を模式的に表す図である。条件データ30(条件データ30A、条件データ30B)は、1個又は複数個の特徴量(特徴ベクトル)を含む。例えば、図6の場合、条件データ30−1は特徴量31a、31b、31cの3つの特徴量(特徴ベクトル)を含み、条件データ30−2は特徴量32a、32bの2つの特徴量(特徴ベクトル)を含む。焦点位置の違いによって各サンプル画像の画像特性が異なるため、各条件デ−タ30で特徴量の全体個数が異なる。
なお、サンプル画像(ピクセルデータ)から抽出する特徴量(特徴ベクトル)について特に限定はしないが、本実施形態では、SURF特徴量を用いることにする。SURF特徴量は、画像中の濃淡の変化が大きい特徴点を検出し、その特徴点周りの画素値を特徴ベクトルで表したものである。SURF特徴量を用いることで、画像中の位置決め部13、識別部12の輪郭を強調させ、輪郭部分を画像中の特徴点として精度よく抽出することができる。
また、本実施形態では、計算効率性の観点から、条件データ30の特徴量を予め作成し記憶部22に格納しておくが、マイクロウェル識別処理中に、その都度、サンプル画像から特徴量を算出するようにしてもかまわない。
<マイクロウェル識別処理>
次に、図7〜図13を参照して、識別装置100が実行するマイクロウェル識別処理について説明する。図7は、マイクロウェル識別処理の全体の流れを示すフローチャートである。
次に、図7〜図13を参照して、識別装置100が実行するマイクロウェル識別処理について説明する。図7は、マイクロウェル識別処理の全体の流れを示すフローチャートである。
マイクロウェル識別処理を実行する前に、顕微鏡101のステージ102上にシャーレ1が載置され、マイクロウェル11内の受精卵14が顕微鏡101の観察対象となるようにシャーレ1の位置調整、顕微鏡101の照明調整、ピント調整等がされているものとする。
(顕微鏡画像を取得)
まず、識別装置100の制御部21は、顕微鏡101から顕微鏡画像Imを取得する(ステップS101)。
図9は、取得した顕微鏡画像Imの一例を示す図である。図9に示すように、顕微鏡画像Imには、マイクロウェル11と、対応する識別部12(図9に示す例では中段位置と下段位置にドットを配置するパターン、図4のCのパターン)、及び位置決め部13が存在する。
まず、識別装置100の制御部21は、顕微鏡101から顕微鏡画像Imを取得する(ステップS101)。
図9は、取得した顕微鏡画像Imの一例を示す図である。図9に示すように、顕微鏡画像Imには、マイクロウェル11と、対応する識別部12(図9に示す例では中段位置と下段位置にドットを配置するパターン、図4のCのパターン)、及び位置決め部13が存在する。
(鮮鋭化)
次に、識別装置100の制御部21は、顕微鏡画像Imの可視性を高めることを目的に、顕微鏡画像Imに対して鮮鋭化処理を施す(ステップS102)。画像を鮮鋭化する手法は、特に限定しないが、本実施形態ではCLAHE(Contrast Limited Adaptive Histogram Equalization)を用いる。CLAHEは、画像中の細部の可視性(視認性)を高めることができる。受精卵14の成長フェーズに応じてマイクロウェル11内の画像特性が刻々と変化するため、画像全体で大域的なコントラスト強調を行うと、検出対象である位置決め部13、識別部12の可視性を効果的に高めることができない場合がある。この点、CLAHEによれば、任意の分割領域ごとにコントラストの強調を行うことができるため、検出対象である位置決め部13、識別部12の可視性を確実に高めることが可能である。
次に、識別装置100の制御部21は、顕微鏡画像Imの可視性を高めることを目的に、顕微鏡画像Imに対して鮮鋭化処理を施す(ステップS102)。画像を鮮鋭化する手法は、特に限定しないが、本実施形態ではCLAHE(Contrast Limited Adaptive Histogram Equalization)を用いる。CLAHEは、画像中の細部の可視性(視認性)を高めることができる。受精卵14の成長フェーズに応じてマイクロウェル11内の画像特性が刻々と変化するため、画像全体で大域的なコントラスト強調を行うと、検出対象である位置決め部13、識別部12の可視性を効果的に高めることができない場合がある。この点、CLAHEによれば、任意の分割領域ごとにコントラストの強調を行うことができるため、検出対象である位置決め部13、識別部12の可視性を確実に高めることが可能である。
なお、ステップS102の鮮鋭化処理は、識別部12、位置決め部13の検出精度を向上させるための補助的な処理であって、必ずしも本発明における必須の処理ではない。一方、顕微鏡画像Imに対してステップS102の鮮鋭化処理を行う場合には、条件データ30の特徴量は、サンプル画像に同様の鮮鋭化処理を施して作成しておく必要がある点に留意する。
図10は、図9に示す顕微鏡画像Imに対してステップS102の鮮鋭化処理を施した画像データの一例を示す図である。図9に示すように、鮮鋭化処理により顕微鏡画像Im上の位置決め部13、識別部12の輪郭部が強調されることが確認できる。
(条件推定)
次に、図8のフローチャートを参照しながら、条件データ30を用いて、顕微鏡画像Imの焦点位置(条件)を推定する処理を説明する。本実施形態では、位置決め部13に対応する条件データ30Aを用いて、顕微鏡画像Imの焦点位置(条件)を推定することにする。
次に、図8のフローチャートを参照しながら、条件データ30を用いて、顕微鏡画像Imの焦点位置(条件)を推定する処理を説明する。本実施形態では、位置決め部13に対応する条件データ30Aを用いて、顕微鏡画像Imの焦点位置(条件)を推定することにする。
まず、識別装置100の制御部21は、条件データ30Aの特徴量と、顕微鏡画像Imの特徴量との距離を算出する(ステップS201)。
特徴量間の距離とは、例えば、各特徴量間のユークリッド距離である。すなわち、n個の要素を持つ特徴量X=(x1、x2、・・・、xn)、n個の要素を持つ特徴量Y=(y1、y2、・・・、yn)があれば、特徴量間の距離は次のように算出できる。
制御部21は、各条件データ30Aに含まれる特徴量と、顕微鏡画像Imから算出した特徴量との全ての組み合わせについて特徴量間の距離を算出する。
次に、識別装置100の制御部21は、算出された特徴量間の距離が近距離であるものを選択する(ステップS202)。すなわち、条件データ30Aの特徴量と、顕微鏡画像Imの特徴量が類似するものを選択する。例えば、制御部21は、特徴量間の距離が予め設定された閾値以下である特徴量を、近距離の特徴量として選択する。
図11は、選択された近距離の特徴量を表す模式図である。図11では、条件データ30A−1に含まれる特徴量のうち、顕微鏡画像Imの特徴量と近距離であるものの関係を実線で示し、条件データ30A−2に含まれる特徴量のうち、顕微鏡画像Imの特徴量と近距離であるものの関係を破線で示している。図11の例では、条件データ30A−1においては、特徴量31a’、特徴量31b’、特徴量31c’が近距離の特徴量として選択されている。また、条件データ30A−2においては、特徴量32b’が近距離の特徴量として選択されている。
そして、識別装置100の制御部21は、各条件データ30A(30A−1〜30A−N)に含まれる特徴量の全個数に対する、ステップS202にて選択された近距離の特徴量の個数の比率を算出する(ステップS203)。この比率は、顕微鏡画像Imの画像中に、各条件データ30A(30A−1〜30A−N)の特徴量と類似する特徴量がどの程度含まれているかを示すものである。この比率が大きい条件データ30Aほど、顕微鏡画像Imの焦点位置(条件)と近いデータと判断できる。以降、ステップS203において算出される比率を「条件一致率」とも呼ぶ。
図11の例では、条件データ30A−1は、3つの特徴量(31a’〜31c ’)のうち全ての特徴量が、顕微鏡画像Imの特徴量のいずれかと近距離であるため、顕微鏡画像Imにおける条件データ30A−1の条件一致率は「1」である。一方、条件データ30A−2は、2つの特徴量(32a’、32b’)のうち、特徴量32b’のみが顕微鏡画像Imの特徴量と近距離であるため、顕微鏡画像Imにおける条件データ30A−2の条件一致率は「0.5」である。すなわち、図11の場合、条件データ30A−2より条件データ30A−1の方が、より顕微鏡画像Imの焦点位置(条件)に近いデータと判断できる。
識別装置100の制御部21は、全ての条件データ30A(図6の条件データ30A−1〜30A−N)に対して、ステップS203の比率(条件一致率)が算出されたか否かを判断し(ステップS204)、算出済みでない場合には(ステップS204のNo)、ステップS201に戻る。
全ての条件データ30Aにおいて比率(条件一致率)が算出済みである場合には(ステップS204のYes)、識別装置100の制御部21は、条件データ30A(30A−1〜30A−N)の中から比率(条件一致率)が最も高い条件データ30Aを選定し、当該条件データ30Aに紐づく焦点位置(P1、P2、・・・、PNのいずれか)を顕微鏡画像Imの焦点位置(条件)として決定する(ステップS205)。以降、ステップS205において、制御部21は、条件一致率が最も高い条件データ30Aとして、条件データ30A−nを選定し、条件データ30A−nに紐づく焦点位置Pnを決定したものとして説明を行う。
なお、本実施形態では、上記したように、比率(条件一致率)が最も大きい条件データ30Aを、顕微鏡画像Imの焦点位置(条件)に最も近いデータとして選定している。ところで、単純に、近距離の特徴量の個数が最も多い条件データ30Aを選定する方法も考えられる。しかしながら、前述したように、焦点位置の違いによって各サンプル画像の画像特性が異なるため、各条件データ30A間で特徴量の全体個数が異なる。このため、上記方法を採用した場合、顕微鏡画像Imの焦点位置(条件)に近い条件データ30Aが必ずしも選定されるとは限らず、特徴量の全体個数が相対的に多い条件データ30Aを選定してしまう場合が起こりえる。この点、本実施形態では、前述したように、比率で評価することによって、条件データ30の特徴量の全体個数に影響されることなく、焦点位置(条件)の近いデータが確実に選定されるようにしている。
(マイクロウェルIDを特定)
図7のフローチャートの説明に戻る。ステップS104において、識別装置100の制御部21は、マイクロウェルIDを特定する。具体的には、制御部21は、まず、ステップS205において推定された焦点位置(条件)に係る条件データ30A(以下、「条件一致データ」とも呼ぶ)を用いて、顕微鏡画像Imから位置決め部13を検出する。
図7のフローチャートの説明に戻る。ステップS104において、識別装置100の制御部21は、マイクロウェルIDを特定する。具体的には、制御部21は、まず、ステップS205において推定された焦点位置(条件)に係る条件データ30A(以下、「条件一致データ」とも呼ぶ)を用いて、顕微鏡画像Imから位置決め部13を検出する。
例えば、識別装置100の制御部21は、条件一致データの特徴量と顕微鏡画像Imの特徴量の全ての組み合わせについて特徴量間の距離を算出し、近距離の特徴量に係る特徴点の座標を、顕微鏡画像Im上にプロットする。続いて、制御部21は、プロットされた特徴点が多く集まり、且つ、プロットされた特徴点同士の位置関係と、条件一致データの特徴点同士の位置関係が類似する部分を位置決め部13として検出する。
図12は、位置決め部13が検出された画像データの一例を示す図である。図12に示すように、画像上に表示される白色のドットが、顕微興画像Imにおける条件一致データとの特徴量間の距離が近距離である特徴点の座標を示し、画像上に表示される矩形枠が、位置決め部13として検出された部分を示す。
次に、識別装置100の制御部21は、位置決め部13を検出すると、位置決め部13の存在する位置及び範囲に基づいて、顕微鏡画像Im上で識別部12が表示される可能性がある範囲(以下、「識別部存在範囲」と呼ぶ)を定める。この識別部存在範囲の位置決め部13に対する位置関係は、予め記憶部22に記憶されているものとする。識別部存在範囲を定めることによって、識別部12の検出範囲を絞りこむことができる。
そして、識別装置100の制御部21は、ステップS205において決定した焦点位置Pn(条件)と同じ焦点位置Pn(条件)の条件データ30B−nを参照して、条件データ30B−nの特徴量と、顕微鏡画像Imの識別部存在範囲の画像から抽出した特徴量と、の特徴量間の距離を算出し、近距離の特徴量に係る特徴点の座標を、顕微鏡画像Im上にプロットする。続いて、制御部21は、プロットされた特徴点が多く集まり、且つ、プロットされた特徴点同士の位置関係と、条件データ30B−nの特徴点同士の位置関係が類似する部分を識別部12のドット15として検出する。そして、制御部21は、検出されたドット15の検出個数と検出位置から、図4に示す識別部12のドット15のパターンを参照して、該当するマイクロウェルIDを特定する。
以上のように、識別装置100は、顕微鏡101からシャーレ1に収容されたマイクロウェル11を観察して得られた撮像画像(顕微鏡画像Im)を取得し(ステップS101)、取得した顕微鏡画像Imに対して鮮鋭化処理を施す(ステップS102)。そして、焦点位置(条件)を変えながら撮像した位置決め部13のサンプル画像から作成した条件データ30Aを用いて、顕微鏡画像Imの焦点位置(条件)を推定し(ステップS103)、推定した焦点位置(条件)に係る条件データ30Aを用いて、顕微鏡画像Imの位置決め部13を検出する。さらに位置決め部13の検出結果に基づいて識別部12のドット15の個数及び配置を検出し、観察中のマイクロウェルのマイクロウェルIDを特定する(ステップS104)。
これにより、シャーレ1に複数配列されたマイクロウェル11を顕微鏡にて観察した顕微鏡画像Imにおいて、位置決め部13、識別部12の輪郭がぼやけ、位置決め部13、識別部12の検出が困難な場合であっても、観察中のマイクロウェルIDを好適に自動特定することが可能となる。
図13は、顕微鏡画像Imと、全ての位置決め部13の条件データ30A(30A−1〜30A−N)を突合させて、位置決め部13を検出した結果を示す図である。図13の結果から、検出箇所(黒い矩形)が一意に定まらないことが分かる。すなわち、顕微鏡画像Imの焦点位置と合致しない条件データ30Aを用いると、位置決め部13を正確に検出できない。逆に言えば、本実施形態のように、顕微鏡画像Imの焦点位置と合致する条件データ30Aを用いることで、位置決め部13を良好に検出することが可能となる。
以上、添付図面を参照しながら、本発明に係る識別装置100等の好適な実施形態について説明したが、本発明はかかる例に限定されない。例えば、本発明は以下のような種々の変形例をも包含する。
<変形例>
前述したように、検出対象である位置決め部13及び/又は識別部12は、凸部を形成するのではなく、凹部を形成してもよい。また、図3等に示す識別部12のドット15の形状、配置、個数は、一例であり、種々の変更が可能である。例えば、ドット15の形状は、三角形状、四角形状であってもよいし、複数の形状が用いられてもよい。また、図3等に示す位置決め部13の形状、配置、個数も、一例であり、識別部12のドット15と異なる形状又は大きさであれば、種々の変更が可能である。
前述したように、検出対象である位置決め部13及び/又は識別部12は、凸部を形成するのではなく、凹部を形成してもよい。また、図3等に示す識別部12のドット15の形状、配置、個数は、一例であり、種々の変更が可能である。例えば、ドット15の形状は、三角形状、四角形状であってもよいし、複数の形状が用いられてもよい。また、図3等に示す位置決め部13の形状、配置、個数も、一例であり、識別部12のドット15と異なる形状又は大きさであれば、種々の変更が可能である。
また、本実施形態では、条件一致率が最も高い条件データ30A(条件一致データ)を用いて、位置決め部13を検出したが、条件一致率が高い上位複数の条件データ30Aを用いて、位置決め部13を検出するようにしてもよい。同様に、複数の条件データ30Bを用いて、識別部12を検出するようにしてもよい。
また、ステップS104において、ステップS103で選定された条件データ30A(条件一致データ)の焦点位置と同じ焦点位置の条件データ30Bを用いて、識別部12を検出するようにしたが、条件データ30Bについても、ステップS103と同様の処理を行い、条件データ30Bの中から焦点位置が近いデータを選定し、選定した条件データ30Bを用いて、識別部12を検出するようにしてもよい。
また、条件データ30は、画像の特徴量を含むのではなく、特徴量を抽出する元になったサンプル画像(ピクセルデータ)を含む構成であってもよい。この場合、制御部21は、顕微鏡画像Imと条件データ30とのテンプレートマッチングにより、顕微鏡画像Imと焦点位置の近い条件データ30を選定し、位置決め部13等を検出する。具体的には、制御部21は、焦点位置を変えながら撮像した「位置決め部13」の各サンプル画像(テンプレート画像)を、顕微鏡画像Imの全範囲に亘って走査させながら、各走査位置で、顕微鏡画像Imとサンプル画像との類似度を算出する。そして、走査範囲において、類似度が最大の走査位置(以下、「検出位置」と呼ぶ)とその類似度の値、をサンプル画像毎に記憶部22に保存しておく。制御部21は、記憶部22に保存した類似度の中で最大の類似度に係るサンプル画像を顕微鏡画像Imの焦点位置(条件)に近いサンプル画像(条件一致データ)として選定し、記憶部22に保存した当該サンプル画像の検出位置(類似度が最大の走査位置)を、位置決め部13が存在する位置として検出する。なお、類似度としては、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、正規化相互相関などを用いることができる。位置決め部13を検出すると、制御部21は、次に、識別部12のドット15のテンプレート画像を用いて、識別部存在範囲内においてテンプレートマッチングを行い、識別部12のドット15の個数及び配置を検出し、マイクロウェルIDを特定する。
また、ステップS103における焦点位置(条件)の推定は、本実施形態のように顕微鏡画像Imの特徴量と条件データ30の特徴量との特徴量比較により行い、ステップS104における位置決め部13及び/又は識別部12の検出を、顕微鏡画像Imとサンプル画像とのテンプレートマッチングにより行ってもよい。この場合、制御部21は、ステップS104のテンプレートマッチングを高精度に実行するために、前処理として、ステップS103において得られる座標変換行列を用いて、顕微鏡画像Imとサンプル画像の傾き(回転)を合わせる画像回転補正を行ってもよい。具体的には、ステップS103において選定した条件一致データの特徴点の座標と当該特徴点に対応する顕微鏡画像Imの特徴点の座標との座標対応関係から、サンプル画像から顕微鏡画像Im(或いは、顕微鏡画像Imからサンプル画像)への座標変換行列(回転行列)を算出し、座標変換行列に基づいて顕微鏡画像Imとサンプル画像の傾き(回転)を合わせる。この場合、円弧上のドット15は画像の傾き(回転)が判断できないため、楕円状の位置決め部13により画像の傾き(回転)を判断するのが望ましい。
また、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される
100………識別装置
101………顕微鏡
102………ステージ
200………マイクロウェル識別システム
1………シャーレ
2………細胞収容部
11………マイクロウェル
12………識別部
13………位置決め部
14………受精卵
15………ドット
21………制御部
22………記憶部
23………メディア入出力部
24………通信制御部
25………入力部
26………表示部
27………周辺機器I/F部
28………バス
30………条件データ
40………Imの特徴量データ
Im………顕微鏡画像
101………顕微鏡
102………ステージ
200………マイクロウェル識別システム
1………シャーレ
2………細胞収容部
11………マイクロウェル
12………識別部
13………位置決め部
14………受精卵
15………ドット
21………制御部
22………記憶部
23………メディア入出力部
24………通信制御部
25………入力部
26………表示部
27………周辺機器I/F部
28………バス
30………条件データ
40………Imの特徴量データ
Im………顕微鏡画像
Claims (6)
- 検出対象となる凹凸を含む画像を取得する取得手段と、
条件の異なる複数のサンプル画像を記憶する記憶手段と、
前記取得手段によって取得した対象画像と、前記記憶手段に記憶された前記サンプル画像とを用いて、前記対象画像の条件を推定する推定手段と、
前記推定手段により推定された条件の前記サンプル画像と、前記対象画像を用いて、前記凹凸を検出する検出手段と、
を具備することを特徴とする識別装置。 - 前記記憶手段は、前記サンプル画像の特徴量を記憶し、
前記推定手段は、前記サンプル画像の特徴量と、前記対象画像の特徴量に基づいて、前記対象画像の条件を推定することを特徴とする請求項1に記載の識別装置。 - 前記推定手段は、
前記対象画像および前記サンプル画像から複数の特徴量を算出し、前記サンプル画像の前記複数の特徴量のうち前記対象画像の特徴量との距離が近い当該特徴量の比率を算出する算出手段と、
前記比率が大きい前記サンプル画像を選定する選定手段と、
を具備し、
選定されたサンプル画像の条件を前記対象画像の条件とすることを特徴とする請求項2に記載の識別装置。 - 前記推定手段は、前記サンプル画像と前記対象画像を鮮鋭化した画像に基づいて、前記対象画像の条件を推定することを特徴とする請求項1から請求項3のいずれかに記載の識別装置。
- 検出対象となる凹凸を含む画像を取得する取得ステップと、
条件の異なる複数のサンプル画像を記憶する記憶ステップと、
前記取得ステップによって取得した対象画像と、前記記憶ステップに記憶された前記サンプル画像とを用いて、前記対象画像の条件を推定する推定ステップと、
前記推定ステップにより推定された条件の前記サンプル画像と、前記対象画像を用いて、前記凹凸を検出する検出ステップと、
を含むことを特徴とする識別方法。 - コンピュータを、
検出対象となる凹凸を含む画像を取得する取得手段と、
条件の異なる複数のサンプル画像を記憶する記憶手段と、
前記取得手段によって取得した対象画像と、前記記憶手段に記憶された前記サンプル画像とを用いて、前記対象画像の条件を推定する推定手段と、
前記推定手段により推定された条件の前記サンプル画像と、前記対象画像を用いて、前記凹凸を検出する検出手段と、
して機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015030704A JP6476977B2 (ja) | 2015-02-19 | 2015-02-19 | 識別装置、識別方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015030704A JP6476977B2 (ja) | 2015-02-19 | 2015-02-19 | 識別装置、識別方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016149998A JP2016149998A (ja) | 2016-08-22 |
JP6476977B2 true JP6476977B2 (ja) | 2019-03-06 |
Family
ID=56695100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015030704A Active JP6476977B2 (ja) | 2015-02-19 | 2015-02-19 | 識別装置、識別方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6476977B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018003340A1 (ja) * | 2016-07-01 | 2019-04-25 | ソニー株式会社 | 画像取得方法、画像取得装置、プログラム及び培養容器 |
KR102579457B1 (ko) * | 2017-02-24 | 2023-09-14 | 삼성전자주식회사 | 이미지 보정 방법 및 장치 |
WO2019065144A1 (ja) | 2017-09-29 | 2019-04-04 | 富士フイルム株式会社 | 観察装置、観察方法および観察プログラム |
EP3726273A4 (en) | 2017-12-15 | 2021-02-24 | FUJIFILM Corporation | OBSERVATION DEVICE, OBSERVATION PROCEDURE AND OBSERVATION PROGRAM |
CN116342854B (zh) * | 2023-03-24 | 2024-01-12 | 深圳市汇春科技股份有限公司 | 微型感光传感器和感光识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001101337A (ja) * | 1999-07-26 | 2001-04-13 | Komatsu Ltd | ドットマークの読取り装置と読取り方法 |
JP4158750B2 (ja) * | 2003-08-26 | 2008-10-01 | ソニー株式会社 | オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置 |
-
2015
- 2015-02-19 JP JP2015030704A patent/JP6476977B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016149998A (ja) | 2016-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6476977B2 (ja) | 識別装置、識別方法、プログラム | |
US9177358B2 (en) | Information processing apparatus, information processing method, and program therefor | |
JP6842039B2 (ja) | カメラ位置姿勢推定装置、方法およびプログラム | |
KR102073468B1 (ko) | 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 | |
JP7135473B2 (ja) | 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム | |
JP5468332B2 (ja) | 画像特徴点抽出方法 | |
KR20130049091A (ko) | 병변 경계의 오류 검출 장치 및 방법, 병변 경계의 오류 수정 장치 및 방법 및, 병변 경계의 오류 검사 장치 | |
JP6116044B2 (ja) | 細胞挙動解析装置、細胞挙動解析方法、及びプログラム | |
CN111310753B (zh) | 一种表计对准方法及装置 | |
JP2017097770A (ja) | カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム | |
JP2009134587A (ja) | 画像処理装置 | |
EP3163604B1 (en) | Position detection apparatus, position detection method, information processing program, and storage medium | |
JP2018022247A (ja) | 情報処理装置およびその制御方法 | |
CN109190452A (zh) | 作物行识别方法及装置 | |
CN110619672B (zh) | 图形边缘线选取方法、机器可读存储介质及数据处理设备 | |
CN110263754B (zh) | 屏下指纹去底纹方法、装置、计算机设备和存储介质 | |
JP2011243139A (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP5878454B2 (ja) | 推定装置、推定方法及びコンピュータプログラム | |
JP6542230B2 (ja) | 投影ひずみを補正するための方法及びシステム | |
JP2018092354A (ja) | 物体検出装置および物体検出方法 | |
CN112734689A (zh) | 垫片质量检测方法、系统、装置和存储介质 | |
EP3955207A1 (en) | Object detection device | |
JP5762315B2 (ja) | 画像処理方法 | |
JP2010152543A (ja) | 検出装置、検出方法および検出プログラム | |
EP3518521A1 (en) | Method for realizing effect of photo being taken by others through selfie, and photographing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6476977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |