JP4605502B2 - トラッキング装置およびトラッキング方法、並びに、このトラッキング装置を備えた生物顕微鏡 - Google Patents

Description

本発明は、撮像された物体の画像に対しテンプレートマッチングを行うことで撮像された物体を追跡するトラッキング装置およびトラッキング方法、並びに、このトラッキング装置を備えた生物顕微鏡に関する。

画像処理を利用して移動する物体を時間的に追跡する方法として、例えば、現時刻の直前における物体の位置を既知として、その物体または物体の持つ特徴量をテンプレートとし、現時刻で撮像された物体の画像（信号）に対しテンプレートマッチングを行って、現時刻における物体の位置検出を行うような手法がある（例えば、特許文献１を参照）。また、テンプレートマッチングの他にも、時間的に不変な特徴量（例えば、対象物の持つ輝度値）を利用して移動ベクトルを算出するオプティカルフローを利用する手法もある。
特開平１１−９６３７６号公報

しかしながら、上述のような手法では、追跡したい物体が障害物等に接近してこの障害物等と重なったとき、あるいは、他の移動物体が追跡したい物体に接近してこの物体と重なったとき、その重なるまでの時間に対する情報量が十分にない場合には、物体の位置決め（位置検出）は不可能となり、それ以降の障害物等から再び離れた物体の追跡が続行されなくなるおそれがあった。

本発明は、このような問題に鑑みてなされたものであり、障害物等の外乱に影響されることなく物体を追跡することができるトラッキング装置およびトラッキング方法を提供することを目的とする。また、このようなトラッキング装置を備えた生物顕微鏡を提供することを目的とする。

このような目的達成のため、本発明に係るトラッキング装置は、撮像された物体の画像に対しテンプレートマッチングを行うことで撮像された物体を追跡するトラッキング装置であって、所定の基準相関係数および基準テンプレートのデータが記憶されたデータ記憶部と、撮像された物体の画像データと基準テンプレートのデータとの相関係数を測定相関係数として算出する相関係数算出部と、相関係数算出部が算出した測定相関係数に基づいて物体の位置を算出する位置決め処理を行う位置算出部と、測定相関係数と基準相関係数との差を算出する相関係数比較部と、測定相関係数を新しい基準相関係数としてデータ記憶部に記憶させる相関係数更新処理を行う相関係数更新部と、撮像された物体の画像データを基に更新用テンプレートを作成し、更新用テンプレートのデータを新しい基準テンプレートのデータとしてデータ記憶部に記憶させるテンプレート更新処理を行うテンプレート更新部と、相関係数比較部が算出した測定相関係数と基準相関係数との差が所定規制値以上の場合に、相関係数更新処理およびテンプレート更新処理、並びに位置決め処理を規制する処理規制部とを備えて構成されることを特徴とする。

また、上述の発明に係るトラッキング装置において、テンプレート更新部が、撮像された物体の画像に対しトリミング処理を行うトリミング処理部と、トリミング処理による所定トリミング領域内での物体の画像データを基に更新用テンプレートを作成するテンプレート作成部と、２値化処理を用いて所定トリミング領域における物体の概形を作成するマスク作成部と、マスク作成部が作成した物体の概形の面積を測定面積として算出する面積算出部と、面積算出部が算出した測定面積とデータ記憶部に記憶された所定の基準面積との差を算出する面積比較部と、測定面積を新しい基準面積としてデータ記憶部に記憶させる面積データ更新処理を行う面積データ更新部と、更新用テンプレートのデータを新しい基準テンプレートのデータとしてデータ記憶部に記憶させるテンプレートデータ更新処理を行うテンプレートデータ更新部と、面積比較部が算出した測定面積と基準面積との差が所定面積値以上の場合に、面積データ更新処理およびテンプレートデータ更新処理を規制する第２の処理規制部とを備えて構成されることを特徴とする。

さらに、本発明に係るトラッキング方法は、撮像された物体の画像に対しテンプレートマッチングを行うことで撮像された物体を追跡するトラッキング装置が行う物体追跡トラッキング方法であって、撮像された物体の画像データとデータ記憶部に記憶された所定の基準テンプレートのデータとの相関係数を測定相関係数として算出する相関係数算出処理と、相関係数算出処理で算出した測定相関係数に基づいて物体の位置を算出する位置決め処理と、測定相関係数とデータ記憶部に記憶された所定の基準相関係数との差を算出する相関係数比較処理と、測定相関係数を新しい基準相関係数としてデータ記憶部に記憶させる相関係数更新処理と、撮像された物体の画像データを基に更新用テンプレートを作成し、更新用テンプレートのデータを新しい基準テンプレートのデータとしてデータ記憶部に記憶させるテンプレート更新処理とを有し、相関係数比較処理で算出した測定相関係数と基準相関係数との差が所定規制値以上の場合に、相関係数更新処理およびテンプレート更新処理、並びに位置決め処理が規制されることを特徴とする。

また、上述の発明に係るトラッキング方法において、テンプレート更新処理が、撮像された物体の画像に対しトリミングを行うトリミング処理と、トリミング処理による所定トリミング領域内での物体の画像データを基に更新用テンプレートを作成するテンプレート作成処理と、２値化処理を用いて所定トリミング領域における物体の概形を作成するマスク作成処理と、マスク作成処理で作成した物体の概形の面積を測定面積として算出する面積算出処理と、面積算出処理で算出した測定面積とデータ記憶部に記憶された所定の基準面積との差を算出する面積比較処理と、測定面積を新しい基準面積としてデータ記憶部に記憶させる面積データ更新処理と、更新用テンプレートのデータを新しい基準テンプレートのデータとしてデータ記憶部に記憶させるテンプレートデータ更新処理とを有し、面積比較処理で算出した測定面積と基準面積との差が所定面積値以上の場合に、面積データ更新処理およびテンプレートデータ更新処理が規制されることを特徴とする。

さらに、本発明に係る生物顕微鏡は、対物レンズと、対物レンズにより結像された物体の像を撮像可能な撮像装置と、撮像装置に撮像された物体の画像に対しテンプレートマッチングを行うことで撮像装置に撮像された物体を追跡するトラッキング装置とを備えて構成された生物顕微鏡において、トラッキング装置が請求項１に記載のトラッキング装置であることを特徴とする。

本発明によれば、物体が障害物や他の移動物体等と重なったときに位置決め処理およびテンプレート更新処理を中断（すなわち、物体の追跡を中断）し、この重なりがなくなった後に位置決め処理およびテンプレート更新処理を再開（すなわち、物体の追跡を再開）することで、障害物等の外乱に影響されることなく物体を追跡することができる。

以下、図面を参照して本発明の好ましい実施形態について説明する。本発明に係るトラッキング装置を備えた生物顕微鏡１（培養顕微鏡）を図１に示している。この生物顕微鏡１は、倒立顕微鏡であり、顕微鏡本体１０と、観察物５の照明を行う照明支柱２０と、観察物５が載置されるステージ３０と、鏡筒５０とを主体に構成される。顕微鏡本体１０はベース部１１を主体に構成され、このベース部１１の一端に照明支柱２０が配設される。

照明支柱２０は、上下方向へ延びる垂直部２１と、この垂直部２１の上端から水平方向へ延びる水平部２２とを主体に構成される。垂直部２１の上端部背面側にはランプハウス２３が取り付けられ、水平部２２の下面側には取付部２４を介してコンデンサレンズ２５が取り付けられている。ランプハウス２３には、例えばハロゲンランプ２３ａが収容される。

ベース部１１の他端には鏡筒５０が配設され、この鏡筒５０には対物レンズ３６によって結像された像を肉眼で観察できるように拡大する接眼レンズ５１が設けられている。ベース部１１の中央上部にはＬ字状の上下動部１５が配設されており、この上下動部１５はベース部１１の側面に設けられたハンドル１６の操作によって上下方向へ移動できるようになっている。

上下動部１５の上部にはレボルバ３５が回転可能に配設されており、このレボルバ３５に異なる種類の対物レンズ３６が複数取り付けられている。対物レンズ３６の上方には観察物５が載置されるステージ３０が設けられており、ステージ３０の両端はベース部１１と支持部３１とに固定支持されている。対物レンズ３６の下方（ステージ３０の下方）には、ハーフミラー４１を保持するフィルタブロック４０が取り付けられている。

ベース部１１の一端側（照明支柱２０の下方）には、ハーフミラー４１で反射した観察物５からの光が通過可能な中空の筒部材４５が装着される。この筒部材４５の内部には、観察物５からの光を集光（結像）する結像レンズ（第２対物レンズ）４６や、結像レンズ４６によって結像された観察物５の像を撮像するＣＣＤカメラ４７等が収容されている。

ＣＣＤカメラ４７は、受光した光を電気信号に変換するＣＣＤ撮像素子４７ａを有して構成され、このＣＣＤ撮像素子４７ａが結像レンズ４６によって形成される一次像面に配置されるようになっている。また、ＣＣＤカメラ４７は、ＴＶモニタ（図示せず）や本発明に係るトラッキング装置１００と電気的に接続されている。

このような生物顕微鏡１を用いて透過照明観察を行う場合、ランプハウス２３から出射された光は、ミラー２６およびコンデンサレンズ２５を通じて観察物５へ入射する。観察物５を透過した光は、対物レンズ３６を通ってハーフミラー４１に達する。このとき、ハーフミラー４１で反射された光は、筒部材４５の内部を通り結像レンズ４６によってＣＣＤ撮像素子４７ａで結像する。そして、ＣＣＤ撮像素子４７ａで受光された光は光量に応じた電気信号に変換され、変換された電気信号がＣＣＤカメラ４７からＴＶモニタ（およびトラッキング装置１００）に画像データとして出力される。

一方、ハーフミラー４１を透過した光は、顕微鏡本体１０に内蔵される第２対物レンズ１２等の光学系を介して接眼レンズ５１に導かれる。すなわち、本実施形態の生物顕微鏡１によれば、接眼レンズ５１を通して観察物５（顕微鏡像）を肉眼観察できるとともに、ＣＣＤカメラ４７に接続されたＴＶモニタによっても観察物５（顕微鏡像）の観察や測光を行うことができる。

次に、トラッキング装置１００について、トラッキング装置のブロック図である図２および、テンプレート更新部のブロック図である図３を参照しながら説明する。このトラッキング装置１００は、ＣＣＤカメラ４７で撮像された物体（観察物５）の画像に対しテンプレートマッチングを行うことで撮像された物体を追跡するトラッキング装置であり、図２に示すように、画像入力部１０１と、データ記憶部１０２と、相関係数算出部１０３と、位置算出部１０４と、相関係数比較部１０５と、相関係数更新部１０６と、テンプレート更新部１１０と、第１処理規制部１０８とを備えて構成される。画像入力部１０１は、ＣＣＤカメラ４７と電気的に接続されており、ＣＣＤカメラ４７から出力された観察物５（追跡する物体）の画像データがこの画像入力部１０１で入力され記憶されるようになっている。また、画像入力部１０１に入力された（追跡する物体の）画像データは、相関係数算出部１０３およびテンプレート更新部１１０へそれぞれ出力されるようになっている。

データ記憶部１０２は、相関係数算出部１０３、相関係数比較部１０５、相関係数更新部１０６、およびテンプレート更新部１１０と電気的に接続されており、このデータ記憶部１０２には、所定の基準相関係数の値と、所定の基準テンプレートのデータと、所定の基準面積の値とが記憶されている。

相関係数算出部１０３は、画像入力部１０１およびデータ記憶部１０２と電気的に接続されており、画像入力部１０１から入力された追跡する物体（観察物５）の画像データと、データ記憶部１０２に記憶された基準テンプレートのデータとの相関係数を算出する。なお、本実施形態のテンプレートマッチングにおける相関係数Ｃ（ｘ，ｙ）は、式（１）で表される。

ここで、画像および基準テンプレートにおける座標の位置関係を示す説明図である図４に示すように、（ｘ，ｙ）は追跡する物体（観察物５）の画像２００における相対位置を示す座標であり、Ｃ（ｘ，ｙ）は基準テンプレート２０１が座標（ｘ，ｙ）に位置するときの相関係数である。また、（ｉ，ｊ）は基準テンプレート２０１における相対位置を示す座標であり、Ｉ（ｘ＋ｉ，ｙ＋ｊ）は基準テンプレート２０１が重なる座標（ｉ，ｊ）における追跡する物体（観察物５）の画像の輝度であり、Ｔ（ｉ，ｊ）は座標（ｉ，ｊ）における基準テンプレート２０１の輝度である。さらに、ＩｍおよびＴｍについては、それぞれ式（２）および式（３）で表される。

ここで、ｔ_ｘ×ｔ_ｙは基準テンプレートの面積である。そして、相関係数算出部１０３は、相関係数Ｃ（ｘ，ｙ）の最大値を測定相関係数Ｃｔとして算出する。また、相関係数算出部１０３は、位置算出部１０４、相関係数比較部１０５、および相関係数更新部１０６と電気的に接続されており、相関係数Ｃ（ｘ，ｙ）や測定相関係数Ｃｔに関するデータを位置算出部１０４、相関係数比較部１０５、および相関係数更新部１０６へそれぞれ出力する。

位置算出部１０４は、相関係数算出部１０３と電気的に接続されており、相関係数算出部１０３から入力された相関係数Ｃ（ｘ，ｙ）が最大となるときの（すなわち、Ｃ（ｘ，ｙ）＝Ｃｔとなるときの）座標（ｘ，ｙ）に基づいて、追跡する物体（観察物５）の位置を算出する。すなわち、位置算出部１０４は、追跡する物体（観察物５）の位置決め処理を行うようになっている。

相関係数比較部１０５は、データ記憶部１０２および相関係数算出部１０３と電気的に接続されており、相関係数算出部１０３から入力された測定相関係数Ｃｔと、データ記憶部１０２に記憶された基準相関係数Ｃｏとの差（すなわち、Ｃｏ−Ｃｔ）を算出し、この値を第１処理規制部１０８へ出力する。

相関係数更新部１０６は、データ記憶部１０２および相関係数算出部１０３と電気的に接続されており、相関係数算出部１０３から入力された測定相関係数Ｃｔを新しい基準相関係数としてデータ記憶部１０２に記憶させる相関係数更新処理を行う。

第１処理規制部１０８は、位置算出部１０４、相関係数比較部１０５、相関係数更新部１０６、およびテンプレート更新部１１０と電気的に接続されており、相関係数比較部１０５から入力された測定相関係数Ｃｔと基準相関係数Ｃｏとの差（Ｃｏ−Ｃｔ）が所定規制値Ｔｃ未満の場合に、位置算出部１０４に位置決め処理許可信号を出力するとともに、相関係数更新部１０６に相関係数更新処理許可信号を出力し、さらにテンプレート更新部１１０にテンプレート更新処理許可信号を出力する。すなわち、測定相関係数Ｃｔと基準相関係数Ｃｏとの差が所定規制値Ｔｃ未満の場合に、位置決め処理および相関係数更新処理、並びにテンプレート更新部１１０によるテンプレート更新処理が行われるようになっている。

一方、測定相関係数Ｃｔと基準相関係数Ｃｏとの差（Ｃｏ−Ｃｔ）が所定規制値Ｔｃ以上の場合に、第１処理規制部１０８は、位置算出部１０４に位置決め処理規制信号を出力するとともに、相関係数更新部１０６に相関係数更新処理規制信号を出力し、さらにテンプレート更新部１１０にテンプレート更新処理規制信号を出力する。すなわち、第１処理規制部１０８は、測定相関係数Ｃｔと基準相関係数Ｃｏとの差が所定規制値Ｔｃ以上の場合に、位置決め処理および相関係数更新処理、並びにテンプレート更新部１１０によるテンプレート更新処理を規制するようになっている。

テンプレート更新部１１０は、図３に示すように、トリミング処理部１１１と、マスク作成部１１２と、テンプレート作成部１１３と、面積算出部１１４と、面積比較部１１５と、面積データ更新部１１６と、テンプレートデータ更新部１１７と、第２処理規制部１１８とを備えて構成される。トリミング処理部１１１は、画像入力部１０１と電気的に接続されており、画像入力部１０１から入力された追跡する物体（観察物５）の画像（データ）に対しトリミング（切り取り）処理を行う。なお、トリミング処理が為される領域（以下、トリミング領域と称する）は、所定のトリミングサイズを有する矩形の領域である。また、トリミング処理が行われた物体（観察物５）の画像データは、マスク作成部１１２およびテンプレート作成部１１３へそれぞれ出力されるようになっている。

マスク作成部１１２は、トリミング処理部１１１と電気的に接続されており、トリミング処理が行われた物体（観察物５）の画像データに対し２値化処理を行い、トリミング領域において、追跡する物体の２値化処理による概形と、このトリミング領域から追跡する物体の概形領域を除いて形成されるマスクとを作成する。また、マスク作成部１１２で作成された追跡する物体の概形およびマスクの画像データは、面積算出部１１４およびテンプレート作成部１１３へそれぞれ出力されるようになっている。

テンプレート作成部１１３は、トリミング処理部１１１およびマスク作成部１１２と電気的に接続されており、トリミング処理が行われた物体（観察物５）の画像にマスク作成部１１２で作成されたマスクの画像を重ね、このマスクを施したトリミング処理による物体（観察物５）の画像を更新用テンプレートとして作成する。また、テンプレート作成部１１３で作成された更新用テンプレートのデータは、テンプレートデータ更新部１１７へ出力されるようになっている。

面積算出部１１４は、マスク作成部１１２と電気的に接続されており、マスク作成部１１２で作成された追跡する物体（観察物５）の概形の面積を測定面積Ｓｔとして算出し、この値を面積比較部１１５および面積データ更新部１１６へ出力する。面積比較部１１５は、データ記憶部１０２および面積算出部１１４と電気的に接続されており、面積算出部１１４から入力された物体の概形の測定面積Ｓｔと、データ記憶部１０２に記憶された基準面積Ｓｏとの差（すなわち、｜Ｓｏ−Ｓｔ｜）を算出し、この値を第２処理規制部１１８へ出力する。

面積データ更新部１１６は、データ記憶部１０２および面積算出部１１４と電気的に接続されており、面積算出部１１４から入力された測定面積Ｓｔを新しい基準面積としてデータ記憶部１０２に記憶させる面積データ更新処理を行う。テンプレートデータ更新部１１７は、データ記憶部１０２およびテンプレート作成部１１３と電気的に接続されており、テンプレート作成部１１３から入力された更新用テンプレートのデータを新しい基準テンプレートのデータとしてデータ記憶部１０２に記憶させるテンプレートデータ更新処理を行う。

第２処理規制部１１８は、面積比較部１１５、面積データ更新部１１６、およびテンプレートデータ更新部１１７と電気的に接続されており、面積比較部１１５から入力された測定面積Ｓｔと基準面積Ｓｏとの差（｜Ｓｏ−Ｓｔ｜）が所定面積値Ｔｓ未満の場合に、面積データ更新部１１６に面積データ更新処理許可信号を出力するとともに、テンプレートデータ更新部１１７にテンプレートデータ更新処理許可信号を出力する。すなわち、測定面積Ｓｔと基準面積Ｓｏとの差が所定面積値Ｔｓ未満の場合に、面積データ更新処理およびテンプレートデータ更新処理が行われるようになっている。

一方、測定面積Ｓｔと基準面積Ｓｏとの差（｜Ｓｏ−Ｓｔ｜）が所定面積値Ｔｓ以上の場合に、第２処理規制部１１８は、面積データ更新部１１６に面積データ更新処理規制信号を出力するとともに、テンプレートデータ更新部１１７にテンプレートデータ更新処理規制信号を出力する。すなわち、第２処理規制部１１８は、測定面積Ｓｔと基準面積Ｓｏとの差が所定面積値Ｔｓ以上の場合に、面積データ更新処理およびテンプレートデータ更新処理を規制するようになっている。

このような生物顕微鏡１に構成されるトラッキング装置１００を用いて、細胞トラッキングを行う方法（トラッキング方法）について以下に説明する。この細胞トラッキングにおいて、観察物５となる細胞（追跡する物体）が移動や変形等によって顕微鏡の視野外にでないように随時細胞の追跡（トラッキング）を行うことで、長時間の観察を可能にすることを目的とする。細胞は、顕微鏡の視野内に複数個存在し、時間の経過とともにそれぞれ移動する可能性があるものとする。また、顕微鏡の視野内には、図示しないシャーレやプレパラート上のゴミ、泡、目盛などが存在し、細胞がこれらと交差する可能性があるものとする。

本発明に係るトラッキング方法を示すフローチャートである図５に示すように、まず、細胞トラッキングの初期設定が行われる。このとき、初期設定時（ｔ＝０番目とする）のＣＣＤカメラ４７による画像において、観察者が追跡する細胞の画像領域（矩形領域）を指定する。また、ｔ＝０番目の初期設定として、基準相関係数Ｃｏ＝０とし、基準面積Ｓｏ＝０とする。さらに、追跡を行うにあたって評価の基準となる（しきい値となる）所定規制値Ｔｃおよび所定面積値Ｔｓを設定しておく。

次に、テンプレート更新部１１０によるテンプレート更新（作成）処理が行われる。テンプレート更新処理では、まず、ＣＣＤカメラ４７から画像入力部１０１に入力された直前（ｔ−１番目）もしくは初期設定（ｔ＝０番目）における細胞の画像に対し、トリミング処理部１１１がトリミング処理を行う。

トリミング処理に続いて、マスク作成部１１２によるマスク作成処理が行われる。マスク作成処理では、まず、マスク作成処理のフローチャートである図６に示すように、ステップＳ１０１において、トリミング処理部１１１でトリミング処理が行われた細胞２０５の画像（例えば、図７（ａ）を参照）のデータがマスク作成部１１２に入力される。なお、図７はマスク作成処理の流れを示す模式図である。

次に、ステップS１０２において、トリミング領域２０２（図７（ａ）を参照）より小さい窓（図示せず）を用意し、この窓を用いて輝度の分散値を算出しながらスキャン（分散値フィルタ）し、各窓の位置における分散を表す分散イメージを作成する。ここで、輝度の分散が大きい箇所は、そこに何かしらのオブジェクトが存在することに起因している。

続いて、ステップS１０３において、ステップS１０２で作成した分散イメージに対し、図７（ｂ）に示すように、所定の分散しきい値を基準にオブジェクト（細胞等）の概形２０８ａ，２０８ｂ，２０８ｃか背景２０９かを決定する。すなわち、２値化処理を行う。

次に、ステップS１０４において、２値化されたトリミング領域２０２内の全てのオブジェクト２０８ａ，２０８ｂ，２０８ｃに対しラベリング処理を行い、図７（ｃ）に示すように、トリミング領域２０２の中心（視野中心）付近に存在する追跡対象となるオブジェクト２０８ａだけを選択し、それを追跡する細胞２０５の概形２０６とする。

そして、ステップS１０５において、図７（ｄ）に示すように、トリミング領域２０２から追跡する細胞の概形領域を除いて形成されるマスク２０７を作成する。なお、マスク作成部１１２によりマスク作成処理で作成された追跡する細胞の概形２０６やマスク２０７の画像データは、面積算出部１１４およびテンプレート作成部１１３へ出力される。

以上のようなマスク作成処理に続いて、テンプレート作成部１１３によるテンプレート作成処理が行われる。このテンプレート作成処理では、テンプレート作成部１１３は、図７（ｄ）に示すように、トリミング処理が行われた細胞２０５の画像にマスク作成部１１２で作成されたマスク２０７の画像を重ね、このマスク２０７を施したトリミング処理による細胞２０５の画像を更新用テンプレート２１１として作成する。なお、テンプレート作成部１１３で作成された更新用テンプレート２１１の画像データは、テンプレートデータ更新部１１７へ出力される。

また、マスク作成処理に続いて、面積算出部１１４による面積算出処理が行われる。この面積算出処理では、面積算出部１１４がマスク作成部１１２で作成された追跡する細胞の概形２０６（図７（ｃ）を参照）の面積を測定面積Ｓｔとして算出し、この値を面積比較部１１５および面積データ更新部１１６へ出力する。

面積算出処理に続いて、面積比較部１１５による面積比較処理が行われる。この面積比較処理では、面積比較部１１５が面積算出部１１４から入力された測定面積Ｓｔと、データ記憶部１０２に記憶された基準面積Ｓｏとの差（すなわち、｜Ｓｏ−Ｓｔ｜）を算出し、この値を第２処理規制部１１８へ出力する。

そして、面積比較部１１５から入力された測定面積Ｓｔと基準面積Ｓｏとの差（｜Ｓｏ−Ｓｔ｜）が所定面積値Ｔｓ未満の場合には、第２処理規制部１１８は、面積データ更新部１１６に面積データ更新処理許可信号を出力するとともに、テンプレートデータ更新部１１７にテンプレートデータ更新処理許可信号を出力する。すなわち、測定面積Ｓｔと基準面積Ｓｏとの差（｜Ｓｏ−Ｓｔ｜）が所定面積値Ｔｓ未満の場合には、面積データ更新処理およびテンプレートデータ更新処理が行われてテンプレート更新（作成）処理が終了する。

一方、測定面積Ｓｔと基準面積Ｓｏとの差（｜Ｓｏ−Ｓｔ｜）が所定面積値Ｔｓ以上の場合には、第２処理規制部１１８は、面積データ更新部１１６に面積データ更新処理規制信号を出力するとともに、テンプレートデータ更新部１１７にテンプレートデータ更新処理規制信号を出力する。すなわち、測定面積Ｓｔと基準面積Ｓｏとの差が所定面積値Ｔｓ以上の場合には、面積データ更新処理およびテンプレートデータ更新処理が行われずに（規制されて）テンプレート更新（作成）処理が終了する。

これにより、ある時刻（すなわち、あるｔ−１番目の細胞の画像）において、障害物や他の移動物体がトリミング領域２０２に進入し追跡する細胞２０５に接近することで、測定面積Ｓｔが大きく変化した場合、テンプレートデータ更新処理等は行われない。すなわち、後述するテンプレートマッチング以降の各処理において、更新されない基準テンプレート２０１や基準面積Ｓｏ等を利用することになる。その後、十分な時間が経過して追跡する細胞２０５から障害物等が離れ、測定面積Ｓｔが元に戻った場合、再びテンプレートデータ更新処理等が可能になる。このように、障害物や他の移動物体等が細胞２０５に接近したときにテンプレートデータ更新処理等を中断し、障害物等が離れた後にテンプレートデータ更新処理等を再開することで、障害物等の外乱に影響されることなくより確実に細胞２０５を追跡することができる。

なお、面積データ更新処理では、面積データ更新部１１６が面積算出部１１４から入力された測定面積Ｓｔを新しい基準面積（すなわち、Ｓｏ＝Ｓｔ）としてデータ記憶部１０２に記憶させる。また、テンプレートデータ更新処理では、テンプレートデータ更新部１１７がテンプレート作成部１１３から入力された更新用テンプレートのデータを（新しい）基準テンプレートのデータとしてデータ記憶部１０２に記憶させる。

以上のようなテンプレート更新（作成）処理に続き、このテンプレート更新（作成）処理で更新（作成）された基準テンプレートを用いて、ＣＣＤカメラ４７から画像入力部１０１に入力されたｔ番目における細胞の画像（全体）に対しテンプレートマッチングが行われる。このとき、基準テンプレートにマスクが施されているため、基準テンプレート内のマスクが施された領域は、テンプレートマッチングにおける計算の対象外となる。これにより、テンプレートマッチングの処理速度を速めることができる。

このテンプレートマッチングでは、相関係数算出部１０３が相関係数Ｃ（ｘ，ｙ）および相関係数Ｃ（ｘ，ｙ）の最大値である測定相関係数Ｃｔを算出し、相関係数Ｃ（ｘ，ｙ）や測定相関係数Ｃｔに関するデータを位置算出部１０４および相関係数比較部１０５へそれぞれ出力する。すなわち、相関係数算出処理が主として行われる。また、このテンプレートマッチングにおいて、相関係数Ｃ（ｘ，ｙ）が最大となるときの座標（ｘ，ｙ）が細胞の仮位置とされ、さらには、細胞の移動量が算出される。

テンプレートマッチングに続き、相関係数比較部１０５による相関係数比較処理が行われる。この相関係数比較処理では、相関係数比較部１０５が、相関係数算出部１０３から入力された測定相関係数Ｃｔと、データ記憶部１０２に記憶された基準相関係数Ｃｏとの差（すなわち、Ｃｏ−Ｃｔ）を算出し、この値を第１処理規制部１０８へ出力する。

そして、相関係数比較部１０５から入力された測定相関係数Ｃｔと基準相関係数Ｃｏとの差（Ｃｏ−Ｃｔ）が所定規制値Ｔｃ未満の場合には、第１処理規制部１０８は、位置算出部１０４に位置決め許可規制信号を出力するとともに、相関係数更新部１０６に相関係数更新処理許可信号を出力し、さらにテンプレート更新部１１０にテンプレート更新処理許可信号を出力する。すなわち、測定相関係数Ｃｔと基準相関係数Ｃｏとの差が所定規制値Ｔｃ未満の場合には、位置決め処理および相関係数更新処理、並びに（ｔ番目の細胞の画像に対する）テンプレート更新処理が行われ、その後ｔ＝ｔ＋１番目の細胞の画像（全体）に対しテンプレートマッチングが行われる。

一方、測定相関係数Ｃｔと基準相関係数Ｃｏとの差（Ｃｏ−Ｃｔ）が所定規制値Ｔｃ以上の場合には、第１処理規制部１０８は、位置算出部１０４に位置決め処理規制信号を出力するとともに、相関係数更新部１０６に相関係数更新処理規制信号を出力し、さらにテンプレート更新部１１０にテンプレート更新処理規制信号を出力する。すなわち、測定相関係数Ｃｔと基準相関係数Ｃｏとの差が所定規制値Ｔｃ以上の場合には、位置決め処理および相関係数更新処理、並びに（ｔ番目の細胞の画像に対する）テンプレート更新処理が行われず、そのままｔ＝ｔ＋１番目の細胞の画像（全体）に対しテンプレートマッチングが行われる。

これにより、ある時刻（すなわち、あるｔ番目の細胞の画像）において、追跡する細胞２０５が障害物や他の移動物体と重なることで測定相関係数Ｃｔが低くなった場合、追跡する細胞２０５の位置決め処理およびテンプレート更新処理等が行われず、追跡する細胞２０５がはっきりと確認できない間は、追跡する対象として認識しないことになる。その後、十分な時間が経過して追跡する細胞２０５から障害物等が離れ、測定相関係数Ｃｔが元に戻った場合、再び位置決め処理およびテンプレート更新処理等が可能になる。このように、細胞２０５が障害物や他の移動物体等と重なったときに位置決め処理およびテンプレート更新処理等を中断（すなわち、細胞２０５の追跡を中断）し、この重なりがなくなった後に位置決め処理およびテンプレート更新処理等を再開（すなわち、細胞２０５の追跡を再開）することで、障害物等の外乱に影響されることなく細胞２０５を追跡することができる。

なお、位置決め処理では、位置算出部１０４が、相関係数算出部１０３から入力された相関係数Ｃ（ｘ，ｙ）が最大となるときの座標（ｘ，ｙ）、すなわちテンプレートマッチングで算出された細胞の仮位置に基づいて、追跡する細胞の位置を算出する。また、相関係数更新処理では、相関係数更新部１０６が相関係数比較部１０５から入力された測定相関係数Ｃｔを新しい基準相関係数（すなわち、Ｃｏ＝Ｃｔ）としてデータ記憶部１０２に記憶させる。また、本実施形態では、第１処理規制部１０８が本発明に係る重なり状態判断手段として機能している。

そして、全ての（ｔ＝０〜Ｎ番目の）細胞の画像に対し上述の各処理が行われると、細胞トラッキングが終了する。

なお、本実施形態において、測定相関係数Ｃｔと基準相関係数Ｃｏとの差（Ｃｏ−Ｃｔ）が所定規制値Ｔｃ未満で、且つ、測定面積Ｓｔと基準面積Ｓｏとの差（｜Ｓｏ−Ｓｔ｜）が所定面積値Ｔｓ未満の場合にのみ、第１処理規制部１０８が位置算出部１０４に位置決め許可規制信号を出力するとともに、相関係数更新部１０６に相関係数更新処理許可信号を出力し、さらにテンプレート更新部１１０にテンプレート更新処理許可信号を出力するようにしてもよい。

ここで、細胞トラッキングの具体的な流れについて図８（細胞トラッキングの流れを示す模式図）を参照しながら概略説明する。まず、ｔ＝０番目における細胞２０５の画像２００において、所定のトリミング領域２０２でトリミング処理が行われ、基準面積Ｓｏを有する細胞２０５の概形２０６、マスク２０７、および基準テンプレート２０１が作成される。また、基準相関係数Ｃｏ＝０に設定される。

次に、ｔ＝１番目における細胞２０５の画像２００において、ｔ＝０番目で作成された基準テンプレート２０１を用いてテンプレートマッチングが行われ、測定相関係数Ｃ_１が算出される。このとき、他の細胞２１５は追跡する細胞２０５から十分に離れており、Ｃ_１−Ｃｏ＜Ｔｃであるので、追跡する細胞２０５の位置決め処理およびテンプレート更新処理等が行われる。

このテンプレート更新処理では、ｔ＝１番目における細胞２０５の画像２００において、所定のトリミング領域２０２でトリミング処理が行われ、基準面積Ｓ_１を有する細胞２０５の概形２０６およびマスク２０７が作成される。このとき、他の細胞２１５はトリミング領域２０２外に位置しており、｜Ｓ_１−Ｓｏ｜＜Ｔｓであるので、マスク２０７や基準テンプレート２０１等が更新される。

続いて、ｔ＝２番目における細胞２０５の画像２００において、ｔ＝１番目で更新された基準テンプレート２０１を用いてテンプレートマッチングが行われ、測定相関係数Ｃ_２が算出される。このとき、他の細胞２１５は追跡する細胞２０５から離れており、Ｃ_２−Ｃ_１＜Ｔｃ（Ｃ_１はＣｏとして更新）であるので、追跡する細胞２０５の位置決め処理およびテンプレート更新処理等が行われる。

このテンプレート更新処理では、ｔ＝２番目における細胞２０５の画像２００において、所定のトリミング領域２０２でトリミング処理が行われ、基準面積Ｓ_２を有する細胞２０５の概形２０６およびマスク２０７が作成される。このとき、他の細胞２１５がトリミング領域２０２内に進入して追跡する細胞２０５に接近しており、｜Ｓ_２−Ｓ_１｜≧Ｔｓ（Ｓ_１はＳｏとして更新）であるので、マスク２０７や基準テンプレート２０１等が更新されない。

次に、ｔ＝３番目における細胞２０５の画像２００において、ｔ＝２番目ではなく、ｔ＝１番目で更新された基準テンプレート２０１を用いてテンプレートマッチングが行われ、測定相関係数Ｃ_３が算出される。このとき、追跡する細胞２０５が他の細胞２１５と重なっており、Ｃ_３−Ｃ_２≧Ｔｃ（Ｃ_２はＣｏとして更新）であるので、追跡する細胞２０５の位置決め処理およびテンプレート更新処理等が行われない。

続いて、ｔ＝４番目における細胞２０５の画像２００において、ｔ＝３番目ではなく、ｔ＝１番目で更新された基準テンプレート２０１を用いてテンプレートマッチングが行われ、測定相関係数Ｃ_４が算出される。このとき、他の細胞２１５は追跡する細胞２０５から離れており、Ｃ_４−Ｃ_２＜Ｔｃ（Ｃ_３はＣｏとして更新されず）であるので、追跡する細胞２０５の位置決め処理およびテンプレート更新処理等が行われる。

このようにして、ｔ＝Ｎ番目の画像になるまで各処理が行われる。

以上のような構成のトラッキング装置１００およびトラッキング方法によれば、細胞２０５が障害物や他の移動物体等と重なったときに位置決め処理およびテンプレート更新処理等を中断（すなわち、細胞２０５の追跡を中断）し、この重なりがなくなった後に位置決め処理およびテンプレート更新処理等を再開（すなわち、細胞２０５の追跡を再開）することで、障害物等の外乱に影響されることなく細胞２０５（物体）を追跡することができる。

また、障害物や他の移動物体等が細胞２０５に接近したときにテンプレートデータ更新処理等を中断し、障害物等が離れた後にテンプレートデータ更新処理等を再開することで、障害物等の外乱に影響されることなくより確実に細胞２０５（物体）を追跡することができる。

さらに、このようなトラッキング装置１００を生物顕微鏡１に搭載することで、生物顕微鏡１で観察する観察物５（細胞２０５）を障害物等の外乱に影響されることなく追跡することができる。

なお、上述の実施形態において、本発明に係るトラッキング装置１００が細胞２０５等を観察する生物顕微鏡１に搭載された例について説明したが、これに限られるものではなく、道路監視装置を備えた自動車や監視カメラを備えたロボット等にも本発明を適用することができる。

また、上述の実施形態において、ＣＣＤカメラ４７で撮像された物体の画像に対し、直ちにテンプレートマッチングを行うように構成されているが、これに限られるものではなく、磁気ディスク等の画像記憶手段から読み出した画像に対してテンプレートマッチングを行うようにしてもよい。

さらに、上述の実施形態において、テンプレート更新部１１０に第２処理規制部１１８が設けられているが、これに限られるものではなく、この第２処理規制部１１８を設けなくてもよい。

本発明に係るトラッキング装置を備えた生物顕微鏡の正面図である。 上記トラッキング装置のブロック図である。 上記トラッキング装置を構成するテンプレート更新部のブロック図である。 画像および基準テンプレートにおける座標の位置関係を示す説明図である。 本発明に係るトラッキング方法を示すフローチャートである。 マスク作成処理のフローチャートである。 マスク作成処理の流れを示す模式図である。 細胞トラッキングの流れを示す模式図である。

符号の説明

１ 生物顕微鏡
５ 観察物（物体）
３６ 対物レンズ
４６ 結像レンズ（第２対物レンズ）
４７ ＣＣＤカメラ（撮像装置）
１００ トラッキング装置
１０１ 画像入力部
１０２ データ記憶部
１０３ 相関係数算出部
１０４ 位置算出部
１０５ 相関係数比較部
１０６ 相関係数更新部
１０８ 第１処理規制部（処理規制部）
１１０ テンプレート更新部
１１１ トリミング処理部
１１２ マスク作成部
１１３ テンプレート作成部
１１４ 面積算出部
１１５ 面積比較部
１１６ 面積データ更新部
１１７ テンプレートデータ更新部
１１８ 第２処理規制部（第２の処理規制部）
２００ 画像
２０１ 基準テンプレート
２０２ トリミング領域
２０５ 細胞（物体）
２０６ 概形
２０７ マスク
２１１ 更新用テンプレート

Claims (3)

1. 撮像された物体の画像に対しテンプレートマッチングを行うことで前記撮像された物体を追跡するトラッキング装置であって、
   所定の基準相関係数および基準テンプレートのデータが記憶されたデータ記憶部と、
   前記撮像された物体の画像データと前記基準テンプレートのデータとの相関係数を測定相関係数として算出する相関係数算出部と、
   前記相関係数算出部が算出した前記測定相関係数に基づいて前記物体の位置を算出する位置決め処理を行う位置算出部と、
   前記測定相関係数と前記基準相関係数との差を算出する相関係数比較部と、
   前記測定相関係数を新しい基準相関係数として前記データ記憶部に記憶させる相関係数更新処理を行う相関係数更新部と、
   前記撮像された物体の画像データを基に更新用テンプレートを作成し、前記更新用テンプレートのデータを新しい基準テンプレートのデータとして前記データ記憶部に記憶させるテンプレート更新処理を行うテンプレート更新部と、
   前記相関係数比較部が算出した前記測定相関係数と前記基準相関係数との差が所定規制値以上の場合に、前記相関係数更新処理および前記テンプレート更新処理、並びに前記位置決め処理を規制する処理規制部とを備えて構成され、
   前記テンプレート更新部が、前記撮像された物体の画像に対しトリミング処理を行うトリミング処理部と、
   前記トリミング処理による所定トリミング領域内での前記物体の画像データを基に前記更新用テンプレートを作成するテンプレート作成部と、
   ２値化処理を用いて前記所定トリミング領域における前記物体の概形を作成するマスク作成部と、
   前記マスク作成部が作成した前記物体の概形の面積を測定面積として算出する面積算出部と、
   前記面積算出部が算出した前記測定面積と前記データ記憶部に記憶された所定の基準面積との差を算出する面積比較部と、
   前記測定面積を新しい基準面積として前記データ記憶部に記憶させる面積データ更新処理を行う面積データ更新部と、
   前記更新用テンプレートのデータを新しい基準テンプレートのデータとして前記データ記憶部に記憶させるテンプレートデータ更新処理を行うテンプレートデータ更新部と、
   前記面積比較部が算出した前記測定面積と前記基準面積との差が所定面積値以上の場合に、前記面積データ更新処理および前記テンプレートデータ更新処理を規制する第２の処理規制部とを備えて構成されることを特徴とするトラッキング装置。
2. 撮像された物体の画像に対しテンプレートマッチングを行うことで前記撮像された物体を追跡するトラッキング装置が行う物体追跡トラッキング方法であって、
   前記撮像された物体の画像データとデータ記憶部に記憶された所定の基準テンプレートのデータとの相関係数を測定相関係数として算出する相関係数算出処理と、
   前記相関係数算出処理で算出した前記測定相関係数に基づいて前記物体の位置を算出する位置決め処理と、
   前記測定相関係数と前記データ記憶部に記憶された所定の基準相関係数との差を算出する相関係数比較処理と、
   前記測定相関係数を新しい基準相関係数として前記データ記憶部に記憶させる相関係数更新処理と、
   前記撮像された物体の画像データを基に更新用テンプレートを作成し、前記更新用テンプレートのデータを新しい基準テンプレートのデータとして前記データ記憶部に記憶させるテンプレート更新処理とを有し、
   前記相関係数比較処理で算出した前記測定相関係数と前記基準相関係数との差が所定規制値以上の場合に、前記相関係数更新処理および前記テンプレート更新処理、並びに前記位置決め処理が規制され、
   前記テンプレート更新処理が、
   前記撮像された物体の画像に対しトリミングを行うトリミング処理と、
   前記トリミング処理による所定トリミング領域内での前記物体の画像データを基に前記更新用テンプレートを作成するテンプレート作成処理と、
   ２値化処理を用いて前記所定トリミング領域における前記物体の概形を作成するマスク作成処理と、
   前記マスク作成処理で作成した前記物体の概形の面積を測定面積として算出する面積算出処理と、
   前記面積算出処理で算出した前記測定面積と前記データ記憶部に記憶された所定の基準面積との差を算出する面積比較処理と、
   前記測定面積を新しい基準面積として前記データ記憶部に記憶させる面積データ更新処理と、
   前記更新用テンプレートのデータを新しい基準テンプレートのデータとして前記データ記憶部に記憶させるテンプレートデータ更新処理とを有し、
   前記面積比較処理で算出した前記測定面積と前記基準面積との差が所定面積値以上の場合に、前記面積データ更新処理および前記テンプレートデータ更新処理が規制されることを特徴とするトラッキング方法。
3. 対物レンズと、前記対物レンズにより結像された物体の像を撮像可能な撮像装置と、前記撮像装置に撮像された物体の画像に対しテンプレートマッチングを行うことで前記撮像装置に撮像された物体を追跡するトラッキング装置とを備えて構成された生物顕微鏡において、前記トラッキング装置が請求項１に記載のトラッキング装置であることを特徴とする生物顕微鏡。

Images