JP4477863B2 - 細胞計測支援システムおよび細胞観察装置 - Google Patents

Description

本発明は、細胞の観察画像に基づいて細胞に関する種々の情報を収集するための計測を支援する技術に関するものである。

医薬の開発、検査技術の開発等のために、細胞について顕微鏡等を用いて観察し、種々の計測を行って、例えば、医薬の細胞への影響に関する情報等の各種情報を収集することが行われている。この種の観察、測定等を行う場合、効率を上げるため、細胞を収容して観察等を行うための微小区画である観察サイト（以下単にサイトという）が、複数、二次元的に配置された観察支援機器が用いられる。

この種の観察支援機器を用いて細胞の観察、測定等を行う場合には、観察支援機器を顕微鏡のＸＹＺステージ上に載せ、ステージを対物レンズ系に対して二次元（ＸＹ）方向に相対移動させて、複数のサイトを、順次、顕微鏡の視野内に位置させ、一定時間間隔で同じ対象を撮影する経時的撮影（タイムラプス撮影）が行われる。このため、この種の顕微鏡を用いた光学測定器では、各サイトを顕微鏡の視野内に正確に位置させるように、ステージの相対移動を精密に制御している。このようなタイムラプス観察については、例えば、非特許文献１、特許文献１に記載されている。

Shiro Kanegasaki et al., A novel optical assay system for the quantitative measurement of chemotaxis. Journal of Immunological Methods 282 (2003) 1 11

特開２００２−２７７７５４号公報

ところで、複数サイトのそれぞれについてタイムラプス撮影を行う場合、重要な点は、各サイトの対物レンズの光軸に対する二次元位置を正確に一致させることである。しかし、ステージにはある程度の遊びがあり、また、制御に際しても位置決めに誤差が存在する。そのため、各撮影時にサイト内の位置が一致しないことが起こる。その結果、撮影された各映像（コマ）の対象物の位置にずれが生じ、映像にぶれが生じることとなる。

これに対して、ＸＹステージをできる限り精密な仕上げとし、かつ、制御の位置決めも正確に行うことが考えられる。しかし、ステージを精密にすればするほど、高価なものとなること、また、制御を正確に行うためには制御系も同様に高価なものとなる。また、外来的に加わる振動、衝撃に起因する対象物のずれに対しては、ステージ、制御の精度を上げても対処できない。

本発明は、タイムラプス撮影時に生じるずれを画像処理により対処するための技術を提供する。

本願の第１の発明は、顕微鏡と、撮像装置と、撮像の制御および撮像された画像の処理を行うコンピュータと、入力装置と、表示装置とを含む細胞計測装置において、
前記コンピュータは、
前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
前記取得した画像を保存する手段と、
保存されている複数の画像のいずれかの中からぶれ量の補正を行うための任意の基準となる画像、及び、当該画像中から任意の基準となる領域の指定を、当該指定のための画像を前記表示装置に表示して、前記入力装置を介して受け付ける手段と、
前記基準となる領域に対応する領域を他の各画像中から検出して、前記基準となる画像に対する前記各画像のｘｙ方向でのぶれの大きさを示すぶれ量を求める手段と、
前記各画像について得られた前記ぶれ量に基づいて、位置を補正した補正画像をそれぞれ生成し、前記表示装置に表示させる手段と、を有すること
を特徴とする。

本願の第２の発明は、顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータにより実現され、撮像の制御および撮像された画像の処理を行う細胞計測システムにおいて、
前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
前記取得した画像を保存する手段と、
保存されている複数の画像のいずれかの中からぶれ量の補正を行うための任意の基準となる画像、及び、当該画像中から任意の基準となる領域の指定を、当該指定のための画像を前記表示装置に表示して、前記入力装置を介して受け付ける手段と、
前記基準となる領域に対応する領域を他の各画像中から検出して、前記基準となる画像に対する前記各画像のｘｙ方向でのぶれの大きさを示すぶれ量を求める手段と、
前記各画像について得られた前記ぶれ量に基づいて、位置を補正した補正画像をそれぞれ生成し、前記表示装置に表示させる手段と、を有すること
を特徴とする。

本願の第３の発明は、顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータに、撮像の制御および撮像された画像の処理を行う細胞計測システムを実現させるプログラムであって、
前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
前記取得した画像を保存する手段と、
保存されている複数の画像のいずれかの中からぶれ量の補正を行うための任意の基準となる画像、及び、当該画像中から任意の基準となる領域の指定を、当該指定のための画像を前記表示装置に表示して、前記入力装置を介して受け付ける手段と、
前記基準となる領域に対応する領域を他の各画像中から検出して、前記基準となる画像に対する前記各画像のｘｙ方向でのぶれの大きさを示すぶれ量を求める手段と、
前記各画像について得られた前記ぶれ量に基づいて、位置を補正した補正画像をそれぞれ生成し、前記表示装置に表示させる手段と、を前記コンピュータに実現させること
を特徴とする。

本発明によれば、タイムラプス撮影時に生じるずれを画像処理により対処することができる。

図１は、本発明の一実施形態に係る細胞観察装置の構成の概要を示すブロック図である。図に示す細胞観察装置は、顕微鏡１０、撮像装置２０、入力装置３０、表示装置４０およびコンピュータ５０を有する。撮像装置２０は、顕微鏡１０に装着され、顕微鏡により拡大された像を画像として取り込む。撮像装置２０、入力装置３０および表示装置４０は、コンピュータ５０に接続される。すなわち、撮像装置２０において取り込まれた画像がコンピュータ５０に送られて、サイトごとに時系列に整理されて観察画像として蓄積される。画像の取込、ぶれ補正、動画再生等の各種指示は入力装置３０を介して行うことができる。画像、動画の表示は表示装置４０により行われる。コンピュータ５０は、後述するように、細胞計測のための支援を行うシステムを構成する。

顕微鏡１０は、ステージ１１と、ステージをＸＹＺの各方向に変位させるステージ駆動装置１２と、対象物の拡大像を形成する光学系１３とを有する。本実施形態では、ステージ１１を変位させる構成となっているが、これに限られない。光学系を変位させる構成としてもよい。ステージ１１には、観察対象となる細胞を収容する観察支援機器Ｍが置かれる。本実施形態では、ステージ１１に貫通孔１１ａが設けられている。そのため、観察支援機器Ｍの底面側から観察することができる。ステージ駆動装置１２は、コンピュータ５０からの制御指令に従って、ステージ１１をＸＹＺの各方向に変位させる。扁平な細胞の観察時など、焦点深度を特に問題としない場合については、Ｚ軸は固定されて、主として、ＸＹ平面での変位となる。光学系１３は、対物レンズ系、結像レンズ系等のレンズ系と、これらを収容する鏡筒とを有する。

観察支援機器Ｍは、例えば、シリコン基板、ガラス等により形成される。基板には、区画され、それぞれについて細胞を溶媒と共に収容する複数のサイトが配置されている。これらのサイトは、例えば、シリコンウェハを、フォトリソグラフィ技術を用いて加工することにより形成することができる。そして、表面側には、カバーグラスが配置される。観察時には、このカバーグラスを底面側に位置させて、ステージ１１の下方から顕微鏡の光学系１３の対物レンズ系と対向することとなる。

撮像装置２０は、例えば、顕微鏡の光学系１３により結像された像を画素ごとの電気信号に変換して画像を電気的に取り込むための装置である。具体的には、例えば、カラーＣＣＤカメラ等のディジタル画像撮影が行えるカメラにより構成される。この撮像装置２０において得られた画像は、ディジタル信号の画像データに変換されて、コンピュータに送られる。

入力装置３０は、本実施形態に係る装置の操作に関する指示入力の受付、各種文字および記号を含むデータの入力等を行うための装置である。具体的には、前述した指示、データ等の入力に用いることができる、キーボード、マウス、タッチパネル、音声入力機器等の機器の組合せにより構成される。

表示装置４０は、メニュー画面、操作画面、指示画面等の他、取得した画像、計測結果、計測結果を加工したグラフ等の表示を行うためのものである。具体的には、液晶、プラズマ等のフラットパネルディスプレイ、ＣＲＴ等の表示管により画像の表示が行える装置が用いられる。この他に、拡大投影表示するための、スライドプロジェクタ等を接続することもできる。

コンピュータ５０は、中央処理ユニット（ＣＰＵ）５１と、メモリ５２と、補助記憶装置５３とを有する。補助記憶装置５３には、ＣＰＵ５１が実行するプログラム群６０、各種データ７０等が格納される。

プログラム群６０には、図示していないが、コンピュータを動作させるオペレーティングシステム等の各種プログラムが含まれる。また、本実施形態において用いられるプログラムとして、撮像手順を制御する撮像シーケンスプログラム６１と、撮像シーケンスに従ってステージ駆動装置１２の動作を制御するステージ制御プログラム６２と、撮像シーケンスに従って撮像装置１３の動作を制御する撮像制御プログラム６３と、得られた画像について“ぶれ補正”を行うための処理を実現するためのぶれ補正プログラム６４と、得られた画像について動画再生を行う際の制御を行う動画再生プログラム６５、取得した画像データについて、細胞数の計数、細胞の運動軌跡の補足、細胞の変形確認などの各種データ加工の処理を行うデータ加工プログラム６６等が格納されている。これらのプログラムがメモリ５２にロードされ、ＣＰＵ５１により実行されることによって、本実施形態における計測支援の各種機能が実現される。

例えば、コンピュータ５０は、撮像シーケンスプログラム６１、ステージ制御プログラム６２、撮像制御プログラム６３等により実現される、撮像装置２０により対象物の画像を時系列に取得させる制御を行う手段と、メモリ５２、補助記憶装置５３等により実現される取得した画像を保存する手段と、ぶれ補正プログラム６４により実現される、保存されている複数の画像について生じるぶれを補正するためのぶれ量データを生成する手段と、動画再生プログラム６５により実現される、生成されたぶれ量補正データを用いて、保存されている各画像におけるぶれを補正して表示させる手段と、を有することとなる。

また、ぶれ量データを生成する手段は、保存されている複数の画像のいずれかにおいて、基準となる形態を特定し、他の画像に含まれる、特定された基準となる形態と同じ形態と、前記基準となる形態とを比較して、基準図形に対する当該図形の画面上でのｘｙ方向でのぶれの大きさを示すぶれ量を求めて、得られたぶれ量を保存する機能を有する。

さらに、ぶれ量を補正して表示させる手段は、画像の表示に際し、それぞれの画像について前記得られたぶれ量に基づいて当該画像の位置を補正した画像を生成して、表示装置４０に表示させる機能を有する。

各プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体に記録されたものを記録媒体読み取り装置を介して読み出して、補助記憶装置５３にインストールすることにより実行可能に用意される。また、プログラムは、図示していない、通信機器およびネットワークを介して、特定のサーバからダウンロードすることにより、補助記憶装置５３にインストールすることができる。

データ７０は、撮像装置２０により撮像された画像データ７１と、ぶれ補正データ７２と、計測加工を行った結果である計測加工データ７３と、ＣＰＵ５１が行う処理において用いられる各種データ等が格納される。

画像データ７１は、サイトごとに、画像データファイル７１−ｉが設けられる。ここで、ｉはサイトの識別子、例えば、サイト番号である。各画像データファイル７１−ｉには、撮像装置２０において撮像された画像が時系列的に保存される。図１では、図示の都合上、一つの画像データファイル７１−ｉに格納される画像を模式的に示している。実用的には、サイト数分画像データファイル７１−１から７１−ｎが用意される。画像データファイルの数は、前述した観察支援機器に設けられるサイト数に対応して、適宜、増減することができる。本実施形態の場合、２０サイト分の画像データファイルが設けられる。また、各画像データファイル７１−ｉに格納される画像データの数、すなわち、１画面に表示される静止画（フレーム）の枚数は、観察の精度、時間等によって、適宜設定される。例えば、１０フレーム程度である。

ぶれ補正データ７２は各画像ファイルにおいていずれかのフレームにおける基準となる図形を定め、その基準図形（ＯｂｊＳ）に対して、当該画像ファイルに格納されている他のフレーム中に表示されている、その基準図形に相当する図形を見つけ、基準図形の等がフレーム内でのアドレスと、その図形のフレーム内でのアドレスとの差異を求め、それを（ｘ、ｙ）のぶれ量として登録する。それが、例えば、図２に示すように、ぶれ量のデータ７２１である。本実施形態では、さらに、上で得られた各フレームのＸ，Ｙ方向のぶれ量の最小値を各々ｘminとｙminとしたときに、各フレームのぶれ量（ｘ、ｙ）を（ｘmin，ｙmin）との相対値に変換する規格化を行う。これにより、各フレームのＸ，Ｙ方向のぶれ量の最小値は共に０となる。その結果得られた（ｘ、ｙ）の値を格納する規格化ぶれ量データ７２２が登録される。また、規格化ぶれ量データ７２２においては、規格化ぶれ量の最大値（ｘmax、ｙmax）７２３が求められる。

計測加工データ７３は、例えば、細胞数の時間変化、移動細胞の軌跡、細胞の分布、その他計測値、計測についての統計処理結果等のデータが含まれる。また、これらを、図化するためのデータも含まれる。例えば、グラフ、表等のデータが含まれる。

また、本実施形態では、各サイトの画像データのフレームについて、ぶれ補正データを保存し、動画再生等を行う場合に、保存されている画像データをぶれ量補正データを用いて補正しつつ、動画像を生成する。しかし、本発明はこれに限られない。ぶれ量を用いて補正した画像データを保存するようにしてもよい。

本実施形態の細胞測定装置の動作について説明する。細胞測定装置では、図示していないが、装置を起動すると、コンピュータ５０のＣＰＵ５１は、まず、メニュー画面を表示装置４０に表示する。このメニューには、例えば、撮像開始、撮像中の画像表示、取込後の画像表示、ぶれ補正指示、蓄積後されている画像の動画表示、その他の観察、計測等に関する各種表示などの選択肢が表示される。以下では、撮像手順、ぶれ補正、動画再生、その他の処理について順次説明する。
＜処理概要＞
撮像に先立って、観察支援機器Ｍの各サイトには、観察の目的となる細胞群が供給されているものとする。また、細胞測定装置が起動され、前述した撮像開始が先ず選択され、その後、ぶれ補正、動画再生が順次選択されるものとして説明する。

コンピュータ５０のＣＰＵ５１は、補助記憶装置５３から必要なプログラム６１から６６をメモリ５２にロードする。なお、この他に、メニューでの選択肢の選択に応じて、ぶれ補正プログラム６４、動画再生プログラム６５等を併せてロードしてもよい。さらに、メニューでの選択肢の選択に応じて、データ加工のためのプログラム６６をロードすることもできる。

この種の装置では、顕微鏡１０と撮像装置２０とを用いて、観察支援機器Ｍの各サイトに収容されている細胞群について順次撮影を行う。次に、得られた画像について、ぶれ補正の要否をユーザに問い、ユーザがぶれ補正が必要と判断して、コンピュータ５０に指示を与えた場合に、コンピュータ５０は、ぶれ補正プログラム６４をメモリ５２にロードして、ぶれ補正のための処理を実行して、得られた画像データについてのぶれ補正のためのデータを取得する。さらに、動画再生の指示を受けると、コンピュータ５０は、補助記憶装置５３にデータ７０に記憶されている画像データファイル７１−ｉから、一定時間ごとに１フレームずつ画像データを読み出して、あたかも動画のように順次表示する。この際、ぶれ補正を行うべきことが要求されている場合には、画像を読み出してぶれ補正データを用いてぶれ補正を行って、表示する。
＜撮像処理手順＞
まず、撮像処理について説明する。コンピュータ５０は、顕微鏡１０と撮像装置２０とを用いて、観察支援機器Ｍの各サイトに収容されている細胞群について順次撮影を行うよう指示する。この撮影では、一定の時間スケジュールに従って、繰り返し行う。すなわち、タイムラプス撮像を行うよう制御される。その撮像スケジュールは、撮像シーケンスプログラム６１により管理される。すなわち、撮像シーケンスプログラム６１は、ステージ制御プログラム６２に対して、ステージの変位タイミング（次のサイトへの送りタイミング）を指示する。なお、ここで、使用していないサイトがある場合には、予めユーザが設定しておくことにより、撮像シーケンスプログラム６１は、ステージ制御プログラムに対して、不使用サイトをとばすように指示することができるこれにより、無駄な撮像を行わずにすむ。ステージ制御プログラム６２は、変位タイミング指示を受けて、ステージ駆動装置１２に対して、ステージを次のサイトの位置に対応する所定アドレスに変位するよう指示する。

シーケンス制御プログラム６１は、撮像制御プログラム６３に対して、撮像タイミングを指示する。これを受けて撮像制御プログラム６３は、撮像装置２０に対して撮像を指示する。

撮像装置２０は、撮像指示を受けて、観察支援機器Ｍの目的のサイトについて顕微鏡１０により結像される像を取り込む。取り込んだ像について、Ａ／Ｄ変化して、１フレームのディジタル画像データとしてコンピュータ５０に送る。コンピュータ５０は、当該撮像の対象となっているサイトに対応する画像データファイルに、何コマ目の画像であるかの識別子と共に、撮像装置２０から受け取った画像データを格納する。この際、圧縮処理してもよい。この手順を、各サイトについて順次行う。そして、再び、最初のサイトに戻り、次のコマの撮像を行って、この画像データを、該当する画像データファイル７１−１に格納する。以下、すべてのサイトについて、それぞれ必要なコマ数分の撮像を繰り返して、画像データを対応する画像データファイル７１−１から７１−ｎに画像データを蓄積する。
＜ぶれ補正手順＞
次に、表示装置画面に、メニューを表示する。ここで、撮像の終了した画像データについて、ぶれ補正を行うかをユーザに問うと共に、指示を受け付ける画面を表示することができる。ここで、不要とされれば、処理は終了する。一方、必要とされた場合には、ぶれ補正の処理に移行する。すなわち、ＣＰＵ５１は、メモリ５２にぶれ補正プログラム６４をロードして実行する。

ぶれ補正は、コンピュータ５０が細胞計測支援システムとして機能することにより実現される。このシステムによるぶれ補正の考え方は次の通りである。

二次元的対象物を連続して観察する場合において、フレーム間における視点の角度や対象物との距離などの変化が観察像の特徴に大きく影響しない場合、補正すべきぶれの方向は二次元平面上に限定され、各フレームのぶれ情報は平面上における画像位置の変化量によって表すことができる。このぶれは平面上の単純な平行移動であり、高速に計算することができる。さらに、例えばカメラあるいは観察対象物をロボットなどでＸＹ方向に移動させて複数の視点を巡回させ、その各々の視点について連続写真を得る場合などには、特にモータのＸＹ方向の位置決め精度の誤差によるぶれが問題となる。その場合には平面の回転方向のぶれは特に問題とならないため、ぶれ方向はＸＹ方向のみに限定されることから、計算はさらに高速に行うことができる。

このぶれ情報を、一連の画像データと共にコンピュータ上に記録しておき、例えば一連の画像を連続写真として画面上に表示する場合や各時間での細胞の位置座標を相対的に比較したい場合などに、そのぶれ情報データを読み込むことによって、ぶれ補正を高速に行うことができる。この方法によると、あらかじめぶれ情報データを計算しておくことにより、後の様々な処理や解析などを行う際にはユーザの指令に合わせて速やかにぶれ補正の反映された結果を得ることができる。また元の写真には何ら加工を施すことがないため、例えば科学的研究過程など未加工の元データを保存しつつ様々な処理や解析を実行したい場合にも有用である。

平面方向におけるぶれ幅を計算する具体的な実施方法は、不動であることがあらかじめ分かっている平面状の固定点を基準として指定し、その基準のフレーム間での位置変化の情報をぶれ幅としてコンピュータ中に保持する。これにより画面中を多数の点が移動する場合（例えば画面中に多数存在する細胞が様々に運動する場合）などについても、その移動点の動きによる影響を低減し、各フレームのぶれを補正して位置を合わせることができる。さらに画像中の一部の基準点のみに注目してその位置の変化を追うため、計算対象がその基準点のみに限定され、計算処理時間を短縮することができる。

次に、コンピュータ５０によるぶれ補正の具体的手順について図面を参照して説明する。

コンピュータ５０は、画像データファイルごとに、表示装置にいずれかのフレームを選択すべきことを表示して、指示を待つ（図２ステップ１１）。ここでは、サイト１に対応する画像データファイル７１−１について説明する。ただし、後のファイルについても同様の処理を行うが、同じ手順の繰り返しであるので説明を省略する。

選ばれたフレーム（ユーザ指定フレーム）の画像を表示装置４０に表示する。その上で、基準図形とすべき図形の選択をユーザに促す。その際、画面上に、必要な処理をどのように行うかのガイドメッセージを表示する。図１３にその一例を示す。図１３では、画面に、細胞の静止画が表示されている。これは、例えば、ユーザが選択したフレーム７１２の写真表示部７０１に、細胞７０２が表示され、また、基準図形となりうる不動体図形Ｏｂｊ１が表れている。また、画面の右隅に、ガイドメッセージを含むガイドウインドウ７０３が表示されている。従って、ユーザは、このガイドメッセージに従って、必要な操作を行うことができる。

これに従って、ユーザが特定の図形（Ｏｂｊ１）を囲む領域を基準領域Ｓとして指示すると（図２ステップ１２）。図１４に領域Ｓを指定した枠の例が示されている。

ＣＰＵ５１は、これを受けて、基準領域に関するデータを取得して、ユーザ指定フレーム７１２を基準として他の対象フレーム７１１，７１３，７１４等との比較を行う。この比較は、例えば、基準図形ＯｂｊＳに対応する図形Ｏｂｊ１を各写真よりパターンマッチングなどで見つける（図２ステップ１３）。この後、ＣＰＵ５１は、各写真（フレーム）の（ｘ、ｙ）のぶれ幅を示す数値列を、ぶれ量のデータ７２１としてメモリ５２に一時的に保持する（図２ステップ１４）。さらに、ＣＰＵ５１は、ぶれ量データ７２１の各数値について、最小値がゼロとなるように全値を規格化する（図２ステップ１５）。ここで、ぶれ量は相対的位置関係のみが問題であるから、最小値でそろえて規格化する。最大値は別途最大値データ７２３としてメモリ５２において保持する。このようにして求めた規格化されたぶれ量データ７２２およびぶれ量の最大値７２３は、補助記憶装置５３に、対応するサイトの画像ファイルとの対応関係を保って保存される。

例えば、ユーザにより予め指定されたフォルダに、当該写真のファイル名を付すると共に、フォルダ内に、サイトを識別するための識別子（サイトＩＤ）とフレーム番号とを含めて関係付けを行って、各写真を保存することができる。また、ぶれ量データについては、例えば、ユーザが指定したフォルダに、サイトＩＤを含むファイル名で、ぶれ補正データ７２として保存することができる。

次に、ぶれ幅計算の処理手順の詳細についてさらに説明する。

まず、基準点指定による方法について説明する。この方法では、ユーザが一連の連続写真（各サイトにおける連続するフレームであって、各フレームはあたかも写真のように見えるので以下の説明ではフレームに表される画像を写真と表現することもある）より、特定写真の特定部位をぶれ補正計算の基準領域として指定する指示を、入力装置３０を介して受け付ける（図３ステップ１２１）。以下、この領域を領域Ｓと呼び、また、特定部位の位置座標を（ｓｘ、ｓｙ）とする。具体的には、画像中に常に表れる長方形を選び、その左上の頂点の位置座標を基準とすることができる。

また、ユーザがぶれ補正の計算範囲を指定する指示を、入力装置３０を介して受け付ける。この値をScanLengthとおく（図３ステップ１２２）。これらのユーザによる指示の入力は、いずれについても、画面上に操作ガイドを表示して、正しく入力できるようにすることが好ましい。

ＣＰＵ５１は、連続写真の各フレームのぶれ幅（ぶれ量）を計算する（図３ステップ１２３）。具体的には、領域Ｓをテンプレートとして、(sx±ScanLength, sy±ScanLength)の範囲でテンプレートマッチングを行い、最も一致する（ｂｘ，ｂｙ）を決定する（図３ステップ１２４）。すなわち、領域Ｓを（ｂｘ，ｂｙ）だけ平行移動した領域を領域Ｓ’とする。対象フレームの領域Ｓ’の画像を、ユーザ指定フレームの領域Ｓ’の画像と比較し、その一致度を数値化する。その一つの方法として、例えば、図４に示すように、ＳとＳ’の領域内について、各々の領域におけるピクセルの濃淡値を取得して、その差をとる（図４ステップ１２３１）。この差の全ピクセルでの合計値を得る（図ステップ１２３２）。得られた合計値を、一致度を示す指標として採用する場合、数値が小さいほど一致度が高くなる。このように、数値化として、例えば差分画像における各ピクセルの濃度の和を取るとすると、一致度が低いほどその数値は高くなる。実際に計算する場合は、領域ＳおよびＳ’上のピクセルについて、順次差分値の和を取っていけば、平均画像を生成することなく一回のスキャンで計算できる。

この一致度が最高となる（ｂｘ，ｂｙ）を各フレームについて計算し、さらに、それらの最小値がＸ，Ｙの各々について０となるように規格化したものを、各フレームのぶれ幅としてぶれ量データ７２１に記録する（図３ステップ１２５）。
このようにして得られたぶれ量データ７２１について、各フレームのぶれ幅の値を、最小値がゼロとなるように規格化する（図２ステップ１５）。具体的には、ぶれ幅（ｂｘ，ｂｙ）の最小値を、上で得られた全てのフレームのぶれ幅値から引く。ここで、ぶれ幅は相対的な値として意味があるので、全てのフレームのぶれ幅を一定の値だけずらしても本質的に問題はない。得られた各フレームのぶれ幅を、規格化ぶれ量データ７２３として、補助記憶装置のデータ７２に保存する。

次に、ぶれ量を求める方法は前述したものに限られない。ここで、他の方法について説明する。

上述した例では、基準領域Ｓ、および、ぶれ幅の計算範囲の領域Ｓ’を、手動、すなわち、ユーザが入力装置３０を介して指示することにより決定している。しかし、例えば、観察対象において固定された点の形状および分布などの特徴が予め分かっている場合には、その特徴を基にして、コンピュータが自動的に基準領域Ｓを指定する構成とするができる。具体的には、例えば、観察支援機器に対して予め固定されている関係にあることが既知の物体の像を、テンプレートマッチングを行うことで検索することなどが挙げられる。また、計算範囲について、ぶれの程度がある程度予め予想できる場合、十分な範囲をあらかじめ設定することにより手動設定の必要がなくなる。こうすることで、ぶれ補正計算全体を自動的に行うことも可能である。

また、さらに異なる方法もある。この方法について、図５を参照して説明する。この方法では、固定点が画面全体にわたっている、あるいは分散している場合には、画像全体を検索することにより行う。これは画面全体に行うのではなく、同様の方法をユーザが指定するなどした画面の特定領域において行うことも可能である。この例の場合、ｘ、ｙを別々に決定する。ｘ、ｙを別々に決定する方が、前述した図３に示す場合のようにｘ、ｙを同時に動かして、テンプレートマッチするより、計算量が減少し、高速になる。

ＣＰＵ５１は、ユーザがぶれ補正の計算範囲を指定するための入力を受け付ける。この値をScanLengthとおく。

コンピュータが各フレームの横方向のぶれ幅を計算する。具体的には、任意に選んだ基準となる画像と、対象画像の各々について、横方向のラインを適当な位置に適当な本数だけ選ぶ（図５ステップ１３１）。例えば、１０ピクセル間隔で画面全体を覆うようにする。その各ラインでのピクセルの値の和（あるいは平均値）を取る（図５ステップ１３２）。こうして得られる数列（横方向のパターン）を、基準画像と対象画像とで比較する。対象画像のパターンの位置をずらしながら比較し、両パターンが最も一致する点を横方向のぶれ幅とする（図５ステップ１３３）。以上は横方向についての処理であるが、同様に、縦方向についてもぶれ幅を計算する。そして、すべてのフレームについて同じ処理を繰り返す。この後の処理として、ぶれ幅の規格化等は、前述した実施形態と同様である。
＜ぶれ補正を行った動画再生＞
画像の再生は、各サイトの画像データファイル７１−ｉから選ぶことで、適宜行うことができる。ＣＰＵ５１は、予め、メニューとして、静止画表示（写真表示）と動画表示とを選択すること、いずれのサイトの画像を表示するかのサイトを選択すること、すべてサイトを特定の順で連続的に動画再生すること、すべてのサイトについて、特定の順位の静止画を順次表示すること等の選択肢を、並行的に、または、階層的に、表示装置４０の画面に表示させる。そして、入力装置３０を介してユーザからの指示の入力を受け付ける。受け付けた選択しに該当する処理を実行する。なお、ぶれ補正を有効とするか、無効とするかの選択肢も併せて表示する。これにより、ユーザの意思に基づいてぶれ補正を行って画像の再生を行うことができる。

ぶれ補正を有効とした画像の連続表示（動画再生）について、図６を参照して説明する。これは、ユーザが、一連の写真をぶれ補正した上で表示する要求を入力装置３０を介してコンピュータ５０に要求したことに対応して、コンピュータ５０内部において行われる処理である。すなわち、前述したぶれ補正処理と共に、コンピュータ５０による細胞測定支援機能の一部として行われる。

まず、元の画像のサイズが、（Ｉｘピクセル×Ｉｙピクセル）とする。ＣＰＵ５１は、図６に示すように、予め計算しておいたぶれ幅データの値をぶれ量データ７２２から取得する（図６ステップ２１）。対象とする画像のぶれ幅が（ｂｘ，ｂｙ）であるとする。一方、一連の画像におけるぶれ幅（規格後）の最大値７２３が（ｂｘ，ｂｙ）（ｂｘmax，ｂｙmax）であるとする。

この場合に、（ｂｘ，ｂｙ）,（ｂｘ,Ｉｙ−ｂｙmax＋ｂｙ)，（Ｉｘ−ｂｘmax＋ｂｘ，ｂｙ），（Ｉｘ−ｂｘmax＋ｂｘ，Ｉｙ−ｂｙmax＋ｂｙ）で張られる四角形を画面に表示する。ここで、画像のサイズは、元の画像サイズより（ｂｘmax，ｂｙmax）だけ縮小される（図６ステップ２２）。すなわち、画面として表示される有効範囲が（ｂｘmax，ｂｙmax）分オフセットされることとなる。

これを一連の画像について連続的に画面に表示する、または、並べて表示すると、ぶれ補正された画像が得られる（図６ステップ２３）。

これにより、静止画の表示はもとより、動画表示を行っても、ぶれに基づく画面のずれが補正され、動画表示であっても画面が揺れるという事態の発生を抑圧することが可能となる。
＜画面上の位置情報の補正＞
ぶれに伴って画面上のある物体の画面での位置についてもそのアドレスにぶれを生じる。従って、画面上に表れる物体の座標を取得する際にもぶれ補正を要する。例えば、画面上の細胞の位置や分布などについて、各フレームの間で比較可能な値を取得するためには、位置座標を補正する必要がある。

そこで、例えば、ユーザが、ぶれ補正後の座標を取得するよう、入力装置３０を介して要求した場合に、コンピュータ５０は、その内部で、ぶれ補正の一環として、次の処理を実行する。すなわち、画像上の対象物の座標より、ぶれ量データ７２２より取得されたぶれ量情報を差し引けば良い。

例えば、図７に示すように、表示されている画面中の目的の点について、入力装置３０のうち、例えば、マウスを用いてポイントを受け付ける。コンピュータ５０は、ポイントされた画面上の点のアドレスを取得する（図７ステップ３１）。それが、例えば、（ｘ１，ｙ１）であるとする。ぶれ量データ７２２より対応するぶれ量を取得して（図７ステップ３２）、画面上のアドレスとぶれ量との差を採ることにより、他のフレームと相対的に比較することが可能な座標を得ることができる（図７ステップ３３）。
＜ぶれ補正データによる背景画計算＞
画面内から特定の画像を抽出する等の場合に、背景が抽出の妨げとなったり、誤差の原因となったりすることがある。そのため、背景を除去することが必要となる場合がある。しかし、フレーム間にぶれがあると、本来、固定であるべきものが変位してしまい、背景ではなくなってしまうという誤差が生じる。そこで、本実施形態では、背景画像は、一連の画像ファイルについて、ぶれ補正をした後に各点での平均値を求めることにより取得する。図８は、平均値を算出することを概念的に示している。

以下に、その計算手順の一例について、図９を参照して説明する。なお、この手順は、ユーザが入力装置３０を介してコンピュータに処理の要求を入力してそれが受け付けられることにより自動的に実行される。実行されるタイミングは、ぶれ補正を実行した直後か、背景画像が始めて必要となった場合、あるいは、ユーザが明示的に指令した場合などである。この計算方法は、同一視野における複数枚の一連の写真があらかじめ存在する場合に可能である。図８には、１番目の処理（１）と、ｋ番目の処理（Ｋ）とが示されている。

まず、図８に示すように、写真（フレーム）のぶれ量情報として、あらかじめ計算しておいた値（ぶれ量データ７２２）を取得する（図９ステップ４１−１）。ここで、元の画像のサイズが、（Ｉｘピクセル×Ｉｙピクセル）とする。また、ｎ番目の画像のぶれ量が（ｂｘｎ，ｂｙｎ）であるとする。さらに、一連の画像におけるぶれ幅（規格後）の最大値が（ｂｘmax，ｂｙmax）であるとする。

背景画像のサイズは、もとの画像サイズよりぶれ幅の最大値を引いた値、すなわち（Ｉｘ−ｂｘmax）×（Ｉｙ−ｂｙmax）となる。背景画像を作成するために、（Ｉｘ−ｂｘmax）×（Ｉｙ−ｂｙmax）の画像Ｈを作成する（図９ステップ４２−１）。画像Ｈに、ぶれ補正した１番目の画像（すなわち（ｂｘ１，ｂｙ１），（ｂｘ１，Ｉｙ−ｂｙmax＋ｂｙ１），（Ｉｘ−ｂｘmax＋ｂｘ１，ｂｙ１），（Ｉｘ−ｂｘmax＋ｂｘ１，Ｉｙ−ｂｙmax＋ｂｙ１）で張られる四角形）を入れる。

計算済の写真の枚数を変数として設定する。この変数名を例えばｐnumとする。この段階では、一枚目の写真を処理したため、ｐnum＝１とする（図９ステップ４３−１）。以下の計算を、適当なｋについて繰り返す。（実用的には、フレーム数が１０枚以下の場合は、全てのフレーム、１０枚以上の場合は、一連のフレームから一定の間隔をおいて、全部で１０枚選ぶようにする。例えば、フレームが３０ある場合は、３枚おきに、全部で１０枚選ぶなどする。フレーム数は多ければ多いほど良いということは必ずしもなく、むしろ計算時間がいたずらに増えるため、枚数を適当に抑えて選ぶことが好ましい。

ｋ番目の画像について、前述した１枚目と同様に、ぶれ補正した画像を取得し、pnumを1増加する（図９ステップ４１−ｋから４３−ｋ）。

次に、画像Ｈの、全てのピクセルについてその値に(pnum-1)をかけ、各々対応する位置での（４３−ｋ）の画像のピクセル値を足し、得られた値をｐnumで割り、それを新たな画像Ｈとする（図９ステップ４４−ｋ）。ここで、画像Ｈは、これまでに計算したpnum枚の写真の平均画像となっている。つまり、ｎ個の要素よりなる配列（a1,a2,…an）の平均N(n)=(a1+a2+…+an)/nとなる。同様に、要素の数がn+1となると、N(n+1)=(a1+a2+…+an+a(n+1))/(n+1)となり、N(n+1)=(N(n)*n+a(n+1))/(n+1)となる。画像Ｈをその一連の写真の背景画像としてコンピュータに保存する（図９ステップ４５−ｋ）。

なお、ここでの計算手順について、画像中の各点について対象となる全てのフレームの値を一度に足し合わせ、画面フレームの数で割る、という計算手順を全てのピクセルについて行なう、という通常の平均値計算でももちろん実行することは可能である。
＜動く物体（細胞）の画像分離＞
対象とするフレームについて、ぶれ補正した後の画像と背景画像との差分をとることにより、動点のみを抽出することができる。

ここで、例えば、観察したい対象物の光学的特徴が既知な場合、例えば、背景よりも色が濃い、などについて、その条件により、さらに動点を絞りこむこともできる。例えば、顕微鏡で細胞を観察する場合、細胞の輪郭は周囲よりも色が濃い（黒っぽい）ため、背景画像よりも濃い（ＲＧＢ値が低い）ピクセルだけを抽出するようにすると、より精度が高まる。この手順は、コンピュータ５０の内部で実行され、場合により、結果が、表示装置４０により、ユーザに示される。実行されるタイミングは、プログラムの他の部分（解析部分など）より要請があった場合か、ユーザによりコンピュータ５０に対して明示的に命令があった場合となる。以下、その計算手順の一例について、図１０を参照して説明する。

写真のぶれ幅情報として、あらかじめ計算しておいた値（ぶれ量データ７２２）を取得する（図１０ステップ５１）。また、背景画像として、あらかじめ計算していたものを取得する（図１０ステップ５２）。ここで、もとの画像のサイズが、（Ｉｘピクセル×Ｉｙ ピクセル）とし、対象とする画像のぶれ幅が（ｂｘ，ｂｙ）であるとする。また、一連の画像におけるぶれ幅（規格後）の最大値が（ｂｘmax，ｂｙmax）であるとする。ぶれ量データ７２２を用いて、補正後の領域を抽出する（図１０ステップ５４）。出力される抽出画像は、背景画像と同じ（Ｉｘ−ｂｘmax）×（Ｉｙ−ｂｙmax）のサイズとなる。

次に、背景画像の座標（ｘ、ｙ）におけるピクセルの値と、対象とする画像の座標（ｘ＋ｂｘ，ｙ＋ｂｙ）におけるピクセルの値とを比較し、前者が大きい場合に、両者の差の値を出力する抽出画像の座標（ｘ、ｙ）におけるピクセルの値とする（図１０ステップ５５）。この計算を、ｘ＝０〜Ｉｘ−ｂｘmax、ｙ＝０〜Ｉｙ−ｂｙmaxで繰り返す。これにより、動く点のみ抽出される。

計算の結果得られた抽出画像を、表示装置４０の画面に表示する。また、ファイルに保存する。さらに、図示していないプリンタによりプリントアウトする。これらのデータは、保存しておくことにより、他の解析に用いることができる。
＜動く物体（細胞）の識別、計数＞
前述した動点の抽出画像により、画面中を動く物体を塊ごとに分け、物体の数や大きさなどの情報を取得することができる。これについて、図１１、図１２を参照して説明する。

各種閾値について、デフォルトの値を読み込む。ユーザが特に変化を加えなかった場合は、これをユーザ指定の閾値とする。ユーザが変化を加えた場合、それをユーザ指定の閾値とする。

一連の写真について、ぶれ情報および背景画像を取得する。存在しない場合は、ユーザに対して、ぶれ補正データおよび背景画像を作成するよう要求するメッセージを表示装置の画面上に表示する。または、コンピュータ５０が自動的に計算する。いぶれにせよ、両方のデータが揃うまで、以下の計算は開始しない。

前述した背景画像処理、動く物体の画像分離処理について実行し、動点の分離画像を取得する（図１１ステップ６１）。差分画像を、適当な計算式により２値化する（図１１ステップ６２）。ここでは、各ピクセルのＲＧＢ各々の値が、ユーザ指定の閾値より高いかどうかで２値化する。以下、ここで得られた画像を２値化画像と呼ぶ。この場合、ＲＧＢ（Red, Green, Blue）各々についてばらばらに２値化するため、ピクセル一点につき３色ぶんの情報がある。すなわちＲ，Ｇ，Ｂ各々について０もしくは１の値をとり、組み合わせは８通りとなる。このように、色ごとに分けずに、これらの情報から例えば輝度や平均値を計算して一つの値とし、それをもとに２値化することも可能である。その場合、各ピクセルの取る値は０もしくは１の2通りのみの、通常の２値化画像となる。

２値化画像を、適当なサイズのメッシュに区切る。ここでは、メッシュサイズを（縦３ピクセル×横３ピクセル）とした。この場合、各メッシュ内における２値化画像のピクセル値の総和は、３色別々の場合０から２７の間の値となる（１つのパラメータにまとめた場合は０から９の値となる）。この総和の値が、ユーザが指定した閾値より高いかどうかで２値化する（９ピクセル分の情報をとるため、これにより孤立点などのノイズがある程度除去できる）。ここで得られる画像を、メッシュ２値化画像とする（図１１ステップ６３）。

メッシュ２値化画像を、左から右、上から下に検索する。まず、左から右に検索し、右端にきたら一つ下の段を検索する。その際、
該当メッシュの値が０の場合⇒何もしない
該当メッシュの値が１の場合：
（１）上、左隣のメッシュがともに０
メッシュの値に新しい物体番号を割り振る。

物体（細胞）ＩＤ構造体を新規作成し、物体（細胞）ＩＤ構造体のリストに追加する。追加した物体（細胞）ＩＤ構造体の、細胞番号に、割り振った細胞番号を入れる。物体（細胞）ＩＤ構造体の位置座標に、メッシュの位置情報を入れる。物体（細胞）ＩＤ構造体の物体（細胞）サイズを1とする。

ここで物体（細胞）ＩＤ構造体とは、各番号の振られた物体（もしくは細胞）に関する一連の情報を格納するための構造体として定義したものである。物体の位置座標、サイズ連結番号などを構成員とする。
（２）左のメッシュ値が０、上のメッシュ値が非０
メッシュ値を上のメッシュの値と同一にする。

メッシュ値に対応する物体（細胞）ＩＤ構造体の位置座標に、現在のメッシュの位置情報を適宜追加する。

メッシュ値に対応する物体（細胞）ＩＤ構造体の物体（細胞）サイズを１増加する。
（３）左のメッシュが非０、上のメッシュが０
メッシュ値を左のメッシュの値と同一にする。

メッシュ値に対応する物体（細胞）ＩＤ構造体の位置座標に、現在のメッシュの位置情報を適宜追加する。

メッシュ値に対応する物体（細胞）ＩＤ構造体の物体（細胞）サイズを１増加する。
（４）上、左隣のメッシュがともに非０
メッシュ値を左のメッシュの値と同一にする。

メッシュ値に対応する物体（細胞）ＩＤ構造体の位置座標に、現在のメッシュの位置情報を適宜追加する。

メッシュ値に対応する物体（細胞）ＩＤ構造体の物体（細胞）サイズを１増加する。

上のメッシュに対応する物体（細胞）ＩＤ構造体の連結番号に、左のメッシュ値を入れる。上のメッシュの連結番号に既にメッシュ値が入っている場合はそのまま変更しない。

このように、画像中に含まれる物体（細胞）にそれぞれ番号（識別子）が付されるため、物体の数、大きさ、位置等の情報が、物体を識別して、物体ごとに得られることとなる。
＜細胞の連結処理＞
リスト内の全ての物体（細胞）ＩＤ構造体について、連結番号が存在する場合については、その物体（細胞）ＩＤを連結番号で示された物体（細胞）ＩＤに吸収させる。すなわち、連結番号に対応する物体（細胞）ＩＤの、サイズ及び座標情報を更新する
もとの物体（細胞）ＩＤをリストから削除する。
＜サイズ閾値処理＞
リスト内の全ての物体（細胞）ＩＤ構造体について、物体（細胞）サイズの確認を行う。物体（細胞）サイズが、ユーザが指定した閾値より小さい場合は、その物体（細胞）ＩＤ構造体をリストより削除する。

上の処理で残った物体（細胞）ＩＤ構造体により示されるものを、細胞として扱う。リスト内の物体（細胞）ＩＤ構造体の数が細胞の数となる。また、物体（細胞）ＩＤ構造体の座標情報から、細胞として識別した画像上の領域を、画面上に表示することも可能である。現在のプログラムでは、細胞の領域を緑斜線で覆い、さらに細胞として個々に識別された領域のｘ，ｙ方向の両範囲を黄色線の十字マークで示している。

図１は、本発明の一実施形態に係る細胞観察装置の構成の概要を示すブロック図。 本発明の一実施形態におけるフレーム間で生じるぶれを補正するためのぶれ量データを生成する手順を示す説明図。 本発明の一実施形態において、基準と対象との比較によりぶれ量を求める手順を示す説明図。 本発明の一実施形態において用いることができる基準領域と対象領域との一致度を比較する手法の一例を示す説明図。 本発明の一実施形態において用いることができる基準領域と対象領域との一致度を比較する手法の他の例を示す説明図。 本発明の一実施形態におけるぶれ補正の一例を示す説明図。 本発明の一実施形態における、画面上に表れる物体の座標をぶれ補正した後に取得する手順を示す説明図。 本発明の一実施形態において、ぶれ補正して背景画像を取得する手法の概要について示す説明図。 本発明の一実施形態において、ぶれ補正して背景画像を取得する手法の具体例について示す説明図。 本発明の一応用例であって、動くものの画像を分離する手順の一例を示す説明図。 本発明の他の応用例であって、動くものの画像を識別すると共に計数する手順の一例の一部を示す説明図。 本発明の他の応用例であって、動くものの画像を識別すると共に計数する手順の一例の残部を示す説明図。 本発明の一実施形態においてぶれ量を求めるための基準となる領域を指定するための手順の一例を示す説明図。 本発明の一実施形態においてぶれ量を求めるための基準となる領域を指定するための手順にしたがって領域Ｓが指定された状態の一例を示す説明図。

符号の説明

１０…顕微鏡、２０…撮像装置、３０…入力装置、４０…表示装置、５０…コンピュータ、５１…中央処理ユニット（ＣＰＵ）、５２…メモリ、５３…補助記憶装置、６０…プログラム群、６１…シーケンス制御プログラム、６２…ステージ制御プログラム、６３…撮像制御プログラム、６４…ぶれ補正プログラム、６５…動画再生プログラム、６６…データ加工プログラム、７０…データ、７１…画像データ、７１−ｉ…画像データファイル、７２…ぶれ補正データ、７３…計測加工データ。

Claims (3)

1. 顕微鏡と、撮像装置と、撮像の制御および撮像された画像の処理を行うコンピュータと、入力装置と、表示装置とを含む細胞計測装置において、
   前記コンピュータは、
   前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
   前記取得した画像を保存する手段と、
   保存されている複数の画像のいずれかの中からぶれ量の補正を行うための任意の基準となる画像、及び、当該画像中から任意の基準となる領域の指定を、当該指定のための画像を前記表示装置に表示して、前記入力装置を介して受け付ける手段と、
   前記基準となる領域に対応する領域を他の各画像中から検出して、前記基準となる画像に対する前記各画像のｘｙ方向でのぶれの大きさを示すぶれ量を求める手段と、
   前記各画像について得られた前記ぶれ量に基づいて、位置を補正した補正画像をそれぞれ生成し、前記表示装置に表示させる手段と、を有すること
   を特徴とする細胞計測装置。
2. 顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータにより実現され、撮像の制御および撮像された画像の処理を行う細胞計測システムにおいて、
   前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
   前記取得した画像を保存する手段と、
   保存されている複数の画像のいずれかの中からぶれ量の補正を行うための任意の基準となる画像、及び、当該画像中から任意の基準となる領域の指定を、当該指定のための画像を前記表示装置に表示して、前記入力装置を介して受け付ける手段と、
   前記基準となる領域に対応する領域を他の各画像中から検出して、前記基準となる画像に対する前記各画像のｘｙ方向でのぶれの大きさを示すぶれ量を求める手段と、
   前記各画像について得られた前記ぶれ量に基づいて、位置を補正した補正画像をそれぞれ生成し、前記表示装置に表示させる手段と、を有すること
   を特徴とする細胞計測支援システム。
3. 顕微鏡と、撮像装置と、入力装置と、表示装置とに接続されるコンピュータに、撮像の制御および撮像された画像の処理を行う細胞計測システムを実現させるプログラムであって、
   前記撮像装置により対象物の画像を時系列に取得させる制御を行う手段と、
   前記取得した画像を保存する手段と、
   保存されている複数の画像のいずれかの中からぶれ量の補正を行うための任意の基準となる画像、及び、当該画像中から任意の基準となる領域の指定を、当該指定のための画像を前記表示装置に表示して、前記入力装置を介して受け付ける手段と、
   前記基準となる領域に対応する領域を他の各画像中から検出して、前記基準となる画像に対する前記各画像のｘｙ方向でのぶれの大きさを示すぶれ量を求める手段と、
   前記各画像について得られた前記ぶれ量に基づいて、位置を補正した補正画像をそれぞれ生成し、前記表示装置に表示させる手段と、を前記コンピュータに実現させること
   を特徴とする細胞計測支援をコンピュータに実現させるプログラム。

Images