JP6567244B2 - 細胞の運動観察方法、画像処理プログラム及び画像処理装置 - Google Patents

Description

本発明は、細胞観察において取得された時系列画像から細胞集団の運動を観察するための最適な露光量を判別する細胞の運動観察方法、画像処理プログラム及び画像処理装置に関する。

心筋疾患などを対象とした再生医療の分野では、胚性幹細胞（embryonic stem cell：ＥＳ細胞）や人工多能性幹細胞（induced pluripotent stem cell：ｉＰＳ細胞）などの幹細胞から分化誘導した心筋細胞が再生医療のリソースとして利用が期待されている。このような心筋細胞などの培養細胞の状況を観察する装置の例として、培養顕微鏡が挙げられる。培養顕微鏡は、心筋細胞の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の心筋細胞の状態を観察する観察系とを備え、予め設定された一定時間ごとに心筋細胞の観察画像を取得し、心筋細胞の状態の観察、記録、管理等を行うことができるように構成される（例えば、特許文献１を参照）。

特開２００８−６７６４６号公報

上記特許文献１に記載されているように、心筋細胞を培養する過程において、幹細胞が自律的に収縮・弛緩の拍動運動を周期的に繰り返す心筋細胞に分化したか否かの品質評価を行うにあたり、現状では未だ拍動運動の検出は目視判定により行われていることが多い。しかしながら、従来行われてきた目視判定による手法では、一定の経験を有する知見者が時間をかけて観察する必要があるとともに、観察者の主観によるところが大きく、心筋細胞の拍動運動を定量的に評価・判断することが困難であった。

そのため近年では、心筋細胞の拍動運動を定量的に評価・判断し得る画像処理の開発が望まれているが、例えば、心筋細胞コロニーの時系列画像を撮影して画像処理にて拍動領域を検出する場合、コロニーが不均一な厚みを有するとき、光源の照明光量が十分でないと厚みのある部位で黒潰れ現象が生じ、照明光量が高すぎると薄い部位で飽和して白飛び現象が生じるため、心筋細胞コロニーから拍動領域を取りこぼすことなく正確に検出することが困難になるという課題があった。

本発明は、上記のような課題に鑑みてなされたものであり、細胞集団が不均一な厚みを有する場合でも、該細胞集団の全体にわたって細胞運動を正確に観察可能な手段を提供することを目的とする。

本発明を例示する第１の態様に従えば、第１露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得することと、前記第１露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第１検出可能領域を抽出することと、第２露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得することと、前記第２露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第２検出可能領域を抽出することと、前記第１検出可能領域の大きさと、前記第２検出可能領域の大きさとを対比することと、前記第１及び前記第２検出可能領域の大きさを指標とし、前記第１及び前記第２露光量のうち、検出可能領域の大きさが大きい方の露光量を最適露光量として決定することと、前記最適露光量のもとで前記細胞コロニーの運動を観察することと、を含む、細胞の運動観察方法が提供される。

本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、第１露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得するステップと、前記第１露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第１検出可能領域を抽出するステップと、第２露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得するステップと、前記第２露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第２検出可能領域を抽出するステップと、前記第１検出可能領域の大きさと、前記第２検出可能領域の大きさとを対比するステップと、前記第１及び前記第２検出可能領域の大きさを指標とし、前記第１及び前記第２露光量のうち、検出可能領域の大きさが大きい方の露光量を最適露光量として決定するステップと、前記最適露光量のもとで前記細胞コロニーの運動を観察するステップと、を前記コンピュータに実行させる画像処理プログラムが提供される。

本発明を例示する第３の態様に従えば、互いに異なる露光量で所定時間を隔てて心筋細胞の候補となる細胞コロニーの時系列画像を取得して画像を解析する画像解析部を備えた画像処理装置であって、前記画像解析部は、第１露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第１検出可能領域を抽出する第１動き領域検出部と、第２露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第２検出可能領域を抽出する第２動き領域検出部と、前記第１検出可能領域の大きさと、前記第２検出可能領域の大きさとを対比する動き領域対比部と、前記第１及び前記第２検出可能領域の大きさを指標とし、前記第１及び前記第２露光量のうち、検出可能領域の大きさが大きい方の露光量を最適露光量として決定する露光量決定部と、前記最適露光量のもとで前記細胞コロニーの運動を観察する観察部と、を備える画像処理装置が提供される。

本発明の細胞の運動観察方法、画像処理プログラム及び画像処理装置によれば、細胞集団が不均一な厚みを有する場合でも、該細胞集団の全体にわたって細胞運動を正確に観察することが可能である。

画像処理プログラムの概要を示すフローチャートである。 画像処理プログラムのサブフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 照明光量を変化させてコロニーを観察した状況を説明するための模式図である。 最適露光量決定処理の具体的な手順１〜４を示す模式図である。 最適露光量決定処理の具体的な手順５〜７を示す模式図である。 最適露光量決定処理の具体的な手順８〜１０を示す模式図である。 動きベクトルを利用した露光量の最適化手法として画像処理の具体的な手順１１〜１３を示す模式図である。 心筋細胞の拍動の様子を説明するための模式図である。 動きベクトルを利用した拍動領域検出手法を説明するための模式図である。 最適露光量のグルーピング処理を説明するための模式図である。 画像処理装置の概要構成を示すブロック図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図３及び図４に示しており、まず培養観察システムＢＳの全体構成について概要説明する。

培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。

培養室２は、培養環境を形成する部屋であり、断熱材で覆われた恒温室となっている。この培養室２に付随して、培養室２内の温度を調整する温度調整装置２１、湿度を調整する加湿器２２、ＣＯ₂ガスやＮ₂ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。

ストッカー３は、前後及び上下に仕切られた棚状に形成され、各棚に固有の番地が設定されており、例えば、前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚が「Ａ−５」のように設定される。培養容器１０は、培養する細胞の種別や目的に応じてディッシュやウェルプレート、フラスコなど適宜なものが選択され、例えばディッシュタイプの培養容器に細胞試料（以下で詳述する「心筋細胞」）が所定の培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応付けられて収容されている。

搬送ユニット４は、培養室２内の内部に設けられて上下移動可能なＺステージ４１、前後移動可能なＹステージ４２、左右移動可能なＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、ストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有している。

観察ユニット５は、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、マクロ観察系５４の光軸に沿って試料台１５の下方から試料を照明する第１照明部５１、顕微観察系５５の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２及び下方から試料を照明する第３照明部５３、観察系５４，５５の撮像装置により撮影した画像を取得して各種の画像処理を施す画像処理装置１００などから構成される。試料台１５は、透光性を有する材質で形成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの駆動制御によりＸＹ方向（水平面内方向）及びＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸へ挿入したりすることが可能になっている。

第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下方から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ（Light Emitting Diode）やハロゲンランプ等の光源５２ａと、輪帯絞りやコンデンサレンズ等からなる照明光学系５２ｃとを有しており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０内の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源５３ａと、各光源５３ａから射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系５３ｃとを有しており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０内の試料を照明する。各光源５２ａ，５３ａの照明光量は、制御ユニット６からの駆動信号（電流／電圧）に基づいて制御される。

マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有しており、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ画像）を撮影する。

顕微観察系５５は、対物レンズや位相リング等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤ等の撮像装置５５ｃとを有している。対物レンズは、レンズ駆動機構８７により光軸に沿う方向（Ｚ方向）に往復移動可能に構成されており、対物レンズと試料面との光軸方向の相対位置（光学的距離）を変化させることにより焦点調節が可能になっている。また、対物レンズは複数設けられるとともに、レボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では、少なくとも低倍観察用（例えば２倍観察用）と高倍観察用（例えば１０倍観察用）との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の位相差画像、第３照明部５３により照明された試料の反射像、第３照明部５３により照明された試料の蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。

画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ、顕微観察系５５の撮像装置５５ｃにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（画像データ）に対して画像解析を施し、タイムラプス画像の生成、細胞運動の動きベクトルの検出、画像特徴量の算出、細胞の拍動運動の解析、などを実行する。また、画像処理装置１００は、これらの観察画像（画像データ）に対して画像解析を施し、タイムラプス画像の生成、細胞運動の動きベクトルの検出、細胞の拍動運動の解析、拍動検出のための露光量決定処理、などを実行する。なお、画像処理装置１００については、後に詳述する。

制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記録領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。

操作盤７には、キーボードやマウス、スイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

このように概要構成される培養観察システムＢＳは、操作盤７において設定された観察プログラムに従ってＣＰＵ６１が各部の作動を制御し、培養容器１０内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。

また、ＣＰＵ６１はＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２又は第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、撮像装置５４ｃ，５５ｃにより所定時間を隔てて心筋細胞の細胞集団（コロニー）が撮影された時系列画像を取得し、この取得した時系列画像を解析して心筋細胞の拍動運動を検出する機能を有している。

心筋細胞は、例えば、心臓疾患などを対象とした再生医療のリソースとして、胚性幹細胞（embryonic stem cell：ＥＳ細胞）や人工多能性幹細胞（induced pluripotent stem cell：ｉＰＳ細胞）から分化誘導されたものであり、自律的に収縮・弛緩の拍動運動を所定の時間間隔で周期的に繰り返す。心筋細胞は、細胞同士が接着し合い細胞集団（コロニー）を形成しており、フィーダ細胞とともにディッシュ（培養容器１０）内に散布されている。

このように培養容器１０のディッシュ内には心筋細胞のコロニーが散布されているが、実際に拍動しているコロニーは多くはなく、それらのコロニー内においても拍動部位（拍動領域）は輪郭部や中央部など部分的であるので、この拍動部位（拍動領域）を検出するにはディッシュ内を網羅的に探索する必要がある。そのため、顕微観察系５５には出来るだけ広視野な低倍レンズを用いてディッシュ全体に亘った各視野範囲において時系列画像を取得し、拍動の有無を画像処理によって検出する流れをとる。

例えば、図５に示す心筋細胞ＭＣのコロニーＣに注目する。図５（ａ）に示すように、コロニーＣの外周部では細胞個々が確認できる位の薄さであり、この部位が拍動している場合には通常の照明光量を用いて画像処理によって比較的容易に検出が可能である。ところが、コロニーＣの中心部において（内部にいくにつれて）厚みが増す場合には光源からの照明光が吸収または散乱して黒潰れ状態となり、この部位で拍動が生じていても輝度変化が微小であることから画像処理による検出が困難となる。しかし、図５（ｂ）に示すように、光源の照明光量を増加させたり観察系の露出時間を長時間とったりして露光量を増大させてやれば、コロニーＣ内部に関しても拍動の様子を観察することができ、拍動の検出が可能となり得る。実際には、コロニーＣの各部位では複数の細胞が積層されており、細胞個々までの判別は難しいが、拍動の有無は十分に観察可能である。一方、露光量を大きくとったことによって、コロニーＣの外周部などの厚みの薄い部位においては白飛び（輝度飽和）が生じ、そこが拍動している場合には拍動の検出が困難となる。

そこで、画像処理装置１００では、動きベクトルを指標とした拍動領域検出手法を利用して最適露光量を決定する。より具体的には、画像処理装置１００は、互いに異なる露光量で観察視野内に位置する心筋細胞のコロニーの時系列画像を撮影し、該異なる露光量ごとに取得した時系列画像からコロニー内における動きのある領域をそれぞれ抽出し、該異なる露光量ごとに抽出された動き領域の面積の大きさを指標として、複数の露光量の中から最適露光量を決定し、この最適露光量のもとで心筋細胞の拍動運動を観察する。

それでは、以下にこの画像処理装置１００が実行する画像処理方法（運動観察方法）について基本的な概念から説明する。なお、以降の説明では、第２照明部５２及び顕微観察系５５等によって構成される位相差顕微鏡によって撮影される位相差画像（顕微観察画像）に基づいて観察を行う場合を例示する。このとき、顕微観察系５５では、観察光学系５５ａの観察倍率を切り換えることにより低倍観察及び高倍観察が可能である。

図６〜図９は、拍動検出のための最適露光量決定処理の具体的な手順を示す模式図である。先ず、培養容器１０内から所定の厚みがあり全体が拍動しているような心筋細胞ＭＣのコロニーＣをサンプルとして利用する。このサンプルの時系列画像を広視野な低倍観察系（本実施形態では、顕微観察系５５で低倍の対物レンズを使用）にて初期の露光量ＥＸ（０）のもとで撮影取得し、画像処理装置１００において画像処理を施す。

図６（ａ）に示すように、初期の露光量ＥＸ（０）で、所定時間をおいて撮影された時系列画像における時刻ｔの第１画像と、時刻ｔ−１の第２画像とについて、サンプルとなる心筋細胞ＭＣのコロニーＣの最も外側の輪郭を抽出してセグメンテーションを行い、そのコロニーＣの内部領域Ｉを設定する。このような最外輪郭抽出処理には、例えば、分散フィルタを施したのち二値化させる手法や、動的輪郭法（SnakesやLevel Set法）などが挙げられる。上記の時系列画像は、例えば、拍動運動の弛緩〜収縮をサンプリングできる時間間隔且つ拍動周期以上の期間で必要であり、具体的にはサンプルとなる心筋細胞のコロニーの拍動状況に応じて設定されるものであり、例えば、時刻ｔ−１に弛緩時、時刻ｔに収縮時、が設定される。

ここで、図１０に示すように、心筋細胞ＭＣの拍動運動は、収縮・弛緩を繰り返す周期的な動きであることから、セグメント化されたコロニーＣの内部領域Ｉに対し、動きベクトルを指標とした拍動領域検出手法を利用して拍動領域を検出する。拍動領域検出手法は、例えば図１１に示すように、時系列画像（第１画像及び第２画像間）での動きベクトル（図中では符号「Ｖ」で示す）を推定し、この動きベクトルの検出された領域を動きのある領域、すなわち、拍動領域として検出する手法である。

動きベクトル（図中では符号「Ｖ」で示す）は、時刻ｔ−１の第１画像と、次時刻ｔの第２画像との間で、例えばオプティカルフロー法、ブロックマッチング法、勾配法、位相相関法などの既知の手法を利用して推定する。この動きベクトルは、例えば各画像において画素単位で検出され、第１画像での注目画素の中心座標（始点）から、この注目画素に対応する第２画像での対応画素の中心座標（終点）までのベクトルとして算出される。より詳細には、動きベクトルは、２つの画像間（第１画像及び第２画像間）における各検出点での動きの向きと大きさを表すベクトル（速度ベクトルとも称される）であり、このベクトルの向きが動きの方向を表し、ベクトルの長さが動き量を表している。なお、ここでは、動きベクトルが検出された各画素を動き領域として定義するが、視野画像をＮ×Ｍ画素（複数画素）からなるブロック毎に分割して、動きベクトルをこのブロック単位で検出し、このブロックを動き領域として定義してもよい。

図６（ｂ）において、このサンプル（心筋細胞ＭＣのコロニーＣ）の内部領域Ｉでは、初期の露光量ＥＸ（０）のもとで、その外輪郭部分が動きベクトルの検出された拍動検出領域Ａ（０）となる。ここで、図６（ｃ）に示すように、動きベクトルが検出されなかった非拍動領域に着目して、拍動検出領域Ａ（０）をＷピクセルだけ膨張処理した領域を算出する。ここで、膨張処理でのＷピクセル分の幅は、初回の拍動検出領域Ａ（０）に相当する幅程度に設定することが好ましい。図６（ｄ）に示すように、拍動検出領域Ａ（０）をＷピクセルだけ膨張処理した領域と、内部領域Ｉから拍動検出領域Ａ（０）を除いた領域と、で重なる部分を注目領域Ｓ（１）とする。

次いで、図７（ａ）に示すように、露光量ＥＸを段階的に変化（ＥＸ＝ＥＸ（０）＋ΔＥＸ）させる。図７（ｂ）に示すように、この露光量のもとで拍動領域検出手法を利用して注目領域Ｓ（１）内における拍動検出領域Ａ（１）を算出し、この拍動検出領域Ａ（１）が最大となる露光量ＥＸ（１）を決定する。そして、図７（ｃ）に示すように、注目領域Ｓ（１）をＷピクセルだけ膨張処理した領域と、内部領域Ｉから拍動検出領域Ａ（１）及び注目領域Ｓ（１）を除いた領域と、で重なる部分を次の注目領域Ｓ（２）として設定する。

次いで、図８（ａ）に示すように、露光量ＥＸを段階的に変化（ＥＸ＝ＥＸ（１）＋ΔＥＸ）させる。図８（ｂ）に示すように、この露光量のもとで拍動検出手法を利用して注目領域Ｓ（２）内における拍動検出領域Ａ（２）を算出し、この拍動検出領域Ａ（２）が最大となる露光量ＥＸ（２）を決定する。そして、図８（ｃ）に示すように、注目領域Ｓ（２）をＷピクセルだけ膨張処理した領域と、内部領域Ｉから拍動検出領域Ａ（１）及び注目領域Ｓ（１），Ｓ（２）を除いた領域と、で重なる部分を次の注目領域Ｓ（３）として設定する。

次いで、図９（ａ）に示すように、露光量ＥＸを段階的に変化（ＥＸ＝ＥＸ（２）＋ΔＥＸ）させる。図９（ｂ）に示すように、この露光量のもとで拍動領域検出手法を利用して注目領域Ｓ（３）内における拍動検出領域Ａ（３）を算出し、この拍動検出領域Ａ（３）が最大となる露光量ＥＸ（３）を決定する。図９（ｃ）に示すように、注目領域Ｓ（３）をＷピクセルだけ膨張処理した領域と、内部領域Ｉから拍動検出領域Ａ（１）及び注目領域Ｓ（１），Ｓ（２），Ｓ（３）を除いた領域と、で重なる部分を次の注目領域Ｓ（４）として算出する。しかしながら、内部領域Ｉから拍動検出領域Ａ（１）及び注目領域Ｓ（１），Ｓ（２），Ｓ（３）を除いた領域はゼロ、つまり、Ａ（１）＝Ｓ（１）＋Ｓ（２）＋Ｓ（３）であり、それ以上は注目領域Ｓ（４）を抽出できないので、ここでの処理を終了する。こうして、注目領域Ｓ（ｎ）を抽出できなくなるまで、或いは、露光量ＥＸが最大露光量（許容値）ＥＸmaxを超えるまで、処理を繰り返す。

このように、同一被写体（注目領域Ｓ（ｎ））を異なる露光量で撮影して、画像解析にて注目領域Ｓ（ｎ）から拍動検出領域Ａの最大値を検出することのできた露光量ＥＸを、コロニーＣの拍動運動を観察するための最適な露光量ＥＸ（０），ＥＸ（１），ＥＸ（２），…，ＥＸ（Ｎ）として決定する。

また、露光量の最適化処理の後処理として、最適化した複数の露光量ＥＸ（０），ＥＸ（１），ＥＸ（２），…ＥＸ（Ｎ）をグルーピング処理してもよい。グルーピング処理では、順次算出された露光量ＥＸ（０），ＥＸ（１），ＥＸ（２），…ＥＸ（Ｎ）に対し、露光量の大きさが互いに近似している場合、つまりは露光量の大きさが所定範囲内（近似範囲内）に含まれる２以上の露光量を同一グループ化して、同一グループ内の露光量の平均値、最小値、最大値などをとってグループ内の代表値として統一する。

ここで、図１２を参照してグルーピング処理の一例を説明すると、露光量ＥＸ（０），ＥＸ（１），ＥＸ（２），…に対し、所定範囲内に含まれる露光量群として、露光量ＥＸ（１）〜ＥＸ（３）を１つのグループＥＸＧ（１）に纏めるとともに、露光量ＥＸ（５）〜ＥＸ（７）を１つのグループＥＸＧ（３）に纏める。ここで、グループＥＸＧ（１）の露光量の代表値はこれらの平均値ＥＸ（２）とし、グループＥＸＧ（３）の露光量の代表値はこれらの平均値ＥＸ（６）とすることが考えられる。なお、露光量ＥＸ（４）は、隣接する露光量ＥＸ（３），ＥＸ（５）のいずれに対しても所定範囲（近似範囲）に含まれないため、他の露光量とはグループ化されず、ＥＸ（４）単体でグループＥＸＧ（２）を構成する。また、グルーピング処理の規則として、グループ化する個数の最大値（例えば４個まで）を規定したり、初期の露光量ＥＸ（０）と最大の露光量ＥＸ（Ｎ）はグループ化を禁じたりしてもよい。また、初期の露光量ＥＸ（０）と最大の露光量ＥＸ（Ｎ）との差が小さい場合には、全ての露光量の平均値ＥＸaveを最適露光量として統一してもよい。

以上のようにして決定された１又は複数の最適露光量に基づいて、ディッシュ内の全ての心筋細胞のコロニーについて拍動の検出を実行する。そのため、露光量の最適化処理には、ディッシュ内から代表的な心筋細胞のコロニーを選択してこれをサンプルとして利用することが好ましい。

次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１、図２及び図１３を併せて参照しながら説明する。ここで、図１は画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図２は画像処理プログラムＧＰにおける最適露光量決定処理を示すサブフローチャート、図１３は画像処理装置１００の概要構成を示すブロック図である。

画像処理装置１００は、撮像装置５４ｃ，５５ｃにより撮影された画像を記憶する画像記憶部１１０と、観察ユニット５における露光量を調節する露光量調節部１２０と、画像記憶部１１０に記憶された画像を取得して解析する画像解析部１３０と、画像解析部１３０により解析された解析結果を出力する出力部１４０とを備えて構成される。露光量調節部１２０は、例えば、光源の照明光量、露出時間（撮像素子の電荷蓄電時間）、絞り、ＩＳＯ感度など、のうちの少なくとも１つ以上のパラメータを制御して、露光量を段階的又は連続的に調節する。画像解析部１３０は、オプティカルフロー法、ブロックマッチング法、勾配法、位相相関法等の既知の手法を利用して時系列画像から第１画像及び第２画像間の動きベクトルを検出する動きベクトル検出部１３１と、動きベクトルが検出された動き領域の大きさを指標として細胞観察のための最適な露光量を決定する最適露光量決定部１３２と、を備える。出力部１４０からは、画像解析部１２０による解析結果、例えば、動きベクトルの検出結果、最適露光量の演算結果、拍動運動する心筋細胞の判別結果、などが出力され、表示パネル７２への表示や記憶媒体への記録、通信部６５を介して外部へのデータ送信等が行われる。

画像処理装置１００は、ＲＯＭ６２に設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。換言すれば、画像処理プログラムＧＰはハードウェア資源であるＣＰＵ６１（コンピュータ）を画像処理装置として機能させるためのソフトウェアである。

既述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の心筋細胞集団（コロニー）の観察が行われる。具体的に、ＣＰＵ６１は、搬送ユニット４の各ステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態では、顕微観察系５５の光軸上に配置）する。ＣＰＵ６１は、試料台１５を面内方向（Ｘ，Ｙ方向）に移動させるとともに、レンズ駆動機構８７により対物レンズを光軸方向に沿って移動させて、培養容器１０内の試料と対物レンズとの位置決めを行う。なお、ここでは低倍観察用（例えば、倍率＝２倍、ＮＡ＝０．０９）の対物レンズを用いており、これにより広範囲の観察視野の画像を取得することができる。

画像解析部１３０は、画像処理プログラムＧＰに基づき、撮像装置（説明では顕微観察系の撮像装置５５ｃとする）により撮影され、画像記憶部１１０に記憶された心筋細胞のコロニーの画像を以下のように画像処理する。

先ず始めに、ステップＳ１では、培養容器１０のディッシュ内に散布されたコロニーの時系列画像を撮像装置５５ｃにより撮影し、拍動領域検出手法により自律的に拍動しているコロニーを検出する。なお、ディッシュ内に散布された心筋細胞のコロニーには、全体が拍動しているもの、部分的に拍動しているもの、拍動の大小など様々であるが、ここでは少なくとも予め設定された所定面積以上の拍動部位を認識できるコロニーを検出する。

ステップＳ２では、ステップＳ１にて検出された複数のコロニーの中からサンプルとなるコロニーを選択する。例えば、サンプルとしては、厚みが十分あり全体が拍動しているような典型的なコロニーを選択する。

ステップＳ３では、拍動領域検出手法により算出された拍動検出領域の面積を指標として最適露光量ＥＸ（ｎ）（ｎ＝１，２，３，…，Ｎ）を決定する。ここで、図２はステップＳ３のサブルーチンに係る最適露光量決定処理のフローチャートである。

ステップＳ３０１では、露光量調節部１２０は、露光量ＥＸをＲＡＭ６３に予め記憶された初期の露光量ＥＸ（０）に設定する。露光量調節部１２０は、例えば、光源の照明光量、露出時間（撮像素子の電荷蓄電時間）、絞り、ＩＳＯ感度など、のうちの少なくとも１つ以上のパラメータを制御して、露光量を段階的又は連続的に調節する。

ステップＳ３０２では、撮像装置５５ｃにより初期の露光量ＥＸ（０）で観察対象（サンプル）となるコロニーの時系列画像（時刻ｔ＝１，２，３，…，Ｎ−１，Ｎ，…）を撮影する。

ステップＳ３０３では、画像解析部は、時系列画像から時刻ｔ−１の第１の画像と、所定時間を隔てた時刻ｔの第２画像とを取得し、各画像に対して分散フィルタを施したのち二値化させる手法や動的輪郭法（SnakesやLebelSet法）などを利用して、心筋細胞コロニーのセグメンテーションを行い、コロニーの内部領域Ｉを設定する。

ステップＳ３０４では、画像解析部１３０は、拍動領域検出手法を利用してコロニーの内部領域Ｉ内で動きのある領域、すなわち、オプティカルフロー法などの既知の手法を利用して動きベクトルが検出された動き領域を拍動検出領域Ａ（０）として算出し、これを初期の注目領域Ｓ（０）として設定する。

ステップＳ３０５では、画像解析部１３０は、繰り返し番号ｎに初期値０を設定する。ステップＳ３０６では、元の注目領域Ｓ（ｎ）に対し所定の膨張処理を行って新たな注目領域Ｓ（ｎ＋１）を設定する。具体的には、元の注目領域Ｓ（ｎ）をＷピクセルだけ膨張処理した領域と、コロニー内部領域Ｉから元の注目領域Ｓ（０）を除いた領域と、で重なる部分を新たな注目領域Ｓ（ｎ＋１）とする。

ステップＳ３０７では、露光量調節部１２０は、露光量ＥＸを露光量ＥＸ（ｎ）に設定する。ステップＳ３０８では、拍動領域面積最大値Ａmaxに初期値０を設定する。ステップＳ３０９では、ステップＳ３０７で設定した露光量ＥＸ（ｎ）のもとで撮影を行って時系列画像（第１画像及び第２画像）を取得する。

ステップＳ３１０では、拍動領域検出手法を利用して注目領域Ｓ（ｎ＋１）における拍動検出領域（この領域の面積：「拍動領域面積」とも称する）Ａを算出する。拍動領域面積Ａは、例えば、この拍動領域内に含まれる画素数などで表される。

ステップＳ３１１では、拍動領域面積Ａが拍動領域面積最大値Ａmaxを超えていれば拍動領域面積最大値Ａmaxを拍動領域面積Ａに更新する。なお、拍動領域面積Ａが拍動領域面積最大値Ａmaxを超えていない場合には、拍動領域面積最大値Ａmaxは更新されない。

ステップＳ３１２では、露光量ＥＸが許容値ＥＸmax以下であるか否かを判定する。ステップＳ３１２で肯定判定（Ｙｅｓ）の場合、すなわち、露光量ＥＸが許容値ＥＸmax以下である場合には、ステップＳ３１３において、露光量ＥＸをΔＥＸだけ増加してステップＳ３０６に移行し、この露光量のもとでステップＳ３０６〜Ｓ３１２を繰り返す。ステップＳ３１２で否定判定（Ｎｏ）の場合、すなわち、露光量ＥＸが許容値ＥＸmaxを超える場合には、ステップＳ３１４において、注目領域Ｓ（ｎ＋１）内での拍動領域面積Ａが最大であった露光量を最適露光量ＥＸ（ｎ＋１）として決定する。

ステップＳ３１５では、露光量ＥＸ（ｎ＋１）が許容値ＥＸmax以下であるか否かを判定する。ステップＳ３１５で肯定判定（Ｙｅｓ）の場合、すなわち、露光量ＥＸ（ｎ＋１）が許容値ＥＸmax以下である場合には、ステップＳ３１６において、注目領域Ｓ（ｎ＋１）に所定の膨張処理を行って新たな注目領域を設定できるか否かを判定する。つまり、注目領域Ｓ（ｎ＋１）をＷピクセルだけ膨張処理した領域と、コロニーの内部領域Ｉから注目領域Ｓ（ｎ＋１）を除いた領域と、で重なる部分が抽出されるか否かを判定する。

ステップＳ３１６で肯定判定の場合、すなわち、新たな注目領域を設定できる場合には、ステップＳ３１７において、繰り返し番号ｎを１インクリメントして、ステップＳ３０６に移行し、この新たな注目領域Ｓ（ｎ＋１）について拍動領域検出手法を用いた最適露光量を決定する。一方、ステップＳ３１５で否定判定（Ｎｏ）の場合、すなわち、露光量ＥＸ（ｎ＋１）が許容値ＥＸmaxを超える場合には、ステップＳ３１８に移行する。また、ステップＳ３１６で否定判定（Ｎｏ）の場合、すなわち、新たな注目領域を設定できない場合にも、ステップＳ３１８に移行する。

ステップＳ３１８では、最適露光量ＥＸ（０），ＥＸ（１），ＥＸ（２），…ＥＸ（Ｎ）を決定する。なお、このステップで決定した複数の最適露光量に対し、前述したグルーピング処理を施してもよい。

メインフローチャート（図１）に戻って、ステップＳ４では、ディッシュ内の所定の基準位置（原点）が、顕微観察系５５の観察倍率（対物レンズの倍率）に応じて定まる視野範囲に入るようにステージをＸ，Ｙ方向に移動させる。ステップＳ５では、繰り返し数ｎに初期値０を設定する。ステップＳ６では、最適露光量ＥＸ（ｎ）のもとで観察視野の時系列画像を取得する。

ステップＳ７では、取得した時系列画像に対して動きベクトルを指標とした拍動領域検出手法を利用して、視野範囲での拍動検出領域を算出する。

ステップＳ８では、繰り返し数ｎが最大値Ｎより小さいか否か、すなわち、最適露光量ＥＸ（ｎ）が最大露光量ＥＸ（Ｎ）より小さいか否かを判定する。ステップＳ８で肯定判定（Ｙｅｓ）の場合には、ステップＳ９において、繰り返し数ｎが１インクリメントされ、ステップＳ６に戻る。ステップＳ８で否定判定（Ｎｏ）の場合には、ステップＳ１０に移行する。

ステップＳ１０では、各最適露光量で検出されたそれぞれの拍動検出領域は同じ視野範囲にあるとして重ね合わせ（加算処理）を行い、その視野範囲で合算した拍動領域を導出する。ステップＳ１１では、ディッシュ内の全ての視野範囲に対して時系列画像を撮影して拍動検出を行ったか否かを判定する。ステップＳ１１で否定判定（Ｎｏ）の場合、すなわち、視野範囲が残っている場合には、ステップＳ１２において、ディッシュ内の次の視野範囲にステージを移動させる。そして、ステップＳ５に戻り、次の視野範囲でステップＳ６〜Ｓ１１までの処理が繰り返される。

一方、ステップＳ１１で肯定判定（Ｙｅｓ）の場合、すなわち、全ての視野領域について拍動検出が完了した場合には、処理を終了する。これにより検出した拍動部位は座標として記憶しておき、それぞれの拍動部位をピックアップして別の観察系（例えば蛍光観察系）へ移して解析にあたったり、培養容器１０を試料台１５からストッカー３の所定番地の棚に戻して培養を続行したりする。また、顕微観察系５５では、観察光学系５５ａ（対物レンズ）の観察倍率を切り換えることにより、各拍動部位に対して高倍観察が可能であり、心筋細胞の拍動そのものを解析することもできる。

さらに、拍動部位をピックアップした場合、または高倍観察した場合において、拍動の変化を解析するステップへと移る。例えば、薬品を投与した場合の拍動の変化や、電極を使用した心電図解析を実施する。

以上説明したように、本実施形態に係る画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される画像処理方法（運動観察手法）及び画像処理装置１００によれば、互いに異なる露光量ごとに取得した時系列画像からコロニー内の動きのある領域をそれぞれ抽出し、該異なる露光量ごとに抽出された拍動領域の面積を指標（評価値）として複数の露光量の中から最適露光量を決定するため、コロニーが不均一な厚みを有する場合でも、最適露光量のもとでコロニー全体にわたって心筋細胞の拍動運動を正確に観察することが可能である。

なお、以上説明した本実施形態に係る画像処理プログラムＧＰ，画像処理方法（拍動検出方法）及び画像処理装置１００は、上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

上述の実施形態では、培養観察システムＢＳにおいて撮像装置にて撮影され、ＲＡＭ６３に記憶された時系列画像（画像データ）を読み出して心筋細胞の拍動運動を解析する構成を例示したが、これに限定されるものではなく、撮像装置により撮影されて画像を第１、第２画像としてリアルタイムで解析し現時点における拍動運動を解析して表示するように構成してもよく、また、他の観察システムにおいて撮影され磁気記憶媒体等に記録された時系列画像や、通信回線を通じて転送されてきた時系列画像を読み込んで、拍動運動を解析するように構成してもよい。さらに、観察者が観察画像の所定範囲（例えば、特定のコロニーや、コロニー内の特定部位）をマウス等により解析範囲として設定し、この設定された解析範囲について画像処理装置が拍動運動の解析を実行するように構成してもよい。

また、上述の実施形態では、時系列画像における２枚の画像間の動きベクトルを利用して動きのある領域を抽出する構成を例示しているが、これに限定されるものではなく、例えば、移動体追尾等で利用するトラッキング手法や、画像の差分処理、などの他の既知の手法を利用して動きのある領域を抽出してもよい。

Ｃ コロニー
Ｖ 動きベクトル
ＭＣ 心筋細胞
ＥＸ 露光量
ＢＳ 培養観察システム
ＧＰ１，ＧＰ２ 画像処理プログラム
５ 観察ユニット ６ 制御ユニット
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１３０ 画像解析部 １３１ 動きベクトル検出部
１３２ 特徴量算出部 １４０ 出力部

Claims (10)

1. 第１露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得することと、
   前記第１露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第１検出可能領域を抽出することと、
   第２露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得することと、
   前記第２露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第２検出可能領域を抽出することと、
   前記第１検出可能領域の大きさと、前記第２検出可能領域の大きさとを対比することと、
   前記第１及び前記第２検出可能領域の大きさを指標とし、前記第１及び前記第２露光量のうち、検出可能領域の大きさが大きい方の露光量を最適露光量として決定することと、
   前記最適露光量のもとで前記細胞コロニーの運動を観察することと、
   を含む、細胞の運動観察方法。
2. 前記第２検出可能領域の大きさと前記第１検出可能領域の大きさとの間に差があるか否かを判別することを含む、請求項１に記載の細胞の運動観察方法。
3. 前記第１露光量は、前記細胞コロニーの中から動きのある領域を検出可能な露光量に設定される、請求項１又は２に記載の細胞の運動観察方法。
4. 前記細胞コロニーを撮像する領域を複数の注目領域に分割し、前記注目領域ごとに前記最適露光量を導出する、請求項１から３のいずれか一項に記載の細胞の運動観察方法。
5. 前記第１露光量で取得した前記時系列画像における二以上の画像間の動きベクトルを検出することと、
   前記第１露光量で取得した前記時系列画像において前記動きベクトルが検出された領域を前記第１検出可能領域として抽出することを含む、請求項１から４のいずれか一項に記載の細胞の運動観察方法。
6. 前記第２露光量で取得した前記時系列画像における二以上の画像間の動きベクトルを検出することと、
   前記第２露光量で取得した前記時系列画像において前記動きベクトルが検出された領域を前記第２検出可能領域として抽出することを含む、請求項１から５のいずれか一項に記載の細胞の運動観察方法。
7. コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
   第１露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得するステップと、
   前記第１露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第１検出可能領域を抽出するステップと、
   第２露光量で所定時間を隔てて、心筋細胞の候補となる細胞コロニーの時系列画像を取得するステップと、
   前記第２露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第２検出可能領域を抽出するステップと、
   前記第１検出可能領域の大きさと、前記第２検出可能領域の大きさとを対比するステップと、
   前記第１及び前記第２検出可能領域の大きさを指標とし、前記第１及び前記第２露光量のうち、検出可能領域の大きさが大きい方の露光量を最適露光量として決定するステップと、
   前記最適露光量のもとで前記細胞コロニーの運動を観察するステップと、
   を前記コンピュータに実行させる画像処理プログラム。
8. 前記第１露光量で取得した前記時系列画像における二以上の画像間の動きベクトルを検出するステップと、
   前記第１露光量で取得した前記時系列画像において前記動きベクトルが検出された領域を前記第１検出可能領域として抽出するステップとを含む、請求項７に記載の画像処理プログラム。
9. 前記第２露光量で取得した前記時系列画像における二以上の画像間の動きベクトルを検出するステップと、
   前記第２露光量で取得した前記時系列画像において前記動きベクトルが検出された領域を前記第２検出可能領域として抽出するステップとを含む、請求項７又は８に記載の画像処理プログラム。
10. 互いに異なる露光量で所定時間を隔てて心筋細胞の候補となる細胞コロニーの時系列画像を取得して画像を解析する画像解析部を備えた画像処理装置であって、
    前記画像解析部は、
    第１露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第１検出可能領域を抽出する第１動き領域検出部と、
    第２露光量で取得した前記細胞コロニーの時系列画像の中から動きのある領域である第２検出可能領域を抽出する第２動き領域検出部と、
    前記第１検出可能領域の大きさと、前記第２検出可能領域の大きさとを対比する動き領域対比部と、
    前記第１及び前記第２検出可能領域の大きさを指標とし、前記第１及び前記第２露光量のうち、検出可能領域の大きさが大きい方の露光量を最適露光量として決定する露光量決定部と、
    前記最適露光量のもとで前記細胞コロニーの運動を観察する観察部と、
    を備える画像処理装置。