JP6217968B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、特別な準備などを必要とせず、簡単に、非侵襲で拍動毎の伝搬から安定性を評価することができるようにする画像処理装置および方法、並びにプログラムに関する。

近年、細胞プロセスの研究などにおいて、カルシウムイオンと結合して蛍光を発する色素（カルシウム蛍光指示薬）を使用して細胞などを着色し、画像情報として観測することができようにした、カルシウム（Ｃａ）イメージングと呼ばれる技術が用いられている。

Ｃａイメージングにおいては、細胞内にＣａに結合して発光する蛍光色素を入れ込み、細胞の興奮によって生じるカルシウム濃度変化を検出することもできるので、拍動伝搬を可視化することも可能となる。

また、マルチ電極アレイ（ＭＥＡ）を用いた拍動伝搬の評価も行われている。ＭＥＡを用いた拍動伝搬の評価においては、培養皿の底に配置した電極によって細胞外膜電位の変化が検出され、電位変化のピーク時刻が等時線として表示される。

また、拍動の伝搬を容易かつ非侵襲に観察することができるようにした画像処理技術も提案されている(例えば、特許文献１参照)。

国際公開２０１２/１１８０４９号公報

しかしながら、Ｃａイメージングでは、細胞を蛍光染色する作業は煩雑であり、退色も起こる。また、蛍光色素が細胞に影響を及ぼす可能性がある。

また、マルチ電極アレイを用いる場合、特別な培養皿が必要であり、電極上にある細胞に係る拍動伝搬しか評価できない。

さらに、特許文献１では、拍動毎の伝搬速度、伝搬方向などを取得できず、例えば、拍動毎の伝搬速度、伝搬方向などを評価することができなかった。

本技術はこのような状況に鑑みて開示するものであり、特別な準備などを必要とせず、簡単に、非侵襲で拍動毎の伝搬から安定性を評価することができるようにするものである。

本技術の第１の側面は、撮像された画像に基づいて、心筋細胞の動きを観察領域の部分領域毎に検出する動き検出部と、前記検出された各動きの動き量を算出する動き量算出部と、前記算出された各動き量の時間の経過に伴う変化を表す波形情報に基づいて、前記心筋細胞の拍動毎の前記動きの伝搬速度および伝搬方向を算出する伝搬情報算出部と、前記拍動を表す波形に対応付けて、前記拍動毎の伝搬速度および伝搬方向を表示する表示部と
を備える画像処理装置である。

前記動き検出部は、前記観察領域の動画像の各フレームについて前記部分領域毎に前記動きを検出し、前記伝搬情報算出部は、前記動画像の複数のフレームの前記部分領域毎の前記動き量に基づいて、前記部分領域の前記心筋細胞の拍動を表す波形情報を生成することができる。

前記伝搬情報算出部は、所定の部分領域の前記波形情報の波形における予め設定された特徴点に対応する時刻を、他の部分領域の前記波形情報の波形における予め設定された特徴点に対応する時刻と比較することで、前記拍動毎の伝搬速度および伝搬方向を算出するようにすることができる。

前記観察領域全体の前記心筋細胞の複数の拍動に渡っての所定数の拍動に対応する心筋細胞の安定性を評価する評価値を算出する評価部をさらに備えることができる。

前記評価部は、前記拍動の伝搬方向および伝搬速度の分散の度合、前記拍動の伝搬方向および伝搬速度の最大値および最小値の差分の小ささ、前記伝搬速度が一定の範囲内に存在する度合の内、少なくともいずれか１つを評価するようにすることができる。

前記表示部は、外部ディスプレイに前記拍動毎の伝搬速度および伝搬方向を表示することができる。

前記表示部は、前記拍動の伝搬を等時線表示するようにすることができる。

前記表示部は、前記拍動の伝搬方向をヒストグラム表示するようにすることができる。

前記表示部は、前記拍動の安定性を評価する評価値の時間の経過に伴う推移を表示するようにすることができる。

本技術の第１の側面は、動き検出部が、撮像された画像に基づいて、心筋細胞の動きを観察領域の部分領域毎に検出し、動き量算出部が、前記検出された各動きの動き量を算出し、伝搬情報算出部が、前記算出された各動き量を表す波形に基づいて、前記心筋細胞の拍動毎の前記動きの伝搬速度および伝搬方向を算出し、前記拍動を表す波形に対応付けて、前記拍動毎の伝搬速度および伝搬方向を表示するステップを含む画像処理方法である。

本技術の第１の側面は、コンピュータを、撮像された画像に基づいて、心筋細胞の動きを観察領域の部分領域毎に検出する動き検出部と、前記検出された各動きの動き量を算出する動き量算出部と、前記算出された各動き量の時間の経過に伴う変化を表す波形情報に基づいて、前記心筋細胞の拍動毎の前記動きの伝搬速度および伝搬方向を算出する伝搬情報算出部と、前記拍動を表す波形に対応付けて、前記拍動毎の伝搬速度および伝搬方向を表示する表示部とを備える画像処理装置として機能させるプログラムである。

本技術の第１の側面においては、撮像された画像に基づいて、心筋細胞の動きが観察領域の部分領域毎に検出され、前記検出された各動きの動き量が算出され、前記算出された各動き量を表す波形に基づいて、前記心筋細胞の拍動毎の前記動きの伝搬速度および伝搬方向が算出される。そして、前記拍動を表す波形に対応付けて、前記拍動毎の伝搬速度および伝搬方向が表示される。

本技術によれば、特別な準備などを必要とせず、簡単に、非侵襲で拍動毎の伝搬から安定性を評価することができる。

本技術の一実施の形態に係る薬剤評価装置の構成例を示すブロック図である。 図１の評価指標データ生成部の構成例を示すブロック図である。 評価指標データ生成部に供給される評価対象画像データの構造例を示す図である。 図２の動き検出部の構成例を示すブロック図である。 フレーム画像データの構成例を示す図である。 動き検出データの構成例を示す図である。 動き量算出部の処理を説明する図である。 動き量算出部の処理を説明する図である。 伝搬情報算出部の処理を説明する図である。 伝搬情報算出部の処理を説明する図である。 伝搬情報算出部の処理を説明する図である。 伝搬情報算出部の処理を説明する図である。 評価部の処理を説明する図である。 評価部の処理を説明する図である。 評価部の処理を説明する図である。 表示部により表示される情報の例を示す図である。 表示部により表示される情報の例を示す図である。 表示部により表示される情報の例を示す図である。 表示部により表示される情報の例を示す図である。 拍動評価処理の例を説明するフローチャートである。 評価指標データ生成処理の例を説明するフローチャートである。 評価値算出処理の例を説明するフローチャートである。 表示処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

例えば再生医療においては、生体より採取された細胞を培養して製造される細胞組織である培養細胞を利用して各種の人体の組織、器官などを治療することが行われる。心筋細胞を培養した培養細胞である培養心筋細胞は、例えば、心臓の治療等に利用される可能性がある。また、創薬における心臓への毒性評価にも利用される。

生体内において、心筋細胞は、常時収縮と弛緩を繰り返しながら拍動する。したがって、心筋細胞は、その全体が収縮と弛緩を繰り返すように、各部分の細胞が所定の方向に運動する。実際には、心筋細胞は、自律的に拍動する部分と、周囲の拍動に依存して拍動する部分とが存在する。すなわち、心筋細胞の拍動は伝搬する。

図１は、本技術の一実施の形態に係る薬剤評価装置の構成例を示すブロック図である。

同図に示される薬剤評価装置１００は、培養心筋細胞１１０の動きを観察することによりその培養心筋細胞１１０に投与された薬剤の評価を行う装置である。薬剤評価装置１００は、撮像部１０１、評価対象画像データ生成記録部１０２、評価指標データ生成部１０３、評価部１０４、および表示部１０５を有している。

撮像部１０１は、観察対象である培養心筋細胞１１０を撮像する。撮像部１０１は、培養心筋細胞１１０を直接（他の部材を介さずに）撮像してもよいし、例えば顕微鏡等のような他の部材を介して培養心筋細胞１１０を撮像してもよい。

また、培養心筋細胞１１０は、撮像部１０１に対して固定されていてもよいし、固定されていなくてもよい。薬剤評価装置１００は、動き（位置の時間的変化）を検出するため、一般的には、培養心筋細胞１１０が撮像部１０１に対して固定されている方が望ましい。

撮像部１０１は、所定の期間培養心筋細胞１１０を撮像する。つまり、撮像部１０１は、培養心筋細胞１１０を被写体とする動画像を得る。撮像部１０１は、薬剤投与前と後で培養心筋細胞１１０を撮像する。なお、撮像部１０１が、例えば、所定時間経過毎等、所定の条件にしたがって、薬剤投与後に複数回培養心筋細胞１１０を撮像するようにしてもよい。

撮像部１０１は、撮像により得られた培養心筋細胞１１０の画像の画像信号１１１（動画像）を評価対象画像データ生成記録部１０２に供給する。

評価対象画像データ生成記録部１０２は、撮像部１０１から供給される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。ここで生成される評価対象画像データは、例えば、培養心筋細胞１１０を撮像した画像信号から生成される動画像データとなる。

例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される複数のフレーム画像の中から一部の期間のフレーム画像のみを抽出し、それを評価対象画像データとするようにしてもよい。また、例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される各フレーム画像の一部の領域を小フレーム画像として抽出し、その小フレーム画像からなる動画像を評価対象画像データとするようにしてもよい。

さらに、例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される各フレーム画像に対して任意の画像処理を施し、その画像処理結果を評価対象画像データとするようにしてもよい。画像処理としては、例えば、画像の拡大、縮小、回転、変形、輝度や色度の補正、シャープネス、ノイズ除去、中間フレーム画像生成等が考えられる。もちろん、これら以外のどのような画像処理であってもよい。

評価対象画像データ生成記録部１０２は、記憶している評価対象画像データ１１２を、所定のタイミングにおいて、若しくは、評価指標データ生成部１０３の要求に基づいて、評価指標データ生成部１０３に供給する。

評価指標データ生成部１０３は、供給された評価対象画像データ１１２の各フレーム画像間において、観察対象（培養心筋細胞１１０）の画像の全領域を複数に分割した部分領域であるブロック毎に、観察対象（培養心筋細胞１１０）の動き検出を行う。

評価指標データ生成部１０３は、その検出した各ブロックの動きを動きベクトルとして表し、その動きベクトルの大きさ（動き量）を求める。また、評価データ生成部１０３は、後述する伝搬情報を算出する。

評価指標データ生成部１０３は、伝搬情報を含むデータを、評価指標データ１１３として評価部１０４に供給する。

評価部１０４は、評価指標データ１１３に含まれる情報に基づいて、後述するように、培養心筋細胞１１０の拍動の安定性を評価するための評価値１１４を算出する。

表示部１０５は、評価指標データ１１３、または、評価値１１４に係る情報を可視化して表示する。

図２は、図１の評価指標データ生成部１０３の構成例を示すブロック図である。図２に示されるように、評価指標データ生成部１０３は、動き検出部１２１、動き量算出部１２２、および伝搬情報算出部１２３を有している。

動き検出部１２１は、評価対象画像データ生成記録部１０２から記録された評価対象画像データ１１２を入力してブロック毎に動き検出を行い、その検出結果（動きベクトル）を、後述する動き検出データとして、動き量算出部１２２に供給する。

動き量算出部１２２は、後述するように、供給された各動き検出データを、新たなブロックに分割し、各ブロック内の平均動き量を算出する。動き量算出部１２２は、算出した平均動き量を伝搬情報算出部１２３に供給する。

伝搬情報算出部１２３は、所定のタイミングにおいて若しくは評価部１０４からの要求に基づいて、後述する伝搬情報を算出し、その伝搬情報を含む評価指標データ１１３を生成する。生成された評価指標データ１１３は、評価部１０４に供給される。

なお、動き検出部１２１乃至伝搬情報算出部１２３は、評価対象画像データの各フレーム画像についてこの処理を行う。

図３は、評価指標データ生成部１０３に供給される評価対象画像データ１１２の構造例を示している。撮像は、所定の長さの評価区間（例えばＴ＋１フレーム（Ｔは任意の自然数））行われる。つまり、評価指標データ生成部１０３に供給される評価対象画像データ１１２は、例えばその評価区間に対応する１番目から（Ｔ＋１）番目までのフレーム画像データ１３２−１乃至１３２−（Ｔ＋１）から成る。

図４は、動き検出部１２１の主な構成例を示すブロック図である。図４に示されるように、動き検出部１２１は、フレームメモリ１４１および動きベクトル算出部１４２を有する。フレームメモリ１４１は、評価対象画像データ１１２として１フレーム期間ごとに順次入力されてくるフレーム画像データ１３２を保持する。

動きベクトル算出部１４２は、現時刻の評価対象画像データ１１２として入力されるフレーム画像データと、フレームメモリ１４１に保持されている１つ先の（時間的に前の）時刻のフレーム画像データとを入力する。そして、これらの２つフレーム画像データ間の動きを示す動きベクトルを、ブロック毎に算出する。算出された動きベクトルは、動き検出データ１５１として動き量算出部１２２に供給される。

図４の動き検出部１２１が実行する処理についてより詳細に説明する。動きベクトル算出部１４２は、現時刻のフレーム画像データ１３２と１つ先の（時間的に前の）時刻のフレーム画像データ１３２を入力する。動きベクトル算出部１４２は、これらの入力したフレーム画像データ１３２を、図５に示されるように、Ｍ×Ｎ個（Ｍ、Ｎは任意の自然数）のブロック１６１に分割し、各ブロック１６１について、例えばフレーム画像間のブロックマッチングなどの手法により動き検出を行い、動きベクトルを生成する。

動きベクトル算出部１４２は、この動き検出処理を１番目から（Ｔ＋１）番目までのフレーム画像データ１３２を順次利用して実行していく。つまり、動きベクトル算出部１４２は、（Ｔ＋１）個のフレーム画像を用いて、（Ｍ×Ｎ×Ｔ）個の動き検出データ（動きベクトル）を生成する。動きベクトル算出部１４２は、このように算出した動きベクトルを動き検出データとして、動き量算出部１２２に供給される。

Ｔ番目と（Ｔ＋１）番目のフレーム画像データ１３２を利用した最後の動き検出処理が完了すると、動き量算出部１２２には、図６に示されるように、Ｔ個のフレーム単位動き検出データ１７１−１乃至１７１−Ｔから成る動き検出データが供給される。

フレーム単位動き検出データ１７１−１乃至１７１−Ｔのそれぞれは、フレーム期間ごとに得られる現時刻のフレーム画像データ１３２と１つ先の（時間的に前の）フレーム画像データ１３２とを対象に動き検出処理を行って得られたものとなる。

例えば、３番目のフレーム単位動き検出データ１７１−３は、４番目のフレーム画像データ１３２−４と３番目のフレーム画像データ１３２−３を、それぞれ現時刻と１つ先の時刻のフレーム画像データとして入力して動き検出を行うことで得られる。

また、フレーム単位動き検出データ１７１−１乃至１７１−Ｔの各々は、（Ｍ×Ｎ）個のブロック単位動き検出データ１８１により形成される。ブロック単位動き検出データ１８１は、それぞれが１つのブロック１６１に対応し、対応するブロック１６１について検出された動きベクトルを示すデータとなる。

このように、本実施の形態の動き検出データ１５１は、フレーム単位動き検出データ１７１ごとに（Ｍ×Ｎ）個のブロック単位動き検出データ１８１を有する構造となっている。

図７と図８は、動き量算出部１２２が実行する処理について説明する図である。

動き量算出部１２２は、動き検出データ１５１において、（Ｍ×Ｎ）個のブロックから成るフレーム単位動き検出データ１７１のそれぞれを、新たに（Ｋ×Ｌ）個のブロックに分割する。例えば、図７に示されるように、フレーム単位動き検出データ１７１が（Ｋ×Ｌ）個のブロック１９１に分割される。

動き量算出部１２２は、（Ｋ×Ｌ）個のブロック１９１のそれぞれに含まれるブロック単位動き検出データ１８１の平均値を演算することにより、各ブロック内の平均動き量を算出する。例えば、Ｌ＝Ｎ／３、Ｋ＝Ｍ／３である場合、ブロック１９１内の９個の動きベクトル（ブロック単位動き検出データ１８１）の平均値が演算され、（Ｋ×Ｌ）個の平均動き量が算出されることになる。

これにより、例えば、図８に示されるように、Ｔ個のフレーム単位動き量データ２０１−１乃至２０１−Ｔから成る動き量データ２００が生成される。上述したように、フレーム単位動き量データ２０１−１乃至２０１−Ｔの各々は、（Ｋ×Ｌ）個のブロック単位動き量データ２１１により形成される。ブロック単位動き量データ２１１は、それぞれが１つのブロック１９１に対応し、対応するブロック１９１内の動きベクトルの平均値を示すデータとなる。

次に、伝搬情報算出部１２３の処理の例について説明する。

伝搬情報算出部１２３は、心筋細胞の拍動の伝搬に係る情報である伝搬情報を、次のようにして算出する。

伝搬情報算出部１２３は、動き量データ２００に基づいて、動き量の変化を表す波形情報２２０を生成する。すなわち、伝搬情報算出部１２３は、動き量データ２００を構成する（Ｋ×Ｌ）個のブロック単位動き量データ２１１のそれぞれについて、時間の経過に伴う変化を算出する。

例えば、図９に示されるように、動き量データ２００を構成するフレーム単位動き量データ２０１−１乃至２０１−Ｔの中のブロック単位動き量データ２１１−ｐの値を時刻毎にプロットする。これにより、ブロック単位動き量データ２１１−ｐについての波形情報２２０が生成される。図９における波形情報２２０は、横軸が時間、縦軸が動き量とされ、時間の経過に伴うブロック単位動き量データ２１１−ｐの値の変化が、波形２２１として示されている。

そして、伝搬情報算出部１２３は、波形情報２２０における各波形の立ち上がり時刻を特定する。図９における波形２２１は、高いピークと低いピークが交互に繰り返し出現する波形とされている。これは、培養心筋細胞の拍動において収縮と弛緩が繰り返されることによるものであり、高いピークは培養心筋細胞が収縮している時刻に対応し、低いピークは培養心筋細胞が弛緩している時刻に対応する。

従って、波形２２１に示される、収縮のピークの立ち上がりから弛緩のピークの立下りまでの時間を、当該ブロックの培養心筋細胞の１拍動として認識することが可能となる。

なお、培養心筋細胞の収縮に対応するピークと弛緩に対応するピークは、例えば、次のような特徴に基づいて判別することが可能である。拍動の波形において、収縮のピークの方が弛緩のピークよりも前にある。また、収縮のピークの方が、速度が大きい。さらに、収縮のピークの方が、立ち上がりが急である。また、収縮のピークの方が、開始点の速度が小さい。

図１０は、図９の波形２２１の一部を拡大した図である。このとき、伝搬情報算出部１２３は、高いピーク（すなわち、培養心筋細胞の収縮に対応するピーク）ＰＫ１の動き量を１００％とし、波形がピークＰＫ１の１０％の動き量に至った時刻を立ち上がり時刻Ｔｕｐとして特定する。

なお、波形２２１に、ピークＰＫ１の１０％の動き量に至った時刻に対応するプロット点がない場合、前後のプロット点に基づいて波形が補間されるなどして、立ち上がり時刻Ｔｕｐが特定される。図１１は、図１０における波形２２１の立ち上がり付近（図中の四角形で囲まれた部分）を拡大した図である。同図においては、プロット点ＰＬ１およびＰＬ２に基づいて波形が補間されている。

このようにして、ブロック単位動き量データ２１１−ｐに対応するブロック１９１−ｐの立ち上がり時刻が特定される。そして、ブロック１９１−ｐの周辺のブロックの立ち上がり時刻も特定される。

次に、伝搬情報算出部１２３は、培養心筋細胞の拍動の伝搬速度と伝搬方向を算出する。

伝搬情報算出部１２３は、例えば、図１２に示されるように、（Ｋ×Ｌ）個のブロック１９１のそれぞれの中の注目ブロックを設定する。例えば、ブロック１９１−ｐが注目ブロックとして設定され、注目ブロック１９１−ｐの第１拍目の立ち上がり時刻ｔ０が特定される。そして、注目ブロックから水平方向に所定の距離（例えば、２ブロック分）だけ離れたブロック１９１−ｑの第１拍目の立ち上がり時刻ｔｘが特定され、さらに、注目ブロックから垂直方向に所定の距離（例えば、２ブロック分）だけ離れたブロック１９１−ｒの第１拍目の立ち上がり時刻ｔｙが特定される。

伝搬情報算出部１２３は、水平方向の拍動の伝搬速度ｖｘ、および垂直方向の拍動の伝搬速度ｖｙのそれぞれを、式（１）によって求める。

・・・（１）

また、伝搬情報算出部１２３は、水平方向の拍動の伝搬速度ｖｘ、および垂直方向の拍動の伝搬速度ｖｙに基づいて、拍動の伝搬速度│ｖ│を式（２）によって求める。

・・・（２）

さらに、伝搬情報算出部１２３は、水平方向の拍動の伝搬速度ｖｘ、および垂直方向の拍動の伝搬速度ｖｙに基づいて、拍動の伝搬方向θを式（３）によって求める。

・・・（３）

このようにして、ブロック１９１−ｐの伝搬速度と伝搬方向が算出される。また、同様にして、他のブロックを注目ブロックした、伝搬速度と伝搬方向の算出が行われる。

このようにして、培養心筋細胞の拍動の伝搬速度と伝搬方向が算出される。なお、ここで得られる伝搬速度と伝搬方向は、動き量データ２００の各ブロックのそれぞれについて、拍動毎に得られることになる。例えば、ブロック１９１−ｐにおける第１拍目の伝搬速度と伝搬方向、第２拍目の伝搬速度と伝搬方向、第３拍目の伝搬速度と伝搬方向、・・・、ブロック１９１−ｐ＋１における第１拍目の伝搬速度と伝搬方向、第２拍目の伝搬速度と伝搬方向、第３拍目の伝搬速度と伝搬方向、・・・、のように、各ブロックのそれぞれについて、拍動毎に得られることになる。

このようにして得られた、動き量データ２００の各ブロックのそれぞれについての拍動毎の伝搬速度と伝搬方向が評価指標データ１１３として出力される。

図１に戻って、評価部１０４の処理の例について説明する。

評価部１０４は、動き量データ２００の各ブロックの水平方向の拍動の伝搬速度の平均値Ａｖｘ、および垂直方向の拍動の伝搬速度の平均値Ａｖｙを式（４）によって求める。

・・・（４）

また、評価部１０４は、水平方向の拍動の伝搬速度の平均値Ａｖｘ、および垂直方向の拍動の伝搬速度の平均値Ａｖｙに基づいて、拍動の伝搬方向の平均値Ａθを式（５）により求める。

・・・（５）

このようにすることで、動き量データ２００全体（すなわち、撮像により得られた培養心筋細胞１１０の画像全体）の伝搬速度の平均値と伝搬方向の平均値が、拍動毎に得られることになる。例えば、図１３に示されるように、拍動の波形と、伝搬速度の平均値および伝搬方向の平均値を対応付けた情報が得られることになる。図１３の例では、１拍目の伝搬速度の平均値および伝搬方向の平均値が（Ａｖ０，Ａθ０）、２拍目の伝搬速度の平均値および伝搬方向の平均値が（Ａｖ１，Ａθ１）、３拍目の伝搬速度の平均値および伝搬方向の平均値が（Ａｖ２，Ａθ２）、・・・とされている。

さらに、評価部１０４は、複数の拍動に係る伝搬速度の平均値の分散値、および複数の拍動に係る伝搬方向の平均値の分散値を算出する。また、評価部１０４は、複数の拍動に係る伝搬速度の平均値の最大値および最小値、並びに、複数の拍動に係る伝搬方向の平均値の最大値および最小値を算出する。さらに、評価部１０４は、複数の拍動に係る伝搬速度の平均値が一定の範囲内にあるか否かを検出する。

そして、評価部１０４は、複数の拍動に係る伝搬速度の平均値の分散値の小ささ（分散の度合）、および複数の拍動に係る伝搬方向の平均値の分散値の小ささ（分散の度合）を表す評価値Ｅ１および評価値Ｅ２を算出する。また、評価部１０４は、複数の拍動に係る伝搬速度の平均値の最大値および最小値の差分絶対値の小ささを表す評価値Ｅ３、並びに、複数の拍動に係る伝搬方向の平均値の最大値および最小値の差分絶対値の小ささを表す評価値Ｅ４を算出する。

評価値Ｅ１乃至評価値Ｅ４は、例えば、図１４に示されるようにして得られる。図１４は、横軸が伝搬速度の平均値の分散値および伝搬方向の平均値の分散値、または、伝搬速度の平均値の最大値および最小値の差分絶対値、並びに、伝搬方向の平均値の最大値および最小値の差分絶対値とされ、縦軸が評価値とされる。図１４に示されるように、横軸の値が所定の閾値より小さい場合、評価値の値は１となり、横軸の値が所定の閾値以上の場合、評価値が減少していく。

さらに、評価部１０４は、複数の拍動に係る伝搬速度の平均値が一定の範囲内に存在する度合を表す評価値Ｅ５を算出する。

評価値Ｅ５は、例えば、図１５に示されるようにして得られる。図１５は、横軸が伝搬速度の平均値、縦軸が評価値とされる。図１５に示されるように、伝搬速度の平均値が一定の範囲内である場合、評価値は１となり、伝搬速度の平均値が一定の範囲から外れると評価値が減少していく。

そして、評価部１０４は、このようにして算出された評価値Ｅ１乃至評価値Ｅ５を用いて、培養心筋細胞の拍動の安定性を表す評価値Ｅを式（６）によって求める。

・・・（６）

なお、式（６）におけるα１乃至α５は、予め設定された重み係数とされる。

このようにして算出された評価値Ｅは、所定数の拍動に対応する、培養心筋細胞の拍動の安定性を表す評価値とされる。例えば、時間的に連続する複数の評価値Ｅによって、評価値１１４が構成され、評価部１０４から出力される。

図１に戻って、表示部１０５の処理の例について説明する。

表示部１０５は、評価指標データ１１３、または、評価値１１４に係る情報を可視化して表示する処理を実行する。

例えば、表示部１０５は、拍動の伝搬の等時線表示を行う。例えば、図１０および図１１を参照して説明したように、ブロック１９１のそれぞれの立ち上がり時刻が取得される。そして、表示部１０５は、ブロック１９１のそれぞれについて、立ち上がり時刻の差分が所定の範囲内であるものを等時刻ブロックとし、等時刻ブロックのそれぞれを同一色で表示することにより、拍動の伝搬の等時線表示を行う。

図１６は、拍動の伝搬の等時線表示の例を示す図である。この例では、立ち上がり時刻が早いブロック１９１が濃い色で表示され、立ち上がり時刻が遅くなるに従って、ブロック１９１が薄い色で表示されるようになされている。

図１６に示されるように、等時線表示がなされることで、培養心筋細胞の中でどのように拍動が伝搬しているかを簡単に把握することができる。また、このような等時線表示を、拍動毎に得ることができるので、拍動の安定性をより詳細に評価することが可能となる。

また、例えば、表示部１０５は、拍動の伝搬方向のヒストグラム表示を行う。上述したように、式（３）によって、ブロック１９１のそれぞれについての拍動の伝搬方向が算出される。例えば、拍動の伝搬方向が同一であるブロック１９１の数を度数とし、伝搬方向と度数に基づくヒストグラム表示が行われる。

図１７は、拍動の伝搬方向のヒストグラム表示の例を示す図である。この例では、図中の中心点を基準として拍動の伝搬方向が表されており、図中の中心から外れるほど度数が高くなるように、ヒストグラム表示されている。また、同図の例では、点線によって、薬剤投与前（ｂｅｆｏｒｅ）の拍動の伝搬方向のヒストグラムが示されており、実線によって、薬剤投与後（ａｆｔｅｒ）の拍動の伝搬方向のヒストグラムが示されている。

図１７に示されるように、ヒストグラム表示することで、薬剤投与前と薬剤投与後において拍動の伝搬方向の変化を簡単に把握することができる。また、このようなヒストグラムを、拍動毎に得ることができるので、拍動の安定性をより詳細に評価することが可能となる。

また、例えば、表示部１０５は、伝搬速度および伝搬方向を拍動毎に表示する。図１３を参照して上述したように、拍動の波形と、伝搬速度の平均値および伝搬方向の平均値を対応付けた情報が得られる。例えば、拍動の波形とともに、伝搬速度の平均値および伝搬方向の平均値が、矢印などによって可視化されて表示される。

図１８は、伝搬速度および伝搬方向を拍動毎に表示する例を示す図である。同図においては、線２５１によって拍動の波形が示されている。また、拍動の波形とともに、矢印２５２−１乃至矢印２５２−４によって、拍動毎の伝搬速度および伝搬方向が示されている。このように拍動のそれぞれに対応づけられて伝搬速度および伝搬方向が矢印の長さと向きによって表示されるので、拍動の安定性をより詳細に評価することが可能となる。

また、例えば、表示部１０５は、時間の経過に伴う評価値１１４の推移を可視化して表示するようにしてもよい。

図１９は、時間の経過に伴う評価値１１４の推移を可視化して表示する例を示す図である。同図は、横軸が時間とされ、縦軸が評価値Ｅの大きさとされ、時間の経過に伴う評価値１１４の推移が線２７１によって示されている。

また、図１９の例では、線２７１が閾値を下回ると、警告が表示されるようになされている。

表示部１０５は、このようにして、評価指標データ１１３、または、評価値１１４に係る情報を可視化して表示する。表示部１０５は、例えば、図１６乃至図１９に示される情報を、ディスプレイに表示したり、プリンタを介して印刷するなどして表示する。なお、図１６乃至図１９に示される情報が必ずしも全て表示される必要はなく、例えば、ユーザの選択に基づいて表示されるようにしてもよい。

次に、図２０のフローチャートを参照して、本技術を適用した薬剤評価装置１００による拍動評価処理の例について説明する。

ステップＳ２１において、評価対象画像データ生成記録部１０２は、培養心筋細胞の画像が撮像された画像データを取得する。

ステップＳ２２において、評価指標データ生成部１０３は、図２１のフローチャートを参照して後述する評価指標データ生成処理を実行する。これにより、評価指標データが生成される。

ステップＳ２３において、評価部１０４は、図２２のフローチャートを参照して後述する評価値算出処理を実行する。これにより、評価値が算出される。

ステップＳ２４において、表示部１０５は、図２３のフローチャートを参照して後述する表示処理を実行する。これにより、評価指標データ１１３、または、評価値１１４に係る情報が可視化されて表示される。

このようにして、拍動評価処理が実行される。

次に、図２１のフローチャートを参照して、図２０のステップＳ２２の評価指標データ生成処理の詳細な例について説明する。

ステップＳ４１において、動き検出部１２１は、図２０のステップＳ２１で取得された画像データに基づいて、動き検出を行う。これにより、上述したように、（Ｍ×Ｎ）個のブロック単位動き検出データ１８１を有する動き検出データ１５１が得られる。

ステップＳ４２において、動き量算出部１２２は、ステップＳ４１の処理に伴って得られた動き検出データ１５１に基づいて、動き量を算出する。このとき、例えば、動き検出データ１５１おいて、（Ｍ×Ｎ）個のブロックから成るフレーム単位動き検出データ１７１のそれぞれを、新たに（Ｋ×Ｌ）個のブロックに分割され、フレーム単位動き検出データ１７１が（Ｋ×Ｌ）個のブロック１９１に分割される。そして、（Ｋ×Ｌ）個のブロック１９１のそれぞれに含まれるブロック単位動き検出データ１８１の平均値を演算することにより、各ブロック内の平均動き量が算出される。

これにより、例えば、図８に示されるように、Ｔ個のフレーム単位動き量データ２０１−１乃至２０１−Ｔから成る動き量データ２００が生成される。

ステップＳ４３において、伝搬情報算出部１２３は、拍動の伝搬速度および伝搬方向を算出する。このとき、上述したように、動き量データ２００に基づいて、動き量の変化を表す波形情報２２０が生成され、波形情報２２０における各波形の立ち上がり時刻が特定される。そして、水平方向の拍動の伝搬速度ｖｘ、および垂直方向の拍動の伝搬速度ｖｙのそれぞれが、式（１）によって求められ、拍動の伝搬速度│ｖ│が式（２）によって求められる。さらに、拍動の伝搬方向θが式（３）によって求められる。

ステップＳ４４において、評価指標データが出力される。すなわち、上述のようにして得られた、動き量データ２００の各ブロックのそれぞれについての拍動毎の伝搬速度と伝搬方向が評価指標データ１１３として出力される。

次に、図２２のフローチャートを参照して、図２０のステップＳ２３の評価値算出処理の詳細な例について説明する。

ステップＳ６１において、評価部１０４は、動き量データ２００の各ブロックの水平方向の拍動の伝搬速度の平均値Ａｖｘ、および垂直方向の拍動の伝搬速度の平均値Ａｖｙを式（４）によって求める。また、ステップＳ６１において、評価部１０４は、水平方向の拍動の伝搬速度の平均値Ａｖｘ、および垂直方向の拍動の伝搬速度の平均値Ａｖｙに基づいて、拍動の伝搬方向の平均値Ａθを式（５）により求める。

ステップＳ６２において、評価部１０４は、複数の拍動に係る伝搬速度の平均値の分散値、および複数の拍動に係る伝搬方向の平均値の分散値を算出する。

ステップＳ６３において、評価部１０４は、複数の拍動に係る伝搬速度の平均値の最大値および最小値、並びに、複数の拍動に係る伝搬方向の平均値の最大値および最小値を算出する。さらに、評価部１０４は、複数の拍動に係る伝搬速度の平均値が一定の範囲内にあるか否かを検出する。

ステップＳ６４において、評価部１０４は、複数の拍動に係る伝搬速度の平均値の分散値、および複数の拍動に係る伝搬方向の平均値の分散値の小ささを表す評価値Ｅ１および評価値Ｅ２を算出する。また、評価部１０４は、複数の拍動に係る伝搬速度の平均値の最大値および最小値の差分絶対値の小ささを表す評価値Ｅ３、並びに、複数の拍動に係る伝搬方向の平均値の最大値および最小値の差分絶対値の小ささを表す評価値Ｅ４を算出する。さらに、評価部１０４は、複数の拍動に係る伝搬速度の平均値が一定の範囲内に存在する度合を表す評価値Ｅ５を算出する。

ステップＳ６５において、評価部１０４は、このようにして算出された評価値Ｅ１乃至評価値Ｅ５を用いて、培養心筋細胞の拍動の安定性を表す評価値Ｅを式（６）によって求める。

このようにして算出された評価値Ｅは、所定数の拍動に対応する、培養心筋細胞の拍動の安定性を表す評価値とされる。例えば、時間的に連続する複数の評価値Ｅによって、評価値１１４が構成され、評価部１０４から出力される。

次に、図２３のフローチャートを参照して、図２０のステップＳ２４の表示処理の詳細な例について説明する。

ステップＳ８１において、表示部１０５は、拍動の伝搬の等時線表示を行う。これにより、例えば、図１６に示されるように、拍動の伝搬の等時線表示が行われる。

ステップＳ８２において、表示部１０５は、拍動の伝搬方向のヒストグラム表示を行う。これにより、例えば、図１７に示されるように、拍動の伝搬方向のヒストグラム表示が行われる。

ステップＳ８３において、表示部１０５は、伝搬速度および伝搬方向を拍動毎に表示する。これにより、例えば、図１８に示されるように、伝搬速度および伝搬方向が拍動毎に表示される。

ステップＳ８４において、表示部１０５は、時間の経過に伴う評価値１１４の推移を表示する。これにより、例えば、図１９に示されるように、時間の経過に伴う評価値１１４の推移が表示される。

なお、表示処理において、必ずしも、ステップＳ８１乃至ステップＳ８４のそれぞれが実行される必要はなく、例えば、ステップＳ８１乃至ステップＳ８４のそれぞれが選択的に実行されるようにしてもよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図２４において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図２４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

１０１ 撮像部， １０２ 評価対象画像データ生成記録部， １０３ 評価指標データ生成部， １０４ 評価部， １０５ 表示部， １２１ 動き検出部， １２２ 動き量算出部， １２３ 伝搬情報算出部

Claims (11)

1. 撮像された画像に基づいて、心筋細胞の動きを観察領域の部分領域毎に検出する動き検出部と、
   前記検出された各動きの動き量を算出する動き量算出部と、
   前記算出された各動き量の時間の経過に伴う変化を表す波形情報に基づいて、前記心筋細胞の拍動毎の前記動きの伝搬速度および伝搬方向を算出する伝搬情報算出部と、
   前記拍動を表す波形に対応付けて、前記拍動毎の伝搬速度および伝搬方向を表示する表示部と
   を備える画像処理装置。
2. 前記動き検出部は、
   前記観察領域の動画像の各フレームについて前記部分領域毎に前記動きを検出し、
   前記伝搬情報算出部は、
   前記動画像の複数のフレームの前記部分領域毎の前記動き量に基づいて、前記部分領域の前記心筋細胞の拍動を表す波形情報を生成する
   請求項１に記載の画像処理装置。
3. 前記伝搬情報算出部は、
   所定の部分領域の前記波形情報の波形における予め設定された特徴点に対応する時刻を、他の部分領域の前記波形情報の波形における予め設定された特徴点に対応する時刻と比較することで、前記拍動毎の伝搬速度および伝搬方向を算出する
   請求項２に記載の画像処理装置。
4. 前記観察領域全体の前記心筋細胞の複数の拍動に渡っての所定数の拍動に対応する心筋細胞の安定性を評価する評価値を算出する評価部をさらに備える
   請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記評価部は、
   前記拍動の伝搬方向および伝搬速度の分散の度合、前記拍動の伝搬方向および伝搬速度の最大値および最小値の差分の小ささ、前記伝搬速度が一定の範囲内に存在する度合の内、少なくともいずれか１つを評価する
   請求項４に記載の画像処理装置。
6. 前記表示部は、外部ディスプレイに前記拍動毎の伝搬速度および伝搬方向を表示する
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記表示部は、
   前記拍動の伝搬を等時線表示する
   請求項６に記載の画像処理装置。
8. 前記表示部は、
   前記拍動の伝搬方向をヒストグラム表示する
   請求項６に記載の画像処理装置。
9. 前記表示部は、
   前記拍動の安定性を評価する評価値の時間の経過に伴う推移を表示する
   請求項６に記載の画像処理装置。
10. 動き検出部が、撮像された画像に基づいて、心筋細胞の動きを観察領域の部分領域毎に検出し、
    動き量算出部が、前記検出された各動きの動き量を算出し、
    伝搬情報算出部が、前記算出された各動き量を表す波形に基づいて、前記心筋細胞の拍動毎の前記動きの伝搬速度および伝搬方向を算出し、
    前記拍動を表す波形に対応付けて、前記拍動毎の伝搬速度および伝搬方向を表示する
    ステップを含む画像処理方法。
11. コンピュータを、
    撮像された画像に基づいて、心筋細胞の動きを観察領域の部分領域毎に検出する動き検出部と、
    前記検出された各動きの動き量を算出する動き量算出部と、
    前記算出された各動き量の時間の経過に伴う変化を表す波形情報に基づいて、前記心筋細胞の拍動毎の前記動きの伝搬速度および伝搬方向を算出する伝搬情報算出部と、
    前記拍動を表す波形に対応付けて、前記拍動毎の伝搬速度および伝搬方向を表示する表示部と
    を備える画像処理装置として機能させる
    プログラム。

Images