JPWO2011122200A1 - データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム - Google Patents

データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
JPWO2011122200A1
JPWO2011122200A1 JP2012508154A JP2012508154A JPWO2011122200A1 JP WO2011122200 A1 JPWO2011122200 A1 JP WO2011122200A1 JP 2012508154 A JP2012508154 A JP 2012508154A JP 2012508154 A JP2012508154 A JP 2012508154A JP WO2011122200 A1 JPWO2011122200 A1 JP WO2011122200A1
Authority
JP
Japan
Prior art keywords
evaluation
motion
unit
index data
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012508154A
Other languages
English (en)
Other versions
JP5772817B2 (ja
Inventor
威 國弘
威 國弘
真史 内田
真史 内田
松居 恵理子
恵理子 松居
智広 早川
智広 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012508154A priority Critical patent/JP5772817B2/ja
Publication of JPWO2011122200A1 publication Critical patent/JPWO2011122200A1/ja
Application granted granted Critical
Publication of JP5772817B2 publication Critical patent/JP5772817B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

本開示は、的確かつ詳細な培養心筋細胞の評価を行うための評価指標データを生成することができるようにするデータ処理装置およびデータ処理方法に関する。動き検出部は、培養心筋細胞を一定時間撮影して得られるフレーム画像データをブロックに分割し、フレーム周期ごとのブロック単位の動き検出データを得る。特徴量算出部は、動き検出データを利用してフレーム画像における同じ位置のブロックごとに特徴量を算出する。分類処理部は、算出された特徴量を利用して、ブロックの各々について複数の分類区分のうちの何れか1つに分類する。この分類結果に基づき、ブロックと分類区分との対応を示す個別分類結果データから成る評価指標データを生成する。

Description

本開示は、データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラムに関し、特に、周期性を有する運動を行う物体について評価を行う際の指標となるデータを生成するデータ処理装置およびその方法、画像処理装置および方法、並びに、プログラムに関する。
再生医療の分野においては、細胞を培養して製造した培養細胞を利用し、事故や病気などにより失われた体の細胞、組織、器官などの再生、また機能の回復を図るということが行われている。このような培養細胞として製造できる細胞組織は多岐にわたるが、その中の1つに心筋細胞があり、心臓の治療に用いられる。この培養心筋細胞はそれ自体が拍動に相当する動きをする。そこで、培養心筋細胞の製造段階においては、例えば上記の動きが良好かどうかについての品質評価を行うことが必要になってくる。
このような培養心筋細胞の品質評価を行うにあたり、例えば現状においては、目視による観察が行われている。また、培養心筋細胞に電極を刺して電位を測定するということも行われている。しかし、目視による観察では、観察者の主観によるところが大きく、客観的で的確な評価結果を得ることが難しい。また、電位を測定する場合においては培養心筋細胞に電極が接触するために非侵襲ではないという問題がある。また、この電位による測定に基づいて定量化できる情報は例えば拍動時間程度に限られる。
そこで、従来技術として、心筋細胞を撮影して得られる撮像画面中に測定点を設定し、この測定点の輝度を自動計測して、その計測値から心筋細胞の変形周期を測定しようとする構成が知られている(例えば、特許文献1参照。)。
特開昭63−233392号公報(図1)
しかし、上述の従来技術では、輝度の周期的変化を測定対象としているために、測定が可能であるのは拍動周期の時間間隔に限定される。すなわち、非侵襲ではあるが、定量化できる情報が拍動の周期にとどまるという点では、電位を測定する場合と同じ問題を抱えたままとなっており、的確な評価結果を得ることは依然として難しい。
本開示は、このような状況に鑑みてなされたものであり、培養心筋細胞などに代表される周期的な運動を行う物体の動きについて、これまでよりも高精度で的確な評価が行えるようにすることをその目的とする。
本開示は、上記課題を解決するためになされたものであり、その第1の側面は、周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出部と、上記検出されたブロックごとの動きの時系列データに基づいて、上記ブロックごとに少なくとも1種類の特徴量を算出する特徴量算出部と、上記複数のフレーム画像データの何れか1つを形成する上記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類した結果を示す分類データを上記算出された特徴量に基づいて生成する分類処理部とを具備するデータ処理装置である。これにより、周期的な運動を行う物体の画像について、特徴量に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記特徴量算出部は、複数種類の上記特徴量を上記ブロックごとに算出し、上記分類部は、算出された複数種類の上記特徴量に基づいて上記分類データを生成してもよい。これにより、周期的な運動を行う物体の画像について、複数の特徴量の組み合わせに基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記特徴量算出部は、上記特徴量の1種類として一定時間における単位時間ごとの動き方向の平均値である平均動き方向を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均動き方向に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記特徴量算出部は、上記特徴量の1種類として一定時間における単位時間ごとの動き量の平均値である平均動き量を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均動き量に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記特徴量算出部は、上記特徴量の1種類として一定時間において得られた一定以上の動き量の振幅の平均値である平均振幅を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均振幅に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記特徴量算出部は、上記特徴量の1種類として一定時間における単位時間ごとの動きの加速度の平均値である平均加速度を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均加速度に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記特徴量算出部は、上記特徴量の1種類として一定時間において一定以上の動き量の振幅が得られる時間間隔の平均値である平均動き間隔を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均動き間隔に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記特徴量算出部は、上記特徴量の1種類として所定のタイミングから一定以上の動き量の振幅が得られるタイミングまでの時間である動き開始時間を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも動き開始時間に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
また、この第1の側面において、上記分類部は、上記複数の分類区分に対応して異なる特徴量の組み合わせを有する複数のテンプレートの各々と上記ブロックとの距離を算出し、算出された距離に基づいて上記ブロックを上記複数の分類区分のうちの何れか1つに属するものとして分類する処理を上記ブロックごとに行ってもよい。これにより、複数のテンプレートの各々と上記ブロックとの距離に基づいて分類結果を得るという作用をもたらす。
上記分類部は、上記ブロックごとに対応して算出された特徴量に基づいてk平均法によるクラスタリングを行うことで、上記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類してもよい。これにより、k平均法により分類結果を得るという作用をもたらす。
本開示の他の側面は、評価対象の画像を用いて前記評価対象の動きを検出する動き検出部と、前記動き検出部により検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部と、前記指標データ生成部により生成された前記指標データを評価し、評価値を算出する評価値算出部とを備える画像処理装置である。
前記指標データ生成部は、前記評価対象の動きの振幅の大きさに関する指標データと、前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを生成し、前記評価値算出部は、前記指標データ生成部により生成された前記評価対象の動きの振幅の大きさに関する指標データを用いて、前記評価対象の動きの振幅の大きさ評価する評価値を算出し、さらに、前記指標データ生成部により生成された前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを用いて、前記評価対象の動きのピークの単位時間当たりの頻度を評価する評価値を算出することができる。
前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と、正規化した前記振幅の分散との積の前記評価対象の画像全体の平均値であるようにすることができる。
前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と正規化した前記振幅の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合であるようにすることができる。
前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と、正規化した単位時間当たりの前記ピークの数の分散との積の画面全体の平均値であるようにすることができる。
前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と正規化した単位時間当たりの前記ピークの数の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合であるようにすることができる。
前記指標データ生成部は、さらに、前記評価対象の動きの特徴量に基づいて前記評価対象の画像の各部分領域を分類した分類結果に関する指標データを生成し、
前記評価値算出部は、さらに、前記指標データ生成部により生成された前記分類結果に関する指標データを用いて、前記評価対象の動きの特徴量の分類結果を評価する評価値を算出することができる。
前記指標データ生成部は、前記動き検出部により検出された前記評価対象の動き量を算出し、前記評価値算出部は、前記指標データ生成部により算出された前記動き量の時間的変化を画像化し、表示することができる。
前記指標データ生成部は、算出した前記動き量の時間的変化の、前記評価対象である心筋細胞の弛緩を示す波形のピークの、前記心筋細胞への薬剤投与による変化を示す指標データを生成し、前記評価値算出部は、前記指標データ生成部により算出された前記指標データを評価し、評価値を算出することができる。
前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、前記動き検出部は、前記撮像部により得られた前記評価対象の画像を用いて前記評価対象の動きを検出することができる。
前記動き検出部は、動画像である前記評価対象の画像の、所定の長さの評価期間の各フレーム画像間の前記評価対象の動きを検出することができる。
前記動き検出部は、前記評価期間の前記評価対象の動きの検出を、所定回数繰り返すことができる。
前記評価値算出部は、前記指標データ生成部により生成された複数種類の前記指標データのそれぞれを評価して評価値を算出し、算出した各評価値を統合することにより、前記評価対象を評価する評価値を算出することができる。
前記評価対象は、自発的に動く細胞であるようにすることができる。
前記評価対象は、生体より採取した細胞を培養して生成した培養細胞であるようにすることができる。
本開示の他の側面は、また、画像処理装置の動き検出部が、評価対象の画像を用いて前記評価対象の動きを検出し、前記画像処理装置の指標データ生成部が、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成し、前記画像処理装置の評価値算出部が、生成された前記指標データを評価し、評価値を算出する画像処理方法である。
本開示の他の側面は、さらに、コンピュータを、評価対象の画像を用いて前記評価対象の動きを検出する動き検出部、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部、生成された前記指標データを評価し、評価値を算出する評価値算出部として機能させるためのプログラムである。
本開示の他の側面においては、評価対象の画像が用いられて評価対象の動きが検出され、検出された評価対象の動きを示す動きベクトルが用いられて、評価対象の動きの特徴を示し、評価対象の評価のための指標として用いられる指標データが生成され、生成された指標データが評価され、評価値が算出される。
本開示によれば、周期的な運動を行う物体についての高精度で的確な評価を可能とするための指標となる分類データが得られるという優れた効果を奏し得る。
培養心筋細胞評価システム100の構成例を示す図である。 評価指標データ生成装置300の構成例を示すブロック図である。 評価対象画像データ600の構造例を模式的に示す図である。 動き検出部310の構成例を示すブロック図である。 フレーム画像データ610をブロック611に分割する処理を模式的に示す図である。 動き検出データ700の構造例を模式的に示す図である。 算出される特徴量の例を示す図である。 第1の実施の形態に対応して算出される特徴量の1つである平均動き方向に対応してテンプレートごとに設定される角度値の例を示す図である。 評価指標データ800の構造例を模式的に示す図である。 第1の実施の形態に対応して評価指標データ生成装置300が実行する処理手順例を示すフローチャートである。 第2の実施の形態に対応して評価指標データ生成装置300が実行する処理手順例を示すフローチャートである。 細胞の他の評価方法の概要を説明する図である。 培養心筋細胞評価装置の主な構成例を示すブロック図である。 図13の評価指標データ生成部の主な構成例を示すブロック図である。 動き特徴量データ履歴格納メモリに格納されるデータの様子を説明する図である。 図13の評価部の主な構成例を示すブロック図である。 振幅の評価の例を説明する図である。 振幅の評価の例を説明する図である。 拍動の評価の例を説明する図である。 拍動の評価の例を説明する図である。 評価処理の流れの例を説明するフローチャートである。 評価指標データ生成処理の流れの例を説明するフローチャートである。 動き評価処理の流れの例を説明するフローチャートである。 薬剤評価装置の主な構成例を示すブロック図である。 一拍動による動き量の時間的変化の様子の例を説明する図である。 評価指標データ生成部の主な構成例を示すブロック図である。 評価部の主な構成例を示すブロック図である。 評価処理の流れの例を説明するフローチャートである。 評価指標データ生成処理の流れの例を説明するフローチャートである。 影響評価処理の流れの例を説明するフローチャートである。 薬剤投与による拍動リズムの変化の様子を説明する図である。 薬剤投与による拍動挙動のばらつきの様子を説明する図である。 パーソナルコンピュータの主な構成例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(評価指標データ生成処理:テンプレートを用いて分類処理を実行する例)
2.第2の実施の形態(評価指標データ生成処理:k平均法により分類処理を実行する例)
3.第3の実施の形態(培養心筋細胞評価装置)
4.第4の実施の形態(薬剤評価装置)
5.第5の実施の形態(パーソナルコンピュータ)
<1.第1の実施の形態>
[培養心筋細胞評価システムの構成例]
図1は、培養心筋細胞評価システム100の構成例を示している。この図に示す培養心筋細胞評価システム100は、培養心筋細胞500の品質を評価するためのものである。
再生医療においては、体外で培養した細胞を利用して各種の人体の組織、器官などを治療することが行われている。培養心筋細胞500は、このような治療に供する細胞として心臓疾患向けに培養されたものである。現在では、このような培養細胞を量産し、十分な量を低コストで医療現場に供給可能とするための技術開発が行われている状況にある。このようにして培養細胞が量産される状況となった場合には、培養された細胞を効率よく、的確に評価できるようにすることが求められる。
培養心筋細胞500は、それ自体で拍動に相当する運動を行っている。培養心筋細胞500は、上記の拍動に応じた動きが良好かどうかを評価することでその品質を判断することができる。このことに基づき、培養心筋細胞評価システム100は、培養心筋細胞500を撮影した動画像データを記録し、この記録された動画像データに対する動き検出結果に基づいて評価を行う。これにより、非侵襲でありながら目視による評価よりも、詳細で的確な評価結果が得られる。
このための構成として、培養心筋細胞評価システム100は、例えば図示するように、撮像装置110、評価対象画像データ生成記録装置200、評価指標データ生成装置300および評価装置400を備える。
撮像装置110は、評価対象である培養心筋細胞500を撮影するためのものである。なお、この図においては撮像装置110により培養心筋細胞500を直接撮影している状態を示しているが、実際においては、例えば培養心筋細胞500の顕微鏡画像を撮像するようにして構成される。また、撮像に際しては、培養心筋細胞500に対する撮像装置110の撮像位置は固定された状態とする。
評価対象画像データ生成記録装置200は、撮像装置110から入力される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存するための装置である。
ここで生成される評価対象画像データは、例えば培養心筋細胞500を撮像した画像信号から生成される動画像データとなる。
評価指標データ生成装置300は、例えば評価対象画像データ生成記録装置200にて保存されている評価対象画像データとしての動画像データを入力して、培養心筋細胞500の評価のための指標として用いられる評価指標データを生成する装置である。評価装置400は、評価指標データ生成装置300にて生成された評価指標データを処理することにより評価結果を得る装置である。
[評価指標データ生成装置の構成例]
図2は、評価指標データ生成装置300の構成例を示している。この図に示す評価指標データ生成装置300は、動き検出部310、動き検出データ格納部320、特徴量算出部330および分類処理部340を備える。なお、この図において示される評価対象画像データ600は、評価対象画像データ生成記録装置200にて記録されているものを再生して得られるものであり、前述のようにフレーム画像データから成る動画像データである。
動き検出部310は、評価対象画像データ600を入力して動き検出処理を実行する部位である。なお、この場合の動き検出部310による動き検出処理の具体例および動き検出データの構造例については後述する。また、動き検出データ格納部320は、上記動き検出部310の動き検出処理によりその検出結果として得られた動き検出データを格納する部位である。
特徴量算出部330は、上記動き検出データ格納部320に格納されている動き検出データを利用して所定の特徴量を算出して取得する部位である。なお、ここで算出される特徴量の例については後述する。
分類処理部340は、特徴量算出部330により得られた特徴量の情報に基づいて、分類処理を実行することで、評価指標データ800を得るための部位である。この分類処理の具体例については後述する。また、分類処理部340によって得られる評価指標データ800は、特許請求の範囲に記載の分類データの一例である。
[評価対象画像データの構造]
図3は、評価指標データ生成装置300が入力する評価対象画像データ600の構造例を示している。この図に示すように、評価対象画像データ600は、一定時間分に対応する1番目から(T+1)番目までのフレーム画像データ610−1乃至(T+1)から成る。
なお、評価対象画像データ生成記録装置200において保存される評価対象画像データ600としての動画像データは、そのまま図3に示すフレーム画像データ610−1乃至Tから成るものとされてもよい。または、フレーム画像データ610−1乃至Tを一部区間として含む動画像データであってもよい。後者の場合には、例えば評価対象画像データ生成記録装置200に保存されている評価対象画像データ600としての動画像データから、評価に最適であると判断した画像区間を抜き出す。そして、この画像区間による動画像データを、図3の評価対象画像データ600として評価指標データ生成装置300が入力すればよい。
[動き検出部の構成例]
図4は、動き検出部310の構成例を示している。この図に示す動き検出部310は、フレームメモリ311および動きベクトル算出部312を備える。フレームメモリ311は、評価対象画像データ600として1フレーム期間ごとに順次入力されてくるフレーム画像データ610を保持する部位である。
動きベクトル算出部312は、動きベクトルを算出する部位である。このために、動きベクトル算出部312は、現時刻の評価対象画像データ600として入力されるフレーム画像データと、フレームメモリ311に保持されている1つ先の時刻のフレーム画像データとを入力する。そして、これらの2つフレーム画像データを利用して動きベクトルを算出する。算出された動きベクトルは、動き検出データ700として動き検出データ格納部320にて保持される。
次に上記図4に示す部位から成る動き検出部310が実行する処理について説明する。上述したように動きベクトル算出部312は、現時刻のフレーム画像データ610と1つ先の時刻のフレーム画像データ610を入力する。動きベクトル算出部312は、これらの入力したフレーム画像データ610をブロック単位に分割する。すなわち、図5に示すようにして、フレーム画像データ610により形成される二次元の画素領域について、水平方向においてはM個に分割し、垂直方向においてはN個に分割する。この結果、フレーム画像データ610は(M×N)個のブロック611に分割される。ブロック611の各々は、例えば(16×16)による画素から成る。この場合の動きベクトル算出部312は、動き検出処理として、ブロック611の単位を処理対象として動きベクトルを算出する。そして、この動き検出処理を1番目から(T+1番目までのフレーム画像データ610を順次利用して実行していく。
そして、T番目と(T+1)番目のフレーム画像データ610を利用した最後の動き検出処理を完了した段階にて得られる動き検出データ700は、図6に示すものとなる。まず、この図に示す動き検出データ700は、T個のフレーム単位動き検出データ710−1乃至Tから成る。フレーム単位動き検出データ710−1乃至Tのそれぞれは、フレーム期間ごとに得られる現時刻のフレーム画像データ610と1つ先のフレーム画像データ610を対象に動き検出処理を行って得られたものとなる。例えば、3番目のフレーム単位動き検出データ710−1は、3番目のフレーム画像データ610−4と3番目のフレーム画像データ610−3を、それぞれ現時刻と1つ先の時刻のフレーム画像データとして入力して動き検出を行うことで得られものである。
また、フレーム対応動き検出データ710−1乃至Tの各々は、(M×N)個のブロック単位動き検出データ711により形成される。ブロック単位動き検出データ711は、それぞれが1つのブロック611に対応し、対応するブロック611について検出された動きベクトルを示すデータとなる。このように、動き検出データ700は、フレーム対応動き検出データ710ごとに(M×N)個のブロック単位動き検出データ711を有する構造となっている。これは、フレーム画像データ610を形成するブロック611ごとに対応して動きベクトルについての時系列のデータが得られていることを意味する。
[特徴量算出部が算出する特徴量例]
特徴量算出部330は、動き検出データ格納部320に格納された動き検出データ700を利用して複数の特徴量を算出する。まず、特徴量算出部330が算出して取得する特徴量の例について図7を参照して説明する。
図7は、或る1つのブロック611に対応するブロック単位動き検出データ711が示す動きベクトルを時系列により示している。すなわち、1つのブロック611に対応するブロック単位動き検出データ711は、図6にて説明したように、フレーム対応動き検出データ710がT個であることに対応して同じくT個となる。図7は、このT個のブロック単位動き検出データ711が示す動きベクトルを時系列順にサンプルしたものである。
なお、ブロック単位動き検出データ711は、動きベクトルの情報として水平方向成分の動き量と垂直方向成分の動き量を有するものとされ、図7においては、この水平方向成分または垂直方向成分の何れか一方の動き量が示されているものとする。図7においては縦軸に動き量をとり、横軸にフレーム、すなわち時間をとっている。
また、以降の説明においては、図7にも示すように、T個のブロック単位動き検出データ711(すなわち、動き量のデータ)を時系列方向に展開したことに応じて得られる一定時間相当の区間について「評価区間」ということにする。
算出し得る特徴量の例として、ここでは、平均動き量Vav、平均動き方向θav、平均振幅Aav、平均加速度Bav、平均拍動間隔Davおよび拍動開始時間Sを想定する。これらの特徴量は、以下の説明から理解されるように、何れも検出された動きベクトルに基づいて求められる。また、これらの特徴量はブロック611ごとに求められる。
まず、平均動き量Vavについて説明する。図7に示すようにT個のブロック単位動き検出データ711によっては時間経過に応じた動き量の変化が示される。これは、培養心筋細胞500において発生する拍動に応じて、培養心筋細胞500が動く状態と静止する状態とで周期的に変化することに対応して得られているものである。この点からすると、例えば時間経過に応じた動き量の変化は、拍動に応じた特徴を有しているといえる。そこで本開示では、評価区間において得られるT個の動き量の平均を特徴量として扱うこととした。この平均動き量Vavは、ブロック単位動き検出データ711ごとにおいて動きベクトルとして得られる水平方向成分と垂直方向成分の各動き量をVx、Vyとし、フレーム順に対応した変数をnとして、次式により求めることができる。
Figure 2011122200
すなわち、平均動き量Vavとしては、まず、T個のブロック単位動き検出データ711ごとに水平方向成分と垂直方向成分の動き量Vx、Vyを合成した合成動き量Vを求める。そして、これらのT個の合成動き量Vについての平均値を算出することで得る。
あるいは、先に、評価期間における水平方向成分の動き量Vxの平均値(水平平均動き量Vavx)と、垂直方向成分の動き量Vyの平均値(垂直平均動き量Vavy)とを算出する。次に、水平平均動き量Vavxと垂直平均動き量Vavyとを合成して平均動き量Vavを算出してもよい。
例えば、上記平均動き量Vavの値が大きいほど、そのブロック611に対応する培養心筋細胞500の部分についての拍動に応じた動きは大きいものであると評価できる。
次に、平均動き方向θavは、評価区間において求められるT個の動き方向θについての平均値となる。この平均動き方向θavは、次式により求めることができる
Figure 2011122200
例えば、フレーム画像全体においてブロック611ごとに対応した平均動き方向θavの分布により、培養心筋細胞500が拍動により動くときの方向について、どの程度に一様であるのかを評価できる。また、動き方向が一様でない部分がどのような分布状態となっているのかなどに関しても評価できる。
例えば、培養心筋細胞500の拍動の運動として実際に動きが生じている時に応じては、図7に示すようにして周期的に一定値以上の振幅が発生する。平均振幅Aavは、評価区間において上記のようにして得られる一定値以上の振幅についての平均値である。平均振幅Aavは、例えば次のようにして求めることができる。
まず、評価区間におけるK個の動きベクトルである合成動き量Vについてピーク検出を行い、検出されたピーク値を平均化して平均振幅Aavを求めるというものである。あるいは、まず水平方向成分の動き量についてピーク検出を行い、検出されたピーク値を平均化して水平方向成分の平均振幅(水平平均振幅)Aavxを求める。同様にして、垂直方向成分の平均振幅(垂直平均振幅)Aavyを求める。次に、これら水平平均振幅Aavxと垂直平均振幅Aavyを合成する演算を行うことで平均振幅Aavを算出するという演算も考えられる。例えば平均振幅Aavが大きいほど、そのブロック611に対応する培養心筋細胞500の部分での拍動に応じた動きが大きいと評価できる。
また、図7に示されるように、時系列における動き量の変化は拍動による動きについての加速度の変化も示しているといえる。平均加速度Bavは、評価区間において求められる加速度についての平均値であり、例えば次のようにして求めることができる。
まず、例えば時系列順において前後する所定数のブロック単位動き検出データ711が示す合成動き量Vを微分演算する。これを、1番目からT番目のブロック単位動き検出データ711について行うことで、評価区間における所定時間ごとの加速度Bが算出される。そして、これらの加速度Bの平均値として平均加速度Bavを求めるというものである。あるいは、まず、時系列順において前後する所定数のブロック単位動き検出データ711が示す水平方向成分の動き量Vxを順次微分して所定時間ごとの水平加速度Bxを算出し、これら水平加速度Bxの平均値として水平平均加速度Bavxを求める。同様にして垂直平均加速度Bavyを算出する。そして、これらの水平平均加速度Bavxと垂直平均加速度Bavyとを合成して平均加速度Bavを求めることもできる。例えば平均加速度Bavは、拍動に応じて培養心筋細胞500が静止状態から動きのある状態に変化するときの敏速性の指標となる。平均加速度Bavが高ければ、対応する培養心筋細胞500部分についての拍動に応じた動きはそれだけ活発であると評価できる。
また、先にも述べたように、拍動に応じては周期的に振幅のピークが出現する。図7においては、この振幅のピークが出現する時間間隔を拍動間隔として示している。平均拍動間隔Davは、評価区間において得られる拍動間隔の平均値であり、例えば次のようにして求めることができる。
まず、平均振幅Aavを求めたときのようにしてピーク検出を行う。そしてピークが検出されたフレームタイミング、すなわち時刻を求める。次に、1つのピークが検出された時刻から次のピークが検出される時刻の時間幅をそれぞれ拍動間隔Dとして算出する。そして、算出されたこれらの拍動間隔Dの平均値を算出することで平均拍動間隔Davを求める。例えばフレーム全体におけるブロック611ごとの平均拍動間隔Davの分布により、培養心筋細胞500全体において拍動時間間隔がどの程度まで一様であるのかを評価できる。また、一様でない分布に着目した場合には、その拍動時間間隔のずれがどのような分布状態となっているのかを評価できる。平均拍動間隔Davは、特許請求の範囲に記載の平均動き間隔の一例である。
また、拍動開始時間Sは、評価区間が開始されてから最初の拍動の動きに応じた動き量の振幅のピークが得られるまでの時間を計測して得られるものである。この拍動開始時間Sも、例えばフレーム全体におけるブロック611ごとの拍動開始時間Sの分布により、培養心筋細胞500全体において拍動開始タイミングがどの程度まで一様であるのかを評価できる。また、一様でない分布に着目した場合には、その拍動開始タイミングのずれがどのような分布状態となっているのかを評価できる。
このようにして、上記の各特徴量は、何れも、検出された動きベクトル(動き量)に基づいて算出される。すなわち、本開示おいては、この動きベクトルの時系列データから多様な項目を定量化することが可能とされている。
特徴量算出部330は、上記した平均動き量Vav、平均動き方向θav、平均振幅Aav、平均加速度Bav、平均拍動間隔Davおよび拍動開始時間Sの6つの特徴量の何れについても算出可能なようにして構成可能である。例えば実際においては、これらの特徴量のうちから、分類処理部340が実行する分類処理に際して必要となる特徴量を算出することになる。
[分類処理例]
分類処理部340は、上記のようにして特徴量算出部330により算出される複数種類の特徴量を利用して分類処理を実行し、その分類処理結果を評価指標データ800として得る。このような分類手法としてはいくつか考えられるが、ここでは、クラスタリングといわれる手法を採用することとする。すなわち、クラスタといわれる分類区分を複数設定し、図5に示したフレーム画像データ610を形成する各ブロック611を、その特徴量に応じて複数のクラスタのうちの何れかに分類しようというものである。
このクラスタリングによる分類処理の具体例として、第1の実施の形態においてはテンプレート法を採用する。また、採用する特徴量としては、先に想定したもののうち、平均動き量Vavと平均動き方向θavの2つとする。これに応じて、特徴量算出部330は、平均動き量Vavと平均動き方向θavを算出する。
この場合の分類処理部340は、平均動き量Vavと平均動き方向θavとの組み合わせにより、例えば次の第1乃至第5テンプレートを有するものとする。なお、これらのテンプレートの説明に際しては図8を参照する。図8は、下記第1乃至第5テンプレートにおいて規定される平均動き方向θの具体例を示している。
まず、第1テンプレートは、次式により示されるものとなる。
(Vav,θav)=(0,0)
上式において、(Vav,θav)は、平均動き量Vavと平均動き方向θavの組み合わせを示す。そして、上式において平均動き量Vavは「0」であり、これは評価区間にわたって動き量が0であることを示す。すなわち、第1テンプレートは、ブロック611の位置に対応する画像部分が評価区間内おいて静止したままの状態をテンプレートとしたものである。
また、第2テンプレートは、次式により示されるものとなる。
(Vav,θav)=(a,0)
上式におけるaは平均動き量Vavとしての0以外の任意の値を取り得る。すなわち、第2テンプレートは、そのブロック611の位置に対応する画像部分に動きが有り、かつ、平均動き方向θavが図8に示す「0」の方向である組み合わせをテンプレートとしたものである。
また、第3テンプレートは、次式により示されるものとなる。
(Vav,θav)=(a,π/4)
すなわち、第3テンプレートは、そのブロック611の位置に対応する画像部分に動きがあり、かつ、平均動き方向θavが「π/4(45°)」の方向である組み合わせをテンプレートとしたものである。
また、第4テンプレートは、次式により示されるものとなる。
(Vav,θav)=(a,π/2)
すなわち、第4テンプレートは、そのブロック611の位置に対応する画像部分に動きがあり、かつ、平均動き方向θavが図8に示す「π/2(90°)」の方向である組み合わせをテンプレートとしたものである。
また、第5テンプレートは、次式により示されるものとなる。
(Vav,θav)=(a,3π/4)
すなわち、第5テンプレートは、そのブロック611の位置に対応する画像部分に動きがあり、かつ、平均動き方向θが図8に示す3π/4(135°)の方向である動きの状態をテンプレートとしたものである。
第1乃至第5テンプレートが用意されることに応じては、各テンプレートに対応する5つのクラスタが存在することになる。ここでは、第1乃至第5テンプレートごとに対応する各1つのクラスタを第1乃至第5クラスタと称する。
分類処理部340は、1つのブロック611について求められた特徴量の組み合わせ(Vav,θav)と上記第1乃至第5テンプレートとの各距離を算出する。そして、そのブロック611を、この算出された距離が最も近いテンプレートに対応するクラスタに属するものとして分類する。例えば、算出された距離が第3テンプレートと最も近ければ、そのブロック611は、第3クラスタに分類される。このような分類処理をブロック611ごとに対応して行う。この結果、フレーム画像データ610を形成するブロック611のそれぞれを第1乃至第5クラスタの何れかに分類した内容のデータが得られる。これが第1の実施の形態としての分類処理により得られる評価指標データ800となる。
図9は、第1の実施の形態としての分類処理により得られる評価指標データ800を模式的に示している。この図に示すようにして、評価指標データ800は、(M×N)個の個別分類結果データ801の群から成る。個別分類結果データ801のそれぞれは、フレーム画像データ610を形成するブロック611と1対1で対応しており、対応するブロック611が分類されたクラスタが第1乃至第5クラスタのうちの何れであるのかを示す情報を有する。図においては、個別分類結果データ801ごとにおいて示される1乃至5の数字により、その個別分類結果データ801に対応するブロック611が第1乃至第5クラスタの何れに分類されたものかを示している。
また、図9では、評価指標データ800として、個別分類結果データ801を(M×N)個のマトリクスにより配列させた構造を示している。このようにして配置された個別分類結果データ801の各々は、フレーム画像データ610において同じ位置に配置されたブロック611に対応する。
例えばこの図9に示す構造の評価指標データ800では、1フレームの画像内における第1乃至第5クラスタの分布が示されているといえる。これは、撮像された培養心筋細胞500の全体において、どの部分に動きがあってどの部分に動きがないのか、また、動いている部分についてはどの方向への動きであるのかという情報が提示されているものと捉えられる。より具体的には、次のようにして培養心筋細胞500の拍動に関する動きを把握できる。
例えば、培養心筋細胞500としては、まず、動きのあることが必要であり、動きの無い部分の多いものについては品質が良くないものとして評価される。図9に示す評価指標データ800では、第1クラスタに分類された個別分類結果データ801の数により、この点を評価することができる。
また、培養心筋細胞500は、同じ拍動による動きであるとしても、その動きの方向ができるだけそろっているほうがより品質が高い。例えば、図9に示す評価指標データ800であれば、各クラスタの占有率をヒストグラム化するなどして、培養心筋細胞500全体における拍動による動きの方向がどの程度の割合で揃っているのかを評価できる。さらに、その動きの方向についての割合だけではなく、動き方向の異なる場合に、これらの部分の分布状態がどのようなものであるのかについても、図9に示すクラスタの分布によって的確に知ることができる。
図9の評価指標データ800の例では、フレーム画像データ610に対応させた個別分類結果データ801の配列における中央の広い領域で第3クラスタに分類された個別分類結果データ801が分布している。これは、評価対象の培養心筋細胞500が、概ね、図8に示した(π/4(45°))の方向に動く傾向を有していることを示している。例えば評価者がこのような動き方向の分布状態を確認したい場合には、評価装置400により、図9に準じて個別分類結果データ801に対応するブロック611ごとに分類されたクラスタに応じて色分けした画像を生成し、これを表示させる。そして、評価者がこの画像を確認することで、培養心筋細胞500の動きの方向がどのような状態であるのかを的確に把握することができる。
このようにして、第1の実施の形態においては、平均動き量Vavと平均動き方向θavの2つの特徴量に基づき、上記のようにして培養心筋細胞500において動きの有る部分と動きの無い部分との存在を区別して認識可能である。また、動きの有る部分については、その動きの方向がどの程度の割合で一様であるのかを認識することができる。また、これらの動きの無い部分と動きの有る部分における動きの方向の異なる部分とがどのような分布となっているのかについても認識できる。すなわち、培養心筋細胞500の拍動に関し、その動きの有無と動き方向との2点についてより的確で詳細な評価を行える。また、このことは、特徴量として複数を組み合わせることにより、特徴量ごとに応じた複数の評価項目に関する評価が可能になることも意味している。
ここで、本技術としては、上記の説明における平均動き量Vavと平均動き方向θavとの組み合わせに限られる必要はない。すなわち、先に例に挙げた6つのうちから1以上の任意の特徴量を選択した組み合わせを選択できる。そして、複数の特徴量を選択した場合には、その選択した組み合わせに応じて多様な評価項目が得られることとなる。
例えば、この場合の評価装置400は、図9に示す評価指標データ800を入力して所定のアルゴリズムによって処理を行うことで、上記のような部分ごとの状態を認識し、その認識結果を評価者が把握可能な形式で出力させる。例えば図9に示すようなクラスタ分類結果を画像として表現して表示出力させれば、評価者は視覚的に上記の事柄等を把握することができる。
[評価指標データ生成装置の処理手順例]
図10のフローチャートは、第1の実施の形態における評価指標データ生成装置300が実行する処理手順例を示している。なお、この図における各ステップの処理は、図2に示される動き検出部310、特徴量算出部330および分類処理部340の何れかが適宜実行するものとなる。また、図10に示す各ステップとしての処理の少なくとも一部は、コンピュータ装置におけるCPU(Central Processing Unit)がプログラムを実行することで実現されるものとして構成可能である。
図10におけるステップS901乃至S907までの処理は動き検出部310が実行する動き検出処理となる。まず、動き検出部310は、初期設定として、評価対象画像データ600を形成するフレーム画像データ610に付す番号に対応する変数nに2を代入する(ステップS901)。次に動き検出部310における動きベクトル算出部312は、(n−1)番目のフレーム画像データと、n番目のフレーム画像データを入力する(ステップS902)。すなわち、フレームメモリ311に保持されている1つ前のフレーム画像データと、現フレーム画像データとを入力する。次に、動きベクトル算出部312は、入力したフレーム画像データのそれぞれについて所定画素数によるブロックに分割する処理を実行する(ステップS903)。そして、例えばブロックマッチングなどの手法により動き検出処理を実行する(ステップS904)。
上記ステップS904の動き検出処理によっては、図6に示した動き検出データ700における1つのフレーム単位動き検出データ710−(n−1)が得られる。そこで、動き検出部310は、このフレーム単位動き検出データ710−(n−1)を動き検出データ格納部320に格納する(ステップS905)。
次に、動き検出部310は、変数nをインクリメントしたうえで(ステップS906)、変数nについて最大値(T+1)よりも大きいか否かについて判定する(ステップS907)。なお、上記最大値(T+1)は、評価対象画像データ600を形成するフレーム画像データ数に対応する。変数nについて最大値(T+1)よりも大きいとの判定結果が得られた場合には(ステップS907)、ステップS902からの処理を繰り返し実行する。これにより、第1フレーム単位動き検出データ710−1から第Tフレーム単位動き検出データ710−Tまでが、順次、動き検出データ格納部320に格納されていく。そして、第Tフレーム単位動き検出データ710−Tを格納した段階に至ると、変数nが最大値Tより大きくなったことが判定され(ステップS907)、ステップS908以降の手順に移行する。
上記ステップS907にて、変数nが(T+1)より大きくなったことが判定されたことに応じて、特徴量算出部330は、動き検出データ700を利用して特徴量を算出する処理を実行する(ステップS908)。ここで算出する特徴量は、例えば前述したように、平均動き量Vavおよび平均動き方向θavとなる。
続いては、分類処理部340により、前述したテンプレート法による分類処理が実行される。このために分類処理部340は、まず、フレーム画像データ610を形成する(M×N)個のブロック611に付した番号を示す変数iについて1を代入する(ステップS909)。次に、分類処理部340は、i番目のブロック611について算出された特徴量(Vav,θav)と、予め用意された複数のテンプレートごとの特徴量(Vav,θav)との距離を算出する(ステップS910)。特徴量(Vav,θav)は、前述した平均動き量Vavと平均動き方向θavの組み合わせを示す。
そして、分類処理部340は、i番目のブロック611について算出された距離が最も短いテンプレートに対応するクラスタに属するものとして分類する。そして、この分類結果を示す個別分類結果データ801を生成する(ステップS911)。個別分類結果データ801は、例えばi番目のブロックの識別子に分類されたクラスタの識別子を対応付けた内容の情報を有する。また、前述の例では、第1乃至第5テンプレートを用意したことに対応して第1乃至第5クラスタの5つのクラスタが用意されていた。この例との対応では、ステップS911により、分類処理対象のブロック611が第1乃至第5クラスタにおける何れか1つのクラスタに分類されることになる。
次に、分類処理部340は、変数iをインクリメントしたうえで(ステップS912)、変数iが最大値である(M×N)より大きいか否かについて判別する(ステップS913)。ここで、変数iが最大値(M×N)以下である場合には、ステップS910の処理に戻ることで、順次、ブロックごとにクラスタ分類する処理が繰り返される。そして、(M×N)個の全てのブロック611についてのクラスタ分類が完了するとステップS913にて変数iが最大値(M×N)よりも大きくなったことが判定される。この判定結果に応じて分類処理部340は、これまでのステップS910乃至S912の処理によって得られた個別分類結果データ801により評価指標データ800を生成して出力する(ステップS914)。
なお、上記の説明における平均動き量Vavと平均動き方向θavとの組み合わせは一例である。第1の実施の形態においては、例えば先に例に挙げた6つのうちから1以上の任意の特徴量を選択した組み合わせにより評価指標データ800を生成すればよい。また、前述の算出の仕方に基づけば、平均動き量Vavについては、水平平均動き量Vavxと垂直平均動き量Vavyに分解して求めることもできる。平均振幅Aavは、水平平均振幅Aavxと垂直平均振幅Aavyに分解して求められる。平均加速度Bavは、水平平均加速度Bavxと垂直平均加速度Bavyに分解して求められる。そこで、例えばこれらの水平方向成分と垂直方向成分との特徴量をそれぞれ独立したものとして扱って、評価指標データ800の生成に利用することも考えられる。また、上記の説明ではクラスタ数を5つとしているが、これ以外の数が設定されてもかまわない。
<2.第2の実施の形態>
[評価指標データ生成装置の構成]
上記第1の実施の形態における分類処理はテンプレートを利用するものであったが、分類処理の仕方としては他にも考えることができる。そこで、第2の実施の形態として、他の分類処理の手法を採用した構成について説明する。
この第2の実施の形態に対応する評価指標データ生成装置300の構成としては、例えば図2と同様となる。ただし、特徴量算出部330が算出する特徴量の種類数と、分類処理部340が実行する分類処理の手順が以下の説明のようにして異なるものとなる。
[評価指標データ生成装置の処理手順例]
図11のフローチャートは、第2の実施の形態に対応して評価指標データ生成装置300が実行する処理手順例を示している。この図において、ステップS901乃至S907までの処理は、先の第1の実施の形態に対応する図10と同様となる。
ステップS907にて変数nが最大値Tより大きくなったと判定されると、特徴量算出部330は、動き検出データ格納部320に格納されている動き検出データ700を利用して、ブロック611ごとに特徴量を算出する(ステップS908A)。
上記ステップS908Aによりブロック611ごとに算出される特徴量としては、以下の9つであるとする。すなわち、水平平均動き量Vavx、垂直平均動き量Vavy、平均動き方向θav、水平平均振幅Aavx、垂直平均振幅Aavy、水平平均加速度Bavx、垂直平均加速度Bavy、平均拍動間隔Davおよび拍動開始時間Sであるとする。
分類処理部340は、上記のようにして算出された特徴量を用いて、以下のようにしてk−means法(k平均法)に基づくクラスタリングを実行する。すなわち、分類処理部340は、ブロック611ごとに上記9つの特徴量を組み合わせた9次元のベクトルxを算出する(ステップS921)。
上記ステップS921により、ブロック611ごとに対応した(M×N)個のベクトルxが得られる。そのうえで、この場合の分類処理部340は、k平均法に従って,まず、(M×N)個のベクトルxi(1≦i≦(M×N))について最初のクラスタ分類(初期分類)を実行する。すなわちベクトルxiのうちから予め設定したクラスタ数Kに応じたK個のサンプルを抽出し、これらのサンプルとサンプル以外のベクトルxiとの距離を算出する。そして、サンプル以外のベクトルxiを、算出された距離が最も近いサンプルと同じクラスタに属するものとして分類する。
次に、分類処理部340は、これまでにおける最後の分類結果に対応して第1乃至第Kクラスタごとの重心Gj(1≦j≦K)を算出する(ステップS923)。これらの重心Gjは、最後の分類結果に応じて異なるものとなる。次に分類処理部340は、ベクトルxiごとに各クラスタとの重心Gjとの距離を算出する(ステップS924)。そして、ベクトルxiごとに、算出された距離が最も短いクラスタに属するものとして再分類を行う(ステップS925)。このステップS923乃至S925による処理を、ステップS926により、分類結果について変化がなくなって前回と同じであると判定されるまで繰り返す。
そして、ステップS926に対応して前回と同じであると判定された分類結果が、すなわち、最終的な分類結果となる。そこで、分類処理部340は、この最終的に得られた分類結果から評価指標データ800を生成して出力する(ステップS914A)。すなわち、最終の分類結果においては、ベクトルxiが何れかのクラスタに分類されている。そこで、分類処理部340は、例えばベクトルxiが対応するブロック611の識別子と分類されたクラスタの識別子とを対応させて個別分類結果データ801を生成する。そして、これらのi番目からM×N番目のブロック611ごとの個別分類結果データ801の群を評価指標データ800として生成する。
上記の説明から理解されるように、第2の実施の形態において得られる評価指標データ800も、例えば図9に示される構造のものとなる。また、クラスタのそれぞれは、互いに異なる複数の特徴量の数値範囲の組み合わせを示すものとなる。このために、各クラスタは、拍動としての周期運動に関連して、それぞれが異なる意義を有するものとなる。したがって、この第2例により得られる評価指標データ800を利用することによっても的確で詳細な評価結果を得ることができる。
なお、本開示は本技術を具現化するための一例を示したものであり、本開示において明示したように、本開示における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本開示における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
例えば、評価指標データ800の生成のために利用する特徴量としても、上記各実施の形態において具体的に記述した以外の組み合わせを採用してよい。また、上記各実施の形態において具体的に記述した以外の特徴量を求め、これを組み合わせるようにしてもかまわない。また、上記各実施の形態において求められる特徴量のうち、動き量、動き方向、振幅、加速度、拍動間隔などは、何れもフレーム周期ごとに対応して得られる値についての平均値とされていた。しかし、これらの特徴量は時系列において変化を有するものである。そこで、例えば時系列における変化を特徴量として算出し、これを評価指標データ800の生成に利用することも考えられる。また、分類処理部340が実行する分類処理としても、他のアルゴリズム、手法が採られてかまわない。また、評価対象を培養心筋細胞500としているが、例えばこれ以外の物体であって、その動きが周期性を有するものであれば、本開示の構成を適用することができる。
また、本開示において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
<3.第3の実施の形態>
[評価方法の他の例の概要]
細胞の評価方法は、上述した以外であってもよい。例えば、培養細胞のブロック毎に求めた動きベクトルから算出した指標について評価値を求めるようにしてもよい。
例えば、図12のAに示されるような培養細胞1001を評価対象とすると、まず、図12のBに示されるように、各ブロック(部分領域)について、所定時間毎(例えば各フレーム)に動きベクトル1002を求め、図12のCに示されるグラフ1003のように、各ブロックについて動き量の経時変化を求め、そのデータから、図12のDに示されるグラフ1004のような細胞の動きの振幅や拍動数の経時変化を示すデータを生成し、それらの指標を評価する評価値を求め、その評価値により細胞の動きを評価するようにしてもよい。
このように、評価値を用いることにより、評価対象(例えば細胞の動き)をより定量的に評価することができる。また、指標の生成に動きベクトルを用いることにより、より多様な指標をより容易かつ非侵襲に求めることができる。すなわち、評価対象(例えば細胞の動き)をより正しく評価することができる。
[培養心筋細胞評価装置]
図13は、培養心筋細胞評価装置の主な構成例を示すブロック図である。
図13に示される培養心筋細胞評価装置1100は、図1の培養心筋細胞評価システム100と同様に、培養心筋細胞500の動きの評価を行う装置である。つまり、培養心筋細胞評価装置1100は、培養心筋細胞評価システム100を1つの装置として実現したものである。このように、培養心筋細胞評価システム100の構成は、システム全体の機能が変化しない限り任意である。例えば、図1に示される複数の装置を1つの装置として構成したり、1つの装置を複数の装置として構成したりするようにしてもよく、例えば図13に示されるように培養心筋細胞評価システム100全体を1つの装置として構成するようにすることもできる。
換言するに、本実施の形態においても、例えば第1の実施の形態および第2の実施の形態の培養心筋細胞評価システム100のように、培養心筋細胞評価装置1100が複数の装置により構成されるようにしてもよいが、以下においては、培養心筋細胞評価装置1100を用いて説明する。
ただし、本実施の形態の場合、第1の実施の形態や第2の実施の形態の場合と異なり、上述した評価方法以外の方法で、培養心筋細胞500(の動き)を評価することができる。つまり、上述したように、本実施の形態の培養心筋細胞評価装置1100は、評価対象の動きを評価する評価値を求める。
図13に示される培養心筋細胞500は、生体より採取された心筋細胞を体外で培養して生成された心臓疾患向けの生体組織(細胞群)である。心筋細胞は、常時収縮と弛緩を繰り返しながら拍動する。このような心筋細胞が培養され、培養心筋細胞500のように成長すると、理想的には、各細胞の動作が互いに関連するようになり、培養心筋細胞500全体が1つの生体組織として拍動するようになる。
培養心筋細胞評価装置1100は、例えば、このように培養された培養心筋細胞500を評価対象とし、その培養心筋細胞500の出来栄えを評価するために、その動きを評価する。
なお、培養心筋細胞評価装置1100の評価対象は、培養心筋細胞500以外であってもよい。例えば、心筋細胞以外の培養細胞を評価対象としてもよい。もちろん、評価対象は、細胞以外であってもよい。ただし、評価対象は、自身が動き、その動きの評価によって評価可能なものであることが望ましい。なお、この動きは、心筋細胞のように自律的(自発的)なものであってもよいし、外部から供給される電気信号等によるものであってもよい。
図13に示されるように、培養心筋細胞評価装置1100は、撮像部1101、評価対象画像データ生成記録部1102、評価指標データ生成部1103、および評価部1104を有する。
撮像部1101は、図1の撮像装置110に対応する。つまり、撮像部1101は、評価対象である培養心筋細胞500を撮像する。なお、撮像部1101が、培養心筋細胞500を直接(他の部材を介さずに)撮像するようにしてもよいし、例えば顕微鏡等のように他の部材を介して培養心筋細胞500を撮像するようにしてもよい。また、培養心筋細胞500は、撮像部1101に対して固定されていてもよいし、固定されていなくてもよい。培養心筋細胞評価装置1100は、動き(位置の時間的変化)を検出するため、一般的には、培養心筋細胞500が撮像部1101に対して固定されている方が望ましい。
撮像部1101は、撮像により得られた培養心筋細胞500の画像の画像信号を評価対象画像データ生成記録部1102に供給する。
評価対象画像データ生成記録部1102は、図1の評価対象画像データ生成記録装置200に対応する。つまり、評価対象画像データ生成記録部1102は、撮像部1101から供給される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。ここで生成される評価対象画像データは、例えば培養心筋細胞500を撮像した画像信号から生成される動画像データとなる。
例えば、評価対象画像データ生成記録部1102が、撮像部1101から供給される複数のフレーム画像の中から一部の期間のフレーム画像のみを抽出し、それを評価対象画像データとするようにしてもよい。また、例えば、評価対象画像データ生成記録部1102が、撮像部1101から供給される各フレーム画像の一部の領域を小フレーム画像として抽出し、その小フレーム画像からなる動画像を評価対象画像データとするようにしてもよい。さらに、例えば、評価対象画像データ生成記録部1102が、撮像部1101から供給される各フレーム画像に対して任意の画像処理を施し、その画像処理結果を評価対象画像データとするようにしてもよい。画像処理としては、例えば、画像の拡大、縮小、回転、変形、輝度や色度の補正、シャープネス、ノイズ除去、中間フレーム画像生成等が考えられる。もちろん、これら以外のどのような画像処理であってもよい。
評価対象画像データ生成記録部1102は、記憶している評価対象画像データを所定のタイミングで評価指標データ生成部1103に供給する。
評価指標データ生成部1103は、図1の評価指標データ生成装置300に対応する。つまり、評価指標データ生成部1103は、供給された評価対象画像データの各フレーム画像間において、評価対象(培養心筋細胞500)の画像の全領域を複数に分割した部分領域であるブロック毎に、評価対象(培養心筋細胞500)の動き検出を行う。評価指標データ生成部1103は、その検出した各ブロックの動きを動きベクトルとして表し、その動きベクトルから、評価対象(培養心筋細胞500)の動きに関する各種特徴量(動き特徴量データ)を求める。また、評価指標データ生成部1103は、第1の実施の形態や第2の実施の形態において説明したように、その動き特徴量データに基づいて、各ブロックを分類する。
評価指標データ生成部1103は、以上のように生成した動き特徴量データや分類結果を評価指標データとして評価部1104に供給する。
評価部1104は、図1の評価装置400に対応する。つまり、評価部1104は、供給された各評価指標データについて評価値を算出し、算出した評価値を統合して、評価対象(培養心筋細胞500)の評価値を求める。
[評価指標データ生成部]
図14は、評価指標データ生成部1103の主な構成例を示すブロック図である。図14に示されるように、評価指標データ生成部1103は、図2の評価指標データ生成装置300と同様に、動き検出部310および動き検出データ格納部320を有する。また、評価指標データ生成部1103は、図2の評価指標データ生成装置300の特徴量算出部330の代わりに特徴量算出部1123を有し、図2の評価指標データ生成装置300の分類処理部340の代わりに分類処理部1124を有する。さらに、評価指標データ生成部1103は、動き特徴量データ履歴格納メモリ1125を有する。
動き検出部310は、評価対象画像データ600を入力して動き検出を行い、その検出結果(動きベクトル)を動き検出データとして、動き検出データ格納部320に供給し、記憶させる。図3乃至図6を参照して説明したように、動き検出部310は、フレームメモリ311および動きベクトル算出部312を備え、評価対象画像データ600の各フレーム画像の領域全体をM×N個(M、Nは任意の自然数)のブロックに分割し、各ブロックについて、例えばフレーム画像間のブロックマッチングなどの手法により動き検出を行い、動きベクトルを生成する。
動き検出部310は、図7に示されるように、所定の長さの評価区間(例えばT+1フレーム(Tは任意の自然数))、動き検出を行う。例えば、動き検出部310は、図6に示されるように、(T+1)個のフレーム画像を用いて、(M×N×T)個の動き検出データ(動きベクトル)を生成し、動き検出データ格納部320に記憶させる。
1評価区間の動き検出が終了すると((M×N×T)個の動き検出データ(動きベクトル)が動き検出データ格納部320に格納されると)、特徴量算出部1123は、その動き検出データを取得し、その動き検出データから、培養心筋細胞500の動きに関する特徴量を算出する。
例えば、特徴量算出部1123は、(M×N×T)個の動き検出データ(動きベクトル)を用いて、ブロック毎に、培養心筋細胞500の動き(拍動)に関する特徴量を算出する。
例えば、特徴量算出部1123は、図7に例が示される評価区間内において、培養心筋細胞500の動きの振幅の平均値(平均振幅Aav)を、培養心筋細胞500の動きに関する特徴量の1つとして算出する。
図7に示されるように、振幅は、動き量が変化する際のその振り幅である。平均振幅Aavは、当該評価区間内における振幅の平均値である。この振幅Aや平均振幅Aavは、各ブロックにおいて算出される。
つまり、各振幅の水平方向成分をAxとし、垂直方向成分をAyとすると、各振幅Aは以下の式(1)のように算出される。
Figure 2011122200
・・・(1)
フレーム順に対応した変数をnとすると、式(1)のように算出される各振幅Anを用いて、その評価区間内における平均振幅Aavは、以下の式(2)のように算出される。
Figure 2011122200
・・・(2)
特徴量算出部1123は、このような平均振幅Aavをブロック毎に算出する。
また、例えば、特徴量算出部1123は、図7に例が示される1評価区間内において、培養心筋細胞500の動きの拍動間隔(若しくは、単位時間当たりの拍動数)の平均値(平均拍動間隔Dav)を、培養心筋細胞500の動きに関する特徴量の1つとして算出する。
拍動間隔Dは、図7に示されるように、動き量のピークの間隔である。平均拍動間隔Davは、当該評価区間内におけるその拍動間隔Dの平均値である。特徴量算出部1123は、このような平均拍動間隔Davを、各ブロックについて算出する。
つまり、フレーム順に対応した変数をnとし、動き量のピークのタイミングをPnとすると、拍動間隔Dnは、以下の式(3)のように算出される。
Figure 2011122200
・・・(3)
したがって、評価区間内における平均拍動間隔Davは、以下の式(4)のように算出される。
Figure 2011122200
・・・(4)
特徴量算出部1123は、このような平均拍動間隔Davをブロック毎に算出する。
つまり、以上の例の場合、2種類の特徴量がブロック毎に(M×N個ずつ)生成される。特徴量算出部1123が算出する特徴量の種類やその数は任意である。例えば、第1の実施の形態等において説明したように、平均動き量Vav、平均動き方向θav、平均加速度Bav、および拍動開始時間Sを特徴量として算出するようにしてもよい。
なお、各特徴量の算出方法は任意である。例えば、特徴量算出部1123は、平均動き量Vav、平均振幅Aav、および平均加速度Bav等のように水平成分と垂直成分の両方を有する特徴量の場合、各成分の平均をそれぞれ算出し、その各成分の平均を合成するようにしてもよい。
特徴量算出部1123は、算出した特徴量を、動き特徴量データとして、動き特徴量データ履歴格納メモリ1125に供給し、記憶させる。もちろん、特徴量算出部1123は、得られた特徴量を、順次、動き特徴量データとして動き特徴量データ履歴格納メモリ1125に供給し、記憶させるようにしてもよい。また、特徴量算出部1123が、得られた特徴量の一部を、動き特徴量データとして、動き特徴量データ履歴格納メモリ1125に記憶させるようにしてもよい。
また、特徴量算出部1123は、算出した特徴量を分類処理部1124にも供給する。
分類処理部1124は、図2の分類処理部340と同様に、特徴量算出部1123により算出される複数種類の特徴量を利用して分類処理を実行し、その分類処理結果を動き特徴量データとして動き特徴量データ履歴格納メモリ1125に供給し、記憶させる。
評価指標データ生成部1103は、以上のような評価指標データの生成をS回繰り返す。つまり、撮像部1101は、撮像を継続し、少なくとも(評価区間(T+1フレーム)×S回)の時間分のフレーム画像を生成し、評価対象画像データ生成記録部1102は、少なくとも(評価区間×S回)分の評価対象画像データを生成する。なお、評価対象画像データにおいて各評価区間が時間的に連続していなくてもよい。
例えば、培養開始から培養終了までの期間を10日間とし、2時間毎にT=600フレームずつ撮像し、評価を行うとする。この場合、各評価区間が600フレームとなり、その評価区間がS=120回繰り返される。
評価指標データ生成部1103は、各評価区間について上述したようにブロック毎の特徴量を生成する。これにより、動き特徴量データ履歴格納メモリ1125には、図15に示されるように、M×N×S個の特徴量が格納される。なお、複数種類の特徴量が生成される場合、動き特徴量データ履歴格納メモリ1125には、さらに多くの特徴量(M×N×S×種類数)が格納される。
このように、特徴量の生成がS回繰り返され、所定数の特徴量が格納されると、動き特徴量データ履歴格納メモリ1125は、所定のタイミングにおいて、記憶している特徴量を、評価指標データ800として、評価部1104に供給する。
[評価部]
図16は、評価部1104の主な構成例を示すブロック図である。図16に示されるように、評価部1104は、供給される評価指標データ800のそれぞれについて評価部(各指標用の評価部)を有する。図16の例において、評価部1104は、その各指標用の評価部として、振幅評価部1141、拍動数評価部1142、および分類結果評価部1143を有する。
振幅評価部1141は、評価指標データとして供給される平均振幅Aavを評価する。拍動数評価部1142は、評価指標データとして供給される平均拍動間隔Davを評価する。分類結果評価部1143は、評価指標データとして供給される分類処理結果を評価する。
このような各指標用の評価部は、評価部1104が評価可能な指標データの種類を示す。基本的に、評価部1104は、供給される全ての評価指標データを評価することができるように設定される。したがって、例えば、評価部1104に他の評価指標データ800が供給される場合、その評価指標データ800に対応する評価部が評価部1104に用意されることになる。このように、評価部1104が有する各指標用の評価部の種類と数は、供給される評価指標データの種類と数による。
[振幅評価部の演算例1]
次に、振幅評価部1141による振幅評価の具体的な例について説明する。一般的に、心筋細胞の拍動は、振幅が大きく安定していることが望ましい。そこで、振幅評価部1141が、振幅がより大きく安定している場合に値が大きくなるように評価値を算出するようにする。
この場合、振幅評価部1141は、まず、フレーム画像の各ブロックについて、以下の式(5)のように、評価指標データである各振幅A(平均振幅Aav)を、図17のAに示されるグラフの曲線1161のような関数faを用いて正規化する(関数faにより正規化した振幅A’を求める)。
Figure 2011122200
・・・(5)
例えば、フレーム画像全体のブロック数をM×N個とし、平均振幅Aavの算出がS回繰り返されたとすると、振幅評価部1141は、M×N×S個の平均振幅Aavのそれぞれを、関数faを用いて正規化する。
この関数faは、振幅Aの値を、その値が大きいほどより大きくし、その値が小さいほどより小さくするような関数であればどのような関数であってもよい。つまり、正規化した振幅A’は、振幅が大きいほど大きな値をとり、振幅が小さいほど小さな値をとる。
次に、振幅評価部1141は、以下の式(6)のように、各ブロックについて、過去N回の振幅の分散Vaを求める。
Figure 2011122200
・・・(6)
なお、式(6)において、上線付きAは、各振幅A(平均振幅Aav)の平均値である。また、上述したように平均振幅Aavの算出がS回繰り返される場合、N=Sである。つまり、振幅評価部1141は、例えば、フレーム画像全体のブロック数をM×N個とし、平均振幅Aavの算出がS回繰り返されたとすると、M×N×S個の平均振幅Aavから、M×N個の分散Vaを算出する。
次に、振幅評価部1141は、以下の式(7)のように、各振幅の分散Vaを、図17のBに示されるグラフの曲線1162のような関数gaを用いて正規化する(関数gaにより正規化した振幅の分散Va’を求める)。
Figure 2011122200
・・・(7)
例えば、フレーム画像全体のブロック数をM×N個とすると、振幅評価部1141は、M×N個の分散Vaのそれぞれを、関数gaを用いて正規化する。
この関数gaは、分散Vaの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した振幅の分散Va’は、バラつきが小さいほど大きな値をとり、バラつきが大きいほど小さな値をとる。
次に、振幅評価部1141は、以下の式(8)のように、正規化した振幅A’と、正規化した振幅の分散Va’との積の画面全体の平均値(M×N個の平均値)を、評価値Eaとして算出する。
Figure 2011122200
・・・(8)
この場合、評価値Eaは、フレーム画像全体において正規化した振幅および正規化した振幅の分散が大きい程、その値が大きくなる。つまり、各ブロックの振幅が、より大きくより安定している(振幅がより大きく、かつ、その時間方向のバラつきがより少ない)場合程、高く評価される。
なお、振幅評価部1141が、以下の式(9)のように、正規化した振幅A’と正規化した振幅の分散Va’の積の値が所定の閾値Ta1以上の値となるブロック数Na1の、フレーム画像全体に占める割合を、評価値Eaとして算出するようにしてもよい。
Figure 2011122200
・・・(9)
閾値Ta1は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり(評価条件が厳しくなり)、評価値Eaの値は小さくなる。この場合、評価値Eaは、フレーム画像全体において振幅と分散の積が所定の基準より大きく安定しているブロックが多いほど、その値が大きくなる。
つまり、この場合、上述したように平均値を用いて評価値Eaを算出する場合よりも、ブロック間のバラつきが少ないほど好ましい。例えば、平均値を評価する場合、ブロック間のバラつきが大きくても評価が高くなる場合がある。これに対して、閾値を用いて評価を行う場合、一部のブロックの値が極端に大きくても、ブロック数Na1が多くなければ、評価は高くならない。
[振幅評価部の演算例2]
なお、振幅の評価方法は、上述した例に限らない。例えば、培養した心筋細胞の拍動を、理想的な正常培養時の場合と比較し、その比較結果を評価するようにしてもよい。この場合、理想的な正常培養時の拍動の推移パターン(理想推移パターン)が予め定められている。
振幅評価部1141は、図18のAのグラフに示されるように、培養した心筋細胞の拍動の推移パターン(測定推移パターン)を、この理想推移パターンと比較し、その類似度を評価する。図18のAにおいて、実線1171は、振幅の理想推移パターンを示し、点線1172は振幅の測定推移パターンを示す。両者の差が少ないほど、評価値が大きくなる。
まず、振幅評価部1141は、各経過時間における両者の推移パターン間の距離の和Daを、各ブロックについて、以下の式(10)のように算出する。
Figure 2011122200
・・・(10)
式(10)において、A(k)は、測定推移パターンにおける振幅A(平均振幅Aav)であり、A(k)は、理想推移パターンにおける振幅A(平均振幅Aav)である。kは何回目の測定値であるか(経過時間)を示す(S回測定を繰り返した場合、0≦k≦S−1)。また、W(k)は、重み係数であり、その値は任意である。例えば、測定開始直後は両者の推移パターンの違いを重要視しないが、経過時間が長くなるほど、両者の推移パターンが近似する事が求められる場合、重み係数Wの値は、kの値が大きくなるほど、大きくなるように設定される。
以上のように、各経過時間における両者の推移パターン間の距離の和Daが求められると、振幅評価部1141は、次に、距離の和Daを、以下の式(11)のように、図18のBに示されるグラフの実線1173のような関数haを用いて正規化する(正規化した距離の和Da’を算出する)。
Figure 2011122200
・・・(11)
この関数haは、距離の和Daの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した距離の和Da'は、理想推移パターンと測定推移パターンとの差が小さいほど大きな値をとり、理想推移パターンと測定推移パターンとの差が大きいほど小さな値をとる。
次に、振幅評価部1141は、以下の式(12)のように、正規化した距離の和Da’の画面全体の平均値(M×N個の平均値)を、評価値Eaとして算出する。
Figure 2011122200
・・・(12)
この場合、評価値Eaは、フレーム画像全体において測定推移と理想推移との差が少ない程、その値が大きくなる。
なお、振幅評価部1141が、以下の式(13)のように、正規化した距離の和Da’が所定の閾値Ta2以上の値となるブロック数Na2の、フレーム画像全体に占める割合を、評価値Eaとして算出するようにしてもよい。
Figure 2011122200
・・・(13)
式(13)において、閾値Ta2は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり(評価条件が厳しくなり)、評価値Eaの値は小さくなる。この場合、評価値Eaは、フレーム画像全体において測定推移と理想推移との差が所定の基準より小さく安定しているブロックが多いほど、その値が大きくなる。
以上のように、振幅評価部1141は、心筋細胞の拍動の振幅についての指標データに基づいて、その振幅を評価した評価値Eaを算出する。つまり、振幅評価部1141は、心筋細胞の拍動の振幅について定量的に評価を行うことができる。
[拍動数評価部の演算例1]
次に、拍動数評価部1142による単位時間当たりの拍動数評価の具体的な例について説明する。一般的に、心筋細胞の拍動は、単位時間当たりの拍動数(レート)が適切な値で安定していることが望ましい。そこで、拍動数評価部1142が、単位時間当たりの拍動数がより適切な値で安定している場合に値が大きくなるように評価値を算出するようにする。
この場合、拍動数評価部1142は、まず、拍動間隔D(平均拍動間隔Dav)から単位時間(例えば1分間)当たりの拍動数Rを、以下の式(14)のように算出する。
Figure 2011122200
・・・(14)
つまり、この単位時間当たりの拍動数Rは、その評価期間(例えば(T+1)フレーム)における単位時間当たりの拍動数の平均値である。拍動数評価部1142は、この単位時間当たりの拍動数Rを、各ブロックについて算出する。また、拍動数評価部1142は、この単位時間当たりの拍動数Rを、各評価期間について算出する。すなわち、1フレーム画像のブロック数がM×N個であり、評価期間がS回繰り返されたとすると、拍動数評価部1142は、単位時間当たりの拍動数Rを(M×N×S)個算出する。
次に、拍動数評価部1142は、この単位時間当たりの拍動数Rを、以下の式(15)のように、図19のAに示されるグラフの曲線1181のような関数frを用いて正規化する(関数frにより正規化した単位時間当たりの拍動数R’を求める)。
Figure 2011122200
・・・(15)
例えば、フレーム画像全体のブロック数をM×N個とし、平均拍動間隔Davの算出がS回繰り返されたとすると、拍動数評価部1142は、M×N×S個の単位時間当たりの拍動数Rのそれぞれを、関数frを用いて正規化する。関数frは、単位時間当たりの拍動数Rの値を、その値が適正な値に近いほどより大きくし、その値が適正な値から遠いほどより小さくするようする関数であれば、どのような関数であってもよい。つまり、正規化した単位時間当たりの拍動数R’は、予め定められた適正な単位時間当たりの拍動数に近いほど大きな値をとり、予め定められた適正な単位時間当たりの拍動数から遠いほど小さな値をとる。
次に、拍動数評価部1142は、以下の式(16)のように、各ブロックについて、過去N回の単位時間当たりの分散Vrを求める。
Figure 2011122200
・・・(16)
なお、式(16)において、上線付きRは、各単位時間当たりの拍動数Rの平均値である。また、上述したように単位時間当たりの拍動数Rの算出がS回繰り返される場合、N=Sである。つまり、拍動数評価部1142は、例えば、フレーム画像全体のブロック数をM×N個とし、単位時間当たりの拍動数Rの算出がS回繰り返されたとすると、M×N×S個の単位時間当たりの拍動数Rから、M×N個の分散Vrを算出する。
次に、拍動数評価部1142は、以下の式(17)のように、各振幅の分散Vrを、図19のBに示されるグラフの曲線1182のような関数grを用いて正規化する(関数grにより正規化した単位時間当たりの拍動数の分散Vr’を求める)。
Figure 2011122200
・・・(17)
例えば、フレーム画像全体のブロック数をM×N個とすると、拍動数評価部1142は、M×N個の分散Vrのそれぞれを、関数grを用いて正規化する。
この関数grは、分散Vrの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した単位時間当たりの拍動数の分散Vr’は、バラつきが小さいほど大きな値をとり、バラつきが大きいほど小さな値をとる。
次に、拍動数評価部1142は、以下の式(18)のように、正規化した単位時間当たりの拍動数R’と、正規化した単位時間当たりの拍動数の分散Vr’との積の画面全体の平均値(M×N個の平均値)を、評価値Erとして算出する。
Figure 2011122200
・・・(18)
この場合、評価値Erは、フレーム画像全体において正規化した単位時間当たりの拍動数および分散が大きい程、その値が大きくなる。つまり、各ブロックの正規化した単位時間当たりの拍動数Rがより安定している(単位時間当たりの拍動数が適正な値により近く、かつ、その時間方向のバラつきがより少ない)場合程、高く評価される。
なお、拍動数評価部1142が、以下の式(19)のように、正規化した単位時間当たりの拍動数R’と正規化した単位時間当たりの拍動数の分散Vr’との積の値が所定の閾値Tr1以上の値となるブロック数Nr1の、フレーム画像全体に占める割合を、評価値Erとして算出するようにしてもよい。
Figure 2011122200
・・・(19)
閾値Tr1は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり(評価条件が厳しくなり)、評価値Erの値は小さくなる。この場合、評価値Erは、フレーム画像全体において単位時間当たりの拍動数が、所定の基準より適正な値に近く、かつ、時間方向に安定しているブロックが多いほど、その値が大きくなる。
つまり、この場合、上述したように平均値を用いて評価値Erを算出する場合よりも、ブロック間のバラつきが少ないほど好ましい。例えば、平均値を評価する場合、ブロック間のバラつきが大きくても評価が高くなる場合がある。これに対して、閾値を用いて評価を行う場合、一部のブロックの値が極端に大きくても、ブロック数Nr1が多くなければ、評価は高くならない。
[拍動数評価部の演算例2]
なお、単位時間当たりの拍動数の評価方法は、上述した例に限らない。例えば、培養した心筋細胞の拍動を、理想的な正常培養時の場合と比較し、その比較結果を評価するようにしてもよい。この場合、理想的な正常培養時の拍動の推移パターン(理想推移パターン)が予め定められている。
拍動数評価部1142は、図20のAのグラフに示されるように、培養した心筋細胞の拍動の推移パターン(測定推移パターン)を、この理想推移パターンと比較し、その類似度を評価する。図20のAにおいて、実線1191は、単位時間当たりの拍動数の理想推移パターンを示し、点線1192は、単位時間当たりの拍動数の測定推移パターンを示す。両者の差が少ないほど、評価値が大きくなる。
まず、拍動数評価部1142は、各経過時間における両者の推移パターン間の距離の和Drを、各ブロックについて、以下の式(20)のように算出する。
Figure 2011122200
・・・(20)
式(20)において、R(k)は、測定推移パターンにおける単位時間当たりの拍動数Rであり、R(k)は、理想推移パターンにおける単位時間当たりの拍動数である。kは何回目の測定値であるか(経過時間)を示す(S回測定を繰り返した場合、0≦k≦S−1)。また、W(k)は、重み係数であり、その値は任意である。例えば、測定開始直後は両者の推移パターンの違いを重要視しないが、経過時間が長くなるほど、両者の推移パターンが近似する事が求められる場合、重み係数Wの値は、kの値が大きくなるほど、大きくなるように設定される。
以上のように、各経過時間における両者の推移パターン間の距離の和Drが求められると、拍動数評価部1142は、次に、距離の和Drを、以下の式(21)のように、図20のBに示されるグラフの実線1193のような関数hrを用いて正規化する(正規化した距離の和Dr’を算出する)。
Figure 2011122200
・・・(21)
この関数hrは、距離の和Drの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した距離の和Dr'は、理想推移パターンと測定推移パターンとの差が小さいほど大きな値をとり、理想推移パターンと測定推移パターンとの差が大きいほど小さな値をとる。
次に、拍動数評価部1142は、以下の式(22)のように、正規化した距離の和Dr’の画面全体の平均値(M×N個の平均値)を、評価値Erとして算出する。
Figure 2011122200
・・・(22)
この場合、評価値Erは、フレーム画像全体において測定推移と理想推移との差が少ない程、その値が大きくなる。
なお、拍動数評価部1142が、以下の式(23)のように、正規化した距離の和Dr’が所定の閾値Tr2以上の値となるブロック数Nr2の、フレーム画像全体に占める割合を、評価値Erとして算出するようにしてもよい。
Figure 2011122200
・・・(23)
式(23)において、閾値Tr2は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり(評価条件が厳しくなり)、評価値Erの値は小さくなる。この場合、評価値Erは、フレーム画像全体において測定推移と理想推移との差が所定の基準より小さく安定しているブロックが多いほど、その値が大きくなる。
以上のように、拍動数評価部1142は、心筋細胞の拍動の単位時間当たりの拍動数についての指標データに基づいて、その単位時間当たりの拍動数を評価した評価値Erを算出する。つまり、拍動数評価部1142は、心筋細胞の拍動の、単位時間当たりの拍動数について定量的に評価を行うことができる。
[分類結果評価部の評価例]
次に、分類結果評価部1143によるクラスタ分類結果の評価の具体的な例について説明する。一般的に、心筋細胞の拍動は、望ましいクラスタに分類されたブロックの割合が多いほど望ましい。そこで、分類結果評価部1143が、特徴量が望ましい状態である所定のクラスタ(望ましいクラスタ)に分類されたブロックの割合がより多い場合に値が大きくなるように評価値を算出するようにする。
例えば、望ましいクラスタをCとする。分類結果評価部1143は、まず、各ブロックについて、過去n回行われた分類においてCに分類された回数をカウントし、その回数Nを予め定められた所定の閾値Tc1と比較し、以下の条件式(24)を満たすブロックの数Ncを求める。
Figure 2011122200
・・・(24)
分類結果評価部1143は、このように求めたブロック数Ncを用いて、分類結果を評価した評価値Ecを、以下の式(25)のように算出する(1フレーム画像のブロック数をN×Nとする)。
Figure 2011122200
・・・(25)
以上のように、分類結果評価部1143は、心筋細胞の拍動の特徴量の分類結果を評価した評価値Ecを算出する。つまり、分類結果評価部1143は、心筋細胞の拍動の、特徴量の分類結果について定量的に評価を行うことができる。
[評価統合部]
図16に戻り、評価部1104は、さらに、評価統合部1144を有する。評価部1104の各指標用の評価部は、それぞれが算出した各指標用の評価値を評価統合部1144に供給する。
評価統合部1144は、各指標用の評価部から供給される評価値を所定の演算により統合し、評価対象(培養心筋細胞500)の評価値Eを生成する。例えば、評価統合部1144は、以下の式(26)に示されるように、各指標用の評価値の総和を評価値Eとして算出する。
Figure 2011122200
・・・(26)
式(26)において、評価値Eaは、振幅評価部1141から供給される平均振幅Aavの評価値であり、評価値Erは、拍動数評価部1142から供給される平均拍動間隔Davの評価値であり、評価値Ecは、分類結果評価部1143から供給される分類処理結果の評価値である。また、重み係数Wa、Wr、Wcは、それぞれ、評価値Ea、Er、Ecを重みづけする係数である。
以上のように、評価統合部1144は、各指標用の評価値を任意に重みづけして統合することができるので、評価対象をより多様な基準で定量的に評価することができる。
評価統合部1144は、以上のように算出した評価値Eを、評価対象の評価値1150として評価部1104の外部に出力する。
評価部1104から出力される評価値1150は、例えば、文字情報や画像情報として、モニタに表示され、ユーザ等に提示されたり、この評価値1150を利用して任意の処理を行う他の装置(図示せぬ)に出力されたりする。また、この評価値1150が、図示せぬ記録媒体に記録されるようにしてもよい。
このように、評価部1104は、より多様な指標をより多様な方法で定量的に評価することができる。これにより、評価部1104は、評価対象(心筋細胞)をより正確に評価することができる。
[評価処理の流れ]
次に、図21のフローチャートを参照して、培養心筋細胞評価装置1100により実行される評価処理の流れの例を説明する。
評価処理が開始されると、培養心筋細胞評価装置1100の撮像部1101は、ステップS1001において、評価対象を撮像する。ステップS1002において、評価対象画像データ生成記録部1102は、ステップS1001の撮像により得られた画像信号から評価対象画像データを生成する。
ステップS1003において、評価指標データ生成部1103は、ステップS1002において生成された評価対象画像データから、評価対象の動きを評価するための各種指標のデータである評価指標データを生成する。ステップS1004において、評価部1104は、ステップS1003において生成された評価指標データを用いて、評価対象の動きを評価し、評価値を算出する。
ステップS1005において、評価部1104は、ステップS1004において算出された評価値を出力し、評価処理を終了する。
[評価指標データ生成処理の流れ]
次に、図21のステップS1003において実行される評価指標データ生成処理の流れの例を、図22のフローチャートを参照して説明する。
評価指標データ生成処理が開始されると、評価指標データ生成部1103の動き検出部310は、ステップS1021において、評価対象の動きをブロック毎に検出し、動きベクトルを生成する。ステップS1022において、動き検出データ格納部320は、ステップS1021において生成された各ブロックの動きベクトルを記憶する。
ステップS1023において、動き検出部310は、予め定められた所定の評価期間、動き検出を行ったか否かを判定する。所定の評価期間において、動き検出を行っていないフレーム画像が存在すると判定された場合、動き検出部310は、処理をステップS1021に戻し、新たな処理対象フレーム画像に対して動き検出を繰り返す。
また、ステップS1023において、所定の評価期間において処理対象とする全てのフレーム画像において動き検出を行ったと判定された場合、動き検出部310は、処理をステップS1024に進める。
ステップS1024において、特徴量算出部1123は、ステップS1022において記憶された動きベクトルから、例えば、平均振幅Aavや平均拍動間隔Dav等のような、評価対象の動きに関する特徴量を算出する。ステップS1025において、動き特徴量データ履歴格納メモリ1125は、ステップS1024において算出された特徴量を動き特徴量データとして記憶する。
ステップS1026において、分類処理部1124は、ステップS1024において算出された特徴量に基づいて各ブロックを分類する。ステップS1027において、動き特徴量データ履歴格納メモリ1125は、ステップS1026において行われた分類結果を動き特徴量データとして記憶する。
ステップS1028において、特徴量算出部1123は、特徴量の算出を予め定められた所定回数(例えばS回)繰り返したか否かを判定し、所定回数に達していないと判定された場合、処理をステップS1021に戻し、それ以降の処理を繰り返す。また、ステップS1028において、特徴量の算出を所定回数繰り返したと判定された場合、特徴量算出部1123は、処理をステップS1029に進める。
ステップS1029において、動き特徴量データ履歴格納メモリ1125は、保持している動き特徴量データを評価指標データとして評価部1104に出力する。ステップS1029の処理を終了すると、動き特徴量データ履歴格納メモリ1125は、評価指標データ生成処理を終了し、処理を図21のステップS1003に戻し、ステップS1004以降の処理を実行させる。
[動き評価処理の流れ]
次に、図21のステップS1004において実行される動き評価処理の流れの例を、図23のフローチャートを参照して説明する。
動き評価処理が開始されると、評価部1104の振幅評価部1141は、ステップS1041において、振幅に関する評価指標データに基づいて、評価対象の動きの振幅を評価し、その評価値Eaを算出する。
ステップS1042において、拍動数評価部1142は、単位時間当たりの拍動数に関する評価指標データに基づいて、評価対象の動きの、単位時間当たりの拍動数を評価し、その評価値Erを算出する。
ステップS1043において、分類結果評価部1143は、分類結果に関する評価指標データに基づいて、評価対象の動きに基づいて行った各ブロックの分類結果を評価し、その評価値Ecを算出する。
ステップS1044において、評価統合部1144は、各指標の評価値を統合し、評価対象の評価値Eを算出する。
評価対象の評価値を算出すると、評価統合部1144は、動き評価処理を終了し、処理を図21のステップS1004に戻し、ステップS1005以降の処理を実行させる。
以上のように、各種処理を行うことにより、培養心筋細胞評価装置1100は、評価対象(例えば細胞の動き)をより定量的に評価することができる。また、指標の生成に動きベクトルを用いることにより、より多様な指標をより容易かつ非侵襲に求めることができる。すなわち、評価対象(例えば細胞の動き)をより正しく評価することができる。
<4.第4の実施の形態>
[他の評価への応用]
なお、評価対象の動きの協同性の評価することにより、その評価対象の動きに影響を及ぼす他の物体(例えば、気体、液体、固体の投与等)や任意の環境条件(例えば、温度、湿度、気圧、明度、振動、磁場等)等の評価を行うようにしてもよい。
培養心筋細胞の位相差観察動画の解析によって求めた様々な領域の拍動は、培養日数依存的に協同的な拍動を示すが、様々な薬剤の投与によって変動を示す。このような変動を何らかの方法によって検出することで、創薬の際の薬剤毒性や効果等を事前に評価することが可能となり、近年注目されている。
従来では、例えば、培養皿の底に配置した電極によって細胞の外場電位を検出し細胞の膜電位変化によって細胞の拍動挙動を捉える方法があった。また、細胞内にカルシウムに結合して発光する蛍光色素を入れ込み、細胞の興奮(活動電位)によって変動するカルシウム濃度を検出することで、細胞の拍動リズムを検出し、また、細胞の情報伝搬パターンを評価する方法もあった。
これらの手法は、特定の培養皿が必要であったり、また蛍光色素は高価で、蛍光色素を入れ込むのも煩雑で時間がかかったりする等、細胞の簡便・非侵襲なモニタリングに対しては問題点が多かった。
そこで、上述したように、細胞の動きを検出して評価する方法を利用して薬剤投与による細胞拍動における収縮弛緩延長の評価を行い、その評価結果を用いて薬剤の毒性等を評価するようにする。心筋細胞の拍動は収縮と弛緩よりなるが、例えば細胞のカリウムチャネルのイオンの出入りが阻害されると、弛緩の時間が延長する(収縮した状態から戻り難くなる)。
このような細胞の弛緩の延長を評価することにより、投与された薬剤が心筋細胞に及ぼす影響を評価することができる。このような細胞の動きの評価を、上述したように画像解析によって行うことにより、細胞に何ら蛍光色素などの試薬を加えることなく、また特殊な培養皿を使用することなく、細胞拍動挙動の変化を捉えることができるので、薬剤毒性等を容易かつ正確に評価することができる。
[薬剤評価装置]
図24は、薬剤評価装置の主な構成例を示すブロック図である。図24に示される薬剤評価装置1300は、薬剤による影響(効能や副作用等)を、その薬剤が投与された培養心筋細胞500の動きによって評価する装置である。
図24に示されるように、薬剤評価装置1300は、図13の培養心筋細胞評価装置1100と同様の撮像部1101および評価対象画像データ生成記録部1102を有する。撮像部1101は、薬剤投与前と薬剤投与後に、培養心筋細胞500を撮像する。
評価対象画像データ生成記録部1102は、撮像部1101から供給される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。つまり、薬剤投与前後の培養心筋細胞500の各動画像について評価対象画像データが生成される。
また、薬剤評価装置1300は、培養心筋細胞評価装置1100の評価指標データ生成部1103の代わりに、評価指標データ生成部1303を有し、さらに、評価部1104の代わりに評価部1304を有する。
評価指標データ生成部1303は、評価対象画像データ生成記録部1102から、評価対象画像データを取得する。評価指標データ生成部1303は、取得した評価対象画像データを用いて評価指標データを生成し、それを評価部1304に供給する。
より具体的には、評価指標データ生成部1303は、例えば培養心筋細胞500の動画像である評価対象画像データの各フレーム画像間において、そのフレーム画像の全領域を複数に分割した部分領域であるブロック毎に、培養心筋細胞500の動き検出(動きベクトルの生成)を行う。つまり、評価指標データ生成部1303は、このような各ブロックの動き検出を所定期間分(所定フレーム数分)行う。この期間は、撮像部1101が撮像した動画像の時間であってもよいし、それより短くてもよい。
評価指標データ生成部1303は、さらに、生成した各動きベクトルの動き量(動きベクトルの長さ)を求める。つまり、評価指標データ生成部1303は、各ブロックのフレーム毎の動き量を所定期間分生成する。
評価指標データ生成部1303が求めたあるブロックの各フレームの動き量を時系列に並べると、例えば、図25に示されるグラフが得られる。図25は、評価指標データ生成部1303が求めたあるブロックの動き量の時間的変化の様子、すなわち細胞の拍動の様子の例を示す図である。
図25のグラフにおいて、横軸は経過時間(フレーム数)を示し、縦軸は動き量(pixels/frame)を示す。曲線1311(before)が薬剤投与前の培養心筋細胞500の拍動を示し、曲線1312(after)が薬剤投与後の培養心筋細胞500の拍動を示す。なお、図25のグラフにおいては、1拍動分(収縮と弛緩を1回ずつ)の波形が示されている。
心筋細胞の拍動は、収縮と弛緩により構成され、曲線1311および曲線1312において左側に形成される山が「収縮」動作によるものであり、右側に形成される山が「弛緩」動作によるものである。点P1−1は、曲線1311(before)の収縮のピークを示し、点P1−2が曲線1311(before)の弛緩のピークを示す。また、点P2−1は、曲線1312(after)の収縮のピークを示し、点P2−2が曲線1312(after)の弛緩のピークを示す。
一般に心筋の弛緩は、心電図でいうところのT波に対応しており、心筋細胞膜の再分極に対応している。このT波の延長はQ波とT波間時間の延長として一般にQT延長と呼ばれ、この症状が出る場合、不整脈の可能性が指摘される。例えば、培養心筋細胞500に投与された薬剤によりカリウムチャネルへのイオンの出し入れが阻害されると、このようなQT延長が発生する。例えば、DL−ソタロール(dl-sotalol)は、カリウムチャネルを阻害することが知られている。つまり、培養心筋細胞500にDL−ソタロールを投与すると弛緩過程で働くカリウムチャネル機能の変化によって弛緩過程が変化する。
図25に示されるように、薬剤投与前と後で、弛緩のピークがずれる。より具体的には、点P2−2の時刻が、点P1−2の時刻より時間dだけ遅れている(シフトする)。つまり、薬剤投与によるQT延長の発生(例えばDL−ソタロールの投与によるカリウムチャネル機能の変化)を確認することができる。
このように、細胞の拍動(収縮と弛緩)における動きベクトル(若しくはその動き量)の時間的変化を薬剤投与前と後で比較することにより、薬剤による効果や毒性等を評価することができる。
なお、従来の電位測定によっても、このQT延長の観測は可能であるが、電極を有する専用の培養皿必要になる。また、カルシウムを用いた拍動イメージングでは基本的に左側のピークを観察するのみであり、右側のピークを観察することは困難である。したがって、この延長の評価には不向きである。これに対して、上述した本技術の方法の場合、細胞に何ら蛍光色素などの試薬を加えることなく、また特殊な培養皿を使用することなく、細胞拍動挙動の変化を捉えることができる。すなわち、容易、非侵襲、かつ、安価に評価を行うことができる。
このようなQT延長の評価を行うために、評価指標データ生成部1303は、さらに、生成された各動きベクトルの動き量(動きベクトルの長さ)から、例えば、時系列に並べた動き量群、点P2−1や点P2−2の座標、または時間d等の、波形比較用の特徴量を算出し、その特徴量を評価指標データとして評価部1304に供給する。
評価部1304は、供給された評価指標データを画像化したり、定量的に評価したり、培養心筋細胞500の動きについての評価値を算出し、出力したりする。
より具体的には、評価部1304は、例えば図25に示されるような拍動パターンを示すグラフ画像を表示したり、QT延長の度合いを示す時間dを閾値判定することにより、QT延長の有無を判定したりする。
なお、もちろん、図25に示されるグラフは画像化の一例であり、これ以外にも、例えば、棒グラフ、分布図、模式図等、任意の画像により細胞の拍動パターンを表現するようにしてもよい。また、評価する薬剤は、任意である。
以下に各部の詳細について説明する。
[評価指標データ生成部]
図26は、評価指標データ生成部1303の主な構成例を示すブロック図である。図26に示されるように、評価指標データ生成部1303は、動き検出部310を有し、評価対象画像データ600(動画像)の各フレーム画像間の動き検出を行い、ブロック毎の動きベクトルを生成する。
また、評価指標データ生成部1303は、動き量絶対値算出部1321、動き量絶対値格納部1322、特徴量算出部1323、および特徴量格納部1324を有する。
動き量絶対値算出部1321は、動き検出部310が検出した各動きベクトルについて動き量(動きベクトルの長さの絶対値)(以下、動き量絶対値とも称する)を算出する。動き量絶対値算出部1321は、算出した動き量絶対値を動き量絶対値格納部1322に格納する。
動き量絶対値格納部1322は、評価対象画像データ600の全フレーム間のブロック毎の動き量絶対値を格納する。例えば、薬剤投与前と後のように、評価対象画像データが複数存在する場合、動き量絶対値格納部1322は、各評価対象画像データについて、動き量絶対値を格納する。
特徴量算出部1323は、動き量絶対値格納部1322に格納されている動き量絶対値を用いて、評価に用いられる所定の特徴量を算出する。特徴量格納部1324は、特徴量算出部1323が算出した特徴量を格納する。この特徴量は、所定のタイミングにおいて、若しくは、評価部1304等の要求に応じて、評価指標データ800として、評価部1304に供給される。
[評価部]
図27は、評価部1304の主な構成例を示すブロック図である。図27に示されるように、評価部1304は、特徴量取得部1341、特徴比較部1342、表示部1343、および出力部1344を有する。
特徴量取得部1341は、評価指標データ生成部1303(特徴量格納部1324)から、所望の特徴量(例えばユーザが指定した評価対象(培養心筋細胞500)の特徴量)を評価指標データ800として取得する。特徴量取得部1341は、取得した特徴量を、表示部1343に供給して表示させたり、出力部1344に供給して他の装置に供給させたりする。また、特徴量取得部1341は、取得した特徴量を、特徴比較部1342に供給する。
特徴比較部1342は、供給された特徴量を定量的に評価する。例えば、特徴比較部1342は、例えば薬剤投与前と後のように複数の培養心筋細胞500のそれぞれの特徴量を互いに比較したり、特徴量を所定の閾値と比較したりして、定量的に評価する。特徴比較部1342は、その比較結果を表示部1343に供給して表示させたり、出力部1344に供給して他の装置に供給させたりする。
表示部1343は、例えばモニタ等の表示デバイスを有し、特徴量取得部1341若しくは特徴比較部1342から供給されるデータを画像化し、その画像を表示デバイスに表示する。例えば、表示部1343は、特徴量取得部1341により取得された動き量を用いて、例えば図25に示されるようなグラフを生成し、表示する。また、例えば、表示部1343は、特徴比較部1342から供給される評価結果を画像化し、表示する。
出力部1344は、例えば外部端子等のインタフェースを有し、特徴量取得部1341若しくは特徴比較部1342から供給されるデータを外部の装置やネットワーク等に出力する。
以上のように、評価部1304が拍動パターンを評価することにより、薬剤評価装置1300は、薬剤投与による心筋細胞の拍動への影響を、容易かつ非侵襲に評価することができる。
なお、以上においては、評価部がQT延長の発生を評価するように説明したが、評価するパラメータは、これ以外であってもよい。つまり、算出される特徴量も任意である。例えば、図25のグラフにおいて、点P1−2および点P2−2の動き量の差を特徴量としてもよい。また、例えば、点P1−1および点P2−1の時間や動き量の差を特徴量としてもよい。さらに例えば、収縮の山の幅や弛緩の山の幅を特徴量としてもよい。もちろん、これ以外のパラメータを特徴量としてもよい。
また、評価部1304は、このような評価を、観察領域内の全ブロックについて行うようにしてもよいし、一部のブロックについて行うようにしてもよい。さらに、評価部1304は、このような評価を、観察期間の全ての拍動について行うようにしてもよいし、一部の拍動について行うようにしてもよい。
[評価処理の流れ]
次に、図28のフローチャートを参照して、薬剤評価装置1300により実行される評価処理の流れの例を説明する。
評価処理が開始されると、薬剤評価装置1300の撮像部1101は、ステップS1301において、評価対象を撮像する。ステップS1302において、評価対象画像データ生成記録部1102は、ステップS1301の撮像により得られた画像信号から評価対象画像データを生成する。
ステップS1303において、評価指標データ生成部1303は、ステップS1302において生成された評価対象画像データを用いて評価指標データを生成する。ステップS1304において、評価部1304は、ステップS1303において生成された評価指標データを用いて、薬剤投与前後の培養心筋細胞500の拍動パターン(例えばQT延長)を観察することにより、薬剤の影響を評価する。
ステップS1305において、評価部1304の出力部1344は、ステップS1304において算出された評価値を薬剤評価装置1300の外部に出力し、評価処理を終了する。なお、ステップS1305において、出力部1344の出力の代わりに、上述したように、表示部1343が評価値を画像化し、その画像を表示デバイスに表示するようにしてもよい。また、上述したように、表示部1343が、ステップS1303の処理において算出される各種特徴量を画像化し、表示デバイスに表示するようにしてもよいし、出力部1344が、その各種特徴量を薬剤評価装置1300の外部に出力するようにしてもよい。
[評価指標データ生成処理の流れ]
次に、図28のステップS1303において実行される評価指標データ生成処理の流れの例を、図29のフローチャートを参照して説明する。
評価指標データ生成処理が開始されると、評価指標データ生成部1303の動き検出部310は、ステップS1321において、評価対象の動きをブロック毎に検出し、動きベクトルを生成する。ステップS1322において、動き量絶対値算出部1321は、ステップS1321において生成された動きベクトルの動き量絶対値を算出する。
ステップS1323において、動き量絶対値格納部1322は、ステップS1322において算出された動き量絶対値を記憶する。
ステップS1324において、動き検出部310は、予め定められた所定の期間(評価区間)、動き検出を行ったか否かを判定する。所定の評価区間において、動き検出を行っていないフレーム画像が存在すると判定された場合、動き検出部310は、処理をステップS1321に戻し、新たな処理対象フレーム画像に対して動き検出を繰り返す。
また、ステップS1324において、所定の評価区間において処理対象とする全てのフレーム画像において動き検出を行ったと判定された場合、動き検出部310は、処理をステップS1325に進める。
ステップS1325において、特徴量算出部1323は、ステップS1323において記憶された動き量絶対値を用いて特徴量を算出する。ステップS1326において、特徴量格納部1324は、ステップS1325において算出された特徴量を記憶する。
ステップS1327において、特徴量算出部1323は、特徴量の算出を予め定められた所定回数(例えばS回)繰り返したか否かを判定し、所定回数に達していないと判定された場合、処理をステップS1321に戻し、それ以降の処理を繰り返す。また、ステップS1327において、特徴量の算出を所定回数繰り返したと判定された場合、特徴量算出部1323は、評価指標データ生成処理を終了し、処理を図28に戻し、ステップS1304以降の処理を実行させる。
[影響評価処理の流れ]
次に、図30のフローチャートを参照して、図28のステップS1304において実行される影響評価処理の流れの例を説明する。
影響評価処理が開始されると、評価部1304の特徴量取得部1341は、ステップS1341において、特徴量格納部1324から所望の動きベクトルを取得する。
ステップS1342において、特徴比較部1342は、ステップS1341において取得した特徴量を対象間で比較する。ステップS1342の処理が終了すると、特徴比較部1342は、影響評価処理を終了し、処理を図28に戻し、ステップS1305の処理を実行させる。
以上のように、評価部1304が動き検出された観察対象の動き量の時間的変化についての特徴量を求めることにより、薬剤評価装置1300は、薬剤投与による心筋細胞の拍動への影響を、容易に評価することができる。この方法は、特殊な培養皿や蛍光試薬を使わないため、簡便、非侵襲、安価に評価が可能であり、また自動化にも好適である。また、この方法の場合、観察領域は、例えば0.6mm平方程度と比較的狭い範囲でよく、少ない細胞数と少ない試薬で試験が可能である。また、一般的に市販されている高密度の培養プレート(1536穴プレート(1.7mm直径/1well)や384穴プレート(3.6mm直径/1well)によっても十分に評価可能であり、創薬における最初のスクリーニングにも好適である。本技術は、さらに、培養心筋細胞500を観察することにより評価可能なものであればどのようなものを評価する場合にも適用することができる。
[薬剤投与による拍動変化の例]
図31は、薬剤投与前後の拍動の様子の例を示す図である。図31に示される8個のグラフは、いずれも、培養心筋細胞500の観察領域内の所定の部分の拍動の様子(動き量絶対値の時間的変化)の観察結果である。横軸は時刻(sec)を示し、縦軸はフレーム間の動き量絶対値(pixcel/frame)を示す。つまり、各グラフにおいて示される各振幅が培養心筋細胞500の拍動を表している。
図31の左側のグラフが薬剤投与前の拍動の様子を示し、右側のグラフが薬剤投与後(投与してから所定時間経過後)の拍動の様子を示している。
図31の例の場合、一番上のグラフは、有機溶媒(control)(例えばジメチルスルホキシド(dimethyl sulfoxide))の投与前後の拍動の様子を示している。また、上から2番目のグラフは、アスピリン(aspirin(アセチルサリチル酸(acetylsalicylic acid)))の投与前後の拍動の様子を示している。さらに、上から3番目のグラフは、DL−ソタロール(dl-sotalol)の投与前後の拍動の様子を示している。また、一番下の3Dプロットは、18−β−グリチルレチン酸(18-β-Glycyrrhetinic acid)の投与前後の拍動の様子を示している。
図31のグラフに示されるように、有機溶媒やアスピリンは、心筋細胞の拍動の間隔に大きな影響を与えない。つまり、図31の左側のグラフに示されるように薬剤投与前においては、拍動は、略一定間隔で繰り返される(ピーク間隔が略一定である)が、この心筋細胞に有機溶媒やアスピリンを投与しても、図31の右側の上から1段目および2段目のグラフに示されるように、拍動は、薬剤投与前と略同一の間隔で、一定間隔に繰り返される。つまり、この場合、拍動のリズムは略変化しない(ピーク間隔が変化しない)。
これに対して、DL−ソタロールを投与すると、カリウムチャネルの機能が阻害されることにより、弛緩の波形(拍動の幅)が変化する(不安定になる)だけでなく、図31の右側の上から3段目のグラフに示されるように、拍動のタイミングが不安定になる(ピーク間隔にばらつきが生じる)。また、ピーク時の動き量絶対値も不安定になる(ばらつきが生じる)。
また、18−β−グリチルレチン酸は、ギャップジャンクションを阻害することが知られている。この18−β−グリチルレチン酸を投与する場合も、図31の右側の上から4段目のグラフに示されるように、拍動のタイミングやピーク時の動き量絶対値が不安定になる(ばらつきが生じる)。
また、図32は、薬剤投与前後の拍動のばらつきの様子の例を示す図である。図32に示される8個のグラフは、いずれも、培養心筋細胞500の観察領域内の所定の部分において繰り返される拍動の波形(複数の拍動)を重畳させたものである。
図31の場合と同様に、各グラフの横軸は時刻(sec)を示し、縦軸はフレーム間の動き量絶対値(pixcel/frame)を示す。また、左側のグラフが薬剤投与前の拍動を示し、右側のグラフが薬剤投与後(投与してから所定時間経過後)の拍動を示している。
また、図31の場合と同様に、投与される薬剤は、上から順に、有機溶媒(control)、アスピリン(aspirin(アセチルサリチル酸(acetylsalicylic acid)))、DL−ソタロール(dl-sotalol)、18−β−グリチルレチン酸(18-β-Glycyrrhetinic acid)である。
図32のグラフに示されるように、有機溶媒やアスピリンを投与しても、心筋細胞の各拍動には、投与前と同様に大きなばらつきは生じない。
これに対して、DL−ソタロールを投与すると、カリウムチャネルの機能が阻害されることにより、図31の右側の上から3段目のグラフに示されるように、主に弛緩の波形(ピークの大きさ、ピークの出現時刻、ピークの出現回数、および幅(QT延長)等)に大きなばらつきが生じる。また、収縮の波形においてもピークの高さに大きなばらつきが生じる。
また、18−β−グリチルレチン酸は、ギャップジャンクションの機能が阻害されることにより、図31の右側の上から4段目のグラフに示されるように、収縮の波形においてピークの高さに大きなばらつきが生じる。
薬剤評価装置1300を用いることにより、このような薬剤の投与による拍動への影響を容易かつ非侵襲に把握することができる。
以上のように、培養心筋細胞500の観察領域内の特定の細胞(特定の部分領域)について、薬剤投与による拍動の様子の変化を観察することにより、細胞間の拍動の相関性を観察するだけでは得られない情報を得ることができる。したがって、細胞間の拍動の相関性を観察する場合とは異なる指標で薬剤評価を行うことができる。
<5.第5の実施の形態>
[パーソナルコンピュータ]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図33に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
図33において、パーソナルコンピュータ1500のCPU(Central Processing Unit)1501は、ROM(Read Only Memory)1502に記憶されているプログラム、または記憶部1513からRAM(Random Access Memory)1503にロードされたプログラムに従って各種の処理を実行する。RAM1503にはまた、CPU1501が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU1501、ROM1502、およびRAM1503は、バス1504を介して相互に接続されている。このバス1504にはまた、入出力インタフェース1510も接続されている。
入出力インタフェース1510には、キーボード、マウスなどよりなる入力部1511、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部1512、ハードディスクなどより構成される記憶部1513、モデムなどより構成される通信部1514が接続されている。通信部1514は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース1510にはまた、必要に応じてドライブ1515が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア1521が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部1513にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図33に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc - Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、若しくは半導体メモリなどよりなるリムーバブルメディア1521により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM1502や、記憶部1513に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1) 周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出部と、
前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも1種類の特徴量を算出する特徴量算出部と、
前記複数のフレーム画像データの何れか1つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理部と
を具備するデータ処理装置。
(2) 前記特徴量算出部は、複数種類の前記特徴量を前記ブロックごとに算出し、
前記分類部は、算出された複数種類の前記特徴量に基づいて前記分類データを生成する
前記(1)に記載のデータ処理装置。
(3) 前記特徴量算出部は、前記特徴量の1種類として一定時間における単位時間ごとの動き方向の平均値である平均動き方向を算出する
前記(1)または(2)に記載のデータ処理装置。
(4) 前記特徴量算出部は、前記特徴量の1種類として一定時間における単位時間ごとの動き量の平均値である平均動き量を算出する
前記(1)乃至(3)のいずれかに記載のデータ処理装置。
(5) 前記特徴量算出部は、前記特徴量の1種類として一定時間において得られた一定以上の動き量の振幅の平均値である平均振幅を算出する
前記(1)乃至(4)のいずれかに記載のデータ処理装置。
(6) 前記特徴量算出部は、前記特徴量の1種類として一定時間における単位時間ごとの動きの加速度の平均値である平均加速度を算出する
前記(1)乃至(5)のいずれかに記載のデータ処理装置。
(7) 前記特徴量算出部は、前記特徴量の1種類として一定時間において一定以上の動き量の振幅が得られる時間間隔の平均値である平均動き間隔を算出する
前記(1)乃至(6)のいずれかに記載のデータ処理装置。
(8) 前記特徴量算出部は、前記特徴量の1種類として所定のタイミングから一定以上の動き量の振幅が得られるタイミングまでの時間である動き開始時間を算出する
前記(1)乃至(7)のいずれかに記載のデータ処理装置。
(9) 前記分類部は、前記複数の分類区分に対応して異なる特徴量の組み合わせを有する複数のテンプレートの各々と前記ブロックとの距離を算出し、算出された距離に基づいて前記ブロックを前記複数の分類区分のうちの何れか1つに属するものとして分類する処理を前記ブロックごとに行う
前記(1)乃至(8)のいずれかに記載のデータ処理装置。
(10) 前記分類部は、前記ブロックごとに対応して算出された特徴量に基づいてk平均法によるクラスタリングを行うことで、前記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類する
前記(1)乃至(9)のいずれかに記載のデータ処理装置。
(11) 周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出手順と、
前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも1種類の特徴量を算出する特徴量算出手順と、
前記複数のフレーム画像データの何れか1つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理手順と
を具備するデータ処理方法。
(12) 評価対象の画像を用いて前記評価対象の動きを検出する動き検出部と、
前記動き検出部により検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部と、
前記指標データ生成部により生成された前記指標データを評価し、評価値を算出する評価値算出部と
を備える画像処理装置。
(13) 前記指標データ生成部は、前記評価対象の動きの振幅の大きさに関する指標データと、前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを生成し、
前記評価値算出部は、前記指標データ生成部により生成された前記評価対象の動きの振幅の大きさに関する指標データを用いて、前記評価対象の動きの振幅の大きさ評価する評価値を算出し、さらに、前記指標データ生成部により生成された前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを用いて、前記評価対象の動きのピークの単位時間当たりの頻度を評価する評価値を算出する
前記(12)に記載の画像処理装置。
(14) 前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と、正規化した前記振幅の分散との積の前記評価対象の画像全体の平均値である
前記(13)に記載の画像処理装置。
(15) 前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と正規化した前記振幅の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
前記(13)または(14)のいずれかに記載の画像処理装置。
(16) 前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と、正規化した単位時間当たりの前記ピークの数の分散との積の画面全体の平均値である
前記(13)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と正規化した単位時間当たりの前記ピークの数の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
前記(13)乃至(16)のいずれかに記載の画像処理装置。
(18) 前記指標データ生成部は、さらに、前記評価対象の動きの特徴量に基づいて前記評価対象の画像の各部分領域を分類した分類結果に関する指標データを生成し、
前記評価値算出部は、さらに、前記指標データ生成部により生成された前記分類結果に関する指標データを用いて、前記評価対象の動きの特徴量の分類結果を評価する評価値を算出する
前記(13)乃至(17)のいずれかに記載の画像処理装置。
(19) 前記指標データ生成部は、前記動き検出部により検出された前記評価対象の動き量を算出し、
前記評価値算出部は、前記指標データ生成部により算出された前記動き量の時間的変化を画像化し、表示する
前記(12)乃至(18)のいずれかに記載の画像処理装置。
(20) 前記指標データ生成部は、算出した前記動き量の時間的変化の、前記評価対象である心筋細胞の弛緩を示す波形のピークの、前記心筋細胞への薬剤投与による変化を示す指標データを生成し、
前記評価値算出部は、前記指標データ生成部により算出された前記指標データを評価し、評価値を算出する
前記(19)に記載の画像処理装置。
(21) 前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、
前記動き検出部は、前記撮像部により得られた前記評価対象の画像を用いて前記評価対象の動きを検出する
前記(12)乃至(20)のいずれかに記載の画像処理装置。
(22) 前記動き検出部は、動画像である前記評価対象の画像の、所定の長さの評価期間の各フレーム画像間の前記評価対象の動きを検出する
前記(12)乃至(21)のいずれかに記載の画像処理装置。
(23) 前記動き検出部は、前記評価期間の前記評価対象の動きの検出を、所定回数繰り返す
前記(22)に記載の画像処理装置。
(24) 前記評価値算出部は、前記指標データ生成部により生成された複数種類の前記指標データのそれぞれを評価して評価値を算出し、算出した各評価値を統合することにより、前記評価対象を評価する評価値を算出する
前記(12)乃至(23)のいずれかに記載の画像処理装置。
(25) 前記評価対象は、自発的に動く細胞である
前記(12)乃至(24)のいずれかに記載の画像処理装置。
(26) 前記評価対象は、生体より採取した細胞を培養して生成した培養細胞である
前記(12)乃至(25)のいずれかに記載の画像処理装置。
(27) 画像処理装置の動き検出部が、評価対象の画像を用いて前記評価対象の動きを検出し、
前記画像処理装置の指標データ生成部が、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成し、
前記画像処理装置の評価値算出部が、生成された前記指標データを評価し、評価値を算出する
画像処理方法。
(28) コンピュータを、
評価対象の画像を用いて前記評価対象の動きを検出する動き検出部、
検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部、
生成された前記指標データを評価し、評価値を算出する評価値算出部
として機能させるためのプログラム。
100 培養心筋細胞評価システム 110 撮像装置 200 評価対象画像データ生成記録装置 300 評価指標データ生成装置 310 動き検出部 311 フレームメモリ 312 動きベクトル算出部 320 動き検出データ格納部 330 特徴量算出部 340 分類処理部 400 評価装置 500 培養心筋細胞 600 評価対象画像データ 610 フレーム画像データ 611 ブロック 700 動き検出データ 710 フレーム単位動き検出データ 800 評価指標データ 801 個別分類結果データ, 1100 培養心筋細胞評価装置, 1101 撮像部, 1102 評価対象画像データ生成記録部, 1103 評価指標データ生成部, 1104 評価部, 1123 特徴量算出部, 1124 分類処理部, 1125 動き特徴量データ履歴格納メモリ, 1141 振幅評価部, 1142 拍動数評価部, 1143 分類結果評価部, 1144 評価統合部, 1300 薬剤評価装置, 1303 評価指標データ生成部, 1304 評価部, 1341 特徴量取得部, 1342 特徴比較部, 1343 表示部, 1344 出力部

Claims (28)

  1. 周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出部と、
    前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも1種類の特徴量を算出する特徴量算出部と、
    前記複数のフレーム画像データの何れか1つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理部と
    を具備するデータ処理装置。
  2. 前記特徴量算出部は、複数種類の前記特徴量を前記ブロックごとに算出し、
    前記分類部は、算出された複数種類の前記特徴量に基づいて前記分類データを生成する請求項1記載のデータ処理装置。
  3. 前記特徴量算出部は、前記特徴量の1種類として一定時間における単位時間ごとの動き方向の平均値である平均動き方向を算出する請求項1記載のデータ処理装置。
  4. 前記特徴量算出部は、前記特徴量の1種類として一定時間における単位時間ごとの動き量の平均値である平均動き量を算出する請求項1記載のデータ処理装置。
  5. 前記特徴量算出部は、前記特徴量の1種類として一定時間において得られた一定以上の動き量の振幅の平均値である平均振幅を算出する請求項1記載のデータ処理装置。
  6. 前記特徴量算出部は、前記特徴量の1種類として一定時間における単位時間ごとの動きの加速度の平均値である平均加速度を算出する請求項1記載のデータ処理装置。
  7. 前記特徴量算出部は、前記特徴量の1種類として一定時間において一定以上の動き量の振幅が得られる時間間隔の平均値である平均動き間隔を算出する請求項1記載のデータ処理装置。
  8. 前記特徴量算出部は、前記特徴量の1種類として所定のタイミングから一定以上の動き量の振幅が得られるタイミングまでの時間である動き開始時間を算出する請求項1記載のデータ処理装置。
  9. 前記分類部は、前記複数の分類区分に対応して異なる特徴量の組み合わせを有する複数のテンプレートの各々と前記ブロックとの距離を算出し、算出された距離に基づいて前記ブロックを前記複数の分類区分のうちの何れか1つに属するものとして分類する処理を前記ブロックごとに行う請求項1記載のデータ処理装置。
  10. 前記分類部は、前記ブロックごとに対応して算出された特徴量に基づいてk平均法によるクラスタリングを行うことで、前記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類する請求項1記載のデータ処理装置。
  11. 周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出手順と、
    前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも1種類の特徴量を算出する特徴量算出手順と、
    前記複数のフレーム画像データの何れか1つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか1つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理手順とを具備するデータ処理方法。
  12. 評価対象の画像を用いて前記評価対象の動きを検出する動き検出部と、
    前記動き検出部により検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部と、
    前記指標データ生成部により生成された前記指標データを評価し、評価値を算出する評価値算出部と
    を備える画像処理装置。
  13. 前記指標データ生成部は、前記評価対象の動きの振幅の大きさに関する指標データと、前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを生成し、
    前記評価値算出部は、前記指標データ生成部により生成された前記評価対象の動きの振幅の大きさに関する指標データを用いて、前記評価対象の動きの振幅の大きさ評価する評価値を算出し、さらに、前記指標データ生成部により生成された前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを用いて、前記評価対象の動きのピークの単位時間当たりの頻度を評価する評価値を算出する
    請求項12に記載の画像処理装置。
  14. 前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と、正規化した前記振幅の分散との積の前記評価対象の画像全体の平均値である
    請求項13に記載の画像処理装置。
  15. 前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と正規化した前記振幅の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
    請求項13に記載の画像処理装置。
  16. 前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と、正規化した単位時間当たりの前記ピークの数の分散との積の画面全体の平均値である
    請求項13に記載の画像処理装置。
  17. 前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と正規化した単位時間当たりの前記ピークの数の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
    請求項13に記載の画像処理装置。
  18. 前記指標データ生成部は、さらに、前記評価対象の動きの特徴量に基づいて前記評価対象の画像の各部分領域を分類した分類結果に関する指標データを生成し、
    前記評価値算出部は、さらに、前記指標データ生成部により生成された前記分類結果に関する指標データを用いて、前記評価対象の動きの特徴量の分類結果を評価する評価値を算出する
    請求項13に記載の画像処理装置。
  19. 前記指標データ生成部は、前記動き検出部により検出された前記評価対象の動き量を算出し、
    前記評価値算出部は、前記指標データ生成部により算出された前記動き量の時間的変化を画像化し、表示する
    請求項12に記載の画像処理装置。
  20. 前記指標データ生成部は、算出した前記動き量の時間的変化の、前記評価対象である心筋細胞の弛緩を示す波形のピークの、前記心筋細胞への薬剤投与による変化を示す指標データを生成し、
    前記評価値算出部は、前記指標データ生成部により算出された前記指標データを評価し、評価値を算出する
    請求項19に記載の画像処理装置。
  21. 前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、
    前記動き検出部は、前記撮像部により得られた前記評価対象の画像を用いて前記評価対象の動きを検出する
    請求項12に記載の画像処理装置。
  22. 前記動き検出部は、動画像である前記評価対象の画像の、所定の長さの評価期間の各フレーム画像間の前記評価対象の動きを検出する
    請求項12に記載の画像処理装置。
  23. 前記動き検出部は、前記評価期間の前記評価対象の動きの検出を、所定回数繰り返す
    請求項22に記載の画像処理装置。
  24. 前記評価値算出部は、前記指標データ生成部により生成された複数種類の前記指標データのそれぞれを評価して評価値を算出し、算出した各評価値を統合することにより、前記評価対象を評価する評価値を算出する
    請求項12に記載の画像処理装置。
  25. 前記評価対象は、自発的に動く細胞である
    請求項12に記載の画像処理装置。
  26. 前記評価対象は、生体より採取した細胞を培養して生成した培養細胞である
    請求項12に記載の画像処理装置。
  27. 画像処理装置の動き検出部が、評価対象の画像を用いて前記評価対象の動きを検出し、
    前記画像処理装置の指標データ生成部が、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成し、
    前記画像処理装置の評価値算出部が、生成された前記指標データを評価し、評価値を算出する
    画像処理方法。
  28. コンピュータを、
    評価対象の画像を用いて前記評価対象の動きを検出する動き検出部、
    検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部、
    生成された前記指標データを評価し、評価値を算出する評価値算出部
    として機能させるためのプログラム。
JP2012508154A 2010-03-29 2011-02-28 画像処理装置および方法、並びに、プログラム Expired - Fee Related JP5772817B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012508154A JP5772817B2 (ja) 2010-03-29 2011-02-28 画像処理装置および方法、並びに、プログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2010074306 2010-03-29
JP2010074306 2010-03-29
JP2010234504 2010-10-19
JP2010234504 2010-10-19
PCT/JP2011/054557 WO2011122200A1 (ja) 2010-03-29 2011-02-28 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP2012508154A JP5772817B2 (ja) 2010-03-29 2011-02-28 画像処理装置および方法、並びに、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015132417A Division JP6222529B2 (ja) 2010-03-29 2015-07-01 細胞評価装置および方法、並びに、細胞評価システム

Publications (2)

Publication Number Publication Date
JPWO2011122200A1 true JPWO2011122200A1 (ja) 2013-07-08
JP5772817B2 JP5772817B2 (ja) 2015-09-02

Family

ID=44711929

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2012508154A Expired - Fee Related JP5772817B2 (ja) 2010-03-29 2011-02-28 画像処理装置および方法、並びに、プログラム
JP2015132417A Active JP6222529B2 (ja) 2010-03-29 2015-07-01 細胞評価装置および方法、並びに、細胞評価システム
JP2017196539A Active JP6504417B2 (ja) 2010-03-29 2017-10-10 心筋細胞評価装置および方法、並びに、プログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015132417A Active JP6222529B2 (ja) 2010-03-29 2015-07-01 細胞評価装置および方法、並びに、細胞評価システム
JP2017196539A Active JP6504417B2 (ja) 2010-03-29 2017-10-10 心筋細胞評価装置および方法、並びに、プログラム

Country Status (4)

Country Link
US (3) US9786052B2 (ja)
JP (3) JP5772817B2 (ja)
CN (1) CN102906789B (ja)
WO (1) WO2011122200A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772817B2 (ja) 2010-03-29 2015-09-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP6078943B2 (ja) * 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9070004B2 (en) * 2012-05-03 2015-06-30 General Electric Company Automatic segmentation and characterization of cellular motion
JP6102166B2 (ja) * 2012-10-10 2017-03-29 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
EP2939212B1 (en) 2012-12-27 2018-07-11 Tampereen Yliopisto Visual cardiomyocyte analysis
WO2014103137A1 (ja) 2012-12-27 2014-07-03 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
JP6562059B2 (ja) * 2013-02-14 2019-08-21 ソニー株式会社 神経細胞評価装置、神経細胞評価プログラム及び神経細胞評価方法
JP6494903B2 (ja) 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
WO2015008682A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 細胞評価装置および方法、並びにプログラム
JP6217968B2 (ja) * 2013-07-19 2017-10-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6402717B2 (ja) * 2013-09-18 2018-10-10 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の製造装置、細胞の培養方法、および細胞の培養装置
WO2015068329A1 (ja) 2013-11-08 2015-05-14 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム
EP3076219B1 (en) * 2014-01-07 2020-04-08 Sony Corporation Analysis system, analysis program, and analysis method
JP6276158B2 (ja) 2014-09-30 2018-02-07 富士フイルム株式会社 細胞撮像装置および方法
JP2017126254A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017146696A (ja) 2016-02-16 2017-08-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6424911B2 (ja) * 2017-02-28 2018-11-21 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
US10802485B2 (en) * 2017-10-09 2020-10-13 Here Global B.V. Apparatus, method and computer program product for facilitating navigation of a vehicle based upon a quality index of the map data
JP7341478B2 (ja) * 2017-12-26 2023-09-11 株式会社マイオリッジ 心筋細胞の薬剤応答性試験方法
KR102035860B1 (ko) * 2018-02-06 2019-10-23 한림대학교 산학협력단 연속 제스처 인식 시스템
JP7086630B2 (ja) * 2018-02-09 2022-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
FR3086435B1 (fr) * 2018-09-26 2021-06-11 Univ Claude Bernard Lyon Procede d’analyse automatisee des contractions cellulaires d’un ensemble de cellules biologiques.
JP6658926B2 (ja) * 2019-01-15 2020-03-04 ソニー株式会社 画像処理装置、画像処理プログラム及び画像処理方法
WO2020240853A1 (ja) * 2019-05-31 2020-12-03 日本電信電話株式会社 画像処理装置、画像処理方法及びプログラム
CN110780780B (zh) * 2019-09-04 2022-03-22 西安万像电子科技有限公司 图像处理方法及装置
CN110866906B (zh) * 2019-11-12 2022-07-08 安徽师范大学 基于图像边缘提取的三维培养人体心肌细胞搏动检测方法
CN113076894B (zh) * 2021-04-09 2022-05-17 中山大学 一种连续帧目标检测去重方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081531A (en) * 1989-01-11 1992-01-14 U.S. Philips Corporation Method and apparatus for processing a high definition television signal using motion vectors representing more than one motion velocity range
US6095976A (en) * 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
JP2000092454A (ja) * 1998-09-14 2000-03-31 Sony Corp 画像情報変換装置および画像情報変換方法
WO2000039954A1 (en) * 1998-12-29 2000-07-06 Kent Ridge Digital Labs Method and apparatus for embedding digital information in digital multimedia data
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
JP4564634B2 (ja) * 2000-08-14 2010-10-20 キヤノン株式会社 画像処理方法及び装置並びに記憶媒体
JP3539632B2 (ja) 2001-02-14 2004-07-07 東京工業大学長 画像変化抽出方法、およびその画像処理プログラム
JP2003169319A (ja) 2001-11-30 2003-06-13 Mitsubishi Electric Corp 映像監視装置
CN100349549C (zh) * 2003-10-29 2007-11-21 福州大学 全方向m型心动图的速度场和加速度场的检测方法及其装置
DE10353785B4 (de) * 2003-11-18 2006-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe
US20070014452A1 (en) * 2003-12-01 2007-01-18 Mitta Suresh Method and system for image processing and assessment of a state of a heart
US8900149B2 (en) 2004-04-02 2014-12-02 Teratech Corporation Wall motion analyzer
US7440008B2 (en) * 2004-06-15 2008-10-21 Corel Tw Corp. Video stabilization method
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
JP4662142B2 (ja) * 2004-08-13 2011-03-30 ソニー株式会社 移動物体検出装置及び方法
ATE431397T1 (de) * 2005-06-01 2009-05-15 Fraunhofer Ges Forschung Verfahren zur optischen bestimmung des dynamischen verhaltens von kontrahierenden zellen
CN101331500B (zh) * 2005-10-14 2015-04-29 尤尼森斯繁殖技术公司 细胞群的变化的测定
JP4914659B2 (ja) 2006-07-04 2012-04-11 パイオニア株式会社 映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2008076088A (ja) * 2006-09-19 2008-04-03 Foundation For Biomedical Research & Innovation 細胞のモニター方法およびモニター装置
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
US7940978B2 (en) * 2007-06-05 2011-05-10 General Electric Company Automatic characterization of cellular motion
JP5786146B2 (ja) * 2007-06-08 2015-09-30 安田 賢二 モデル細胞チップ、モデル細胞チップによる薬効評価装置、および薬効評価方法
CN101224110A (zh) * 2007-12-24 2008-07-23 南京理工大学 三维心肌形变应变计算方法
JP4962304B2 (ja) 2007-12-26 2012-06-27 株式会社豊田中央研究所 歩行者検出装置
JP4958806B2 (ja) 2008-01-22 2012-06-20 三洋電機株式会社 ぶれ検出装置、ぶれ補正装置及び撮像装置
CN101297763A (zh) * 2008-04-18 2008-11-05 福州大学 解剖式m型心动图的瞬时速度与加速度的检测方法
JP5438002B2 (ja) * 2008-06-03 2014-03-12 株式会社日立メディコ 医用画像処理装置及び医用画像処理方法
JP2010004261A (ja) 2008-06-19 2010-01-07 Sony Corp 画像処理装置、及び画像処理方法
US8831101B2 (en) * 2008-08-02 2014-09-09 Ecole De Technologie Superieure Method and system for determining a metric for comparing image blocks in motion compensated video coding
US8290255B2 (en) * 2009-02-06 2012-10-16 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and program
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP5772817B2 (ja) 2010-03-29 2015-09-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9070004B2 (en) * 2012-05-03 2015-06-30 General Electric Company Automatic segmentation and characterization of cellular motion

Also Published As

Publication number Publication date
WO2011122200A1 (ja) 2011-10-06
JP6222529B2 (ja) 2017-11-01
JP2015207308A (ja) 2015-11-19
US10311582B2 (en) 2019-06-04
JP6504417B2 (ja) 2019-04-24
CN102906789B (zh) 2017-05-17
US20190259166A1 (en) 2019-08-22
US9786052B2 (en) 2017-10-10
CN102906789A (zh) 2013-01-30
JP5772817B2 (ja) 2015-09-02
JP2018038411A (ja) 2018-03-15
US10692223B2 (en) 2020-06-23
US20130070971A1 (en) 2013-03-21
US20170337697A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
JP6222529B2 (ja) 細胞評価装置および方法、並びに、細胞評価システム
Kropf et al. ECG classification based on time and frequency domain features using random forests
CN202795476U (zh) 图像处理设备
JP6665777B2 (ja) 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体
Torres-Valencia et al. Comparative analysis of physiological signals and electroencephalogram (EEG) for multimodal emotion recognition using generative models
JP2012239661A (ja) 心拍数・呼吸数検出装置,方法およびプログラム
EP3428268A1 (en) Information processing device, information processing method, program, and information processing system
Diego et al. Automated identification of neuronal activity from calcium imaging by sparse dictionary learning
US11087472B2 (en) Image processing device, method, and medium for calculating propagation speed and direction of object pulsations
Boussard et al. Three-dimensional spike localization and improved motion correction for Neuropixels recordings
Baruchi et al. Functional holography analysis: simplifying the complexity of dynamical networks
JP2017175965A (ja) 画像処理装置、画像処理方法、及び画像処理システム
Paul et al. Hybrid shallow and deep learned feature mixture model for arrhythmia classification
Jiang et al. Joint selection of brain network nodes and edges for MCI identification
JP6191888B2 (ja) 画像処理装置および方法、並びに、プログラム
JP7164862B2 (ja) 心筋細胞型判定システム、心筋細胞型判定方法
Liu et al. Facial expression awareness based on multi-scale permutation entropy of EEG
Parsons et al. Robust and fast heart rate variability analysis of long and noisy electrocardiograms using neural networks and images
Anzellotti et al. Measuring and modeling transformations of information between brain regions with fMRI
Mameli et al. Weight Estimation from an RGB-D camera in top-view configuration
Annadate et al. Facilitating the Detection of ASD in Ultrasound Video using RHOOF and SVM
Aragones et al. Variable selection for nonlinear dimensionality reduction of biological datasets through bootstrapping of correlation networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R151 Written notification of patent or utility model registration

Ref document number: 5772817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees