JP4287287B2 - 空間時間信号の取得、圧縮、及び特徴づけのための方法及び装置 - Google Patents

空間時間信号の取得、圧縮、及び特徴づけのための方法及び装置 Download PDF

Info

Publication number
JP4287287B2
JP4287287B2 JP2003575627A JP2003575627A JP4287287B2 JP 4287287 B2 JP4287287 B2 JP 4287287B2 JP 2003575627 A JP2003575627 A JP 2003575627A JP 2003575627 A JP2003575627 A JP 2003575627A JP 4287287 B2 JP4287287 B2 JP 4287287B2
Authority
JP
Japan
Prior art keywords
similarity
self
images
image
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003575627A
Other languages
English (en)
Other versions
JP2005521126A (ja
Inventor
アーマン エム. ガラカニ,
アンドリュー エー. ハック,
ピーター ロバーツ,
シーン ウォルター,
Original Assignee
レイファイ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by レイファイ コーポレイション filed Critical レイファイ コーポレイション
Publication of JP2005521126A publication Critical patent/JP2005521126A/ja
Application granted granted Critical
Publication of JP4287287B2 publication Critical patent/JP4287287B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

発明の分野
本発明は、動的システムを特徴づけるための方法及び装置に関する。
優先権の主張
この出願は、2002年2月13日に出願された米国特許出願第60/356,3217号に対する特許法第119条(e)の規定による優先権を主張するものであり、その内容全体を参照により本書に取り入れる。
発明の背景
ビデオとしても知られている時間の経過と関連する画像は、私たちの日常生活、産業プロセス、環境状態などを経済的に且つ理解しやすく捉える。圧縮システムは、長いビデオの送信コストを顕著に減少させることができる。機械ビジョンシステムは、ピクセルの断片の精度で画像を登録することができる。管理される登録システムは、何時間も続くビデオを効率的再利用のために組織して注釈付けすることができる。
多くの科学的アプリケーション及び産業上のアプリケーションが、動的プロセスをより良く測定し数量化するために費用有効的なビデオシステムを利用することから利益を得るであろう。現在の技術は、大きな計算コスト及び格納コストを必要とし、また多くの非線形システムの実時間評価及び制御に配慮するものではない。
本発明は、ディジタルデータ及び信号処理に関する。本発明、特に、例を挙げれば、空間時間信号の自己相似性を測定して特徴づけ(集塊化、分類、表現する)、それらの取得及び/又は格納を適応的に制御すると共にメタデータ及び更なる詳細処理を割り当てることに関する。本発明は、動的システムの空間時間知覚測定結果の質的評価及び量的評価にも関する。
発明の概要
一般に、本発明は、動的システムを評価する例えば機械ベースの方法などの方法と装置とを特徴とする。それらの方法は、次に記載するステップのうちの1つ以上を含むことができる(該ステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):2次元以上の、例えば3次元で動的システムを表わす複数の画像を取得するステップ;選択された画像と他の画像のうちの1つとの相似性を判定するステップ;例えば、選択された画像を、前に取得された画像及び/又は後に取得された画像などの、2次元連続体の異なる部分から取得された1つ以上の画像との相似性の関数として特徴づけるなどの、選択された画像をそれに関して判定された相似性の統計的関数として特徴づけることにより該動的システムを特徴づけるステップ。本方法では、選択された画像を他の画像のうちの1つ又は複数(例えばN個の画像)と比較することができ、このNは、ユーザにより選択される数であって、1から取得された画像の総数までの任意の数であって良く、例えば2,3,4,5,6,7,8,9,10,12,14,15,16,18,20,30,40,50,60,70,80,90,100又はそれ以上、及びこれらの間の任意の数であって良い。該2次元は、時間、周波数スペクトル、温度、該システムの何らかの属性の存在又は欠如を含む任意の次元であって良いが、これらには限定されない。該判定ステップは、各画像と他の各画像との相似性の判定を含んでいて良く;該特徴づけステップは、該動的システムを、該複数の画像に関して判定された相似性の統計的関数として特徴づけることを含むことができる。
本書に記載されている実施態様の多くが2次元システムとしての時間に言及するけれども、他の次元で画像を取得する類似の実施態様が本発明に包含されることが理解されるべきである。
本発明の一定の実施態様では、次に記載するステップのうちの幾つか又は全部を含む注意深い取得又は格納方法により画像が取得される(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):初期取得及び/又は例えば第1の又は選択されたパラメータ化などの格納パラメータ化で画像を取得するステップ;選択された画像間の相似性を判定するステップ(選択された画像とは、例えば、より最近に取得された画像と、他の画像のうちの少なくとも1つとであり、この他の画像のうちの少なくとも1つとは例えば1つ以上の前に取得された画像であり、例えばN個の前に取得された画像であり、このNはユーザにより設定される数であって1と前に取得された画像の全部との間の任意の数であって良い);該選択された画像を自己相似性の統計的関数として特徴づけるステップ;任意に該特徴づけを例えば予め選択された基準値などの基準値と比較し、任意に該取得又は格納パラメータ化を画像の自己相似性の関数として調整するステップ。一定の実施態様では、前記の予め選択された基準値は例えば自己相似性などの、該動的システムにおける変化の尺度及び/又は変化率である。
本発明は、他の側面においては、時間の経過と関連する動的システムを評価する例えば機械ベースの方法などの方法を特徴とする。該方法は、次に記載するステップのうちの1つ以上を、好ましくは全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):時間の経過と関連して該動的システムを表わす複数の画像を取得するステップ;選択された画像と他の画像のうちの1つとの相似性を判定するステップ;及び該選択された画像を、それに関して判定された相似性の統計的関数として特徴づけるステップ。該判定ステップは、各画像と他の各画像との相似性を判定することを含んでも良く;該特徴づけステップは該複数の画像に関して判定された相似性の統計的関数として該動的システムを特徴づけることを含んでも良い。
他の側面において、本発明は次に記載するステップのうちの幾つか又は全部を含む例えば機械ベースの方法などの方法を提供する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):時間、空間、又は時間及び空間などの2次元以上(例えば3次元)で動的システムを表わす複数の画像を取得するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;及び該画像の集合を自己相似性の統計的関数として特徴づけるステップ。該2次元は、時間、空間、周波数スペクトル、温度、該システムの属性の存在又は欠如のうちのいずれを含んでいても良い。一定の実施態様では、該判定ステップは該複数の画像のうちの幾つか又は全部の間の自己相関性を判定することを含んでいて良く;該特徴づけステップは、該動的システムを該複数の画像に関して判定された自己相関性の統計的関数として特徴づけることを含んでいて良い。一定の実施態様では、画像は1つの方法により取得され、その方法は:初期取得及び/又は格納パラメータ化で画像を取得するステップ;選択された画像間の相似性を判定するステップ;該選択された画像を自己相似性の統計的関数として特徴づけるステップ;任意にその特徴づけを基準値と比較するステップ;及び任意に該取得又は格納パラメータ化を該画像の自己相似性の関数として調整するステップを含む。一定の実施態様では、前記の予め選択された基準値は例えば自己相似性などの、該動的システムにおける変化の尺度及び/又は変化率である。
他の側面においては、本発明は動的システムを評価する例えば機械ベースの方法などの方法を特徴とする。該方法は、次に記載するステップのうちの1つ又は全部、通常は全部、を含む(該ステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):時間の経過と関連して該動的システムを表わす複数の画像を取得するステップ;例えば該画像のうちの幾つか又は全部、例えば一つ置きの画像、二つ置きの画像、ランダムに選択された画像など、代表的画像集合の画像間の自己相似性を判定するステップ;及び該画像集合を自己相似性の統計的関数として特徴づけるステップ。
一定の実施態様では、該判定ステップは複数の画像の全ての間での自己相似性を判定することを含むことができ、該特徴づけステップは該複数の画像に関して判定された自己相似性の統計的関数として該動的システムを特徴づけることを含むことができる。
一定の実施態様では、画像は例えば機械ベースの方法などの方法により取得され、その方法は:初期取得及び/又は格納パラメータ化で画像を取得するステップ;選択された画像間の相似性を判定するステップ;該選択された画像を自己相似性の統計的関数として特徴づけるステップ;任意に該特徴づけを基準値と比較するステップ;及び該取得又は格納パラメータ化を該画像の該自己相似性の関数として調整するステップを含む。一定の実施態様では、該予め選択された基準値は、例えば自己相似性などの該動的システムにおける変化の尺度及び/又は変化率である。一定の実施態様では、該統計的関数はエントロピーの尺度である。一定の実施態様では、該統計的関数はシャノンのエントロピー関数である。一定の実施態様では、該統計的関数は
=−ΣPlog(P)/log2(n) (10)
である。
一定の実施態様では、該判定ステップは、例えば、長さn画像のウィンドウを構成する複数の画像間の対間相関を判定することなどの、例えば画像の対などの画像間の対間相関を判定することを含むことができる。一定の実施態様では、該判定ステップは、nより大きく離れている画像間の相関を、間に存する対間の相関を過渡的確率として扱うことにより近似することを含む。一定の実施態様では、該判定ステップは画像間の長期対間相関及び短期対間相関を判定することを含むことができる。一定の実施態様では、該判定ステップは、相似性のマトリックスを作ることを含むことができる。該判定ステップは、例えば、正方、正規化のいずれかであり、確率から成り、1の対角線を有する相関マトリックスを作ることを含むことができる。別の実施態様では、該方法は、動的システムを特徴づけるためにマトリックス演算を該マトリックスに適用することを含む。
本発明の一定の実施態様では、画像をセンサーから取得することができる。センサーは、取得された信号が視覚スペクトルを表わすかどうかとは無関係に、空間時間信号又はその他の信号の取得に適するビデオカメラ又はその他の装置を含む(これらに限定はされない)、当該技術分野で公知の任意のセンサーであって良い。画像は、当該技術分野で公知の任意の方法により取得されて良く、(i)センサーにより捉えられた画像、及び(ii)センサーにより捉えられた画像の処理された形のいずれかを含むことができる。画像の処理された形は、当該技術分野で公知の任意の処理された画像であって良くて、(i)センサーにより捉えられた画像のフィルタリングされた形、(ii)センサーにより捉えられた画像のウィンドウ化された形、(iii)画像のサブサンプリングされた形、(iv)センサーにより捉えられた画像の時間に関する積分、(v)センサーにより捉えられた画像の平方の時間に関する積分、(vi)画像の勾配方向形、及び/又は(vii)これらの組み合わせを含むが、これらに限定はされない。
本発明は、他の側面においては時間の経過に関連して動的システムを表わす画像を注意深く取得又は格納する例えば機械ベースの方法などの方法を特徴とする。その方法は、次に記載するステップのうちの幾つか又は全部(通常は全部)を含むことができる(該ステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):選択された取得及び/又は格納パラメータ化において時間の経過に関連して動的システムを表わす複数の画像を取得するステップ;選択された画像と、他の画像のうちの少なくとも1つとの相似性を判定するステップ;画像を自己相似性の統計的関数として特徴づけるステップ;任意にその特徴づけを例えば予め選択された基準値などの基準値と比較するステップ;任意に取得及び/又は格納パラメータ化を画像の自己相似性の関数として調整するステップ。一定の実施態様では、取得パラメータ化は、統計的関数を例えばゼロに近い所定レベルへ駆り立てるようにセットされて良い。一定の実施態様では、つい最近に取得された少なくとも1つ以上の画像が所定の変化率を反映するように取得パラメータ化をセットして良い。一定の実施態様では、つい最近に取得された少なくとも1つ以上の画像が所定の運動速度、形状変化速度、焦点変化速度、温度変化速度、強度変化速度を反映するようにセットされて良い。
本発明の一定の実施態様では、画像は注意深い取得又は格納方法により取得され、その方法は次に記載するステップのうちの幾つか又は全部を含むことができる(該ステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):第1取得パラメータ化において画像を取得するステップ;例えばつい最近に取得された画像と他の画像のうちの少なくとも1つ(例えば1つ以上の前に取得された画像、例えばN個の前に取得された画像、ここでNはユーザによりセットされる数であって1と前に取得された画像の全部の数との間の任意の数であって良い)との相似性を判定するステップ;画像を自己相似性の統計的関数として特徴づけるステップ;任意にその特徴づけを例えば予め選択された基準値などの基準値と比較するステップ、及び任意に取得又は格納パラメータ化を画像の自己相似性の関数として調整するステップ。一定の実施態様では、予め選択された基準値は、例えば自己相似性などの、動的システムにおける変化の尺度及び/又は変化率である。
一定の実施態様では、取得パラメータ化は、取得率、露出、アパーチャー、焦点、ビンニング、又はその他のパラメータのうちのいずれかを含むが、これらに限定はされない。
一定の実施態様では、取得された画像のうちの少なくとも選択された画像は、あり得る処理のために緩衝記憶される。一定の実施態様では、その緩衝記憶された画像のうちの少なくとも選択されたものは処理される。一定の実施態様では、取得された画像のうちの少なくとも選択されたものは格納される。
本発明は、他の側面においては、物体の運動を判定する例えば機械ベースの方法などの方法を特徴とする。その方法は次に記載するステップのうちの幾つか又は全部を含む(該ステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):物体の複数の画像を取得するステップ;選択された画像における興味あるウィンドウを選択するステップであって、候補ウィンドウと、選択された画像内で候補ウィンドウが存する領域との間の少なくとも1つの自己相関を実行することを含むステップ;物体の運動を興味あるウィンドウと該画像のうちの他の画像の対応するウィンドウとの間の相互相関として特定するステップ。この特定するステップは、例えば、前記の他の画像中の候補対応ウィンドウと、その候補ウィンドウが存する画像の中の領域との間の少なくとも1つの自己相関を、任意にその自己相関の極大値を見出すことにより実行することによる。本書に記載されている方法により画像を取得することができ、その方法は、注意深い取得又は格納を含む方法を含み、その格納又は取得パラメータ化は、任意に、取得された画像の一定の部分集合の自己相似性の関数として調整される。
本発明は、他の側面においては、物体の運動を判定するための例えば機械ベースの方法などの方法を提供する。その方法は、次に記載するステップのうちの幾つか又は全部を含む(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):物体の複数の画像を取得するステップ;選択された画像中の興味あるウィンドウを選択するステップであって、候補ウィンドウと、その選択された画像中の候補ウィンドウが存する領域との間の少なくとも1つの自己相関を実行することを含む選択ステップ;該画像のうちの他のものにおける該興味あるウィンドウに対応するウィンドウにおいて少なくとも1つの自己相関を実行するステップ;例えば該自己相関の少なくとも特徴づけ部分を突き合わせることにより、物体の運動を該自己相関の特徴づけ部分の変位の関数として特定するステップ。一定の実施態様では、画像は注意深い取得又は格納を含む方法により取得され、その格納又は取得パラメータ化は、取得された画像の一定の部分集合の自己相似性の関数として任意に調整される。
他の側面において、本発明は、複数の画像における運動を分析する例えば機械ベースの方法などの方法を提供する。その方法は、次に記載するステップのうちの幾つか又は全部を含む(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):複数の画像を取得するステップ;選択された画像中の複数の興味あるウィンドウを選択するステップであって、興味あるウィンドウの各々について候補ウィンドウと前記の選択された画像中の該候補ウィンドウが存する領域との間の少なくとも1つの自己相関を実行することを含む選択ステップ;各々の興味あるウィンドウと該画像のうちの他のものの中の対応するウィンドウとの間の相互相関の関数として運動ベクトルを特定するステップであって、例えば他の画像中の候補対応ウィンドウと、その画像中のその候補ウィンドウが存する領域との間の少なくとも1つの自己相関を実行し、任意に該相互相関の極大値を見出すことによって運動ベクトルを特定する特定ステップ。一定の実施態様では、画像は注意深い取得又は格納を含む方法により取得され、その格納又は取得パラメータ化は、取得された画像の一定の部分集合の自己相似性の関数として任意に調整される。一定の実施態様では、この方法は、例えば、互いに関して最小の平方距離を有する運動ベクトルの1つ以上の集合を見出すことによって、該画像を運動ベクトルの関数として分割することも含む。
他の側面において、本発明は、複数の画像における運動を分析する例えば機械ベースの方法などの方法を提供する。この方法は、次に記載するステップのうちの幾つか又は全部を、通常は全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):物体の複数の画像を取得するステップ;選択された画像中の複数の興味あるウィンドウを選択するステップであって、各々の興味あるウィンドウについて候補ウィンドウと、選択された画像中の該候補ウィンドウが存する領域との間の少なくとも1つの自己相関を実行することによって選択を行う選択ステップ;各々の興味あるウィンドウについて、他の画像におけるそれぞれの対応するウィンドウに関して少なくとも1つの自己相関を実行するステップ;例えば該自己相関の少なくとも特徴づけ部分を突き合わせることによって、特徴づけ部分の変位、各々の興味あるウィンドウと前記の他の画像中の対応するウィンドウとの自己相関の関数として運動ベクトルを特定するステップ。一定の実施態様では、画像は1つの方法により取得され、その方法は:初期取得及び/又は格納パラメータ化で画像を取得するステップ;選択された画像間の相似性を判定するステップ;該選択された画像を自己相似性の統計的関数として特徴づけるステップ;任意にその特徴づけを基準値と比較するステップ;及び任意に該取得又は格納パラメータ化を該画像の自己相似性の関数として調整するステップを含む。一定の実施態様では、前記の予め選択された基準値は例えば自己相似性などの、該動的システムにおける変化の尺度及び/又は変化率である。
一定の実施態様では、この方法は、例えば、互いに関して最小の平方距離を有する運動ベクトルの1つ以上の集合を見出すことによって、該画像を例えば運動ベクトルの関数として、自己相似性に基づいて分割することも含む。
本発明の方法では、動的システムは、本書で定義される少なくとも1つの生物学的ユニットを含む動的生物学的システムである。一定の実施態様では、その生物学的ユニットは、例えば、細胞分化、伸展、収縮、食菌作用、飲作用、排出作用、成長、死、分裂、及び分極などの形態変化を経験している。
本発明の一定の実施態様では、動的生物学的システムは、単一のウェル、例えば1つ以上のウェル、例えば多数のウェルを有するディッシュの1つ以上のウェルの中にある。一定の実施態様では、生物学的ユニットは、例えばセル・チップ、マルチ・ウェル・プレート、例えば96ウェルなどの、アドレス指定可能なアレイ上にある。
本発明の一定の実施態様では、動的システムを表わす複数の画像は単一の生物学的ユニットの画像である。
一定の実施態様では、生物学的ユニットは運動性である。
一定の実施態様では、生物学的ユニットは、例えば減数分裂又は有糸分裂などの細胞分裂を経験している。
一定の実施態様では、生物学的ユニットは、画像取得時に例えば第2エンティティに隣接し、接触し、或いは粘着するなど、細胞粘着を経験している。その第2エンティティは表面又は他の生物学的ユニットであって良い。
一定の実施態様では、生物学的ユニットは、蛋白質、核酸、脂質、炭水化物、イオン、又は上記のいずれかを包含する多組成複合体などの細胞下の物体である。細胞下の物体の別の例は、例えばミトコンドリア、ゴルジ装置、小胞体、葉緑体、エンドシトーシス小胞、エクソシトーシス小胞、空胞、リソソーム、細胞核などの細胞器官を含む。一定の実施態様では、生物学的ユニットは、例えば磁性の又は非磁性のビーズ、抗体、蛍光体、放射体、及び標識付けされたリガンドなどで標識付けされる。放射体は、アルファ線放射体、ベータ線放射体、ガンマ線放射体、又はベータ線及びガンマ線放射体であって良い。標識は、注入、培養、エレクトロポレーション、浸すことなどによる生物又は器官への投与を含む、当該技術分野で公知の任意の方法で生物学的ユニットに導入されて良い。合成的に、化学的に、酵素的に、或いは例えば1つ以上の細胞においてGFPを示し、或いは1つ以上の細胞でGFP標識付けされた蛋白質を示すトランスジェニック動物を作ることによるなどして遺伝子的に、標識付けされた生物学的ユニットを得ることもできる。例えば標識付けされた抗体又はリガンドなど、標識を科学的に付けても良い。
1つの側面において、本発明は、時間の経過と関連して生物学的ユニットの属性を評価するための例えば機械ベースの方法などの方法を提供する。この方法は、次に記載するステップのうちの幾つかを、好ましくは全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):時間の経過と関連して生物学的ユニットを表わす複数の画像を提供するステップ;例えば計算された対間相関によって又はフーリエ光学を使用することによって選択された画像と他の画像のうちの1つとの相似性を評価して対間相似性測定値を判定するステップ;その対間相似性測定値を含む自己相似性マトリックスを作るステップ;及び、例えばその自己相似性マトリックスから固有値及び/又はエントロピー・インデックスを作り、これにより生物学的システムの属性を評価することにより生物学的ユニットを自己相似性マトリックスの関数として特徴づけるステップ。一定の実施態様では、画像は1つの方法により取得され、その方法は:初期取得及び/又は格納パラメータ化で画像を取得し;選択された画像間の相似性を判定し;選択された画像を自己相似性の統計的関数として特徴づけ;任意にその特徴づけを基準値と比較し;任意に該取得又は格納パラメータ化を画像の自己相似性の関数として調整する。一定の実施態様では、前記の予め選択された基準値は例えば自己相似性などの、該動的システムにおける変化の尺度及び/又は変化率である。一定の実施態様では、相似性は、選択された画像と他の全ての画像との間で判定される。
一定の実施態様では、前記の属性は次のもののうちの1つ以上である:細胞形態、細胞移動、細胞運動、細胞死(例えば、壊死又はアポプトシス)、細胞分裂、第2エンティティへの結合又は第2エンティティとの相互作用、生物発育、生物運動、生物形態変化、生物生殖、及び生物の中での個々の組織又は器官の運動又は形態変化。
一定の実施態様では、この方法は、計算された対間相関により又はフーリエ光学を使用することにより、複数の画像を選択してそれらの画像の対の間の相似性を評価して対間相似性測定値を判定するステップ;及び、その対間相似性測定値を含む自己相似性マトリックスを作るステップを含む。
一定の実施態様では、この方法は、例えば計算された対間相関により又はフーリエ光学を使用することにより、複数の画像を選択してそれら全ての画像間の相似性を評価して対間相似性測定値を判定するステップ、及びその対間相似性測定値を含む自己相似性マトリックスを作るステップを含む。
他の側面においては、本発明は、時間の経過と関連する動的生物学的システムの属性を評価する方法を提供する。この方法は、次に記載するステップのうちの幾つかを、通常は全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):動的生物学的システムを表わす複数の画像を提供するステップ;少なくとも2つの画像から運動フィールドを作るステップ;動的生物学的システムをその運動フィールドの統計的関数として特徴づけ、これにより動的生物学的システムを評価するステップ。一定の実施態様では、動的生物学的システムにおける方向及び/又は速度を評価することにより、且つ/又は動的生物学的システムにおける方向又は速度の分布を判定することにより、運動ベクトルの統計的分析を用いて動的生物学的システムが特徴づけられる。
一定の実施態様では、この方法は、方向の関数としての速度の統計的分析及び/又は速度の関数としての方向の統計的分析を実行するステップを含む。
一定の実施態様では、この方法は、例えば運動ベクトル共同移動に基づいて、画像中の1つ以上の例えば生物学的ユニットなどの動いている物体を検出することを含む。一定の実施態様では、この方法は、動いている物体の方向又は速度を共同移動する運動ベクトルの関数として判定することを含む。一定の実施態様では、この方法は、方向の関数としての速度の統計的分析及び/又は速度の関数としての方向の統計的分析を実行することを含む。
一定の実施態様では、この方法は、動いている物体について運動の中心を判定することを含む。一定の実施態様では、この方法は、動いている物体の方向持続性を判定し、動いている物体の運動の中心の方向又は速度を判定し、動いている物体の運動の中心の方向及び速度を判定することを含む。この方法は、方向の関数としての速度の統計的分析、及び/又は速度の関数としての方向の統計的分析を含むこともできる。一定の実施態様では、この方法は、動いている物体の方向又は速度の分布を判定することも含む。
一定の実施態様では、この方法は動いている物体について、例えば各々の動いている物体について、境界箱を確立することも含む。境界箱は、物体の最大寸法に正確に対応して良い。境界箱は、物体の最大寸法プラス予め選択されたファクターに対応しても良い。境界箱のサイズは、物体の自己相似性と共に変動して良い。一定の実施態様では、この方法は、例えば、生の強度、テクスチャー、及び/又は周波数に基づいて画像分割を適用することによって、境界箱の中の領域を分析することも含む。一定の実施態様では、この方法は、物体の属性を評価することも含む。
一定の実施態様では、この方法は、例えば1つの方法によって物体の属性を評価するステップも含み、この1つの方法は次のステップのうちの幾つか又は全部、通常は全部、を含む:物体の複数の画像を提供するステップ;物体の複数の画像の間の相似性を評価するステップ;及び、例えば自己相似性マトリックスを作ることにより物体を画像間の相似性の関数として特徴づけるステップ。一定の実施態様では、第1取得パラメータ化で画像を取得するステップ;選択された画像と他の画像のうちの少なくとも1つとの間の相似性を判定するステップ;画像を自己相似性の統計的関数として特徴づけるステップ;及び、取得パラメータ化を画像の自己相似性の関数として調整するステップを含む方法によって物体の画像が取得される。一定の実施態様では、複数の画像は画像の対である。
一定の実施態様では、物体の複数の画像は境界箱の中の領域の画像を含む。一定の実施態様では、この方法は、例えば、長径及び短径などの、物体の寸法を計算することを含む。一定の実施態様では、この方法は物体の形状を長径及び短径の関数として特徴づけること及び/又は固有値を作ることも含む。
ここに記載されている方法のいずれも、動的生物学的システムに適用することができる。従って、他の側面においては、本発明は、例えば、細胞、組織、器官、及び単細胞生物、多細胞生物のうちの1つ以上から別々に選択された例えば複数の生物学的ユニットなどの生物学的ユニットを含む動的生物学的システムを特徴づける方法を提供する。該方法は、次に記載するステップのうちの幾つか又は全部を、通常は全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):動的生物学的システムを提供するステップ;動的生物学的システムを2次元で表わす複数の画像を取得するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;及び、その画像の集合を自己相似性の統計的関数として特徴づけ、これにより動的生物学的システムを特徴づけるステップ。一定の実施態様では、初期取得及び/又は格納パラメータ化で画像を取得するステップ;選択された画像間の相似性を判定するステップ;該選択された画像を自己相似性の統計的関数として特徴づけるステップ;任意にその特徴づけを基準値と比較するステップ;及び任意に該取得又は格納パラメータ化を該画像の自己相似性の関数として調整するステップを含む方法によって画像が取得される。一定の実施態様では、前記の予め選択された基準値は例えば自己相似性などの、該動的システムにおける変化の尺度及び/又は変化率である。一定の実施態様では、複数の画像は画像の対である。
一定の実施態様では、この方法は、生物学的ユニットの1つ以上の属性に関する情報を提供する。一定の実施態様では、生物学的ユニットは細胞であり、一定の実施態様では、1つ以上の属性は細胞運動性、細胞形態、細胞分裂、細胞粘着であって良い。一定の実施態様では、生物学的ユニットは生物である。一定の実施態様では、1つ以上の属性は、生物運動、生物形態変化、生物生殖、生物の中の個々の組織又は器官の運動又は形態変化であって良い。
一定の実施態様では、例えば温度、粘度、剪断応力、細胞密度、接触する媒体又は表面の組成、電荷、遺伝子発現、蛋白質発現を変化させることにより、或いは同じタイプ又は異なるタイプの1つ以上の他の生物学的ユニットを加えることにより、或いは1つ以上の処理を加え又は除去することにより、動的生物学的システムが操作される。一定の実施態様では、この操作は、小分子、核酸、蛋白質、抗体、糖及び脂質などの1つ以上の試験化合物などの処理を付け加え或いは除去することである。一定の実施態様では、複数の動的生物学的システムがそれぞれ異なる操作にさらされる。一定の実施態様では、動的生物学的システムの余剰集合が操作の余剰集合にさらされる。例えば、第1集合が6つの動的生物学的システムを含み、その6つの動的生物学的システムがそれぞれ異なる操作にさらされる場合、余剰集合は、第1集合と同じ6つの操作にさらされる6つの動的生物学的システムの第2集合であり、結果として2つの動的生物学的システムがそれぞれの試験化合物にさらされることになる。
一定の実施態様では、この方法は、次のポイント、即ち操作前、操作と同時、及び操作後、のうちの1つ以上のポイントにおいて動的生物学的システムを表わす複数の画像を取得するステップを含む。一定の実施態様では、この方法は、1つ以上の生物学的ユニットの1つ以上の属性に対する処理などの操作の効果を評価するステップを含む。
本発明の方法は、動的生物学的システムを評価する他の方法と組み合わされても良くて、例えば、動的生物学的システムに対する1つ以上の薬物候補の効果を、ここに記載されている方法を第2の方法と組み合わせて分析することができる。この第2の方法は、本発明の方法又は他の方法であって良い。それらの方法は任意の順序で適用されても良くて、例えば、本発明の方法を用いない前のスクリーンで特定された“ヒット”候補化合物を確認するために本発明の方法を用いることができる。
一定の実施態様では、生物学的ユニットは細胞である。一定の実施態様では、属性は、細胞運動、細胞形態変化、細胞粘着、及び細胞分裂であって良い。
一定の実施態様では、生物学的ユニットは生物である。一定の実施態様では、属性は、生物運動、生物形態変化、生物生殖、及び生物の中の個々の組織又は器官の運動又は形態変化から成っていて良い。
一定の実施態様では、動的生物学的システムは、全て類似しているか或いは2つ以上の異なる生物学的ユニットを含む複数の生物学的ユニットを含む。例えば、遺伝子欠失又は遺伝子重複、目的突然変異、ランダム突然変異、付加的遺伝子物質の後生的な、表現型的な或いは発達段階での導入の結果として、生物学的ユニットは遺伝子的に異なっても良い。生物学的ユニットは、試験化合物などの処理等の操作にさらされた結果として異なっても良い。
一定の実施態様では、この方法は生物学的ユニットの属性に対する操作の効果を評価するステップ、及び、更なる分析のために操作を選択するステップも含む。その更なる分析は、本書に記載されている方法によっても良く、或いは異なる方法によっても良く、この異なる方法は、例えば、動的生物学的システムを評価する方法以外の方法であって、生物学的ユニットを供給するステップ;動的システムを2次元で表わす複数の画像を取得するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;及び画像を自己相似性の統計的関数として特徴づけるステップを含む。
操作が処理の追加又は除去である一定の実施態様では、更なる分析は大スループット又は平行スクリーンによる分析であり、そのスクリーンは例えば、少なくとも10,10,10,10,10,10,10,10,10,1010又はそれ以上の或る数の動的生物学的システムが操作されるスクリーンであり、その操作は例えば試験化合物などの処理にさらす操作であり、それは例えば候補薬物であり、例えば或る属性の抑制又は促進のための候補であり、例えば少なくとも10,10,10,10,10,10,10,10,10,1010又はそれ以上の異なる操作、例えば処理、例えば試験化合物である。従って、1例では、例えば少なくとも10,10,10,10,10,10,10,10,10,1010などの複数の類似する動的生物学的システム(例えば細胞など)の各々が例えば異なる化学化合物などの異なる試験化合物にさらされる。その試験化合物は、いろいろなタイプのライブラリーを含む任意のソースから得られるものであり、ランダムな又はランダムではない小分子、ペプチド又は核酸ライブラリー又は他の化合物のライブラリー(例えば組み合わせにより作られたライブラリー)を含む。上で論じた多くの場合に、複数の同じ又は類似する動的生物学的システム及び多数の異なる薬物候補が試験され、或いは、いろいろに異なる(例えば突然変異体など、遺伝子的に異なる)動的生物学的システムが単一の薬物で試験される。スクリーンは、試験化合物の、生物学的ユニット、受容体又はその他のターゲットと相互に作用する能力を評価するためのスクリーンであって良く、例えば、試験化合物の結合能、ファージディスプレイ、及びドラッグウェスタンを決定する組み合わせ化学、コンピュータベースの構造モデリング及び合理的ドラッグデザインに基づいてスクリーンが選択される。そのスクリーンは、例えばいろいろな化学構造を有する化合物のライブラリーなどのライブラリーの複数のメンバーを複数の動的生物学的システムと接触させるステップと、例えば生物学的ユニットの属性に影響を及ぼす能力などの予め選択された特性を有するライブラリーメンバーを選択するステップを含むことができる。
一定の実施態様では、例えば処理、例えば試験化合物などの操作は、例えば本発明の方法の前に実行されるスクリーンなどの前のスクリーンで特定された。その前のスクリーンは、本書に記載されている方法又は異なる方法によるスクリーンであって良く、例えば、生物学的ユニットを供給するステップ;動的システムを2次元で表わす複数の画像を取得するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;及びそれらの画像を自己相似性の統計的関数として特徴づけるステップを含む動的生物学的システムを評価する方法以外の方法であって良い。この様なスクリーンの例は、ターゲットへのリガンドのバインディングに基づくスクリーンを含む。
他の側面においては、本発明は、生物学的ユニットの属性に対する試験化合物の効果を最高に活用するための方法を提供する。その方法は、次に記載するステップの幾つか又は全部、通常は全部、を含む(該ステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):第1試験化合物を選択するステップ;動的生物学的システムをその第1試験化合物にさらすステップ;その動的生物学的システムを2次元で表わす複数の画像を取得するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;その画像の集合を自己相似性の統計的関数として特徴づけるステップ;次世代の試験化合物を供給するステップ;動的生物学的システムをその次世代試験化合物にさらすステップ;動的生物学的システムを2次元で表わす複数の画像を取得するステップ;代表的画像集合の画像間の相似性を判定するステップ;及びその画像の集合を自己相似性の統計的関数として特徴づけるステップ。第1の及び次の世代の化合物の活動を例えば相互に基準値比較してその化合物を評価することができる。例えば試験化合物の構造を最適にするために(例えば属性に対する試験化合物の効果を最大にするために)、この方法のステップを連続する次世代化合物に対して反復することができる。
一定の実施態様では、第1試験化合物と次世代化合物とは、公知化学構造の化合物のデータベースから選択される。一定の実施態様では、次世代化合物は、第1試験化合物の、例えば構造変異体などの変異体である。例えば、特定の成分又は官能基を一度或いは順次に変化させて、最適の構造を特定することができる。一定の実施態様では、2つ以上の成分又は官能基を同時に又は順次に変化させることができる。
一定の実施態様では、この方法は、第1処理を選択するステップ;次世代処理を提供するステップ;動的生物学的システムをその次世代処理にさらすステップ;動的生物学的システムを2次元で表わす複数の画像を取得するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;及び複数の画像を自己相似性の統計的関数として特徴づけるステップも含む。
一定の実施態様では、該方法は、次のポイント、即ち次世代処理にさらすステップの前、このステップと同時、及びこのステップの後、のうちの1つ以上のポイントで動的生物学的システムを表わす複数の画像を取得するステップも含む。
他の側面において、本発明は試験化合物又は一連の試験化合物の特性と、生物学的ユニットの属性を変化させる能力との間の関係を判定するための、例えば機械ベースの方法などの方法も提供する。この方法は、次に記載するステップのうちの幾つかを、好ましくは全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):例えば第1化学構造又は特性、例えば選択された位置に存する第1成分又は構造グループなどの第1特性を有する第1試験化合物を提供するステップ;生物学的ユニットを含む動的生物学的システムを該第1試験化合物にさらすステップ;例えば、動的生物学的システムを2次元で表わす複数の画像を取得するステップなどの、ここに記載されている方法によって動的生物学的システムを分析するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;その画像集合を自己相似性の統計的関数として特徴づけるステップ;第1処理の特性に類似する少なくとも1つの特性と、少なくとも1つの異なる特性とを有する第2試験化合物を提供するステップであって、その異なる少なくとも1つの特性は、例えば成分又は官能基であって、例えばR基がこの第1及び第2の化合物間で変更されているステップ;生物学的ユニットを含む動的生物学的システムを第2試験化合物にさらすステップ;例えば動的生物学的システムを2次元で表わす複数の画像を取得することなどにより、ここに記載されている方法によって動的生物学的システムを分析するステップ;代表的画像集合の画像間の自己相似性を判定するステップ;画像の集合を自己相似性の統計的関数として特徴づけるステップ;及び第1試験化合物及び第2試験化合物の類似する特性を1つ以上の属性に対する効果と相関させるステップ。
一定の実施態様では、試験化合物の特性は、化学構造、核酸配列順序、アミノ酸配列順序、リン酸化、メチル化、硫酸化、ニトロサイレーション(nitrosylation)、酸化、還元、親和性、糖構造、脂質構造、電荷、サイズ、バルク、異性化;エナンショメライゼーション(enantiomerization);及び選択された成分の回転的性質、又は構造の任意の物理的又は化学的特性から成るグループから選択される。例えば、1つの成分が足場に存在し、その成分が変化させられてその成分又は同じ位置に存する他の成分の1つの属性に影響を及ぼす能力の分析を可能にする。
他の側面において、本発明は、例えば生物学的ユニットの選択された属性を調停するなどのためにターゲットを評価又は選択するための、例えば機械ベースの方法などの方法を提供する。該方法は、次に記載するステップのうちの幾つかを、好ましくは全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):例えば受容体などの第1ターゲットのための例えばリガンドなどの第1試験化合物を供給するステップ;生物学的ユニットを含む動的生物学的システムをその第1試験化合物と接触させるステップ;例えば(1)動的生物学的システムを2次元で表わす複数の画像を取得するステップと、(2)代表的画像集合の画像間の自己相似性を判定するステップと、(3)その画像の集合を自己相似性の統計的関数として特徴づけるステップとを含む、ここに記載されている方法を実行するステップ;これにより、選択された属性に対する第1試験化合物の効果に関連するパラメータの値を提供するステップ;例えば異なる受容体などの第2ターゲットのための例えばリガンドなどの第2試験化合物を供給するステップ;1つ以上の生物学的ユニットをその第2試験化合物と接触させるステップ;例えば(1)動的生物学的システムを2次元で表わす複数の画像を取得するステップと、(2)代表的画像集合の画像間の自己相似性を判定するステップと、(3)その画像の集合を自己相似性の統計的関数として特徴づけるステップとを含む、ここに記載されている方法を実行するステップ;これにより、選択された属性に対する第2試験化合物の効果に関連するパラメータの値を提供するステップ;及び、それらのパラメータを比較して、該属性に対して所望の効果を有する試験化合物を選択し、これによりターゲットを選択するステップ。
1つの側面において、本発明は、遺伝子の活動を評価するための例えば機械ベースの方法を提供する。該方法は、次に記載するステップのうちの幾つかを、好ましくは全部を、包含する(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):該方法は:第1の基準生物学的ユニット又は複数のそれを供給するステップ;遺伝子の活動が第1生物学的ユニットと比べて変更されている第2の生物学的ユニット又は複数のそれを供給するステップ;例えば(1)動的生物学的システムを2次元で表わす複数の画像を取得するステップと、(2)代表的画像集合の画像間の自己相似性を判定するステップと、(3)その画像の集合を自己相似性の統計的関数として特徴づけ、これにより遺伝子の活動を評価するステップとを含む、ここに記載されている方法を実行するステップを含む。
一定の実施態様では、遺伝子は定方向突然変異誘発又はランダム突然変異誘発により調整される。一定の実施態様では、例えばランダム突然変異誘発によって複数の遺伝子が調整される。一定の実施態様では、複数の遺伝子は、例えば遺伝子チップ実験などの発現プロフィール実験の結果から選択され、或いは病気状態で発現され又は病気状態と関連すると知られている。
一定の実施態様では、複数の遺伝子は、複数の生物学的ユニット及び/又は動的システムにおいて調整される。一定の実施態様では、独特の遺伝子が複数の生物学的ユニット及び/又は動的システムの各々において調整される。
一定の実施態様では、該方法は、動的システムを操作するステップと、その操作の遺伝子の活動に対する効果を評価するステップとを含む。
他の側面においては、本発明は、表面と生物学的ユニットとの相互作用を評価する例えば機械ベースの方法などの方法を提供する。その方法は、次に記載するステップのうちの幾つか又は全部、通常は全部を含む(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):生物学的ユニットを含む動的生物学的システムを供給するステップ;その動的生物学的システムを表面と接触させるステップ;及び、(1)動的生物学的システムを2次元で表わす複数の画像を取得するステップと、(2)代表的画像集合の画像間の自己相似性を判定するステップと、(3)その画像の集合を自己相似性の統計的関数として特徴づけ、これによりその生物学的ユニットと表面との相互作用を評価するステップとを含む、ここに記載されている方法を実行するステップ。
一定の実施態様では、その表面は均一である。一定の実施態様では、その表面は可変的であって、例えば孔、開口、凹面、凸面、滑らかな領域及び粗い領域、組成の変化、電荷の変化、及び/又は試験化合物の有無などがあり、例えば、試験化合物は勾配をなして存在する。
一定の実施態様では、その相互作用は、その表面への粘着、その表面を横断する運動、その表面からの解放、その表面への材料物質の沈積又は除去、及び孔又は開口の浸潤であって良い。
他の側面においては、本発明は、例えばステンレススチール、チタン、セラミック、及び合成高分子などの補綴装置の表面などの構造に例えば浸潤するなどして該構造と相互作用する1つ以上の生物学的ユニットの性質を評価するための例えば機械ベースの方法などの方法を提供する。その方法は、次に記載するステップのうちの幾つか又は全部、通常は全部を含む(これらのステップは、必ずしもここに記載した順序で実行されなくても良いが、通常はここに記載した順序で実行される):1つ以上の生物学的ユニットを供給するステップ;例えば補綴装置などの構造を供給するステップ;及び(1)動的生物学的システムを2次元で表わす複数の画像を取得するステップと、(2)代表的画像集合の画像間の自己相似性を判定するステップと、(3)その画像の集合を自己相似性の統計的関数として特徴づけ、これによりその生物学的ユニットの、1つの構造に浸潤する性質を評価するステップとを含む方法を実行するステップ。一定の実施態様では、この方法は、生物学的ユニットを試験化合物にさらすステップと、その試験化合物の、該生物学的ユニットの該構造に浸潤する性質に対する効果を評価するステップも含む。
他の側面においては、本発明は、生物学的ユニットと第2エンティティとの相互作用を評価する例えば機械ベースの方法などの方法を提供し、その第2エンティティは、例えば骨細胞、組織であり、その組織は例えば移植組織であり、例えば同種異系間組織、同原組織、又は異種組織である。一定の実施態様では、該方法は、1つ以上の生物学的ユニットを供給するステップ;第2エンティティを供給するステップ;ここに記載されている方法を実行するステップを含み、その方法は、例えば:(1)動的生物学的システムを2次元で表わす複数の画像を取得するステップと、(2)代表的画像集合の画像間の自己相似性を判定するステップと、(3)その画像の集合を自己相似性の統計的関数として特徴づけ、これによりその生物学的ユニットと第2エンティティとの相互作用を評価するステップとを含む。
他の側面においては、本発明は、試験化合物を評価する例えば機械ベースの方法などの方法を提供する。該方法は、次に記載するステップのうちの幾つか又は全部、通常は全部、を含む:第1生物学的ユニットを供給するステップ;この第1生物学的ユニットと同様である第2生物学的ユニット又は複数のそれを供給するステップであって、その第1及び第2の生物学的ユニットが好ましくは同様であるステップ;第2生物学的作用物質を試験化合物と接触させるステップ;ここに記載されている1つの方法を実行するステップであって、その1つの方法が、例えば、動的生物学的システムを2次元で表わす複数の画像を取得するステップと、代表的画像集合の画像間の自己相似性を判定するステップと、その画像の集合を自己相似性の統計的関数として特徴づけるステップとを含むステップ;及び該生物学的ユニットの属性を該試験化合物が存在するときと存在しないときとで比較し、これにより該試験化合物を評価するステップ。一定の実施態様では、この方法は:第2試験化合物を供給するステップ;第1生物学的ユニットをその第2試験化合物と接触させるステップ;例えば(1)動的生物学的システムを2次元で表わす複数の画像を取得するステップと、(2)代表的画像集合の画像間の自己相似性を判定するステップと、(3)その画像の集合を自己相似性の統計的関数として特徴づけるステップとを含む、ここに記載されている方法を実行するステップ;及び、生物学的ユニットの属性を試験化合物が存在するときと存在しないときとで比較するステップも含む。
本発明は、ここに記載されているシステム及び装置を含む。従って、1つの側面においては、本発明は、次に記載するものの幾つか又は全部、通常は全部、を含む装置を提供する:調整可能なパラメータ化において動的システムを表わす画像、例えば空間時間信号又は他の信号、を取得するように構成されている例えばセンサーなどの取得システム;調整可能なパラメータ化においてその画像を格納するように構成されている記憶装置;及びその画像(例えば、該取得システムによって取得された画像)間の類似性を分析するように構成されている計算装置。この装置は、表示装置を含んでいても良い。一定の実施態様では、該装置は、行われる可能性のある1つ以上の画像の処理のためのバッファリング手段も含む。
一定の実施態様では、該計算装置は、更に、取得装置の取得パラメータ化及び/又は記憶装置の格納パラメータ化を画像間の類似性の統計的関数として調整するように構成され、例えば、統計的関数を所定レベルへ駆り立てるように取得パラメータ化をセットすることを含み、例えば、少なくとも1つ以上の最近取得された画像が所定変化率を反映するように取得パラメータ化及び/又は格納パラメータ化をセットし、例えば、少なくとも1つ以上の最近取得された画像が所定の運動速度、形状変化速度、焦点変化速度、温度変化速度、強度変化速度を反映するように取得パラメータ化をセットする。取得パラメータ化は、取得率、露出、アパーチャー、焦点、ビンニング、又はその他のパラメータであって良いが、これらに限定はされない。格納パラメータ化は、画像標識付けであって良いが、これに限定はされない。
他の側面において、本発明はデータベースを特徴とする。このデータベースは複数のレコードを包含し、その各レコードは次のもの:
a. 生物学的ユニットのアイデンティティーに関するデータ;
b. 生物学的ユニットの属性に関するデータ;及び
c. 属性に対する1つ以上の操作、例えば処理、例えば試験化合物の投与、の効果に関するデータ;
のうちの少なくとも1つを含む。
一定の実施態様では、生物学的ユニットのアイデンティティーに関するデータは、遺伝子型及び表現型についての情報、例えば遺伝子の存在、欠如、空間的位置、時間的発現に関する情報、及び/又は1つ以上の突然変異の存在又は欠如に関する情報を含む。
一定の実施態様では、表現型データは、細胞のタイプ、生物のタイプ、細胞の状態、及び年齢のうちの1つ以上を含む。
一定の実施態様では、データベースは少なくとも2つのレコードを含み、各々のレコードにおける操作は他のレコードとは異なる。一定の実施態様では、操作は試験化合物の投与であり、1つのレコードにおいては予め選択されたファクターは試験化合物の投与を含み、他のレコードにおいては試験化合物は投与されないか又は異なる投与量で投与される。一定の実施態様では、データベースは少なくとも2つのレコードを含み、その各々のレコードにおいて少なくとも1つの操作は他のレコードとは異なる。一定の実施態様では、レコードにおける少なくとも1つの操作は異なり、他の操作のうちの少なくとも1つは同じである。
他の側面においては、本発明は、未知のターゲット、例えば遺伝子、蛋白質又は他の細胞ターゲット又は細胞外ターゲットを特定する方法を提供する。この方法は、次のステップの幾つか又は全部、通常は全部、を含む:第1試験化合物のターゲットが分かっている場合に属性に対する第1操作の効果に関するデータを有する少なくとも第1レコード;及び第2操作のターゲットが不明である場合に属性に対する第2操作の効果に関するデータを有する少なくとも第2のレコードを含む、ここに記載されているデータベースを提供するステップ;及びその第1レコードのデータを第2レコードのデータと比較するステップ。
一定の実施態様では、該データベースはコンピュータ読み出し可能な形になっている。
空間時間信号の全長にわたって、又動く時間窓で自己相似性にアクセスする方法及び装置が本書に記載されている。1つの側面においては、実時間信号取得システムが提供され、そのシステムでは動く時間窓における自己相似性が前記空間時間信号の取得、処理、インデキシング、及び格納の適応制御を可能にする。他の側面においては、動く時間窓内の自己相似性、その様な提供されるシステムは予期しない出来事を検出するための手段を提供する。他の側面においては、空間時間信号又は動く又は動かない窓の全長にわたる自己相似性、その様な提供されるシステムは、観察される動的プロセスを特徴づけ、分類し、及び比較する手段を提供する。
本発明の一定の側面に従うシステムにおいて空間時間信号の自己相似性を測定するための方法は、任意の2つの連続するフレーム又は取得時点間の近線形関係を保証するように視覚シーン内の優勢な運動の速度での又はその速度付近での取得を保証し且つ維持するステップを含む。更なる処理は、時間的距離に関して近距離及び長距離のフレームの比較を含む。1より大きな長さの時間窓についての前記比較は、マトリックスに配列されて良い。本発明の別の側面によると、前記マトリックスはそれぞれの時間窓について自己相似性を計算するために使用される。
本発明の更なる側面は、教師なし学習アルゴリズムを用いて、取得された空間時間信号の1つ以上のセクションの、前記信号の他の任意のセクションへの統計的依存性を分類してシーン内の周期的、規則性、又は不規則性を明らかにする方法及び装置を提供する。前記アルゴリズムは、自己相似性を測定して視覚的力学を記述するために同調された又は特定のテンプレート又はノイズモデルを必要としない限り、管理されなくても良い。
本発明の別の側面は、連続するフレームの直線性又は近直線性の持続的被操作モデルと周波数領域でのクロスマッチの幾何平均とを利用することによって、長い時間的距離により分離されたフレーム間のクロスマッチの効率的で費用有効的で顕著な計算のために配慮する。
本発明の別の側面は、漠然と長い取得所用時間にわたる視覚的自己相似性の効率的で費用有効的で顕著な測定を規定する方法及び装置を提供する。測定された視覚的自己相似性は、本発明の関連する側面に従って、基礎を成す動的システムを特徴づけ、量を測り、その視覚的投影の最良の表示と比較するために使用されて良い。
本発明の別の側面は、取得セッションの典型的テンプレートを記録する自動的方法を提供する。フレームは、連続的に取得されたフレームのシーケンスのカーネルであってその増加時間的積分が該シーケンス中のどのフレームとも線形集合を形成するとき、典型的テンプレートであるとされる。本発明の関連する一つの側面は、取得されたフレームのうちの残りのフレームとの非線形的関係によって新規で予測不可能なフレームまたはフレームのシーケンスを認識するための手段を提供することである。
本発明の関連する側面は、時間的サンプリング、例えばビデオ取得の場合、通常は、フレーム率及び露光、を制御するパラメータの適切性に関して、取得サブシステムに予測フィードバックを提供する方法及び装置を提供する。
本発明の更に別の側面に従って、バッファーにおいてフレームのグループについて全対称又は自己対称性測定値を計算するために情報理論メカニズムを使用することができる。本発明の関連する側面による全体特徴づけを追跡し、フレーム率及び露光についての取得パラメータの調節のための予測的信号を作ると共に興味あるフレーム・シーケンスを特定する特徴づけに整合させることができる。
本発明の別の側面は、連続するフレーム間のクロスマッチを計算するためにフーリエ光学システムを処方する方法及び装置を提供する。
本発明の別の側面は、見える支配的特徴的運動の速度及びタイプを示す運動特徴を測定する在来の又はその他の取得装置を利用する上記のような方法及び装置を提供する。
本発明の更に別の側面は、ユーザの格納及びインデキシング優先順位を要約するスクリプトを介して操作的にカスタマイズされるような方法を提供する。
別様に定義されていない限り、本書で使用される全ての技術用語及び科学用語は、本発明が属する技術分野の当業者に一般に理解されているのと同じ意味を有する。本発明を実施し又は試験するときに本書記載のものと類似する又は同等の方法及び材料を使用できるけれども、適切な方法及び材料は以降に記載される。本書において言及されている全ての刊行物、特許出願、特許、及びその他の参考文献は、参照によりその全体が取り入れられる。矛盾する場合には、定義を含む本明細書が支配する。更に、材料、方法、及び実例は、単に例証するものであって、限定することを意図してはいない。
本発明の他の特徴及び利点は、以降の詳細な説明と請求項とから明らかとなろう。
詳細な説明
本発明は、動的システムを特徴づける方法及び装置を提供する。本発明の実施態様を以下の説明及び実例において更に説明するが、それは請求項に記載されている本発明の範囲を限定しない。
空間時間信号の取得、圧縮及び特徴づけのための装置の実施態様のブロック図は、図1に示されているようにセンサー(102)、データ処理装置(計算装置とも称される)(103)、記憶装置(105)及びディスプレイ(104)装置を含む。
データ処理装置(103)は、以下の教示に従って1つ以上の汎用又は特別目的ディジタルデータ処理装置又は信号処理装置において動作する1つ以上のモジュール(ソフトウェア、ハードウェア又はこれらの組み合わせとして製造される)を含む。
センサー(102)は、本書の教示に従って特徴づけ、インデキシング又はその他の処理を受けるシステムを表わす空間時間信号、熱信号又はその他の信号(これらの信号が可視光スペクトルを表わすか否かとは無関係に)を取得するために適している1つ以上のビデオカメラ(在来の種類の又はその他の)又はその他の装置であって良い。一実施態様では、該センサーは、以下で定義する動的システムを監視することができる。しかし、システムが動的である可能性を有すると考えられる場合、或いは、少なくとも1つのシステムが動的である可能性を有すると考えられるシステム同士を比較するときなどには、本書の教示を非動的システムの監視に適用することができる。
例えば蛍光結像手法のために必要とされる可能性のある特定の周波数帯域を受け取るように該センサーをパラメータ化又は調整することができる。シーン(101)とセンサーとの間に適切な装置(109)を挿入して、シーン内の情報を、センサーにより該情報が取得される前に、増幅し、拡大し或いはフィルタリングし又は別様に操作することができる。センサー(107)の出力は、以降は、センサーのタイプや、画像が官能データ、再構成された官能データ或いは合成データの直接的表現であるか否かということとは無関係に、“画像”又は“フレーム”と称される。或いは、要素102は、前に取得されたビデオ、空間時間信号又はその他の、動的システムを表わす信号のソースであっても良い。便宜上、一般性を失うこと無く、要素102を以降は“センサー”と称する。
センサー(102)は、限定をしない実例を挙げると、写真の画像のコレクションなどの2次元以上の蓄積されている多数のフレームのソースであっても良く、また、フレームのいずれか又は全部が同じシステム又はシーンから取得されたか否かに関わらず、前記フレームを自己相似性の測定値に対応するクラスにまとめるために本発明の実施態様を使用することができる。
要素102は、非限定的実例を更に挙げると、ステレオ又はその他の多ソース画像取得システムにおける2台以上のカメラ又は他のセンサー;シーンと信号取得装置との間に1つ以上のフィルタリング装置を包含する1つ以上のセンサー;或いはそれぞれ1つ以上のセンサーにより表わされる感覚組織の集団であっても良い。
動的システムは、該システムを監視するセンサーから出力される値が時間の経過と共に変化するシステムである。動的システムは、“本来”動的であるシステム、即ち外からの摂動無しで変化するシステムであり、一般に静止しているセンサーによって観察される。例えば分裂する細胞は動的システムであろう。しかし、システムがいろいろな手段を通してセンサーから変動する出力を生じさせるように誘導されることがあり得る:それらの手段は、次に記載するものを含む:フォトリソグラフィーのために半導体ウェファーを位置決めし方位を合わせるとき或いは化学誘引物質を静止している細胞の近くに置くなどしたときに発生するような、静止しているセンサーにより監視されているさもなければ変化しないシステムに摂動又は操作を加えること;文書又は大きな写真に対してビデオカメラをパンするときなどに生じる摂動を、変化しないシステムを監視しているセンサーに加えること;センサーから出力される前の信号に電子的手段、プログラム手段又はその他の手段を通して摂動を加えること;或いは摂動と、センサーからの出力を分散させる結果に至る自然な力との任意の組み合わせ。便宜上、動的システムが本質的に動的であるか、それとも結像感覚組織又は何らかの誘起された摂動のために動的に見えるようにされたかということに関わらず、画像は、動的システム又は特に時間の経過と関連して動的システムを表わすと言われる。
分析の前に画像を処理することができる。処理は、フィルタリング、ウィンドウイング、サブサンプリング、積分、平方の積分及び勾配検出を含んでいて良い。処理された又は処理されていない画像は、以降は単に“画像”又は“フレーム”と称される。画像及びフレームは、強度を表わす値のアレイによって表わされる。フレーム又は画像シーケンス(106)は、知覚情報を表わす値のアレイの集合であり、各フレームは、何らかの方法で他の全てのフレームと関連付けられ、或いは関連付けられ得る。一定の実施態様では、この関係はフレームが単一のセンサーによって順に取得されたという事実の故に存在して良いけれども、他のモードではこの関係は、形状、色、周波数又はその他の幾つかの属性のいずれかを共有することを通して生じる。該シーケンスは、フレームの部分集合をもっと大きな集合から規則正しく又はランダムに選択することを通して定められても良い。フレーム率は、単位時間内に捉えられるフレームの数を定める。露光時間は、センサーが単一のフレームを作るデータを取得しながらシーン(101)に対して露出される時間の長さである。フレーム率及び露光時間は、視覚信号処理の分野におけるそれぞれの普通の定義を有する。他の感覚組織は類似する変量を有する。
例示されている報告モジュール(203)は、例示されている実施態様によって取得、圧縮、特徴づけ及び/又はインデキシングされ得るビデオ又はその他の空間時間シーケンスの少なくとも一時的記憶のための適切な容量を有する記憶媒体(ダイナミック、スタティック又はその他)から成る。図1では、非限定的実例として、記憶装置(105)がディスクドライブとして描かれている。
取得プロセスは、最初の又は第1取得率とアテンション・ウィンドウ(108)サイズとの確定から始まる。これらのパラメータは、システムの能力、センサーやシーンに関する経験的知識に基づいて、或いはその他の手段を通して、手操作により或いはプログラムにより指定することのできるパラメータである。“アテンション・ウィンドウ”は、時間単位の数又はその他の例えばフレーム数や特定の関数のピーク間間隔などの関連するメトリックで指定される長さを有するフレーム・シーケンスである。本発明におけるアテンション・ウィンドウの1つの用途は、例えば取得時間、相似性又はその他のメトリックの測定値に基づいて互いに近いフレームなどの“短期”フレーム同士の関係を計算することである。一定の実施態様では、最大フレーム率及びメモリーにおける対応するフレーム・サイズもシステム情報から得られる。非限定的な例を挙げると、細胞の伸展を表わすビデオ画像を処理するためのアテンション・ウィンドウのサイズは1/2秒から多数秒に及んで良いけれども、このプロセス及び他のプロセスを捉えるために他のサイズを用いても良い。取得サブシステムが信号源と置き換えられるときには、最大フレーム率は、好ましくは、データが取得されたフレーム率である。
一定の実施態様では、分析モジュールは先入れ先出し(FIFO)フレーム・シーケンス・バッファーを含むけれども、他のバッファーリング・デザインも可能である。好ましくは、このバッファーは、デスクトップコンピュータのランダムアクセスメモリーなどのデータ処理装置の高速格納領域で維持されるが、ディスクドライブ又は他のディジタル媒体での格納も可能である。好ましいモードでは、フレーム・シーケンス・バッファーのサイズは、次に記載する数学的関係に従って決定される:バッファー・サイズ=(秒数で表わされたアテンション・ウィンドウのサイズ*秒数で表わされた初期フレーム率*各フレームのために必要なメモリー空間)+オーバーヘッド・ファクター。このオーバーヘッド・ファクターは、経験的に選択され、メモリー管理デザインに依存して例えば1から5パーセントまでの範囲内にあって良い。非限定的な実例を挙げると、生物学的プロセスを表わすビデオ画像を処理するためのフレーム・シーケンス・バッファーは30から120メガバイトに及んでも良いが、これらのプロセス及びその他のプロセスのために他のサイズを使用することもできる。FIFO内のフレームは、入って来る取得されたフレームの固定、可変、或いは適応可変サンプリングを表わしても良い。入って来るフレームはセンサー(102)を起源とする。格納又は表示(105及び104)されるべくデータ処理装置(103)から出るフレームは、関連するラベルと、添付された特徴づけデータとを有する。
一定の実施態様では、アプリケーション特有の空間時間特性を抑制又は助長するためにフレームは任意にプレフィルタリングされる。例を挙げると、特定の空間スケールで勾配方向見積もりを抽出してシーン内で動いている物体又は生物の方向の変化を表わす信号を増幅するために、入って来るフレームを当該技術分野の標準的方法で処理することができる。
一定の実施態様では、各フレームの輝度チャネルで一定の分析が実行される。他の実施態様では、各フレーム内の多数のカラーチャネルを他のフレーム内の対応するカラーチャネルと別々に調和させることができ、その結果としての値は組み合わされて測定値の単一のセットとされ、又は1カラーチャネルに1セットずつ、他とは全く別なものとして提示される。視覚センサーを取り入れた別の実施態様は、これらの他に、又はこれらの代わりに、他のチャネルを使用することができ、非視覚センサーを取り入れた実施態様は、該センサーにより作られる情報に適したチャネルを使用するであろう。
一定の実施態様では、各フレームで支配的な周波数帯域で一定の分析が実行される。これは、周波数内容が連続するフレーム間でごく僅かしか変化しないという仮定が成り立つときに好ましいモードである。他の実施態様で分析される周波数帯域の選択には他の要素が影響を及ぼし得る。
一定の実施態様では、個々のフレームのセット間の相関を介して一定の分析が実行される。他の実施態様では、フレームを、関連し合う或る数のフレームの時間的蓄積又はピクセル当たりのランク関数と相関させることができる。色彩チャネル、使用されるフレームの領域、及び可能な前処理ステップを処理する方法に関する選択肢を含む、本実施態様及び前記の他の実施態様のためのこの選択肢の多数のバリエーションを実施して同様の結果を作り出すことができる。
フレームは、センサー(102)からフレーム・シーケンス・バッファーへ普通の方法で転送される。当該技術分野で広く知られているように、画像コピーのためにシステム資源を利用する必要を無くするために前記フレームへの参照を使用することができる。
次に、取得されたフレーム中の空間時間信号が分析される。パーシバルの定理により、空間時間信号の時間に関しての積分がその空間時間周波数の積分に比例することは良く知られている。
Figure 0004287287
ここでIは強度、Fは周波数、x及びyは空間座標、tは時間、w及びwは空間次元における周波数成分、wは時間次元における周波数成分である。
換言すれば、時間t(0→t)及びt+n(0→(t+n))の間での空間時間信号の積分は、時間tから(t+n)までの空間時間周波数の変化の推定値である。シーン内の最も速く変化する要素の変化の率より上のフレーム率で画像が取得されるときには、取得されるフレームは殆ど同一であり、基礎を成す信号の積分はフレームから次のフレームへと定数値に近づいて行き、フレーム間の情報の差は無視できるようになってゆき、フレーム内の空間的鮮明度は高いままであり、情報内容は豊富である。対照的に、要素がフレーム率より速く変化するときには、フレームはぼやける、即ち、基礎を成す信号の積分もフレームから次のフレームへと定数値に近づいてゆくが、フレームは空間的鮮明さを失ってゆき、従って情報内容は少なくなる。従って、情報速度の推定値は、時間的自己相関関数の変化の速度に、従って空間時間周波数の積分の変化の速度に、正比例する。
情報内容の速度の変化を推定するために公知の方法を使用することができるが、その推定には限界がある。MPEGなどの技術公知の圧縮規格は、主として固定捕捉率及び出力率という仮定に基づいている。MPEG符号器は、連続するフレーム間の時間的に過多のデータを発見するためにブロック・ベースの運動計算を使用する。これは3つのクラスのフレーム:空間的に符号化されたフレーム(I)、予測されたフレーム(P)及び両方向フレーム(B)の実現につながる。ブロック・ベースの手法を用いて、且つ効率的圧縮を可能にするために特に予測されたフレームに依拠してこの様にフレームを符号化すると、後に特別に興味あるものであることが見出されるフレームの情報内容を顕著に劣化させかねないデータ損失につながる。更に、MPEG方法は、非常に狭いウィンドウ(2−3フレーム)にわたる粗くて重なり合わない空間ブロックを用いて情報内容の変化の速度を推定する。これは、更なる情報損失につながる。最終結果は、MPEG圧縮が圧縮及び再生のときに空間的完全性を犠牲にして時間的完全性を可能にするということである。本発明は、空間的完全性も保ちながら興味あるフレーム・シーケンスにおける時間的完全性を保つことを可能にする。
別の圧縮規格であるモーションJPEGは、時間的圧縮を可能にするものではなくて、代わりに全てのフレームに対して標準的シングル・イメージJPEG圧縮の別形を適用する。モーションJPEG圧縮では、情報内容の変化の速度は空間的にのみ推定され、色彩損失という結果をもたらす。単純な運動検出器を使用する他のアプローチは、情報内容の変化の速度の推定値として、後のフレーム間の平均強度差を使用する。このアプローチは、動きの無いシーンでの照明の変化が、実際にはそのシーン内で何も動いていないのに“運動”として知覚されることになることを含めて、幾つかの点で限定されている。
観察する人は、目に見える動的シーンの属性を容易に且つ事前のトレーニング無しで測定することができる。このことは、例えば、非限定的に、動的視覚シーンのアテンション・ウィンドウにおいて全てのフレームにより含まれ且つ補強される相当量の相互情報量が存在する可能性があることを暗に意味する。動的システムでは、僅かに離れているフレームで捉えられた事象及び大きく離れたフレームで捉えられた事象は全て情報内容の変化の速度に強い影響を及ぼす。フレームから次のフレームへの情報変化の速度が最小となる速度で又はその速度に近い速度で本方法を好ましいモードで実行することにより、与えられたフレームについて作られる値が近くのフレームにも遠くにあるフレームにも依存するような小さな別々のステップで動的システムの特性関数を推定することができる。非限定的な例を挙げると、興味ある事象が線虫の特定の運動パターンである生物学的検定法を監視するためにその様なシステムを用いることができる。そのパターンは、1秒の僅か数分の一続くだけであるかも知れず、野生型の虫の18日間の命の間に希に気まぐれに生じることがあるだけかも知れない。それにもかかわらず、このパターンが感知された時点はその虫の命に関する補強情報を作り出し、このパターンが存在しない期間は、それが存在しないことについての補強情報を作り出す。従って、本実施態様の自己相似性関数などの自己相似性関数で表わされるような、この2つの間の差違は、興味ある事象の事例の自動的検出を可能にするであろう。マンデルブロート(Mandelbrot)は、アスワン・ダムの建設中にナイル川に関する800年間の洪水データを研究している間に、短期及び長期の両方の相関、及びモデルとしての自己相似性の重要性に早く気づいた。しかし、それにも関わらず、自己相似性分析において長期相関を利用する効率的方法を当業者は未だ見出していない。本発明は、その様な方法を提供する。
本発明の或る実施態様は、図2に示されているように、空間時間信号をモデリングし分析するために自己相似性マトリックスを使用する。例示されている実施態様では、自己相似性マトリックスは1の対角線を有する正規化された正の確率の正方マトリックスであるが、他の実施態様では自己相似性マトリックスは他の代わりの特性又は他の追加の特性を持っていても良い。自己相似性マトリックスは、例えば実数値エルミートマトリックスなどの対称マトリックスの形を有する。一定の実施態様では、本発明は、取得された信号の時間的自己相関を近似するために自己相似性マトリックス、フレーム及びフレームのシーケンスを使用する。
一定の実施態様では、本発明は、時間的に視覚シーン内の支配的運動に近い速度でサンプリングされたときのフレームの近相似性を利用して自己相関を近似する。殆ど同様のフレームの集合体は、与えられたフレームと、これから僅かにシフトしたバージョンとの相関を近似する。他の実施態様では、多数の周波数で相関を実行することができ、或いは当該技術分野で公知の方法を用いて自己相関関数を計算することができる。
本発明の他の実施態様は、他の学習又は近似アルゴリズムを使用して良い。空間時間信号を分析する平易な方法は、PCA(Principal Component Analysis、主要成分分析法)又はICA(Independent Component Analysis、独立成分分析法)を含む。具体的には、PCA方法及びICA方法は、共に、相関マトリックスを使用するものであって、損失のある圧縮方法で広く使用されている。
例示されている実施態様では、自己相似性マトリックスに全ての対間相似性測定値が埋め込まれる。他の実施態様は、対間相違度を測定して良い。相似性測定値と、これに対応する相違度測定値との和が常に1.0であるという事実の故に、その様な測定を本発明の中で簡単に達成できる。従って、(1−相似性測定値)は相違度測定値を生じさせる。当該技術分野では、センサーで捉えられた連続するフレーム間の対間相関を作るためにフーリエ光学を使用することもできることが知られている。このようにして作られたフレームを用いて本書の教示に従って更に分析を行うことができる。
一定の実施態様では、選択される対間相似性メトリックは、フレーム全体に適用される正規化された相関(乗算)である。この種のクロスマッチの結果は、−1.0(完全なミスマッチ)から1.0(完全なマッチ)までのスカラー値である。例示されている実施態様では、以下で述べる理由から、私たちはクロスマッチの平方を用いる。いずれにせよ、相似性メトリックは結合的(相似性(a,b)=相似性(b,a))、反射的(相似性(a,a)=1.0)、且つ正(相似性(a)>0)である。
画像相似性を確立するための公知方法は“絶対差の和”である。この方法は、正規化相関と比べると利点及び欠点の両方を持っている。絶対差の和を用いることの利点は次のものを含む:
(a) それが多くのコンピュータ・プラットホームでより高速であることが良くある。
(b) 平らな強度パッチ上で鮮明である。
欠点は、次のものを含む:
(c) クロスマッチ結果が正規化されない。
(d) クロスマッチ結果が強度の線形変化に対して不変ではない。
(e) 線形フィルタリングと同等ではない。
一定の実施態様では、正規化された相関のこの実施態様は、最新の計算アーキテクチャーを利用して“絶対差の和”アプローチで計算性能における近同等性を達成すると共に、入力画像がゼロ平方偏差を有するときを検出し、従って平らな強度パッチ上での良好な鮮明度を可能にする。
他の実施態様では、クロスマッチ操作を他の乗算的操作、減算的操作、特徴ベースの操作、又は統計的操作によって達成することができる。例示されている実施態様では、相似性測定値は、空間時間整合フィルターとして動作するという付加的特性を有する。更に他の実施態様は他の相関ベースの運動検出器を使用することができる。
自己相似性推定モジュール(302)は、短期時間相似性を推定し、長期時間相似性を近似する。双眼鏡アプリケーションでは、自己相似性は、各カメラからの各フレームと、他のカメラにより取得された全てのフレームとの間で測定される。更に他のアプリケーションでは、空間時間信号の積分又はその様な信号の平方を使用することができる。
短期フレームは、上記バッファー内のフレームを指す。長期フレームは、このバッファー内に最早存在しないフレームを指す。自己相似性の役割は2つある:即ち、第1に、相似している近くのフレームを押し上げること、そして第2に、その他の似ていないフレームの寄与を減少させることである。当業者は、非線形動的システム又は未知の線形性を有する動的システム表わすときの自己相似性の使用法を知っているであろう。自己相似性は下記のものから推定される:
(1) SSΔ=自己相似性マトリックス(X,デルタ)。ここでXは時系列であり、Δは自己相似性を測定する継続時間である。一定の実施態様では、自己相似性マトリックスは正方マトリックスである。
短期自己相似性を推定するために、該バッファー内の全てのフレームの相似性を測定することができる。
(2) SSshort−term,Δ=自己相似性マトリックス(X,Δ)。ここでXはフレームの時系列であり、Δはバッファーの長さであり、
(3) SM(i,j)=相関(min(i,j),max(i,j))、全てのフレームi、及びj!=iについて(結合性)
(4) SM(i,i)=1.0 (反射性)
一定の実施態様では、フレームが取得されて画像バッファー(301)に置かれるとき、少なくとも最新のフレームと、その直前のフレームとに対して相似性マッチングが実行される。任意の2つのフレーム間の長期対間マッチングは、そのフレーム同士を分離する対間相関のストリングを過渡的確率として扱うことにより近似される。本書に記載されている相似性メトリック以外の相似性メトリックは、この近似の精度に強い影響を及ぼすが、使用可能である。空間領域での相関は、周波数領域での共役乗算と同等である。一定の実施態様では、
(5) SSlong−term,Δ=自己相似性マトリックス(X,Δ)である。ここでXはフレームのシーケンスであり、ΔはFIFOの長さであり、
(6) SM(i,j)=相関(i,j)、全てのi,j及び距離(i,j)=1について(結合性)
(7) SM(i,j)=1.0 (反射性)
(8) SM(i,j)=(Πi≧jSM(i,i+1))1/(j−i)
(8A) ここでj>(i+1)である。
方程式(8)は、iとjとを分離する対間相関値の幾何平均を計算する。近似値は結合的であり、iとjとの間の距離が大きくなると共に劣化し、道筋に沿っていずれかの対間相関が0であるときには0を生じさせるということに注意しなければならない。更に、近似値は対称的である、即ちSM(i,j)=SM(j,i)であるということにも注意しなければならない。
長期相似性及び短期相似性を組み合わせて、分析の継続時間全体にわたる自己相似性マトリックスを確立することができる。一定の実施態様では、長い継続時間は時間のウィンドウを有することができ、そのウィンドウにおいては短期推定値及び長期近似値の両方が相似性測定値のために使用される。一定の実施態様では、より短い持続時間は短期推定値を完全に使用する。通常、この選択肢は主として計算資源に基づく。
自己相似性の更なる処理は、相似性測定値がどの様に作られたのかということとは無関係である。即ち、測定値は、短期推定、長期近似、又はこの2つの任意の加重、正規化、又は生の組み合わせを介して作られても良い。
一定の実施態様では、その後、自己相似性マトリックス(505)は、図5に示されているように、全てのフレームについてフレーム・シーケンスとの自己相似性の測定値を推定するために使用される。一定の実施態様では、各フレームについてのエントロピー・インデックスの推定値が自己相似性マトリックス(506)から計算される。一定の実施態様では、非限定的実例を挙げると、シャノンのエントロピー計算法が使用される。シャノンのエントロピーは、測定値の集合を獲得するランダムな変数により除去される平均不確定性を計算する。
(9) P=SM/ΣSMi,j 正規化
(10) H=−ΣPlog(P)/log2(n)
ここでnはフレームの数である。
与えられたシーケンスについて、ランダムな変数が、該シーケンス中の各フレームについてのエントロピー・インデックスの集合を表わす。シーケンス中の全てのフレームが正確なコピーであるならば、不確定性は完全に除去され、シャノンのエントロピーは殆どゼロである。一方、全てのフレームが他の全てのフレームと全く似ていなければ、不確定性は全く除去されず、シャノンのエントロピーは殆ど1である。
自己相似性マトリックスをフレーム・シーケンスの全長にわたって評価することができ、その場合、前記シーケンスは固定されても良く或いはより大きなシーケンスにわたるスライディング・ウィンドウであって良い。前記スライディング・ウィンドウについての自己相似性の計算は、好ましいモードでは、計算コストを該フレーム・シーケンス中のフレームの数の線形関数にまで減少させるために標準的な公知の最適化方法を使用する。
現存する方法は、画像及び画像シーケンス中の興味ある事象を有意味に数量化することができるが、それは空間的又は時間的分割ステップの後に初めて可能になることである。殆どの場合、これらのステップは、計算時間及び人の介在に関して高価であり、信号中に自然に発生するノイズによって損なわれる。本発明の一定の実施態様では、独特の視覚的特徴を伴う興味ある事象を呈する動的システムを時間的又は空間的分割無しに数量化することができる。一例は、視覚的収束プロセスを表わす空間時間信号である。例を挙げると、前記信号からのフレームは、時間に関して焦点が合っていないフレーム、だんだん鮮明になってゆくフレーム、及び焦点の合ったフレームを表わすことができる。例を挙げて説明すると、焦点の合っていない画像を、ガウシアンでコンブォルブされたシーンの焦点の合った画像として推定することができることは良く知られている。より大きな標準偏差のあるガウシアンは、焦点の合ったシーン画像でコンブォルブされたとき、よりぼんやりとした画像をもたらし、逆に、より小さな標準偏差を有するガウシアンで焦点の合ったシーン画像をコンブォルブすると、ボケの弱い画像がもたらされる。前記フレーム同士の対間相似性が(σ−σに比例し、σが標準偏差であるとすれば、自己相似性マトリックスは全ての対間相似性測定値を作表する。最小の標準偏差を有するガウシアンに対応するフレームは、シャノンのエントロピー又は平方和方法によって計算された最大累積相違度を持つことになろう。従って、それは、最も鮮明な画像に対応する。
自己相似マトリックスを更に幾つかの方法で操作することができる。対称マトリックスを分析する標準的方法は、その固有値を計算することである。対称マトリックスの特別の属性は、その固有値の和がその対角成分の和に等しいことである。例えば、対間相似性を表わす対称N×Nマトリックスは、1.0の値を各々有するN個の対角要素を持つであろう。この様なマトリックスの、数値精度内の固有値の和はNである。固有値は、前記マトリックスにより表わされるN次多項式の根を表わす。
適切に取得されたフレームから計算されたときには、自己相似性マトリックスから得られた情報を、一クラス内の視覚的動的プロセスを識別するために使用することができる。当該技術分野で良く知られているように、自己相似性測定値の時系列についてハースト・パラメータを推定することができる。ハースト・パラメータを使って長期依存性を特徴づけることができる。表現された信号の数値評価を作るために自己相似性マトリックス及び/又はエントロピー・インデックスを分析することができる。自己相似性の使用方法に関する上記選択肢の多数のバリエーションを本発明の範囲内で使用して同様の結果を作ることができる。
標準的統計学的方法或いはマトリックス代数学的方法を用いても良い。下記の実例は、単に例を示すものであって、請求項に記載されている発明の範囲を限定するものではない。
(a) 自己相似性マトリックスの最大の固有値
殆ど同一のシーンを包含する画像の系列を表現する自己相似性マトリックスは、画像のそれ自身との相似性マッチを包含する対角要素の和に殆ど等しい固有値を有し、それは自己相似性マトリックスが対称マトリックスであるので1.0である。画像のシーケンスを、前記自己相似性マトリックスの前記固有値を用いて表現することができる。システム又は類似するシステムの集合に1組の摂動を加えることから生じる“特徴”を表わす複数の前記固有値を用いて、前記特徴を、各摂動のもとでの該システムの変動の首尾一貫した測定と同列に置くことができる。
(b) エントロピー・インデックスの周期性
充分な空間的解像度で取得された、鼓動する心臓などの周期的運動を表わす少なくとも2完全周期分の画像を包含するフレーム・シーケンス又は画像シーケンスに自己相似性マトリックスを適用すると、画像化された周期的運動の周期又はそれに近い主周波数を含む信号のエントロピー・インデックスが得られる。
運動推定量としての自己相似性
一定の実施態様では、自己相似性は、重なり合うウィンドウ(602)で、また動くアテンション・ウィンドウ(605)にわたって推定される。具体的には、フレーム・ジオメトリーはS、及びSでサンプリングされる。図6に示されているように、左上をサイズ2xS、及び2xSのサンプリング・ウィンドウの原点として定め、各サンプリング・ウィンドウについて自己相似性マトリックスが推定される。サンプリング・ウィンドウは、自分が囲い込んでいるピクセルの50%を自分に隣接するサンプリング・ウィンドウ(602)(603)(604)と共有する。例示されている実施態様では、エントロピー・インデックスが計算され、その標準偏差が相対運動の推定値として使用される。アテンション・ウィンドウ(605)は1画像だけ前にシフトされ、その新たにシフトされたアテンション・ウィンドウについて自己相似性が推定される。
代表的なフレーム及び分岐点フレーム
代表的フレームとは、フレーム・シーケンスにおける自己相似性のエポックを表わすフレームである。分岐点フレームとは、代表的フレーム同士を分離する境界フレームである。例示されている実施態様の1側面は、時間的分割をより深く分析するために自己相似性マトリックスを利用できることである。フラットな積分経路を作り出すフレーム・シーケンスは、単一の代表的フレームにより最善に表現されるエポックを明らかに描写する。自己相似性マトリックスからその様なフレームと関連する結果とを特定する手法が当該技術分野に存在する。本発明の一定の実施態様では、代表的フレームと分岐点フレームとをフレームが取得されている間にも特定することができ、従って与えられたフレームの更なる格納又は処理に関して新規な選択肢の集合を可能にする。一定の実施態様では、適切な深さを有するピクセル値の和又はピクセル値の平方の和を蓄積するアキュムレータ画像が分析ステップの初めに作られる。自己相似性推定の初めに次の操作を実行することができる:
注: 新しいアキュムレータが必要ならば、1つ作る
(11) r=相関(ACM,i)、ACMはアキュムレータ画像である
(12) (abs(r−SM(i,i−1)<ユーザ・スレショルド>ならばlabel_frame(現存する代表的集合)
(13) そうでなければlabel_frame(候補分岐点フレーム)
一定の実施態様では、ユーザの好物の集合を使って、幾つの連続する分岐点フレームが分岐点事象を特定するかを指定することができる。例えば、一定の動的プロセスでは、ユーザは、非常に僅かのフレームにおいて起こっている事象に対応するフレームに興味を持ちそうである。その様な選択は、時間単位、フレーム又は他の何らかの関連メトリックで確立することができる。
焦点偏差検出
オート・フォーカス及び画像の鮮明度の測定は、研究の焦点であり、画像の鮮明度を測定するための多数の方法が存在する。一定の実施態様では、本発明は、連続取得システムにおいて焦点からの偏差を検出する。焦点が合っているフレームと、焦点が合っていない可能性のあるフレームとを含むフレーム・シーケンスの自己相似性マトリックスが上記の(10)を用いて分析される。相似性測定の選択は、焦点の合っているフレーム及び焦点の合っていないフレームを管理無しで分類する上で極めて重要である。当該技術分野で知られているように、2つのフレーム間の正規化された相関関係は、両方の画像の鮮明度測定を含む。一定の実施態様では、連続焦点偏差検出がフレーム・シーケンスにおける自己相似性の滑り測定を用いて実行される。
注意深い取得、格納、及び制御
自己相似性マトリックスは、フレームの“選択的な”及び/又は“注意深い”取得及び/又は格納、即ち“注意深い捕獲”を可能にする。注意深い捕獲は、シーン内の情報内容の変化の速度に非常に近い速度でシステムが動作することを、例えばフレームを取得し、分析し及び/又は格納することを、可能にする。
注意深い捕獲は、取得パラメータを動的に調整し且つ/又は制御指令を外部の装置に対して発する適応制御システムである。調整し得る取得パラメータは、率、露出、アパーチャー、焦点、ビンニングを含むが、これらに限定はされない。更に、注意深い捕獲は、ユーザにより好ましいモードで定められるパラメータと結合して、経験的に定められ且つ/又はデフォルトにより確立され、格納指令を作る。取得及び格納の両方を制御することのできる代表的パラメータは、フレーム間の変化の許容可能なレベルを定めるものを決定する空間周波数のレベルである。例えば、本発明の範囲を限定すること無く、生物学的検定は、細胞の移動又はその他の運動統計の測定を必要として良い。その様な測定を容易にするために、1フレームから次のフレームへの移行に伴う細胞の動きが最小となるように取得パラメータを制御することができ、移動又はその他の運動の統計に摂動が検出されたときに限って画像が単独に又は一定期間にわたって格納されることとなるように、格納を制御することができる。
好ましいモードでは、注意深い捕獲のユーザは、留意するべき運動又は変化の量、内部での自己相似性を査定するアテンション・ウィンドウのサイズ、及び自己相似性において許容可能な偏差を記述する数個のパラメータをシステムに与える。他のモードでは、これらのセッティングはデフォルトのセッティングであっても良く、或いは経験的に決定されても良い。図4Aに示されている初期化ステップのとき、指定されたアテンション・ウィンドウのサイズに等しい数Nのフレームが画像バッファー(301)にロードされる。一定の実施態様では、フレームの数は奇数であるが、これは偶数であっても良い。前記フレームには“must save(保存しなければならない)”という印がつけられる(433)。当業者は、このステップでは任意の印し付け方式を使用しても良いことを認めるであろう。一定の実施態様では、留意するべき運動の量を示すパラメータは、前記パラメータより大きい標準偏差のガウシアン・カーネルを表わすガウシアン低域フィルターに変換されて良い(434)。選択された低域フィルターは、N個の画像の全てに適用されて良い(441)。前記フィルターを適用すると、該フィルターにより規定される空間周波数より高い空間周波数が減衰する。図8に略図示されているように、自己相似性マトリックスを計算することができ、前記マトリックスの固有値を計算することができる。最大の固有値は本書の教示に従って正規化され、この値は、アテンション・ウィンドウ内のフレームについての自己相似性の推定値を表わす。
一定の実施態様では、初期化ステップ後、全てのフレームの取得後に、前記画像の印し付けに関して評価を実行することができる。
共同移動モジュール
画像及びフレーム内の物体は、その広範囲の特徴を用いて定められ、検出されて良い。しかし、物体、その近傍の環境、及びもっと広い環境における予測可能な変化及び予測不能の変化に対して最も変化の無い特徴を用いたときに最も強固に且つ正確に物体の位置を突き止めることができそうである。もし物体が硬い変換を経験する剛体であれば、明るさが保たれると推測することができ、物体の位置を突き止めるために明るさを定義特徴として用いることができる。しかし、多くの場合に、これは事実とは異なる。生物学的アプリケーションにおいては、例えば、物体は、いろいろな変化の中でも特に、変形することができ、形態の転換を経験し、流体内で浮動したり、ペトリ皿の表面に沿ってはったりする。一定の実施態様では、本発明は、物体を画定するためにその様な運動パターンを検出するアルゴリズムを提供する。
コルペッティら(Corpetti et al.)の“流体の流れの濃密な推定(Dense Estimation of Fluid Flows)”、パターン分析及びマシーンインテリジェンスに関するIEEE会報(IEEE Transactions on Pattern Analysis and Machine Intelligence)、24,3:368−380(1998)(この文献は、参照により、その全体が本書に取り入れられる)は、流体運動の変形可能性、表示処理の複雑さ、及び動いている流体内での温度及び圧力のあり得る変動が全て流体の与えられた要素について観察される輝度の広範で予測不能な変動にどの様に寄与するか記述している。この程度の変動は、物体を特定するための在来の特徴検出を流体系に適用することを極めて難しくする。対照的に、本書の教示に従って捉えられた画像シーケンスは、フレームから次のフレームへの移行に伴う変形を、基礎を成すシーンの複雑さとは関係なく輝度の線形変化を伴う並進運動変化のみ(回転又は剪断無し)に減じる。
本発明の一定の実施態様では、同様の方向の運動を示す隣り合うピクセルの集まりにより表わされる物体を特定し、評価し、追跡するために共同移動モジュールを使うことができる。共同移動モジュールは、フレームからフレームへの変化の導関数を殆ど又は現実に最小にする率でフレームを捉える注意深い取得サブシステムに決定的に依存する。情報内容における極小の変化のこのボーダーラインで取得されたフレームの重要な特性は、フレームから次のフレームへの移行に伴う運動を、その並進運動成分だけを用いて局所的に記述できることである。
一定の実施態様では、“始点”画像の各々の小領域と、その始点画像の直後に取得された画像中の対応するより大きな領域との相互相関を用いて運動ベクトルを推定することができる。次に取得された画像中の、より大きな領域と、始点画像中のより小さな領域とは共通中心点を共有する。一定の実施態様では、非限定的実例を挙げると、他の実施態様で使用される汎用正方形領域の代わりに相互相関のために、画像シーケンス中の線虫の表示の回りの境界を形成する領域に近い領域などの、より大きい又はより小さい正方形領域を選択することができる。更に他の実施態様では、非限定的実例を挙げると、剛直な又は半剛直な物体の回りの境界を形成する箱を確定するために剛直な物体を画定するための当該技術分野で知られている方法を適用することができ、これらの境界を形成する箱は、本書の教示に従って同様の相互相関の基底を形成することができる。
共同移動モジュールは、例えば、個々の運動ベクトルの集まりを統計的に分析することを通じて得られた画像シーケンス中のより大きなパターンなどの運動フィールドを推定することができる。共同移動モジュールは、移動する物体を検出し、中の基準ポイントと前記物体の境界の形態とを追跡し、フレーム毎の集合的速度統計を計算し、変化する物体についての状態情報を時間に関して維持し、フレームのシーケンスにわたって前記物体境界形成画像データへの参照を維持することもできる。
運動ベクトル
運動ベクトルは3次元x、y及びt(x軸、y軸、及び時間)のベクトルである。
(14) X=(x,y,t)は、空間時間領域におけるベクトルを表わす。
2つの連続するフレームが与えられたとき、Xi,jは、フレームt中の小さな正方形画像ウィンドウである“ターゲット”を、ターゲットと共通の中心点を共有するフレームt+1中のより大きな正方形画像ウィンドウである“サーチ”と整合させることによって計算される。この操作は、境界条件に従うフレームt及びt+1中の全てのピクセルについて所望のサンプリング速度で実行される。一定の実施態様では、ターゲットは5×5ピクセルであり、サーチは9×9であり、サンプリング速度は1である。第1ターゲットの中心はフレームt内の座標(サーチ幅/2、サーチ高さ/2)にある。第1サーチ・ウィンドウの中心は、フレームt+1内の座標(サーチ幅/2、サーチ高さ/2)にある。
好ましいモードでの僅かな改善を伴って、ターゲットは、正規化された相関を用いて空間領域におけるサーチと相関される。一定で等しい濃淡値を包含する2つの画像の標準正規化相関は0であって、相関が無いことを暗に意味する。好ましい変更された相関は正規化された相関の平方であり、これは、ゼロの場合を、基礎を成す回帰における特異点として検出する。本発明の方法において使用される2つの画像間の絶対差の和又は平方を測定する他のメトリック。標準正規化相関値は−1.0と1.0との間の正規化されたメトリックであり、標準正規化相関の平方は0.0から1.0までの範囲の値をもたらすが、絶対差の和は平均濃淡値差をもたらし、これは正規化されない。
本書に記載されている相関は、徹底的に実行することのできるものである。ターゲットはサーチ上でそのサイズの移動するウィンドウに対応する画像データと整合され、5×5相関スペースをもたらす。前記の好ましいモードにおいて平方される正規化された相関は次の通りである:
Figure 0004287287
シーン中の支配的な運動又は変化の速度以上の取得速度を維持している一定の実施態様では、ターゲットの全部ではないとしても殆ど全ての特徴はサーチの外に移動していない。フレームt及びt+1の、強度関数が殆ど一定である領域では、相関スペースはフラットであって、大部分は特異な相関ポイントを含む。更に、一部の相関スペースは劣等な相関値を含む。正しい相関スペースを捨てることは、最も高い相関値を局所的統計から計算された性能指数と照合することによって達成されるということは当該技術分野で良く知られていることである。例示されている実施態様では、私たちはフレームtとt+1との空間的相互相関を実行して、図7に示されているように、この2つのフレーム間の包括的運動の程度を測定する。フレームt及びt+1の2つのローパス・バージョンG(t)及びG(t+1)が作られる。次に私たちは次の相関を実行する:
(16) C=相関(フレームt、G(t+1))
(17) Ct+1=相関(フレームt+1、G(t))
(18) GME(包括的運動推定)=sqrt(C*Ct+1
相関ピーク値はGMEと比較される。相関スペースと、それに対応する運動ベクトル情報とは、相関ピークがGMEより高い場合に限って維持される。他の実施態様は、運動mを経験したt+1における運動ベクトル位置とtにおける位置との間の2乗された距離の和に適用される最小化プロセスの剰余を使用することができる。更に他の実施態様は、各々の運動ベクトル変異測定値の共分散を使うことができる。運動ベクトル分析は、画像中の各点について運動ベクトルを生じさせることができるということが当該技術分野で良く知られている。実際には、その様な運動ベクトルの確証、相応及びトラッキングはその場限りのものであるということも当該技術分野で知られている。本書の教示は、運動ベクトルを確証し、相応し及びトラッキングする系統的で一般的に適用できる手段を論証する。
フレームt及びt+1が互いの正確なコピーであれば、相関ピークは全て相関スペースの中心にある(サーチ及びターゲットについての上の値を用いると(2.5,2.5))。運動ベクトルは、その始点として相関スペースの中心を有し、その第2点としてピークを有するベクトルである。ピークの位置は加重モーメント・アプローチを用いて推定される。
(19) xpeak=Σi,ji*c(i,j)/ΣΣc(i,j)
(20) ypeak=Σi,jj*c(i,j)/ΣΣc(i,j)
ここでx及びyはi,j(上のデータを用いて0から4まで)における相対軸であり、cはi,jにおける相関値である。
上では、Xi,j=(xpeak,ypeak,t)である。直ちに私たちは始点からピークまでのユークリッド距離とピーク位置のアークタンジェントとを計算することによって変位及び方向を作ることができる。
運動ベクトル共同移動に基づいて物体を検出し特徴づけること
移動する物体は、その運動により定められる物体である。一定の実施態様では、初めの2つのフレームについて運動ベクトルの全体を用いて移動パターンを推定することができる。移動パターンを検出することは、各運動ベクトルに、その運動ベクトルと他の運動ベクトルとの近接度に応じてラベルを割り当てることを含む。近接度は、ユークリッド距離によって記述することができる。各運動ベクトルについて、私たちは、それと他の全てのベクトルとの間の対間距離の平方を累積加算する。殆ど同一の総距離メトリックを有する運動ベクトルは同様のラベルを受け取る。この方法に基づいて定められた物体を、該物体の長軸及び短軸の特定に基づいて更に特徴づけることができる。
同様のラベルを有する運動ベクトルの集団を用いて、画像に表示されている物体の周囲の境界箱を画定することができる。境界箱が画定されると、例えば、与えられたフレームの中の境界箱の内容と他のフレーム中の対応する境界箱の内容との関係を特徴づけるなど、自己相似性関数の更なる適用が可能となる。境界箱とその内容とについての他の分析も可能であり、それは、センサーにより作られたその中に含まれるピクセル強度又は他の値の分析、及び/又は空間及び/又は時間にわたる同じ物体又は複数の物体の境界箱の集団におけるこれらの測定値及び他の測定値の統計的分析を含むが、これらに限定はされない。更に他の分析は、生の強度、テクスチャー、及び/又は周波数に基づいて画像分割を適用することを含む。
与えられたフレーム・シーケンスにわたって全ての移動性物体について運動情報の全体に標準的統計分析を適用することにより、運動及び運動パターンに関するより高いレベルの統計を決定することができる。マヘシュワリ(Maheshwari)及びラウフェンバーガー(Lauffenburger)、細胞移動の分解(及び復元)、顕微鏡検査法研究及び技術(Deconstructing(and Reconstructing)Cell Migration,Microscopy Research and Technique)43:358−368(1998)(この文献は参照によりその全体が本書に取り入れられる)は、細胞母集団分散及びランダム運動性を予測するために個別細胞経路測定値を使えるということを提案している。これは、“質量中心”を細胞における標準的レジストレーション・ポイントとして用いる細胞移動経路の定量化のためのアルゴリズムを概説している。一般に、どの様な反復可能で精密なレジストレーション・ポイントでも充分である。本書に記載されている装置及び方法を用いて、細胞の各境界ポイントと、上で運動の中心として記述されたレジストレーション・ポイントとの移動にこのアルゴリズムを適用することができる。
(21) S=((Σs)/n)/dt(dt→0) 移動速度
(22) P=2dt/Σφ)/n 持続時間
(23) CI=(Σ(X・G))/L s
sは、一定時間内に進むユークリッド距離であり、
nは、時点の数であり、
φは、連続する変位間の角度であり、
Xは、変位ベクトルであり、
Gは、刺激勾配のベクトル表示である。
一定の実施態様では、与えられたフレームについての分析の終わりに最近に作られた測定値をアプリケーション規則の集合に当てはめて各物体についての移動状態の更新を可能にすることができる。
動的生物学的システム及び生物学的ユニットを特徴づけること
1つの側面において、本発明は生物学的ユニットを特徴づけるようになっている、実質的に図1に示されているような装置を提供する。ここで、CCD、CMOS、線走査カメラ、赤外線カメラ或いはその他の興味あるセンサーの形を取ることのできるセンサー(102)は、シーン(101)の1つ以上の画像を捉えるが、それはこの場合には動的生物学的システムである。その動的生物学的システムは適切な容器に含まれているが、この容器は、スライド、フローチャンバー、単一ウェルのシャーレ、96ウェルのディッシュ、或いは、研究される生物学的ユニットに適する他のマルチウェル・ディッシュを含むけれども、これらに限定はされない。拡大装置、増幅装置又はフィルタリング装置(109)を生物学的ユニットとセンサーとの間で用いることができる。可能な拡大装置は、標準的光学顕微鏡、共焦点顕微鏡、ステレオ顕微鏡、マクロスコープ及びその他の広視野オプティックスを含むけれども、これらに限定はされない。可能なフィルタリング装置は、偏光フィルター、帯域フィルター及び中性フィルターを含むけれども、これらに限定はされない。計算装置(103)及び記憶装置(104)は、動的生物学的システムを特徴づけるために、ここに記載されているように更に変更されて上記のように構成され操作される。
動的生物学的システムを特徴づけること
本発明の一定の実施態様では、動的システムは動的生物学的システムであって良い。本書で言及される“動的生物学的システム”は、1つ以上の生物学的ユニットを含む。本書に記載されている“生物学的ユニット”は、生物から得られ、或いは生物中に見出すことのできるエンティティを指す。本書に記載されている“生物”は、任意の生きている種を指し、動物、植物、及びバクテリア或いはその他の、原生生物及びウィルスを含む微視的生物を指す。生物学的ユニットは、生きていても死んでいても良いが、通常は生きている。生物学的ユニットの例は、細胞、組織、器官、単細胞生物、及び多細胞生物を含む。これらのうちのいずれかの断片も含まれるが、それは、例えば膜、核分画又はサイトゾル画分などの細胞の断片、及び器官、組織或いは生物の断片又は部分を含む。例えば、本書に記載されているような細胞下の物体も含まれる。他の例は、生物学的ポリマー(例えば、ペプチド、ポリペプチド及び/又は核酸など)、炭水化物、脂質及びイオンを含む。生物学的ユニットは、標識付けされても良く、標識付けされなくても良い。例えば、標識は、例えば、蛍光放射体、発光体、或いは放射線放射体(例えばアルファ線放射体、ベータ線放射体或いはガンマ線放射体)を含んでも良い。動的生物学的システムは、同じ又は異なる生物学的ユニットの別々に選択された組み合わせであって良い。生物学的ユニット同士は、遺伝子的に、遺伝子外的に又は表現型的に異なっても良く、また発生段階に関して異なっても良い。生物学的ユニットは、操作、例えば処理、例えば試験化合物にさらされた結果として異なっても良い。非限定的な例を挙げると、動的生物学的システムは、2つ以上の異なる細胞タイプ、2つ以上の異なる生物、又はこれらの組み合わせを含むマルチ・ウェル・プレート上の単一のウェルであって良い。生物学的ユニットは、生物学的な、生きていない又は非生物的材料に組み込まれても良く、例えば、細胞表面蛋白質をリポソームに組み込むことができる。例えば、動的生物学的システムは、ニューロン及び神経膠、C.エレガンス(C.elegans)及びバクテリア、又はマクロファージ及びバクテリアを含んで良い。
センサー又はセンサーの組み合わせによって検出することのできる任意の特徴を本書では“属性”と称する。例えば、属性は、画像中の1つ以上のピクセルの強度における変化であると確認することのできる生物学的ユニットの任意の特徴であって良い。属性の1つの実例は、細胞が住んでいるディッシュを透過した光の強度と細胞を透過した光の強度との差違として検出できる形質膜の位置である。生物学的ユニットの属性を、操作又は処理の追加又は除去に応答して監視することができる。操作は、温度、粘度、剪断応力、細胞密度、酸素圧、二酸化炭素圧、接触する媒体又は表面の組成、電荷を変更すること、或いは、同じ又は異なるタイプの1つ以上の他の生物学的ユニットを追加することを含んでいて良い。この様な操作は、当該技術分野で広く知られている方法で達成できる。処理は、遺伝子発現又は蛋白質発現の変調(例えば、絶対的に、空間的に、又は時間的に増加又は減少させること)、及び/又は、例えば小分子、核酸、蛋白質、抗体、糖、脂質又は複雑な天然又は合成化合物などの試験化合物を加え又は除去することを含むことができる。試験化合物は、分かっている又は未知の生物学的機能を有する化合物であって良い。上記の操作又は処理の効果を特徴づけるために、また、それらの効果をもたらすか或いはそれらの効果に寄与する遺伝子又は蛋白質を特定するために、生物学的ユニットの属性を使用することができる。生物学的ユニットの属性を使って、前記生物学的ユニットと第2の生物学的ユニット又はその他のエンティティ(例えば、表面補綴装置、外科インプラント、又は治療装置など)との間の相互作用を特徴づけることもできる。
一定の実施態様では、細胞下物体の運動を、例示された方法及び/又は装置を用いて、評価することができる。この様にして分析できる細胞下物体の実例は、蛋白質、核酸、脂質、炭水化物、イオン、及び/又は上記のもののうちのいずれかを含む多成分複合体を含むけれども、これらに限定はされない。適切な細胞下物体の別の実例は、例えばミトコンドリア、ゴルジ装置、小胞体、葉緑体、エンドシトーシス小胞、エクソシトーシス小胞、空胞、リソソーム、核などの細胞器官を含む。細胞下物体の運動は、細胞の1つのコンパートメントから他のコンパートメントへの運動であって良く、或いは単一のコンパートメントの中に含まれていても良い。例えば、形質膜に局限された蛋白質は細胞質又は核へ移動することが出来、或いは形質膜の1つの領域から他の領域への単純な移動であっても良い。
一定の実施態様では、細胞分裂を特徴づけるために、本書に記載されている方法及び/又は装置を使って分裂する細胞内のDNAの状態を監視することができる。本書に記載されている細胞分裂の分析に使用するのに適している細胞は、上で記載された実験条件がそうであるように、この実施態様のためにも適している。例えばHoechst33342又はSYTO染料(モリキュラープローブ(Molecular Probeから入手できる)などの蛍光性生物染料によって、又は偏光顕微鏡法及びその他の手段を通して、DNAを視覚化することができる。蛍光を介してDNAを視覚化する場合、例示された装置は、適切な励起フィルター及び放射フィルターを含むように改造されなければならない。細胞がMフェーズに入るとき、DNAは凝縮し、核蛍光の、さもなければ散在しているパターンは、初めに細点構造の中に局限され、次に識別可能な染色体の中に局限される。運動ベクトルの共同移動に基づいて染色体を識別して追跡することができる。染色体は、そのとき、細胞の中心で整列する。一度、細胞の中心で、染色体は視覚的に重なり合ってDNAの1つの大きな塊に見える。一旦染色体が分離し始めると、運動ベクトルを用いて再び染色体を検出することができ、染色体が細胞の2つの極の方へ移動して2つの娘細胞の中に別れて行く間、染色体を追跡することができる。出現のパターン、1つの構造の中への合体及び個々の構造への分離に基づいて、有糸分裂全体にわたってのDNAの状態を査定し使用して、この複雑なプロセスへの操作及び処理の影響を評価することができる。実質的に有糸分裂について上で記載したように、この情報を用いることができる。
スクリーニングは、コンピュータベースのシミュレーション又はモデル(合理的ドラッグデザインとしても知られている)において複数の操作、処理又は試験化合物を、属性又は他の何らかの興味あるパラメータを変更する能力について評価するプロセスであり、前記の興味あるパラメータは、例えば、2つの類似する又は異なる生物学的ユニットの間の又は生物学的ユニットと処理又は試験化合物との間の親和性、2つの類似する又は異なる生物学的ユニットの間の又は生物学的ユニットと処理又は試験化合物の間の相互作用などである。例えば、操作及び処理の大きな集合から、特定の細胞属性を変更することのできる操作又は処理を特定するために、生物学的ユニットの属性を主要なスクリーンとして用いることができる。この様なスクリーンは、操作及び処理の数が1,000より大きければ、“ハイ・スループット”であると言われる。例えば、前記の操作又は処理が他の手段(前のスクリーンを含むけれども、これには限定されない)によって特定された後に更にその作用を査定するために、生物学的ユニットの属性を副次的スクリーンとして使用することもできる。更に、処理又は一連の処理の特性間の関係を査定するために生物学的ユニットの属性を使うことができ、これは構造・作用関係を決定することとしても知られるプロセスである。この場合、同様の特性を共有する2つ以上の処理を本発明の方法を用いて評価することができ、それはその同様の特性と、評価される属性に対する処理の効果との間の関係であって良い。上記方法のいずれかで特定される処理を、例えば、特定された最初の処理からより多くの方法のうちの1つで変更されている新しい処理などの一連の次世代処理を導出することにより更に評価することができ、これを類似の又は異なる方法又は装置を用いて評価することができる。
生物学的ユニットの属性のモジュレーターとして特定される操作又は処理は、例えば、形質膜、細胞質、ミトコンドリア、ゴルジ装置、小胞体、葉緑体、リソソーム、核又はその他の細胞器官などの細胞外の又は細胞内のスペースで作用することができる。これらの検出事項に基づいて、研究されている属性の変化により特徴づけられる病気に抗する作用を有する治療法として、又は前記病気についての診断試験として、操作又は処理を発達させることができる。
所望の効果を有する操作又は処理が特定された後、それらの操作又は処理の作用のメカニズムを探求することができる。試験化合物又は試験化合物の組み合わせの作用のメカニズムを探究する1つの方法は、それと相互作用するポリペプチド、核酸、炭水化物、脂質又はイオンを特定することである。この相互作用を、当該技術分野で知られている親和性ベースの精製を用いて特定することができる。処理が蛍光体又は放射体で標識付けされて発現ライブラリーを調べるために使われる“ドラッグウェスタン(drug western)”として一般に知られている手法を用いて、この相互作用を査定することもできる。或いは、ファージ又は細胞表示方法を用いてこの相互作用を査定しても良く、その場合、蛋白質又はポリペプチドのライブラリーを表わすファージ又はその他の細胞の相互作用は、研究されている処理と相互作用する蛋白質を特定するために使用される。
動的生物学的システム及び生物学的ユニットの属性をもたらす操作及び処理のためのスクリーニングに加えて、本書に記載されている方法及び装置は、遺伝子の活動を評価するために使われても良い。DNA(例えば、目的突然変異誘発、又はランダム突然変異誘発による)、mRNA(例えば、RNAi、アンチセンスRNA、又はリボザイムを用いることによる)又は蛋白質(例えば、試験化合物、抗体、又はその他の、研究されている遺伝子の蛋白質産物と相互作用する蛋白質を用いることによる)のレベルで遺伝子活動を変化させることができる。生物学的ユニットを操作することによって遺伝子活動を変化させることもできる。更に、多数の遺伝子の活動を同時に変化させることができる。制御細胞と、遺伝子活動が変更されている細胞との属性を比較して、研究されている遺伝子の活動を評価することができる。
これらの分析方法を用いて評価することのできる細胞の属性の実例は、細胞形態及び形態変化(例えば、収縮、伸展、分化、食作用、飲作用、エクソサイトーシス、分極)、細胞分裂(例えば、ミティソス、成熟分裂)、細胞運動性、細胞死(例えば、アポプトシス又は壊死)、及び細胞粘着を含むが、これらに限定はされない。これらの分析方法を用いて評価することのできる細胞下属性の実例は、蛋白質、核酸、脂質、炭水化物、イオン、上記のもののうちのいずれかを含む多成分複合体の発現、局在、又は移動を含むが、これらに限定はされない。細胞下属性の別の実例は、例えばミトコンドリア、ゴルジ装置、小胞体、葉緑体、エンドシトーシス小胞、エクソシトーシス小胞、空胞、リソソーム、核などの細胞器官の局在及び数を含む。これらの分析方法を用いて評価することのできる生物の属性の実例は、生物運動性、生物形態及び形態変化、生物生殖、生物発達、及び生物の中での個々の組織又は器官の運動又は形状変化を含むが、これらに限定はされない。属性は、上記センサーのうちのいずれか一つ又は組み合わせでの検査を通して監視することができ、可視光又は蛍光の検出を介して見ることのできる属性に限定されない。
本書に記載されている方法及び装置を用いて分析できる範囲内の属性が図10に詳しく記載されている。生物学的ユニットの属性の分析の特定の実施態様を以下で論じる。
一定の実施態様では、本書に記載されている方法及び/又は装置を用いて細胞形態を特徴づけることができる。生存能力、有糸分裂、移動、粘着、食作用、分化及び死を含むがこれらに限定はされない多くの一般的細胞特性のマーカーとして形態学は重要である。形態学的変化は、特定の細胞事象の特徴でもあるが、この細胞事象は、平滑筋及び心筋の収縮、血小板活性化、神経突起伸長、軸索成長コーン・ガイダンス(axon growth cone guidance)、腫瘍化、白血球移動、白血球食作用、及びガン細胞移動を含むがこれらに限定はされない。形態及び形態変化を分析するための自動化された手段は、薬物発見及び基礎化学研究に広く応用されている。
形態変化の、限定を意図していない1例は、細胞伸展、例えば血小板伸展である。血小板は、血餅形成に関与する細胞成分の1つであり、形態変化は血小板活性化プロセスの重要なマーカーであると広く考えられている。伸展プロセス中、血小板は丸みを帯びた形態から平らな形態へ移行する。例えば顕微鏡などの適切な拡大装置を有する例示されている実施態様を用いて伸展プロセス時の血小板を画像化することができる。幾つかの良く確立されている方法を用いて哺乳動物の血小板を全血から精製することができる。単離された血小板は適当な容器に入れられて、表面に粘着できるようにされる。血小板が粘着して伸展するか否か判定するときに該容器の表面特性、即ち材料自体及びコーティング又は処理、が重要であるということは広く知られている。血小板を更に活性化し、粘着及び伸展を促進するために、ADP、フィブリン及びその他を含む物質を血小板混合物に加えることができることも広く知られている。従って、本発明は、細胞を含む容器の表面特性の操作を行うこと、及び/又はADP、フィブリン等を含むがこれらに限定はされない試験化合物を加えることの、細胞伸展に対する効果を評価する方法を包含する。
血小板は他の細胞と比べて極端に小さいので、血小板の画像を分析するのは困難である。伸展前に、丸い血小板は概して1ミクロンから5ミクロンまでの間の直径を有する。伸展すると、血小板は概して3ミクロンから10ミクロンまでの直径と1ミクロンから3ミクロンまでの高さとを有する。これらの寸法の結果として、位相コントラスト又は微分干渉コントラストなどの一般的に応用されている光学手法を用いて低コントラストの透過光像が得られる。その結果として、人間が充分に関与しないで在来の強度ベースのしきい値処理を用いて形態分析に基づいて伸展の詳しい分析を行うことは困難である。
一定の実施態様では、血小板伸展を分析し、これにより各血小板を別々に特定する必要を無くするために自己相似性を使用することができる。血小板を哺乳類の血液から精製し、公知の遠心分離法を用いて洗浄することができる。精製され、洗浄された血小板は、許容基板上に置かれ且つ/又は適切な活性剤で活性化される。許容基板は、処理されていないか又は蛋白質、薬物又は核酸で処理されているプラスチック及びガラスを含むが、これらに限定はされない。他の許容基板は、脈管内皮(例えば人の粘着性の臍静脈内皮細胞の単層でコーティングされた可塑性組織ペトリ皿表面)、又は無損傷の又は分離された血管の破壊された又は変化させられた脈管内皮などの生物学的表面を含む。活性剤は、フォン・ウィルブランド因子、コラーゲン、フィブリノーゲン、フィブリン、及び上記のいずれかの蛋白質分解断片、ADP、セロトニン、トロンボキサンA2を含むが、これらに限定はされない。剪断応力も血小板の活性剤である。このプロセス中、適切な拡大装置及びセンサーを用いて血小板を画像化することができ、画像は、分析のために計算装置が利用し得るようにされる。
一定の実施態様では、1つ以上の操作又は処理に応答して伸展し又は伸展しない血小板を描写した画像のシーケンスに対して、シーン全体について又は個々の血小板について自己相似性を計算するための上記計算アプローチを応用することができる。伸展プロセスによって形態が変化するので、伸展しつつある血小板は、伸展しない血小板より低い自己相似性を持つであろう。この形態学的情報は、伸展についての代用薬として使用することが可能であり、研究されている各々の操作又は処理の効果に関する情報を提供する。各フレームにおいて何処に血小板があるか、或いは1つ1つの血小板がどんな形態であるか具体的に判定せずに、伸展プロセスを分析するために自己相似性を用いることができる。
血小板伸展に加えて、形が変化する任意の細胞又は生物を分析するために自己相似性を用いることができ、該細胞又は生物は、収縮を生じるように刺激する条件(即ち、電気的刺激、アドレナリン作用刺激、及びその他の適切な物理的又は化学的刺激)のもとの骨格筋、心筋及び平滑筋を含むが、これらに限定はされない。一定の実施態様では、血小板活性化の病気を治療するために用いることのできる操作及び処理についてスクリーニングを行うために上記の細胞形状変化の分析を使用することができ、その病気は、深静脈血栓症、末梢動脈閉塞、心筋梗塞、塞栓性発作、肺動脈塞栓症、及び変容筋収縮の病気を含むがこれらに限定はされず、この変容筋収縮の病気は、高血圧症、心不全及び慢性骨格筋拘縮を含むが、これらに限定はされない。
別の実施態様では、本書に記載されている方法及び/又は装置を用いて細胞運動を分析することができる。細胞運動は、広範な正常及び病理的プロセスの中心であり、胚発育、炎症、腫瘍侵入及び創傷治癒を含むが、これらに限定はされない。細胞運動は、細胞毎に、また細胞のタイプ毎に非常に多様である。運動する細胞を特定して分析するために、現存する画像処理ツールは、実質的な人の介在を必要とするか又は蛍光性(これは画像分割に役立つ特性である)となるように遺伝子的に処理されている細胞系を必要とする。幾つもの病気に関して広範な治療アプリケーションを有する可能性のある細胞移動のモジュレーターを特定するべく多数の操作又は処理をスクリーニングするために、本書に記載されているような、細胞移動を分析するための自動化された装置が必要である。自己免疫疾患及び炎症性疾患は、細胞運動の変化に関連する病気の例である。前記病気の具体的な実例は、慢性関節リウマチ、全身性紅班性狼瘡、重症筋無力症、強直性脊椎炎、乾癬、乾癬性関節炎、喘息、糖尿病、粥状硬化症及び移植拒絶反応を含むが、これらに限定はされない。炎症及び自己免疫疾患に加えて、癌腫、肉腫、リンパ腫、白血病、及び奇形腫を含む、充実性腫瘍及び血液悪性腫瘍の両方の癌については、細胞運動が重要である。細胞運動は、ニューロン及び軸索成長コーン移動(axon growth cone migration)、花粉管成長、及び病原体運動についても重要である。
一定の実施態様では、本書に記載されている方法及び/又は装置を用いて白血球運動を特徴づけることができる。これは、主白血球(primary white blood cell)及び/又は不死化白血球系(immortalized white blood cell line)の運動性であって良い。主白血球は、リンパ球、単核細胞/マクロファージ、好中球、好酸球及び好塩基細胞を含んでいて良く、哺乳動物の血液から調製されて良い。不死化白血球系は、Jurkat、A20、AD10、Peer、L1.2、HL−60、PLB−985、THP−1、U−937、MonoMac6、K−562、AML14.3D10(これらは全てATCCから入手できる)、並びにリンパ球様系統及び骨髄様系統の正常な又は病的な細胞であると特徴づけられる他の細胞系を含んで良い。
一例では、白血球系HL−60をフラスコ、ディッシュ、マルチウェル・ディッシュ又は他の適切なペトリ皿内で成長させる。この白血球系は、DMSO又はレチノイン酸での処理を含む幾つもの、特徴が明らかにされている手段のうちの1つによって区別されるように誘導される。区別されると、該白血球系は細胞移動のアゴニストで刺激される。アゴニストは、全固体に均一に適用されても良く、或いはアゴニストの勾配を作るために点源から放出されても良い。細胞運動のアゴニストは、シトカイン、ケモカイン(chemokines)、炎症の他の産物、補体の成分、他の小分子、イオン及び脂質を含む。この実施態様では、細胞運動の好ましいアゴニストはカモカインである。カモカインの例は、IL−8、GCP−2、Gro alpha、Gro beta、Gro gamma、ENA−78、PBP、MIG、IP−10、I−TAC、SDF−1(PBSF)、BLC(BCA−1)、MIP−1alpha、MIP−1beta、RANTES、HCC−1、−2、−3及び−4、MCP−1、−2、−3及び−4、eotaxin−1、eotaxin−2、TARC、MDC、MIP−3alpha(LARC)、MIP−3beta(ELC)、6Ckine(LC)、I−309、TECK、lymphotactin、fractalkine(neurotactin)、TCA−4、Exodus−2、Exodus−3及びCKbeta−11を含むが、これらに限定はされない。アゴニスト刺激は、接触している表面への細胞粘着及び細胞移動を促進する。アゴニスト刺激後、細胞は1時間にわたって粘着することを許され、粘着性の無い細胞は洗い流される。白血球の画像は適切な拡大装置(109)を伴うセンサー(102)を用いて取得され(201)、取得された画像は、以下で説明するように、データ処理装置(103)を用いて分析される(203)。分析後、データ及びフレームは、データの報告(203)を可能にする適切な記憶装置(104)用いて格納される。
この実施態様では、分析(203)は、1つ以上のアプローチを含んでいても良い多成分プロセスである。シーケンス内の画像間の自己相似性が計算される。注意深い取得として上で説明したこの測定に基づいてカメラのフレーム率を動的に変化させることによって、重要な事象を捉えそこなうこと無く最小の数のフレームが取得されることを保証するために自己相似性を使用することができる。或いは、採用された特定の実験条件のもとでの細胞移動の特徴を確証するために細胞移動プロセスの全体的表示を得るための手段として(即ち運動推定量として)画像間の自己相似性を使用することもできる。或いは、興味ある事象の場所(方程式11−13)を示すビデオシーケンス中のランドマークとして代表的で分岐点的なフレームを特定するために自己相似性を使用することもできる。或いは、確定された焦点面から焦点が外れているフレームを特定するために自己相似性を使用することができる。この特定に基づいて、例えば人為的な焦点の合っていないフレームなどのフレームを選び出し、それ以上の分析からは取り除き、且つ/又は捨てることができる。
本書に記載されている手法を用いて、運動ベクトルを計算し、運動フィールドを作ることができる。運動ベクトルの共同移動に基づいて、細胞又はその他の画像シーケンス中の各物体の場所を決定することができる。全ての白血球の総合速度と各細胞の速度とを計算するために運動ベクトルを使用することができる。運動ベクトルに基づく細胞の場所の決定は、運動の中心を含むが運動の中心に限定はされない時間基準点の確定も可能にする。時間基準点を追跡することにより、全てのフレーム中の1つ1つの細胞について、速度、方向及びその他の空間的メトリックを計算することもできる。細胞運動のアゴニストが点源から放出される場合、その源の方への指向性運動が通常は予期される。非限定的な例を挙げると、物体の総合方向及び速度を、その物体と関連する運動ベクトルの和に基づいて計算することができる。更に、物体の運動を評価するために投射の中心の方向及び速度を使用することができる。
上記パラメータのうちの1つ以上を用いて細胞が特定され、その特性が明らかにされると、その細胞を、動いていない、方向性無しで動いている、方向性をもって動いている、分裂している、などのカテゴリーに割り当てることができる。非限定的な例を挙げると、動いていない細胞は、関連する時間ウィンドウについてその総合運動ベクトルの大きさがゼロである細胞であると定義され得る。方向性無しで動いている細胞は、関連する時間ウィンドウの間、その運動ベクトルの和がゼロであるか又はゼロに近い細胞であると定義され得る。方向性をもって動いている細胞は、関連する時間ウィンドウの間、その運動ベクトルの和がゼロでない細胞であると定義され得る。分裂している細胞は、関連する時間ウィンドウの間、1つの運動中心を有する1つの興味ある物体が別々の運動中心を有する2つの別々の興味ある物体に変形する細胞であると定義され得る。これらの分類を用いて、細胞運動又は細胞運動に対する操作又は処理の影響を更に特徴づけることができる。
各実験について格納されるフレームの数を更に減らすために、自己相似性、及び上記パラメータ、或いは他の適切なパラメータ又はパラメータの集合を使って移動する細胞の画像の格納を調整することもできる。例えば、任意の実験について格納されるフレームの割合を、1つの画像と、その実験で取得される画像のより大きなシーケンスとの相似性の程度に基づいて、動的に制御することができる。或いは、速度、方向、存続性、又はその他の、全てのフレームで測定される適切なパラメータの何らかの組み合わせに基づいて、格納されるフレームの割合を制御することができる。自己相似性又はその他のパラメータに基づいてフレームを格納すれば、格納されるフレームの数が減り、各実験に必要とされるメモリーの量が減る。このプロセスは、選択モジュール(211)により実行され、その結果として、添付されているデータがXMLデータ(212)に変換され、一連のユーザの好みに基づいてフレームが格納(214)のために符号化(213)される。
本書に記載されている方法でその運動を分析できる細胞の他の例は、上皮細胞、間葉細胞、神経系からの細胞、筋細胞、造血細胞、生殖細胞(例えば精子)、バクテリア及びその他の単細胞生物精子)、バクテリア及びその他の単細胞生物を含む。各々の場合に、その細胞タイプに特有の条件下で培養装置で細胞を成長させる。本書に記載されているように、例えば白血球について記載したように、細胞運動を分析することができる。全ての場合に、これらの形の特徴づけを用いて、各々の物質又は処理を特徴づけ、どの物質又は処理が治療又は診断に適する可能性を有するか判定する目的で、細胞移動に対する操作又は処理の影響を立証することができる。
他の実施態様では、本書に記載されている方法及び/又は装置を用いて細胞分裂(有糸分裂又は減数分裂)を分析することができる。細胞分裂は、全ての生きている細胞及び生物にとって複雑で非常に重要なプロセスである。細胞分裂サイクルは、一般に、4つの段階、即ちG1、S、G2及びM、から成ると考えられている。G1、S及びG2の間、殆どの細胞は、その細胞タイプの形態的特徴を保つ。Mの間、殆どの細胞は丸くなってほぼ球形の形態を取り、このとき、その球内に生じた2つの極の中に染色体を分離させ、その後、その球は、これら2つの極の間の平面の位置で割られる。
分裂する哺乳動物の細胞、及びその他の動物の細胞、イースト、バクテリア及び単細胞生物を含む分裂する細胞を、本書に記載された方法によって研究することができる。一定の実施態様では、例えば細胞系MCF−7、BCap37、MDA−MB−231、BT−549、Hs578T、HT−29、PC−3、DU−145、KB、HeLa、MES−SA、NIH−3T3、U−87、U251、A549−T12、A549−T24(全てATCCから入手できる)を含むがこれらに限定はされない癌細胞系などの、粘着性癌細胞系が研究される。本書に記載されている方法及び装置を用いて非粘着性細胞系を研究することもできるが、平らな形から丸い形への形態変化は生じない。別の方法で、本書において粘着性細胞について記載されているように非粘着性細胞を分析することができる。任意の期間内に観察される分裂する細胞の数を増やすために、チミジン遮断、及び/又は血清飢餓などの公知の方法を用いて細胞を同期化することができる。更に、発育因子、飢餓後の血清再投与、放射、或いはその他の公知手法を用いて、分裂するように細胞を誘導することもできる。
自己相似性は細胞分裂の始まり及び終わりのときに比較的に大きく変化するが、その理由は、これらが1形態から他の形態への加速的変化の時期であることである。前述したように、細胞分裂の始まりのときに細胞は平らな形態から球形の形態に変化し、終わりのときには、結果として生じた2つの球が再び平らな形態へ移行する。これらの、自己相似性が低下している劇的時期を、分裂する細胞の存在を特定して細胞が分裂に費やす時間の長さを測定するマーカーとして用いることができる。
別の実施態様では、各細胞について運動ベクトルのパターンを用いて、分裂する細胞を特定することができる。この方法では、各細胞についての運動ベクトルのパターンは、卵割面を特定するために用いられる。動かない球形細胞では、運動の中心を用いて細胞の中心を証明することができる。細胞分裂中、センサーの視軸にほぼ垂直な、細胞の中心と交差するか又は殆ど交差する平面に沿って細胞の形質膜が内方へ引っ張られる。その結果として、運動ベクトルの集団が、主として単一の軸に沿って求心的に向き、高度の対称性を示す。細胞が分裂してゆくとき、これらの求心的な向きを有する運動ベクトルは徐々に自分達の向きを再編成して、将来の各娘細胞の将来の中心に対応する2つの運動中心を特定する。この特徴に基づいて、細胞を分割中と特定することができる。
制御されないか或いは不適切に制御される細胞分裂が癌、又は過剰な細胞増殖を伴う他の病気、及び他の病気及び奇形の発達に寄与するということは一般に認識されている。その結果として、細胞分裂は莫大な量の研究及び薬剤開発の実験材料である。例えば本書に記載されているシステムなどのシステムを広範なアプリケーションに用いることができ、そのアプリケーションは、或る操作や処理が哺乳類の細胞において抗増殖剤及び抗癌剤としての役割を果たし得るか否か試験すること、及び癌細胞の診断評価を含むが、これらに限定はされない。
他の実施態様では、本書に記載されている方法及び/又は装置を用いて、アポプトシスとしても知られているプログラムされた細胞の死を分析することができる。アポプトシスは、生物の発育における細胞数の調整に関して、及び生物の寿命全体にわたって中心的であり、癌から自己免疫に及ぶ広範な病気に関係する。アポプトシスは、特徴がはっきりと明らかにされている細胞における形態変化の特徴的系列をもたらすが、それは、細胞運動の停止及び胸膜下肺胞性肺嚢胞の発病を含むけれども、これらに限定はされない。
一定の実施態様では、癌細胞系などの細胞系が研究され、該細胞系は、細胞分裂について本書に記載された粘着性細胞系の全てを含んでいて良く、また、HL−60、MOLT−4、及びTHP−1(全てATTCから入手できる)を含むけれどもこれに限定はされない、懸濁液中で成長する幾つかの細胞系、及びその他の、白血病或いはリンパ腫から得られる他の細胞系を包含して良い。細胞運動の停止は、本書に記載されている時間基準点の割り当てに基づいて判定される。例えば、運動の中心が10分間の期間内にいずれの次元でも動きが10%未満ならば細胞は運動を停止したと言うことができる。アポプトシス、又は他の細胞プロセスに関連する胸膜下肺胞性肺嚢胞は、他の面では動きの無い細胞の表面に運動ベクトルが集まることに基づいて検出される。胸膜下肺胞性肺嚢胞は、特徴的なサイズ及び時間コースを有する細胞の表面のミクロドメインが急速に変化するという結果をもたらす。例えば細胞の境界において運動中心の対応する変化を伴わずに10分以下の時間に渡って持続する運動ベクトルを3個以上含むドメインなどの、運動ベクトルの急速に変化するドメインの存在は、アポプトシスを示す。
本書に記載されているアポプトシスを評価する方法を用いて、アポプトシスを促進又は阻止する操作又は処理のためのスクリーニングを自動化することができる。例えば、癌細胞の化学療法により引き起こされたアポプトシス又は放射線により引き起こされたアポプトシスを促進するけれども正常な細胞については促進しない操作又は処理、又はT細胞或いはB細胞の特定の部分集合を選択的に殺す操作又は処理を特定するために、その様な実施態様を用いることができる。例えば、発作及び心筋梗塞において、虚血及び再灌流に応答してアポプトシスを阻止する操作又は処理を特定するためにこの実施態様を使用することもできる。更に、アポプトシスの頻発又は操作又は処理に応答するアポプトシスの頻発についての診断試験として、この方法を使用することができる。病気の診断、又はアポプトシスを引き起こす能力に基づく治療用作用物質の選択を行うためにこの情報を使用することができる。
他の実施態様では、本書に記載されている方法及び/又は装置は細胞粘着を分析するために使われる。細胞粘着は、基板及び細胞の両方に依存する動的プロセスであり、両方のレベルで高度に調整される。細胞粘着は、通常の発育及び生理、及び病理状態において重要であり、この病理状態は、腫瘍侵入及び転移、炎症、軸索ガイダンス(axon guidance)、粥状硬化症及び脈管形成を含むが、これらに限定はされない。細胞粘着は幾つかの方法で測定可能であり、その方法は、細胞を所定期間にわたってペトリ皿に置き、その後に粘着性の無い細胞を洗い流して細胞を傾斜面に置き、動かない又は転がる細胞の数を観察することを含むけれども、これらに限定されない。
他の実施態様では、一般にフローチャンバーと称される装置において液体中に細胞が浮遊することに基づいて細胞は表面上を通過させられる。細胞は、白血球、血小板及び癌細胞を含んで良いが、これらに限定はされない。いずれの場合にも、細胞のこれら3つのカテゴリーを代表する主細胞系及び不死化された細胞系の両方が、例示されている実施態様を使用する分析に適する。適切な不死化された細胞形の或る実例は、HL−60、THP−1、U937、及びK562(全てATCCから入手可能である)を含む。一般に、調査される細胞は粘着することのできる任意の細胞タイプであって良く、表面は、分析を受けるように選択された細胞タイプの粘着を支える任意の固体又は半固体であって良い。
1つの実例では、フィコール−ハイパック比重差遠心法を使用し、次に磁気ビーズ精製を行って人の一次単核細胞を全血から精製することができ、チャンバーの底で成長した人の臍静脈内皮細胞(HUVEC)から成るフローチャンバーの表面上に前記の人の一次単核細胞を通すことができる。粘着及び転がりを促進するために、E−セレクチン(E−selectin)、P−セレクチン(P−selectin)、ICAM−1、VCAM−1を含むがこれらに限定はされない特定の粘着性レセプターを表現するようにこれらの内皮細胞を処理することができる。細胞が内皮細胞表面上を通るとき、流れる細胞の一部は内皮細胞の表面に粘着し、転がる。例示されている発明のいろいろな特徴を用いて、転がる細胞を分析することができる。本書に記載されている有益なアプローチは、細胞を個別に追跡し、それらの運動を分析し、自己相似性に基づいてシーン全体を特徴づけることを含む。第1の実施態様では、運動ベクトルを用いて細胞の位置を特定し、時間基準点の割り当てに基づいて細胞を追跡することができる。この場合、細胞が予測可能に丸い形状を有するために、運動の中心はこの分析に特に良く適する。これらの時間基準点に基づいて、流れる細胞及び転がる細胞の両方について速度を計算することができ、転がる速度がより遅いことに基づいて転がる細胞の割合を判定することができる。更に、それらの転がりの速度と転がりの持続時間とを、それらの高速運動状態から低速運動状態への移行に基づいて計算することができる。
別の実施態様では、実験内での差違の期間を検出するために自己相似性を使用するシーンの全体的特徴づけが採用される。粘着する細胞が無ければ、フレームは、センサーの前を通過する流れる細胞の頻度により判定される一貫した態様で互いに関連する。この頻度がほぼ一定である間、自己相似性はほぼ一定に留まるはずである。細胞が表面に粘着して転がり始めると、それは自己相似性を低下させ、これを、その細胞自体の分析のための代用物として用いることができる。この様に、与えられた任意の細胞に特徴を特に割り当てること無く、自己相似性を運動推定量として用いることができ、従って転がりの効率的で頑丈な尺度として用いることができる。このアプローチは、各実験時に多数の細胞がセンサーの前を通らされるときに特に貴重である。
本書に記載されている、細胞粘着を分析するための方法は、細胞粘着を変化させる操作又は処理を発見するために応用できる方法である。その様な操作又は処理は広範な状態を処理又は阻止する上で有益であろうが、この広範な状態は、癌(腫瘍転移を阻止することによる)、炎症(炎症の場所に戻る白血球を阻止することによる)及び血栓症(血小板粘着及び転がりを変更することによる)を含むが、これらに限定はされない。例示されている実施態様は、細胞粘着が減少することを特徴とする状態についての診断試験としても用いられ得る実施態様であり、その状態は、フォン・ウィルブランド病、ベルナールスリエ症候群、グランツマン血小板無力症、白血球粘着欠陥I(Leukocyte Adhesion Deficiency I)及び白血球粘着欠陥II(Leukocyte Adhesion Deficiency II)を含む。
他の実施態様では、本書に記載されている方法及び/又は装置を用いて単細胞生物又は多細胞生物の運動を分析することができる。この生物を1つのリストから選択することができるが、このリストは、リステリア種、シゲラ種(Shigella species)、E.コリ(E.coli)、タマホコリカビ、C.エレガンス(C.elegans)、D.メラノガスター(D.melanogaster)、D.レリオ(D.rerio)及びその他の生物を含むが、これらに限定はされない。多細胞生物では、運動は、整合した挙動を生じさせるために該生物内での多様な細胞タイプの統合を必要とする複雑なプロセスである。この様なものとして運動を用いて、関与する細胞成分の各々の働きと、適切に機能するシステムへのそれらの成分の統合とを研究することができる。
実施態様において、C.エレガンス(以降、“虫”と称する)の運動を分析することができる。この実施態様では、この虫は、野生型の虫、又は、遺伝子発現或いは蛋白質発現における遺伝子突然変異又はその他の変更を宿している虫であって良い。虫の運動を分析するために、単純な総合運動中心方式を用いて、或いは対向する運動ベクトルに基づいて計算される中間軸方法を用いて、運道特性を計算することができる。この中間軸方法は、全ての対を成す対向する運動ベクトル間の中間点の集合によって虫の胴体を特定する。
使用される神経伝達物質系を含むがこれに限定はされない、運動に関わる可能性のある虫の各構成要素に影響を及ぼす操作又は処理を選別するために、本書に記載されている方法を使用することができる。例えば、人の機嫌及び臨床的意気消沈に関わっている、この複雑な系に対して選択された効果を有する物質を特定しようと努力してセロトニン神経伝達物質系により制御される移動性挙動を変化させる処理を特定するために、虫の運動を自動的に分析する方法が使用される。
他の実施態様では、本書に記載されている方法及び/又は装置を用いて生物の発育を評価することができる。生物の発育とは、生物の寿命の中の、成熟した又は成体の形を獲得しなければならないとき、即ち卵、子宮又はその他の生殖器の中にあるとき、又は生殖器の外にあるけれども成熟した又は成体の形を獲得する過程にあるときなどの期間である。例示されている方法及び/又は装置を用いてその発育を分析することのできる生物の実例は、C.エレガンス(C.elegans)、D.レリオ(D.rerio)、X.ラエビス(X.laevis)、D.メラノガスター(D.melanogaster)、鶏、飼い牛、M.マスキュラス(M.musculus)、及びホモサピエンスを含む。生物の発育は一般に数時間から数日又は数ヶ月の期間にわたって生じるので、それを人間が連続的に観察するのは容易ではない。その結果として、胚発育を自動的に分析するシステムは、試験管内受精から発生学の研究及び種々の操作及び処理の、生物発育中の事象に対する影響の評価に及び或る範囲の活動にとって価値がある。
一実施態様では、試験管内受精後の人の胎児が観察される。受精後、胎児は当該技術分野で広く知られている制御された媒質条件下に保たれ、気候調節されたチャンバー内に封入され(例えば、一定の温度、CO2、O2及び湿度)て顕微鏡及び例えばCCDカメラなどの適切なセンサーによって監視され得る。1つの胎児がペトリ皿の各ウェルに置かれる。それらの胎児は受精後三日間にわたって絶えず監視される。2つの方法のうちのいずれかを用いて(しかし、自己相似性の変化を用いることが好ましい)、有糸分裂について前述したように細胞分裂事象が検出される。三日にわたる監視の間に、各細胞分裂のタイミングが精密に記録される。胎児は3回の有糸分裂を経験して8細胞段階に到達すると期待される。有糸分裂のタイミング及び回数、及びその他の細胞対称性及び細胞形態などの特徴に基づいて、移植される胎児或いは更に胚盤胞段階に到達するであろう5日目まで保温静置される胎児を選ぶことができる。
別の実施態様では、本書に記載されている方法及び装置を使って生物の中の器官の挙動を査定することができる。心拍数、リズム及び収縮性の適切な協調が心臓血管系を有する生物の生存のために重要であり、これらのパラメータを変化させる欠陥は不整脈及び/又は心不全及び生存期間短縮という結果をもたらす。心臓を直接見ることができるようにするか又はその活動を血行センサー又は電気的センサーに基づいて監視することにより、心拍数、リズム及び収縮性を調べることができる。多くの発育中の生物、及び或る成体の生物においては、その胚又は生物が透明であるために個々の器官の運動又は活動を分析することが可能である。更に、その器官及び撮像物理療法に応じて造影剤を使い或いは使わずにX線又はその他のCT又はMRIなどの非侵襲的結像物理療法を用いて心臓及びその他の器官を目に見えるようにすることができる。従って、結像は、心臓の運動を可視化することができて自動的分析のために適切なシステムを利用できる任意の生物において心拍数及びリズムを調べる上で有効な手段である。
一実施態様では、D.レリオ(本書では“ゼブラフィッシュ”とも称される)の胚又は幼生の心拍数、リズム及び収縮性が、説明されている発明を用いて分析される。色素の少ない突然変異体(白化個体、ブラス、透明)は、その透明度が高いので、好ましい。この実施態様で使用されるゼブラフィッシュは、研究者が知っているか或いは知らない誘発突然変異又は自然突然変異を帯びていても良い。例えば受精後3日から6日目に胚及び幼生を調べることができる。動物を適切な容器に入れ、燐酸塩緩衝トリカイン(phosphate−bufferedtricaine)で麻酔をかけ且つ/又は低融点アガロース中で固定することができる。動物を多数の心臓周期にわたって結像させて分析する。心臓は、例えば、それに関連する運動ベクトルの周期性の程度などの周期性に基づいて特定される。心臓周期の速さ及びリズムが、連続する心拍動の間のその自己相似性の周期性を用いて特定されて分析される。心臓周期のうちの心拡張期及び心収縮期と称される期間に得られた例えば長軸及び短軸などの幾何学的測定値に基づいてそのサイズを計算することができる。これらの寸法に基づいて、収縮性を査定することができる。
系統的突然変異誘発スクリーン又は心臓血管機能を変化させる操作又は処理のためのスクリーンの一部であるか又はこれらのスクリーンにより作られたゼブラフィッシュを分析するために、本書に記載されている方法及び装置を使用することができる。より一般的には、適切なセンサーを用いて視覚化又は取得して空間時間信号に変換することのできる任意の器官又は組織のリズミカルな収縮を分析するために、この実施態様を使用することができる。滑らかな心筋又は骨格筋の働きを変化させることのできる能力を持っていて、その能力に基づいて発見された操作又は処理は、変更された筋収縮をもたらすか或いは変更された筋収縮から生じる内科の病気又は状態のための治療法になる可能性があり、その病気又は状態は高血圧症、心不全、炎症性腸病、過敏腸症候群、骨格筋コントラクチュア、分娩時の子宮収縮、及び異常活発膀胱症候群(hyperactive bladder syndrome)を含むが、これらに限定はされない。
他の実施態様では、本書に記載されている方法及び/又は装置を用いて生物学的ユニットと表面との相互作用を評価することができる。生物学的ユニットと表面との相互作用は、細胞と他の細胞、組織及び器官(例えば骨又は移植された組織及び器官)及び補綴物及び移植片などの人工的表面との相互作用などの多くの生理学的プロセスを理解する上で主要な複雑で非常に重要なプロセスである。例えば、血小板はガラス、プラスチック、或いはその他の製造された表面に粘着するが、この相互作用を、血小板と内皮又は凝塊との相互作用についての代用物として使用することができる。生物学的ユニット及び表面の相互作用の他の実例は、細胞外間充織と相互作用する繊維芽細胞、転移過程において内皮細胞に粘着する癌細胞、及び免疫反応時のリンパ球シナプシスと抗原放出細胞との相互作用を含むが、これらに限定はされない。生物学的ユニットと製造された表面との相互作用の他の実例は、人工的足場に粘着する腎臓細胞、整形外科移植組織、人工心臓弁及び細動除去器などの医療器具に粘着する繊維芽細胞を含む。
一定の実施態様では、生物学的ユニットと相互作用する表面は一様である。一様な表面の実例は、スチール、チタン、アルミニウム、セラミック、ガラス及び石英などの無機物質と、プラスチック及び繊維ガラスなどの有機物質とを含む。他の実施態様では総表面粗さに関して、又は機械的エッチング、プラズマエッチング、或いはリソグラフィーを介して工学的に作られた変化性に関して、表面は可変的である。更に他の実施態様では、表面は細穴、開口、凹面、凸面、滑らかな領域及び粗い領域から成る。この様な表面の実例は、微細機械加工された結晶質シリコン、ナノチューブ及びパターン化されたポリマーを含む。更に他の実施態様では、表面変化性は組成の変化を含む。組成変化の実例は、炭素繊維とエポキシとから作られた複合“サンドイッチ”に基づく可変性を含む。更に別実施態様では、表面可変性は電荷の変化を含む。帯電表面の実例は、インピーダンス電極素子の2次元アレイ、或いは静電容量電極素子の2次元アレイを含む。更に他の実施態様では、表面可変性は、一様な濃度又は勾配のある処理(例えば試験化合物)の存在又は欠如を含んで良い。試験化合物の実例は、シトカインなどのアゴニスト、ケモカイン(chemokines)、炎症の他の産物、コンプリメント(compliment)の成分、小分子、イオン及び脂質を含む。
1つ以上の生物学的ユニットと1つ以上の表面との相互作用は、時間に関連する相互作用の画像を取得するために拡大装置と適切なセンサーとを用いて評価することができる。自己相似性などの“全体的特徴づけ”へのアプローチを用いて画像を特徴づけることができる。画像中の物体を運動ベクトル共同移動によって特定し、その後に、前述したように各物体の粘着、形態変化、運動、細胞分裂、或いは細胞の死の特徴づけによって画像を特徴づけることもできる。
関連する実施態様では、生物学的ユニットは1つ以上の表面と相互作用している間に1つ以上の処理にさらされ、その後、これらの生物学的ユニットは構造と相互作用する性質について評価される。この様なプロセスの実例は、コラーゲンでコーティングされているガラス表面と相互作用している血小板をモノクローナル抗体にさらすことである。生物学的ユニットと表面との相互作用に対する処理の効果の査定は、拡大装置と、時間の経過と関連する相互作用の画像を取得する適切なセンサーとを用いて実行される。自己相似性などの“全体的特徴づけ”へのアプローチを用いて画像を特徴づけることができる。画像中の動いている物体を運動ベクトル共同移動によって特定し、その後に、前述したように各物体の粘着、形態変化、運動、細胞分裂、或いは細胞の死の特徴づけによって画像を特徴づけることもできる。
他の実施態様では、補綴装置などの構造に浸潤する1つ以上の生物学的ユニットの性質を評価するために、本書に記載されている方法及び/又は装置を用いることができる。その様な補綴装置の実例は、入れ歯、人工移植顎骨、義肢及び義眼、豚及び人の心臓弁、乳房切除移植組織、移植蝸牛刺激装置、人工関節などの整形外科ハードウェアを含むけれども、これらに限定はされない。この様な構造物は、1つ以上の物質から製造でき、その物質はステンレススチール、チタン、セラミック及び合成高分子を含むけれども、これらに限定はされない。生物学的ユニットの補綴装置への浸潤は、拡大装置と、時間の経過と関連する相互作用の画像を取得する適切なセンサーとを用いて実行される。自己相似性などの“全体的特徴づけ”へのアプローチを用いて画像を特徴づけることができる。画像中の動いている物体を運動ベクトル共同移動によって特定し、その後に、前述したように各物体の粘着、形態変化、運動、細胞分裂、或いは細胞の死の特徴づけによって画像を特徴づけることもできる。
関連する実施態様では、生物学的ユニットは補綴装置と相互作用している間に1つ以上の処理にさらされ、これらの生物学的ユニットはその後に該構造と相互作用する性質について評価される。この様なプロセスの実例は、白血球が移植の場所での炎症によって通常作られるケモカインに反応して豚心臓弁に浸潤するプロセスである。生物学的ユニットの補綴装置への浸潤に対する処理の効果の査定は、拡大装置と、時間の経過と関連する相互作用の画像を取得する適切なセンサーとを用いて実行される。自己相似性などの“全体的特徴づけ”へのアプローチを用いて画像を特徴づけることができる。画像中の動いている物体を運動ベクトル共同移動によって特定し、その後に、前述したように各物体の粘着、形態変化、運動、細胞分裂、或いは細胞の死の特徴づけによって画像を特徴づけることもできる。
データベース
上記実施態様において記載された実験からの画像及び数値データをデータベースに又は複数のデータベースに格納することができ、以降はこの両方を一まとめにして“データベース”と称する。数値データは、固有値、自己相似性、位置情報、速度、方向、強度、個数、サイズを含むけれども、これらに限定はされない。画像は、画像は、動的生物学的システムの分析から得られる全ての画像を含んでいても良く、或いは、それらの画像の、何らかの所定ルールを用いて選択された部分集合又は注意深い取得及び格納に基づく部分集合を含んでいて良い。非限定的な実例を挙げると、例えば一次、二次又は構造・活動関係スクリーンなどのスクリーンから、及び遺伝子機能を査定するように計画された実験から得られた画像及び数値データを1つ以上のデータベースに入力することができる。データベースは、例えば各細胞の状態に関する情報などの、実験中に作られたメタデータを含んでいても良い。更に、データベースは、例えば実験条件、考察される操作又は処理などの注釈、及び、実験の構成要素に関する刊行されている文献からの、手操作で又は自動化された方法を用いて入力された情報を含むことができる。情報の目録を作ったり、或いは、例えば、単に細胞運動だけを生じさせるより望ましいか或いは望ましくないと考えられるときにどの操作及び処理が細胞分裂及び細胞運動を引き起こすか特定するために複数の異なるスクリーン又は実験状態における各操作又は処理の挙動に基づいて該操作又は処理の更なる理解を提供するために、その様なデータベースに含まれる情報を使用することができる。その様なデータベースに含まれる情報を用いて、公知ターゲットの遺伝子的又は化学的な変更から得られた画像又は数値データを、特性が明らかにされていない操作又は処理のスクリーンから得られた結果と突き合わせることもできる。この様にして、その様なデータベースを用いて、公知ターゲットの操作から得られた画像又は数値データと共有される属性に基づいて操作又は処理の未知のターゲットを特定することができる。
データベースは、本書に記載されているレコードの各々について種々のデータを格納することのできる任意の種類の記憶システムであって良い。好ましい実施態様では、データベースは複数のディジタル的に符号化されたデータレコードを有するコンピュータ媒体である。データレコードは、例えばリレーショナル・データベース(例えば、オラクル或いはサイベースデータベース(Sybase database)環境のSQLデータベース)などのデータベースの一部分であるテーブルなどのテーブルとして構成され得るものである。
本書で使用される“機械読み出し可能な媒体”は、例えばディジタルコンピュータ又はアナログコンピュータなどの機械によって直接に読んだりアクセスしたりできる任意の媒体を指す。コンピュータの非限定的な実例は、デスクトップPC、ラップトップ、メインフレーム、サーバー(例えば、ウェブサーバー、ネットワークサーバー、又はサーバーファーム)、手持ち式ディジタルアシスタント、ページャー、移動電話などを含む。コンピュータは、スタンドアローンであっても良く、或いは、例えばローカルエリアネットワーク(VPN又はイントラネットなど)、広域ネットワーク(例えばエクストラネットやインターネットなど)、又は電話ネットワーク(例えば、無線、DSL、又はISDNネットワーク)などの通信ネットワークに接続されても良い。機械読み出し可能な媒体は、フロッピー(登録商標)ディスク、ハードディスク記憶媒体、及び磁気テープなどの磁気記憶媒体;CD−ROMなどの光学式記憶媒体;RAM、ROM、EPROM、EEPROM、フラッシュメモリー等の電気的記憶媒体;及びこれらのカテゴリーの磁気/光学式記憶媒体などのハイブリッドを含むが、これらに限定はされない。
本書に記載されているデータが記録されている機械読み出し可能な媒体を作るために、当業者は種々のデータ記憶構造物を利用することができる。データ記憶構造物は、一般に、格納されている情報にアクセスするために選択された手段に基づいて選択される。更に、本発明の情報をコンピュータ読み出し可能な媒体に格納するために種々のデータプロセッサ・プログラム及びフォーマットを使用することができる。
本発明は、その詳細な説明と関連して記述されているけれども、前の記述は説明を目的としているのであって、本発明の範囲を限定することを目的としてはおらず、本発明の範囲が添付されている請求項により定められるということが理解されなければならない。他の側面、利点、及び変更が次の請求項の範囲内にある。
図1は、該装置の実施態様のブロック図である。 図2Aは、該方法の実施態様の高レベル・ブロック図である。 図2Bは、該方法の実施態様の詳細ブロック図である。 図3は、分析モジュールの実施態様の詳細ブロック図である。 図4Aは、注意深い捕獲初期化のブロック図である。 図4Bは、自己相似性計算の方法のブロック図である。 図5は、自己相似性マトリックス及びエントロピー・インデックスの図である。 図6は、運動推定のための重なり合うタイルの使用の図である。 図7は、グローバル運動推定の方法のブロック図である。 図8は、自己相似性を推定する方法のブロック図である。 図9は、自己相似性を推定する方法の略ブロック図である。 図10は、細胞の属性と治療領域との重なり合いの図である。

Claims (12)

  1. コンピュータシステムを用いて動的システムを評価する方法であって、該方法は、
    a. センサが、該動的システムを2次元以上で表わす複数の画像を取得することと、
    b. データ処理デバイスが、教師なし学習アルゴリズムを用いて、代表的画像集合のうちの画像間の自己類似性を判定することと、
    c. 該データ処理デバイスが、該画像集合を自己類似性の統計的関数として特徴づけること
    を含み、
    該複数の画像は、
    a1.該センサが、第1の取得パラメータ化において画像を取得することと、
    a2.該データ処理デバイスが、選択された画像とその他の画像のうちの少なくとも1つとの間の類似性を判定することと、
    a3.該データ処理デバイスが、自己類似性の統計的関数として該画像を特徴づけることと、
    a4.該データ処理デバイスが、該画像の自己類似性の関数として該取得パラメータ化を動的に調整することと
    によって取得され、これにより該動的システムを評価する、方法。
  2. 該次元は、時間、空間、周波数スペクトル、温度、該システムの属性の存在又は欠如のうちのいずれかを含む、請求項1に記載の方法。
  3. 該判定するステップは、該データ処理デバイスが、該複数の画像の全ての間の自己類似性を判定することを含み、
    該特徴づけるステップは、該データ処理デバイスが、該複数の画像に関して判定された自己類似性の統計的関数として該動的システムを特徴づけることを含む、請求項1に記載の方法。
  4. コンピュータシステムを用いて動的システムを評価する方法であって、
    a. センサが、該動的システムを2次元以上で表す複数の画像を取得することと、
    b. データ処理デバイスが、教師なし学習アルゴリズムを用いて、代表的画像集合のうちの画像間の自己類似性を判定することであって、自己類似性を判定することは、短期時間類似性および長期時間類似性を評価することを含む、ことと、
    c. 該データ処理デバイスが、該画像集合を自己類似性の統計的関数として特徴づけることと
    を含み、これにより該動的システムを評価し、
    該複数の画像は、
    a1.該センサが、第1の取得パラメータ化において画像を取得することと、
    a2.該データ処理デバイスが、選択された画像とその他の画像のうちの少なくとも1つとの間の類似性を判定することと、
    a3.該データ処理デバイスが、自己類似性の統計的関数として該画像を特徴づけることと、
    a4.該データ処理デバイスが、該画像の自己類似性の関数として該取得パラメータ化を動的に調整することと
    によって取得される、方法。
  5. 該データ処理デバイスが、該長期時間類似性と該短期時間類似性とを組み合わせることにより、分析の全持続時間を表す自己類似性マトリックスを確立することをさらに含む、請求項に記載の方法。
  6. 該データ処理デバイスが、該自己類似性マトリックスを処理することにより、空間時間信号をモデリングすることをさらに含む、請求項に記載の方法。
  7. 該データ処理デバイスが、フレームバッファに画像をロードし、該短期時間類似性を評価するために、該ロードされ画像を用いることをさらに含む、請求項に記載の方法。
  8. 該データ処理デバイスが、該長期時間類似性を評価するために、該ロードされた画像を用いることをさらに含む、請求項に記載の方法。
  9. 該データ処理デバイスが、該マトリックスの対称性を分析することによって、該自己類似性マトリックスを評価することをさらに含む、請求項に記載の方法。
  10. 該データ処理デバイスが、該自己類似性マトリックスを分析することにより、信号を表すことをさらに含む、請求項に記載の方法。
  11. 該画像集合を特徴づけることは、該データ処理デバイスが、該自己類似性マトリックスに対してマトリックス演算を適用することにより、該動的システムを特徴づけることを含む、請求項に記載の方法。
  12. 該データ処理デバイスが、該特徴づけられ画像集合と基準値とを比較することをさらに含む、請求項に記載の方法。
JP2003575627A 2002-02-13 2003-02-13 空間時間信号の取得、圧縮、及び特徴づけのための方法及び装置 Expired - Fee Related JP4287287B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US35631702P 2002-02-13 2002-02-13
PCT/US2003/004667 WO2003077552A1 (en) 2002-02-13 2003-02-13 Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals

Publications (2)

Publication Number Publication Date
JP2005521126A JP2005521126A (ja) 2005-07-14
JP4287287B2 true JP4287287B2 (ja) 2009-07-01

Family

ID=27804993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003575627A Expired - Fee Related JP4287287B2 (ja) 2002-02-13 2003-02-13 空間時間信号の取得、圧縮、及び特徴づけのための方法及び装置

Country Status (6)

Country Link
US (2) US7672369B2 (ja)
EP (1) EP1486067B1 (ja)
JP (1) JP4287287B2 (ja)
AU (2) AU2003211104B2 (ja)
CA (1) CA2476072A1 (ja)
WO (1) WO2003077552A1 (ja)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158610B2 (en) * 2003-09-05 2007-01-02 Varian Medical Systems Technologies, Inc. Systems and methods for processing x-ray images
US6673554B1 (en) * 1999-06-14 2004-01-06 Trellie Bioinformatics, Inc. Protein localization assays for toxicity and antidotes thereto
US7672369B2 (en) 2002-02-13 2010-03-02 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
WO2003102543A2 (en) * 2002-05-31 2003-12-11 Waters Investments Limited A method of using data binning in the analysis of chromatograhpy/spectrometry data
JP3867627B2 (ja) * 2002-06-26 2007-01-10 ソニー株式会社 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
US7620444B2 (en) 2002-10-05 2009-11-17 General Electric Company Systems and methods for improving usability of images for medical applications
US7375731B2 (en) * 2002-11-01 2008-05-20 Mitsubishi Electric Research Laboratories, Inc. Video mining using unsupervised clustering of video content
JP4800032B2 (ja) * 2002-12-23 2011-10-26 ユニセンス・レスピロメトリー・アクティーゼルスカブ 実質的に球形の代謝粒子の個々の代謝速度の非−侵入的測定のためのデバイスおよび方法
DE10315592B4 (de) * 2003-04-05 2009-01-02 Leica Microsystems Cms Gmbh Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
US20050025381A1 (en) * 2003-08-01 2005-02-03 Munenori Oizumi Image filter method
US7352373B2 (en) * 2003-09-30 2008-04-01 Sharp Laboratories Of America, Inc. Systems and methods for multi-dimensional dither structure creation and application
US7805002B2 (en) * 2003-11-07 2010-09-28 Axonx Fike Corporation Smoke detection method and apparatus
GB0403611D0 (en) * 2004-02-18 2004-03-24 Univ Glasgow Analysis of cell morphology and motility
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
US7907769B2 (en) 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
US8339447B2 (en) * 2004-10-21 2012-12-25 Truevision Systems, Inc. Stereoscopic electronic microscope workstation
US7684643B2 (en) * 2004-10-26 2010-03-23 Siemens Medical Solutions Usa, Inc. Mutual information regularized Bayesian framework for multiple image restoration
TWI256232B (en) * 2004-12-31 2006-06-01 Chi Mei Comm Systems Inc Mobile communication device capable of changing man-machine interface
US8000768B2 (en) * 2005-01-10 2011-08-16 Vassol Inc. Method and system for displaying blood flow
ATE463733T1 (de) 2005-01-17 2010-04-15 Biophos Ag Verfahren und vorrichtung zur messung dynamischer partikelparameter
DE102005024867C5 (de) * 2005-05-31 2009-08-27 Leica Microsystems Cms Gmbh Mikroskopsystem und Bildgebungsverfahren
JP4693522B2 (ja) * 2005-06-29 2011-06-01 キヤノン株式会社 撮像装置
JP2007011977A (ja) * 2005-07-04 2007-01-18 Nikon Corp 画像処理方法、コンピュータ実行可能なプログラム、及び顕微鏡システム
JP2007020422A (ja) * 2005-07-12 2007-02-01 Olympus Corp 生体試料培養観察装置、生体試料培養観察方法、および生体試料培養観察用プログラム
US8265357B2 (en) * 2005-10-14 2012-09-11 Unisense Fertilitech A/S Determination of a change in a cell population
US8358330B2 (en) * 2005-10-21 2013-01-22 True Vision Systems, Inc. Stereoscopic electronic microscope workstation
US20070188603A1 (en) * 2005-10-21 2007-08-16 Riederer Thomas P Stereoscopic display cart and system
DE102005061690A1 (de) * 2005-12-21 2007-07-05 Solmic Gmbh Verfahren zur Herstellung solartauglichen Siliziums
WO2007144386A1 (de) * 2006-06-14 2007-12-21 Evotec Technologies Gmbh Verfahren zur aufnahme und auswertung von bildsequenzen
EP2282210A1 (en) * 2006-06-16 2011-02-09 Unisense Fertilitech A/S Embryo quality assessment based on blastomere division and movement
US7925117B2 (en) * 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
EP2041548B1 (en) * 2006-07-17 2017-12-13 Biophos SA Mobile device for particle analysis by image correlation
US9697582B2 (en) 2006-11-16 2017-07-04 Visiopharm A/S Methods for obtaining and analyzing images
US8732187B1 (en) * 2007-04-09 2014-05-20 Google Inc. Link-based ranking of objects that do not include explicitly defined links
EP2143030A4 (en) * 2007-04-27 2012-08-15 Aperio Technologies Inc NETWORK OF SECOND NOTICES
US7940978B2 (en) * 2007-06-05 2011-05-10 General Electric Company Automatic characterization of cellular motion
WO2009003487A2 (en) 2007-06-29 2009-01-08 Unisense Fertilitech A/S A device, a system and a method for monitoring and/or culturing of microscopic objects
JP5098081B2 (ja) * 2007-07-19 2012-12-12 オリンパス株式会社 画像処理方法および画像処理装置
US7489334B1 (en) 2007-12-12 2009-02-10 International Business Machines Corporation Method and system for reducing the cost of sampling a moving image
US8791427B2 (en) * 2007-12-26 2014-07-29 Olympus Corporation Biological-specimen observation apparatus
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
US8737703B2 (en) 2008-01-16 2014-05-27 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
US9168173B2 (en) 2008-04-04 2015-10-27 Truevision Systems, Inc. Apparatus and methods for performing enhanced visually directed procedures under low ambient light conditions
CN102083954B (zh) * 2008-07-05 2014-09-03 尤尼森斯繁殖技术公司 一对一识别系统
JP4968595B2 (ja) * 2008-07-23 2012-07-04 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
US8731845B2 (en) * 2008-08-15 2014-05-20 Visionpharm A/S Method and a system for determining a target in a biological sample by image analysis
US10667727B2 (en) 2008-09-05 2020-06-02 Varian Medical Systems, Inc. Systems and methods for determining a state of a patient
US9226798B2 (en) 2008-10-10 2016-01-05 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for surgical applications
US10117721B2 (en) 2008-10-10 2018-11-06 Truevision Systems, Inc. Real-time surgical reference guides and methods for surgical applications
US8401294B1 (en) * 2008-12-30 2013-03-19 Lucasfilm Entertainment Company Ltd. Pattern matching using convolution of mask image and search image
US9173717B2 (en) * 2009-02-20 2015-11-03 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for intraocular lens implantation
JPWO2010098105A1 (ja) * 2009-02-26 2012-08-30 国立大学法人名古屋大学 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム
CN102365654B (zh) * 2009-03-27 2015-05-13 皇家飞利浦电子股份有限公司 周期性运动对象的两个图像序列的同步化
US9933914B2 (en) 2009-07-06 2018-04-03 Nokia Technologies Oy Method and apparatus of associating application state information with content and actions
PT2827150T (pt) 2009-08-22 2020-12-09 Univ Leland Stanford Junior Imagiologia e avaliação de embriões, oócitos e células estaminais
US8784443B2 (en) 2009-10-20 2014-07-22 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for astigmatism correction
US9607202B2 (en) * 2009-12-17 2017-03-28 University of Pittsburgh—of the Commonwealth System of Higher Education Methods of generating trophectoderm and neurectoderm from human embryonic stem cells
US20110213342A1 (en) * 2010-02-26 2011-09-01 Ashok Burton Tripathi Real-time Virtual Indicium Apparatus and Methods for Guiding an Implant into an Eye
EP2395452A1 (en) 2010-06-11 2011-12-14 Toyota Motor Europe NV/SA Detection of objects in an image using self similarities
WO2012016370A1 (en) * 2010-08-02 2012-02-09 Peking University Representative motion flow extraction for effective video classification and retrieval
EP2621344B1 (en) 2010-09-27 2023-12-27 Ares Trading S.A. Apparatus, method, and system for the automated imaging and evaluation of embryos, oocytes, and stem cells
JP6191888B2 (ja) * 2010-10-19 2017-09-06 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP5828210B2 (ja) * 2010-10-19 2015-12-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP2014507664A (ja) 2011-02-23 2014-03-27 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー ヒト胚における異数性の検出方法
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US8670782B2 (en) 2011-06-10 2014-03-11 International Business Machines Corporation Systems and methods for analyzing spatiotemporally ambiguous events
WO2012178069A1 (en) * 2011-06-22 2012-12-27 The Johns Hopkins University System and device for characterizing cells
US9460390B1 (en) * 2011-12-21 2016-10-04 Emc Corporation Analyzing device similarity
JP2013145318A (ja) * 2012-01-13 2013-07-25 Sony Corp 測定装置、プログラム及び測定方法
JP5945434B2 (ja) * 2012-03-16 2016-07-05 オリンパス株式会社 生物試料の画像解析方法、画像解析装置、画像撮影装置およびプログラム
US9292793B1 (en) * 2012-03-31 2016-03-22 Emc Corporation Analyzing device similarity
US9070004B2 (en) * 2012-05-03 2015-06-30 General Electric Company Automatic segmentation and characterization of cellular motion
CA2883498C (en) 2012-08-30 2022-05-31 Truevision Systems, Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
WO2014043216A1 (en) * 2012-09-13 2014-03-20 University Of South Florida Systems and methods for diagnosing cardiovascular conditions
US10712174B2 (en) 2012-10-10 2020-07-14 Honeywell International Inc. Filter activation and deactivation based on comparative rates
CA2900741C (en) 2013-02-01 2022-01-18 Progyny, Inc. Abnormal syngamy phenotypes observed with time lapse imaging for early identification of embryos with lower developmental potential
JP5764592B2 (ja) * 2013-02-22 2015-08-19 東京エレクトロン株式会社 基板処理装置、基板処理装置の監視装置及び基板処理装置の監視方法
GB2513112B (en) * 2013-04-08 2020-01-08 Snell Advanced Media Ltd Video sequence processing
WO2014186271A1 (en) * 2013-05-13 2014-11-20 The Marine Biological Laboratory Methods and systems of detecting exocytosis of a target molecule from a population of cells
US9811914B2 (en) * 2013-06-17 2017-11-07 Immedia Semiconductor, Inc. Multi-window image processing and motion compensation
US9649207B2 (en) 2013-07-12 2017-05-16 University Of Oregon Powered prosthetic devices using EMG-based locomotion state classifier
TWI551967B (zh) * 2014-05-28 2016-10-01 國立高雄第一科技大學 事件導向的歷程監測與回溯方法與電腦程式產品
US10062411B2 (en) 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
US10459615B2 (en) 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery
JP6746945B2 (ja) * 2015-06-30 2020-08-26 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2017002300A1 (en) * 2015-06-30 2017-01-05 Sony Corporation Information processing apparatus, information processing system, and information processing method
US9594978B2 (en) * 2015-08-07 2017-03-14 Raytheon Company Temporally adaptive processing
MX2018003323A (es) * 2015-09-16 2018-08-16 Merck Patent Gmbh Metodo para la deteccion e identificacion temprana de colonias microbianas, aparato para llevar a cabo el metodo y programa de computadora.
WO2017068397A1 (en) * 2015-10-23 2017-04-27 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A moving object detection method
CN108605102B (zh) * 2015-12-09 2021-11-23 前视红外系统股份公司 一种改进图像质量的方法和热成像装置
JP2017175965A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理システム
US11055537B2 (en) * 2016-04-26 2021-07-06 Disney Enterprises, Inc. Systems and methods for determining actions depicted in media contents based on attention weights of media content frames
US10088324B2 (en) 2016-05-02 2018-10-02 International Business Machines Corporation Trajectory data compression
JP2016182142A (ja) * 2016-07-05 2016-10-20 株式会社ニコン 画像処理装置および方法、並びにプログラム
JP2018014991A (ja) 2016-07-13 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2018012353A1 (en) * 2016-07-13 2018-01-18 Sony Corporation Information processing device, information processing method, and information processing system
JP2018022216A (ja) 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11610687B2 (en) * 2016-09-06 2023-03-21 Merative Us L.P. Automated peer review of medical imagery
US10223584B2 (en) * 2016-11-01 2019-03-05 Ncr Corporation Document detection
EP3591032A4 (en) * 2017-03-31 2020-03-18 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD
TW201904265A (zh) 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
US10917543B2 (en) 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
US10299880B2 (en) 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
US11083537B2 (en) 2017-04-24 2021-08-10 Alcon Inc. Stereoscopic camera with fluorescence visualization
CN110569373B (zh) * 2018-03-29 2022-05-13 北京字节跳动网络技术有限公司 一种媒体特征的比对方法及装置
US10593363B2 (en) 2018-05-14 2020-03-17 Gopro, Inc. Systems and methods for generating time-lapse videos
US11423551B1 (en) 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
JP6833134B2 (ja) 2018-11-07 2021-02-24 三菱電機株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11568530B2 (en) * 2018-12-21 2023-01-31 Precision Livestock Technologies, Inc. System and method to analyse an animal's image for market value determination
CN110443794B (zh) * 2019-05-29 2020-12-18 腾讯科技(深圳)有限公司 一种基于病理图像的图像状态确定方法、装置以及系统
WO2021035097A1 (en) * 2019-08-21 2021-02-25 Fountain Therapeutics, Inc. Cell age classification and drug screening
EP3851894B1 (en) * 2020-01-20 2024-06-12 CellaVision AB System and method for digital microscopy imaging
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
CN111950383B (zh) * 2020-07-21 2023-12-15 燕山大学 一种基于关节角度的节律运动协同分析方法
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
CN113177574B (zh) * 2021-03-19 2022-08-16 华中科技大学 用于材料表征图像分析的视觉模型及其分析方法
CN117393921B (zh) * 2023-10-17 2024-06-18 浙江博时新能源技术有限公司 分布式储能设备

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4724543A (en) * 1985-09-10 1988-02-09 Beckman Research Institute, City Of Hope Method and apparatus for automatic digital image analysis
GB8812891D0 (en) * 1988-05-31 1988-07-06 Crosfield Electronics Ltd Image generating apparatus
US4985768A (en) 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
US5548661A (en) * 1991-07-12 1996-08-20 Price; Jeffrey H. Operator independent image cytometer
JP3090517B2 (ja) 1991-12-16 2000-09-25 富士ゼロックス株式会社 診断装置
US5670113A (en) * 1991-12-20 1997-09-23 Sibia Neurosciences, Inc. Automated analysis equipment and assay method for detecting cell surface protein and/or cytoplasmic receptor function using same
JPH06160507A (ja) 1992-09-24 1994-06-07 Matsushita Electric Ind Co Ltd 人存在状況判定装置
US5491084A (en) * 1993-09-10 1996-02-13 The Trustees Of Columbia University In The City Of New York Uses of green-fluorescent protein
JPH07248718A (ja) 1994-03-09 1995-09-26 Olympus Optical Co Ltd 輪郭情報生成装置
US5732150A (en) * 1995-09-19 1998-03-24 Ihc Health Services, Inc. Method and system for multiple wavelength microscopy image analysis
US6272253B1 (en) * 1995-10-27 2001-08-07 Texas Instruments Incorporated Content-based video compression
US5859700A (en) * 1995-11-22 1999-01-12 Kairos Scientific, Inc. High resolution imaging microscope (HIRIM) and uses thereof
US6009418A (en) * 1996-05-02 1999-12-28 Cooper; David L. Method and apparatus for neural networking using semantic attractor architecture
US7469237B2 (en) * 1996-05-02 2008-12-23 Cooper David L Method and apparatus for fractal computation
US5989835A (en) * 1997-02-27 1999-11-23 Cellomics, Inc. System for cell-based screening
US6103479A (en) * 1996-05-30 2000-08-15 Cellomics, Inc. Miniaturized cell array methods and apparatus for cell-based screening
US6008010A (en) 1996-11-01 1999-12-28 University Of Pittsburgh Method and apparatus for holding cells
US6201880B1 (en) * 1996-12-31 2001-03-13 Electro-Optical Sciences Method and apparatus for electronically imaging a tooth through transillumination by light
US6756207B1 (en) * 1997-02-27 2004-06-29 Cellomics, Inc. System for cell-based screening
US6727071B1 (en) * 1997-02-27 2004-04-27 Cellomics, Inc. System for cell-based screening
DE69839501D1 (de) * 1997-02-27 2008-06-26 Cellomics Inc System für Screening biologischer Zellen
US6416959B1 (en) * 1997-02-27 2002-07-09 Kenneth Giuliano System for cell-based screening
US6759206B1 (en) * 1997-02-27 2004-07-06 Cellomics, Inc. System for cell-based screening
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
JP3838600B2 (ja) * 1998-01-07 2006-10-25 富士写真フイルム株式会社 画像形成方法及び画像形成装置
US6360017B1 (en) * 1998-03-05 2002-03-19 Lucent Technologies Inc. Perceptual-based spatio-temporal segmentation for motion estimation
US6310967B1 (en) * 1998-04-29 2001-10-30 University Of South Florida Normal and abnormal tissue identification system and method for medical images such as digital mammograms
JPH11316820A (ja) 1998-04-30 1999-11-16 Toshiba Corp 行動計測方法および行動計測装置および制御装置および電子的装置および記録媒体
JP4729151B2 (ja) 1998-05-20 2011-07-20 シャープ株式会社 分類装置、方法およびファイル検索方法
CA2335348A1 (en) * 1998-06-18 1999-12-23 Daniel W. Irvine Method for damping noise, vibration and harshness of a substrate and composition therefor
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination
US6542626B1 (en) * 1999-11-05 2003-04-01 General Electric Company Method and apparatus for adapting imaging system operation based on pixel intensity histogram
US6782395B2 (en) * 1999-12-03 2004-08-24 Canon Kabushiki Kaisha Method and devices for indexing and seeking digital images taking into account the definition of regions of interest
US6716588B2 (en) * 1999-12-09 2004-04-06 Cellomics, Inc. System for cell-based screening
MXPA02009001A (es) * 2000-03-16 2004-10-15 Yuan Yan Chen Aparato y metodo para analisis confuso de evidencia.
US6495337B1 (en) * 2000-03-29 2002-12-17 Cytokinetics, Inc. High throughput sarcomeric assay
AU6674801A (en) 2000-06-08 2001-12-17 Univ California Visual-servoing optical microscopy
US6956961B2 (en) * 2001-02-20 2005-10-18 Cytokinetics, Inc. Extracting shape information contained in cell images
US6550613B2 (en) * 2001-05-14 2003-04-22 Philip F. Amato Tackle box with efficient storage capacity
US7672369B2 (en) 2002-02-13 2010-03-02 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
AU2003240558A1 (en) * 2002-06-06 2003-12-22 Vizx Labs, Llc Biological results evaluation method
US7769423B2 (en) * 2002-09-11 2010-08-03 Duke University MRI imageable liposomes for the evaluation of treatment efficacy, thermal distribution, and demonstration of dose painting
GB2409029A (en) 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
US8265357B2 (en) 2005-10-14 2012-09-11 Unisense Fertilitech A/S Determination of a change in a cell population
JP5164800B2 (ja) 2008-11-06 2013-03-21 株式会社イケヤフォ−ミュラ 駐輪装置

Also Published As

Publication number Publication date
EP1486067B1 (en) 2015-04-15
JP2005521126A (ja) 2005-07-14
EP1486067A4 (en) 2011-03-23
AU2003211104B2 (en) 2009-01-29
CA2476072A1 (en) 2003-09-18
US20100104203A1 (en) 2010-04-29
AU2009201714A1 (en) 2009-05-21
US20030185450A1 (en) 2003-10-02
WO2003077552A1 (en) 2003-09-18
EP1486067A1 (en) 2004-12-15
AU2003211104A1 (en) 2003-09-22
US7672369B2 (en) 2010-03-02
US9001884B2 (en) 2015-04-07

Similar Documents

Publication Publication Date Title
JP4287287B2 (ja) 空間時間信号の取得、圧縮、及び特徴づけのための方法及び装置
Cao et al. Establishment of a morphological atlas of the Caenorhabditis elegans embryo using deep-learning-based 4D segmentation
Giovannucci et al. CaImAn an open source tool for scalable calcium imaging data analysis
Cong et al. Rapid whole brain imaging of neural activity in freely behaving larval zebrafish (Danio rerio)
Dorostkar et al. Computational processing of optical measurements of neuronal and synaptic activity in networks
Rittscher Characterization of biological processes through automated image analysis
US20160239970A1 (en) Method and system for characterizing cell motion
Rappez et al. DeepCycle reconstructs a cyclic cell cycle trajectory from unsegmented cell images using convolutional neural networks
EP2856165A1 (en) Automated detection, tracking and analysis of cell migration in a 3-d matrix system
Wu et al. DynaMorph: self-supervised learning of morphodynamic states of live cells
Soll Computer-assisted three-dimensional reconstruction and motion analysis of living, crawling cells
Zhou et al. EASE: EM-Assisted Source Extraction from calcium imaging data
KR101913952B1 (ko) V-CNN 접근을 통한 iPSC 집락 자동 인식 방법
Benisty et al. Data processing of functional optical microscopy for neuroscience
Escalante et al. New techniques for studying neurodevelopment
Wang et al. OC_Finder: A deep learning-based software for osteoclast segmentation, counting, and classification
Costa et al. An integrated approach to the characterization of cell movement
Pastor-Escuredo et al. Kinematic analysis of cell lineage reveals coherent and robust mechanical deformation patterns in zebrafish gastrulation
Buck et al. Cell cycle dependence of protein subcellular location inferred from static, asynchronous images
Pastor Escuredo et al. Unraveling the embryonic fate map through the mechanical signature of of cells and their trajectories
Chan Flexible, comprehensive frameworks for quantitative analysis of cell shape and subcellular organization in the context of cell motility
Zhao Novel Methods for Optimizing Light Microscopy and Live-Cell Image Analysis
WO2023031372A1 (en) Monitoring of cell cultures
On Computational Video Bioinformatics for Understanding the Dynamics of Living Cells
CN115943442A (zh) 用于分析用显微成像捕获的视频的计算机实现的方法、计算机程序产品和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080425

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080825

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081121

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090123

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090319

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees