JP6964596B2 - 動物行動の自動分類方法 - Google Patents
動物行動の自動分類方法 Download PDFInfo
- Publication number
- JP6964596B2 JP6964596B2 JP2018548704A JP2018548704A JP6964596B2 JP 6964596 B2 JP6964596 B2 JP 6964596B2 JP 2018548704 A JP2018548704 A JP 2018548704A JP 2018548704 A JP2018548704 A JP 2018548704A JP 6964596 B2 JP6964596 B2 JP 6964596B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- model
- module
- modules
- behavioral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Description
本発明は、(1)国立衛生研究所(National Institutes of Health(NIH))長官によって授与されたNIH新イノベーター賞(New Innovator Award)受賞番号DP20D007109、および(2)NIH国立聴覚・伝達障害研究所(National Institute on Deafness and Other Communication Disorders(NIDCD))によって授与されたNIH研究プロジェクト助成プログラムNo.RO1DCO11558の下での政府支援でなされたものである。連邦政府は本発明に一定の権利を有する。
本発明は、動物行動、人間行動または他の行動メトリックを識別および分類するためのシステムおよび方法に関する。
以下の説明は、本発明の理解において有用となりうる情報を含む。この説明は、本明細書で提供する情報のいずれかが先行技術であるかまたは本出願で特許請求される発明と関連することを認めるものでもないし、具体的または暗黙的に参照されている出版物が先行技術であることを認めるものでもない。
行動は、動物が特定の目標(食物や繁殖相手を見つけるなど)を達成することを可能にするように進化によって形作られてきたが、これらの行動が、経時的に、特に速い時間スケールでどのように構築されるかはまだ明らかではない。しかし、行動の構造を特徴付ける1つの強力な手法が動物行動学から得られており、その提起によれば、脳は、より単純な動作の定型化したモジュールを特定の順序で発現することによってコヒーレントな行動を形成する[10]。例えば、教師付き分類法および教師なし分類法の両方で、C.エレガンス(C. elegans)によって、およびキイロショウジョウバエ(D. melanogaster)の幼虫と成虫の両方によって探索中に発現された潜在的な行動モジュールが識別されている[11〜16]。これらの実験は、これらの生物における行動に対して基礎構造を明らかにしており、これにより、無脊椎動物の脳が環境の変化に行動を適応させるのに使用される戦略が発見されている。C.エレガンスの場合、嗅覚手がかりへのナビゲーションは、行動モジュールを接続して経時的な系列にする遷移確率を調整する神経回路によって少なくとも部分的に媒介され、したがって、外観上は、新しい感覚駆動行動(正の走化性のような)が、核となる行動モジュールのセットの再配列を通して蠕虫の神経系によって生成されうる[17〜19]。ハエの幼虫の感覚駆動行動についても同様の観測がなされている[11]。
これらの課題にもかかわらず、本発明者らは、動物のビデオ記録を処理することによって動物の行動モジュールを自動的に識別し分類するシステムおよび方法を発見した。本発明の原理によれば、モニタリング方法およびモニタリングシステムは、動物行動を分類することができるハードウェアおよびカスタムソフトウェアを使用する。動物行動状態の分類は、深度カメラを使用した3次元の動物姿勢の定量的測定によって決定される。一態様では、3D深度カメラを使用して、領域と深度の両方の情報の有する、動物のビデオ画像のストリームが取得される。次いで、複数の画像の各々から背景画像(空の実験領域)が除去されて、明領域と暗領域とを有する処理画像が生成される。複数の処理画像において明領域の輪郭が見出され、輪郭内の領域と深度の両方の画像情報からのパラメータが抽出されて、複数の多次元データ点が形成され、各データ点は特定の時間における動物の姿勢を表す。次いで、姿勢データ点をクラスタ化して、点クラスタが動物行動を表すようにすることができる。
一例において、本発明者らは、マウスが円形オープンフィールドを自由に探索する際にマウスの体の形状がどのように変化するかを測定した。本発明者らは、深度センサを使用してマウスの3次元(3D)ポーズダイナミクスを捕捉し、次いで、マウスの画像をマウスの脊椎の推定軸に沿ってセンタリングし位置合わせすることによってマウスのポーズが経時的にどのように変化したかを定量化した。
類似したモジュールを識別するために、マウスの行動データにまず、例えば(1)主成分分析、および(2)多層パーセプトロンなどのニューラルネットワークを使用して、次元削減を施してもよい。例えば、主成分分析(PCA)を使用して、最初の2つの主成分をプロットしてもよい。ポーズダイナミクスデータ内の各ブロックは、PCA空間を通る連続的な軌跡に対応する。例えば、脊椎が持ち上がっているマウスと関連付けられる個々のブロックは、PCA空間を通る特定の曲線に対応した。テンプレートマッチング法を使用して一致するモチーフについて行動データをスキャンすることにより、異なる動物におけるこの曲線のいくつかのさらなる例が識別された。これは、これらのPCA軌跡の各々が、定型化した行動モジュールが再利用された個々のインスタンスを表しうることを示唆する。
1つのモデルは、各行動モジュールを、PCA空間を通る定型化した軌跡を捕捉するベクトル自己回帰(AR)過程として表した。加えて、そのモデルでは、異なるモジュール間の切り替えダイナミクスを隠れマルコフモデル(HMM)を使用して表した。併せてこのモデルを、本明細書では「AR-HMM」と呼ぶ。
冗長な次元を削減すると共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元削減することができる。次元を削減する一方法である主成分分析は、次元を削減して線形空間にする。しかし、本発明者らは、次元を削減して線形空間にするだけでは、行動に関連しないマウスの様々な変化に適応しないことを発見した。これには、マウスのサイズ、マウスの種などの変化が含まれる。
[本発明1001]
対象の動きを表す3次元ビデオデータを、少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移統計量セットとに区分するために、計算モデルを使用して前記ビデオデータを処理する工程、および
前記少なくとも1つのモジュールセットを、動物行動のタイプを表すカテゴリに割り当てる工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1002]
前記処理する工程が、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、本発明1001の方法。
[本発明1003]
前記処理する工程が、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、本発明1002の方法。
[本発明1004]
前記処理する工程が、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、本発明1003の方法。
[本発明1005]
前記処理する工程が、多様体空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン(MLP)を使用して前記位置合わせされたフレームを処理する工程をさらに含む、本発明1004の方法。
[本発明1006]
前記多層パーセプトロンが構造化変分オートエンコーダである、本発明1005の方法。
[本発明1007]
前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点が前記対象の3Dポーズダイナミクスを表す、本発明1001の方法。
[本発明1008]
前記対象が動物試験における動物である、本発明1001〜1010のいずれかの方法。
[本発明1009]
前記対象がヒトである、本発明1001〜1010のいずれかの方法。
[本発明1010]
対象を背景から分離するために、前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元グラフィカル空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン(MLP)を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
[本発明1011]
前記位置合わせされたフレームを処理する工程が、モデルフリーアルゴリズムを用いて行われる、本発明1010の方法。
[本発明1012]
前記モデルフリーアルゴリズムが、オートコレログラムを計算することを含む、本発明1011の方法。
[本発明1013]
前記位置合わせされたフレームを処理する工程が、モデルベースアルゴリズムを用いて行われる、本発明1010の方法。
[本発明1014]
前記モデルベースアルゴリズムがAR-HMMアルゴリズムである、本発明1013の方法。
いくつかの態様では、本発明の特定の態様を説明し、特許請求するために使用される、寸法、形状、相対位置などの特性は、用語「約」によって修飾されていると理解されるべきである。
本発明者らは、動物のビデオデータを処理することによって、動物の行動モジュールを自動的かつ客観的に識別および分類するためのシステムおよび方法を発見した。これらのシステムは、深度カメラを使用して3次元の動物姿勢または姿勢軌跡を定量的に測定し、処理し、分析することによって、動物行動状態を分類してもよい。これらのシステムおよび方法は、測定可能な動作単位を構成するはずのものについての先験的な定義の必要性を排除し、したがって行動状態の分類は客観的な教師なし分類となる。
動物50(例えば、マウス)のビデオ画像を記録および追跡するのに様々な方法を利用してもよい。いくつかの態様では、記録されるビデオは3次元で記録されてもよい。この目的には様々な装置が利用可能であり、例えば本明細書で開示する実験ではMicrosoftのKinect for Windowsを利用した。他の態様では、以下のさらなる装置を利用してもよい:(1)立体視カメラ(深度画像を生成するように較正された2台以上の2次元カメラのグループを含みうる)、(2)TOF(time-of-flight)深度カメラ(例えば、CamCube、PrimeSense、Microsoft Kinect 2、構造化照明深度カメラ(例えば、Microsoft Kinect 1)、およびX線ビデオ。
ビデオレコーダ100および追跡システム110からのデータ出力は、深度フレームを処理し、それらを適切なフォーマット(例えば、バイナリフォーマットまたは他のフォーマット)で保存するコンピューティングデバイス113によって受信され処理されてもよい。いくつかの態様では、ビデオレコーダ100および追跡システム110からのデータは、ネットワーク120を通じてサーバ130に直接出力されてもよく、あるいは一時的にバッファされ、かつ/またはUSBや他の接続を通じて、さらなる処理のためにネットワーク120を通じて中央サーバ130に送信する前にデータを一時的に格納する関連付けられたコンピューティングデバイス113に送信されてもよい。他の態様では、データは、ネットワーク120を通じて送信せずに関連付けられたコンピュータ113によって処理されてもよい。
いくつかの態様では、ビデオデータの生画像が保存された後、様々な前処理を行って、さらなる処理のためにビデオデータ内の動物を分離し、動物の画像を共通軸に沿って方向付けしてもよい。いくつかの態様では、頭部の向きを利用して画像を共通の方向に向けてもよい。他の態様では、推定される脊椎の方向を組み込んでもよい。
図2Aに、関心領域を分離し背景画像を差し引いて動物50のビデオデータを分離するためにシステムが行いうるプロセスを示す。まず、マウスが行動している実験アリーナを分離するために、システムは、最初に、さらなる分析のための関心領域(ROI)210を識別してもよい。他の態様では、関心領域210は、記録されたビデオデータの全視野10を含んでもよい。領域を分離するために、画像化されたアリーナの外側エッジに沿って手動でトレースしてもよい。ROI 210の外側の画素は、偽オブジェクト検出を防止するためにゼロに設定してもよい。他の態様では、システムは、様々な方法を使用してROI 210を自動的に定義してもよい。いくつかの態様では、システムは、インタラクティブな中央値フィルタを用いて生のイメージングデータをフィルタリングしてもよく、中央値フィルタは、例えばKinectにおいてセンサからの相関ノイズを除去するのに良く適している。
次いで、動物(例えば、マウス)の重心を、前処理された画像の質量中心として、または他の適切な方法によって識別してもよい270。次いで、動物の輪郭に楕円をフィッティングして285、動物の全体的な向きを検出してもよい。マウスを適切に方向付けする280ために、手動で方向付けしたマウス抽出画像のセットで様々な機械学習アルゴリズムを訓練してもよい(例えば、ランダムフォレスト分類器)。画像が与えられると、方向付けアルゴリズムは次いで、マウスの頭部が正しい方向に向いているか否かを示す出力を返す。
図3に示すように、向き補正後の画像は、いくつかの態様では、主成分分析時系列310またはデータ点を減らすための他の統計的方法へ出力される。いくつかの態様では、データは、本明細書で開示するAR-HMMアルゴリズムまたはSLDS SVAEアルゴリズムなどのモデルフィッティングアルゴリズム315を適用されるか、またはビデオデータ内に含まれる行動モジュール300を識別するために開示のようなモデルフリーアルゴリズム320を適用されてもよい。加えて、いくつかの態様では、PCA時系列は実行されない。いくつかの態様では、多層パーセプトロンが次元を削減するために利用される。
モデルフリーアルゴリズム320またはモデルフィッティング315アルゴリズムを含むいくつかの態様では、各画素で捕捉された情報は、多くの場合、高い相関性があるか(近傍画素)、または情報価値がない(マウスの身体を決して表すことがない画像境界上の画素)。冗長な次元を削減すると共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元削減してもよい。例えば、5レベルのウェーブレット分解を行うことにより、画像を、各次元が単一の空間スケールの情報を捕捉しプールした表現に変換してもよい。この変換では、いくつかの次元は数ミリメートルのスケールで細かいエッジを明確にコードしうるが、一方で別の次元はセンチメートルの空間スケールで幅広い変化を符号化していた。
モデルフリーアルゴリズム320を有するいくつかの態様では、動物がある動きパターンから別の動きパターンに遷移する速度を反映する、動物の行動に自己相似性がある時間スケールを評価するために、自己相関分析を行ってもよい。センサ特有のノイズを除去するためにはある程度のデータ平滑化が必要であるため、信号のタイムラグのあるバージョン間の統計的相関としてオートコレログラムを計算すると、たとえ死後硬直においてポーズをとらせた動物(例えばマウス)であっても、オートコレログラムの低下がもたらされる。したがって、マウスのポーズデータの全10次元間の相関距離を、問題の時系列信号のタイムラグのあるバージョン間の比較器として利用してもよく、死んでいる動物では値が約1.0の一様な自己相関関数が得られ、行動している動物(例えば、マウス)では低下した自己相関関数が得られる。このオートコレログラムが行動マウスにおいて低下する速度は、行動の基本的な時間スケールの尺度であり、指数関数的減衰曲線の時定数タウとして特徴付けてもよい。タウは、SciPy最適化パッケージを使用したLevenberg-Marquardtアルゴリズム(非線形最小二乗法)を使用して適合させることができる。
モジュールを識別するためにモデルを使用しない320いくつかの態様では、様々な方法を利用して遷移期間の変化点を識別してもよい。マウスの深度画像のランダム射影を経時的にプロットすると、各々が経時的な潜在的変化点である明確な線条が得られる。ランダム射影データにおいて見られるブロック構造間の潜在的境界を表すこれらの変化点の識別を自動化するために、フィルタ処理導関数アルゴリズム(filtered derivative algorithm)と呼ばれる簡単な変化点識別法を利用することができる。例えば、k=4フレームのラグでフレーム当たりの単位正規化ランダム射影の導関数を計算するアルゴリズムを使用してもよい。各時間点で、次元ごとに、アルゴリズムは、信号がある閾値h=0.15mmを超えたかどうかを判定してもよい。次いで、2進変化点インジケータ信号を、D=300ランダム射影次元の各々にわたって合計してもよく、次いで、得られた1D信号を、シグマ=0.43フレームのカーネル標準偏差を有するガウスフィルタで平滑化してもよい。次いで変化点を、この平滑化された1D時系列の極大値として識別してもよい。この手順は、パラメータk、hおよびシグマの特定の値に部分的に依存する。例えば、行動しているマウスで変化点の数を最大にするが、死んだマウスで変化点をもたらさない値を利用してもよい。
データがモデルなしで分析される320いくつかの態様では、特定のアルゴリズムを利用して類似したモジュールまたは繰り返されるモジュールを識別してもよい。したがって、繰り返しモジュールのセットを、動物行動のボキャブラリーまたはシラブルとして識別してもよい。したがって、(わずか数フレームを超える)任意の比較的長い行動スニペットが、(基礎となる行動モデルに依存せずに)「繰り返された」かどうかを判定するために、システムは、テンプレートマッチング手順を利用して、PCAまたはMLP多様体空間を通る類似した軌跡を識別してもよい。類似の軌跡を識別するために、例えば、システムおよび方法は、いくつかのターゲットスニペット、すなわち「テンプレート」と、等しい長さの可能なすべてのスニペット(多くの場合、変化点分析によって識別されたおおよそのブロック境界によって定義される)との間のユークリッド距離を計算してもよい。統計に基づく他の方法を含めて、他の類似した方法を、モジュールを識別するために用いることもできる。
他の態様では、データモデル315を利用してビデオデータ内の行動モジュールを識別するシステムおよび方法を使用してもよい。例えば、データモデルは、複雑な動的過程をモデル化するのに使用されることの多い、生成的確率的モデル化の十分に確立されたパラダイムを実装してもよい。このクラスのモデルは、観測されたデータをモデル自体によって合成的に生成することができる過程を記述するという意味で生成的であり、その過程が確率分布からのサンプリングに関して数学的に定義されるため確率的である。加えて、解釈可能なモデルをデータに適合させることによって、モデルが措定する潜在変数構造がデータを生じさせたことを明らかにするようにデータを「解析」した(状態の数およびアイデンティティを記述するパラメータ、ならびに状態間の遷移を記述するパラメータを含む)。
いくつかの態様では、システムは、離散時間隠れマルコフモデル315(HMM)を利用して行動モジュールを識別してもよい。HMMは、順次の時系列データをモデル化するための確率過程の範囲を包含する。HMMモデルは、(例えば、イメージングデータのすべてのフレームの)各時点において、マウスは、ラベルを与えることができる離散状態(マルコフ状態)内にあると措定する。各マルコフ状態は、その状態内にある間に動物が行う短い3次元の動きモチーフを表す。観測されたマウスの3次元行動は、その動物が直近の過去に発現した特定の動きパターンに依存するように見えるので、理想的には各マルコフ状態はマウスの将来の行動をその直近の過去のポーズダイナミクスに基づいて予測することになる。したがって、各マルコフ状態は、動物の行動モードを識別する潜在的離散成分と、行動モードに基づいて動物の短い時間スケールの行動を予測するのに使用される観測系列のラグの数の両方で構成される。このモデル構造を、多くの場合、スイッチングベクトル自己回帰(SVAR)モデルまたは自己回帰HMM(AR-HMM)と呼ぶ。
式中、πは(i,j)要素が状態iから状態jに遷移する確率である遷移行列450である。いくつかの態様では、離散状態のダイナミクスは、ここでは経時的に変化しないとみなす、遷移行列によって十分にパラメータ化されうる。推論アルゴリズム(後述する)のタスクの1つは、離散状態系列およびそれらの配置を決定する遷移行列の確度の高い値を推測し、よって、再利用される行動モジュールの順序およびこれらのモジュールがどのように経時的に接続されるかを決定する遷移パターンを推測することである。
いくつかの態様では、システムは、行動モジュール間の関係の指示を提供するか、最も頻繁に使用される行動モジュールを記述するか、または行動モジュールの他の有用な分析を行う能力を提供してもよい。
またシステムは、各ノードi∈V={1,2,...,n}がシラブルiに対応し、各有向エッジ
がバイグラムに対応するグラフG=(V,E)上でn個のシラブルのシラブルバイグラム確率およびシラブル使用頻度を出力してもよい。グラフは、各ノードのサイズが対応するシラブルの使用頻度に比例し、各弧の幅および不透明度が、図の凡例に示されている最小および最大の範囲内の対応するバイグラムの確率に比例するように、円形ノードと有向弧のセットとして出力してもよい。再現可能な非(擬似)ランダムな方法で(図の全体的な回転まで)各グラフをレイアウトするために、システムは、スペクトルレイアウトアルゴリズムを使用してノードの位置を初期設定し、Fructherman-Reingold反復力指向レイアウトアルゴリズムを使用してノード位置を微調整してもよく、本発明者らは、NetworkXソフトウェアパッケージに実装されている両方のアルゴリズムを使用することができた。
いくつかの態様では、推論アルゴリズムをモデル315に適用して、パラメータを推定してもよい。例えば、近似ベイズ推定は、ギブスサンプリング、マルコフ連鎖モンテカルロ(MCMC)推論アルゴリズムを使用して行うことができる。MCMCパラダイムでは、推論アルゴリズムは、関心対象の事後分布からの近似サンプルを構築し、これらのサンプルは、平均値を計算するために、または事後モードへのプロキシとして使用される。アルゴリズムによって生成されたサンプルの系列は、事後確率の低い領域または悪い局所最適解の領域をエスケープして、事後確率の高い領域にある。メインAR-HMMモデルでは、関心対象の潜在変数は、ベクトル自己回帰パラメータ、隠れた離散状態系列、および遷移行列(例えば、任意の所与の行動モジュール内のポーズダイナミクスを定義する自己回帰パラメータ、モジュールの順序、および任意の所与のモジュールと任意の他のモジュールとの間の遷移確率)を含む。MCMC推論アルゴリズムを3Dイメージングデータに適用することにより、AR-HMMのこれら潜在変数のサンプルのセットが生成される。
粘着性HDP事前分布を、濃度パラメータα、γ>0および粘着性パラメータκ>0を有する遷移行列πに配置した。
式中、δijは、i=jの場合は1であり、それ以外の場合は0であり、πiは、πの第i行を表す。ガンマ事前分布は、αとγとに配置され、α〜Gamma(1,1/100)とγ〜Gamma(1,1/100)とを設定する。
各状態i=1,2,...の自己回帰パラメータ
を、行列正規逆Wishart(Matrix Normal Inverse-Wishart)事前分布からサンプリングした。
または同等に、
式中、
は、クロネッカー積を表し、(A,b)はAにbを列として付加することによって形成された行列を表す。加えて、K0のブロックARD事前分布を使用して、情報価値がないラグをゼロに縮小するよう促す。
上述したように、ギブスサンプリング推論アルゴリズムは、固定された遷移行列および自己回帰パラメータが与えられるとデータのモジュールへのセグメント化を更新する段階と、固定されたセグメント化が与えられると遷移行列および自己回帰パラメータを更新する段階の2つの主要な段階を交互に行った。数学的には、セグメント化を更新することにより、データy、自己回帰パラメータθ、および遷移行列πの各値を条件とするラベル系列xがサンプリングされた。すなわち、条件付き確率変数x|θ,π,yをサンプリングした。同様に、セグメント化が与えられた場合に遷移行列および自己回帰パラメータを更新することにより、それぞれ、π|xおよびθ|x,yがサンプリングされた。
式中、πkは遷移行列の第i行を表す。遷移行列のこの有限表現により、状態系列xをブロックとして再サンプリングすることが可能になり、大きなLでは、無限ディリクレ過程の任意に良好な近似を提供する。
動的パラメータπおよびθとデータyを与えられて状態ラベルxをサンプリングすることは、3Dビデオシーケンスをセグメント化し、各セグメントをその統計量を記述する行動モードに割り当てることに対応する。
である。式中、BT(k)=1であり、yt+1:T=(yt+1,yt+2,...,yT)である。これらのメッセージを使用すると、第1の状態x1の条件付き分布は、すべての将来の状態x2:Tを無視すると、
であり、これは効率的にサンプリングすることができる。サンプリングされた値
が与えられると、第2の状態x2の条件付き分布は、
である。
状態系列xおよびデータ系列yを与えられて自己回帰パラメータθをサンプリングすることは、各モードに割り当てられた3Dビデオデータセグメントを記述するように各モードの動的パラメータを更新することに対応する。
式中、(Sn,vn,Mn,Kn)は、状態kに割り当てられたyの要素ならびにラグのある先行する観測値の関数である事後ハイパーパラメータである。
式中、
のように進む。
状態系列xを与えられて遷移パラメータπおよびβをサンプリングすることは、状態系列内で観測された遷移パターンを反映するように行動モジュール間の遷移の確率を更新することに対応する。βを更新することにより、冗長な行動モードがモデルから取り除かれるよう促され、各πijを更新することにより、状態iから状態jへの観測された遷移が適合される。
によってサンプリングされる。式中、Bernoulli(p)は、確率pで値1を取り、そうでない場合に値0を取るベルヌーイ確率変数を表す。粘着性バイアスなしのHDP-HMMの更新は、これらの更新においてκ=0に設定することに対応することに留意されたい。
検定力を高めるために、オープンフィールド実験、匂い実験、および遺伝子操作実験のデータセットを一緒にモデル化した。光遺伝学実験と関連付けられた神経移植は、動物のプロファイルをわずかに変化させたので、これらのデータは別々にモデル化した。すべての実験において、各画像化マウスのフレームごとの最初の10の主成分を集めた。次いで、データを細分化し、3:1の訓練:試験の比率で「訓練」または「試験」のいずれかのラベルを割り当てた。「試験」とラベル付けされたマウスを訓練プロセスからホールドアウトし、それらを使用して測定ホールドアウト尤度によって汎化性能を試験した。この手法により、その構成が行動の異なる基礎構造を反映するアルゴリズムを直接比較することができた。
特に明記しない限り、すべての実験は6〜8週齢のC57/BL6雄(Jackson Laboratories)で行った。rorβおよびrbp4系統由来のマウスを、参照C57/BL6マウスと全く同様に馴化させ試験した。マウスを4週齢で本発明者らのコロニーに移し、そこで2週間にわたって12時間明/12時間暗の反転サイクルでグループ飼育した。試験当日、マウスを遮光容器に入れて実験室に運び入れ、そこで試験前に30分間暗闇に馴化させた。
これらの可能性に対処するために、本発明者らはまず、AR-HMMを使用して、オープンフィールドにおけるマウスの探索行動のベースラインアーキテクチャを定義し、次いで、この行動テンプレートが外界の異なる操作によってどのように変更されたかを問うた。
マウスは同じ基礎的な行動状態、すなわち歩行運動探索を、円形と四角形の両方で発現するため、この場合の行動モジュールへの観測される変化は限局的であり、程度が限定されると予測されうる。したがって、本発明者らは、マウスが、他は一定の物理環境内で、新しい動機付けされた動作の発現を含む行動状態の全体的変化を駆動する感覚手がかりに曝露されたときに、行動の基礎構造がどのように変化するかを問うた。
上記のように、行動の細かい時間スケールの構造は、分単位の時間スケールにわたる動作に影響を及ぼす物理的または感覚的環境の変化に対して選択的に脆弱である。さらに、AR-HMMは、マウスによって発現された行動パターンを(本発明者らの画像化の限界内で)包括的にカプセル化するように見える。これらの所見は、AR-HMMは、サブ秒時間スケールのマウスの行動への系統的な窓を提供し、明確な行動表現型を定量化すると共に、ある範囲の空間時間的スケールにわたって行動に影響を及ぼす実験操作後に含まれる新しいまたは微妙な表現型を明らかにすることもできる可能性があることを示唆している。
最後に、本発明者らは、AR-HMMによって捕捉された行動構造が、行動の一過性のまたは不確実な変化への洞察を与えるかどうかを問おうとした。したがって、本発明者らは、運動回路における神経活動を短く誘発し、異なる強度の刺激が行動の瞬間ごとの構築にどのような影響を及ぼすかを問うた。本発明者らは、光開閉性イオンチャネルChannelrhodopsin-2を皮質線条体系ニューロンにおいて片側だけ発現させ41,42、運動皮質の光媒介活性化の前、その間およびその2秒後の行動反応を評価した(n=4匹のマウス、モデルは以前の実験とは分離して訓練した)。
図3に示すように、画像の向きの補正後、データの次元を削減する方法が使用されうる。例えば、各画像は900次元ベクトルであり、したがって次元を削減することがモデル解析にとってきわめて重要である。いくつかの態様では、モデルフリーアルゴリズム320またはモデルフィッティング315アルゴリズムを含む両方で、各画素で捕捉された情報は多くの場合、高い相関性がある(近傍の画素)か、または情報価値がない(マウスの身体を決して表すことがない画像の境界上の画素)。冗長な次元を削減すると共にモデル化を計算的に扱いやすくするために、様々な技術を使用して各画像を次元削減することができる。
確率的変分推論(SVI)(Hoffman et al., 2013)は、指数分布族共役性を利用して自然勾配を効率的に計算する(Amari, 1998; Martens, 2015)やり方で、確率的勾配上昇を平均場変分推論目的に適用する。大域潜在変数、局所潜在変数で構成されたモデルを考える。ここで、θ、局所潜在変数
であり、式中、ρ(θ)は指数分布族p(xn,yn|θ)に対する自然な指数分布族共役事前分布である。
平均場族q(θ)q(x)=q(θ)Πnq(xn)を考える。共役構造のために、最適な大域平均場因子q(θ)は、事前分布ρ(θ)と同じ族内にある。
その場合、局所変分因子q(x)を最適化する、大域変分パラメータに関する平均場目的を、
と書くことができ、目的(5)の自然勾配は、局所期待十分統計量の合計に分解される(IHoffman et al., 2013)。
式中、q*(xn)は局所最適局所平均場因子である。よって、データ点ynをサンプリングし、局所平均場因子q(xn)を最適化し、スケーリングされた期待十分統計量を計算することによって、本発明の大域平均場目的のための確率的自然勾配の更新を計算することができる。
変分オートエンコーダ(VAE)(Kingma&Welling, 2014; Rezende et al., 2014)は、ニューラルネットワークオートエンコーダ(Vincent et al., 2008)を平均場変分ベイズと結びつける最近提案されたモデルおよび推論方法である。画像の集合などの高次元データセットが与えられた場合、VAEは各観測値ynを、低次元潜在変数ynおよびパラメータを有する非線形観測モデルに関してモデル化する。
式中、
この特定のMLP構成を再利用することになるため、本発明者らは以下の表記を導入する。
事後分布を近似するために、変分オートエンコーダは平均場族を使用する。
図2.変分オートエンコーダのグラフィカルモデル
はMLPパラメータのセットを表す。よって、変分分布q(xn|ijn)は、観測値から潜在変数の分布への確率的エンコーダのように働き、一方、順モデルp(yn|xn)は潜在変数値から観測値の分布への確率的デコーダのように働く。
と書き換える。項KL(q(x\y)\\p(x))は、2つのガウス分布間のKLダイバージェンスであり、fに対するその勾配を閉じた形で計算することができる。期待値項の確率的勾配を計算するには、確率変数を、
としてパラメータ化することができるため、期待値項を、モンテカルロ法によって近似されたその勾配に関して書き換えることができる。
これらの勾配項を、標準的なバックプロパゲーションを使用して計算することができる。スケーラビリティのために、データ点全体の合計もモンテカルロ法によって近似される。
したがって、これらのアルゴリズムに基づき、本発明者らは、SVAE生成モデルおよび対応する変分族を構築した。具体的には、本発明者らは、SVAEが離散潜在変数と連続潜在変数の両方を、高い確率的依存性と共にどのようにして組み込むことができるかを例示する、スイッチング線形力学系(SLDS)(Murphy, 2012; Fox et al, 2011)に基づく時系列のための特定の生成モデルに焦点を当てる。
スイッチング線形力学系(SLDS)は、線形ダイナミクスの離散集合に従って発展する連続潜在状態に関するデータを表す。各時点において、力学モードにインデックス付けする離散値潜在状態と、力学モードの線形ガウシアンダイナミクスに従って発展する連続値潜在状態とがある。
図24に、SLDS生成モデルおよび対応する構造CRF変分族のグラフィカルモデルを示す。
離散潜在状態はマルコフダイナミクスに従って発展する。
初期状態は別々に生成される。
各時点において、連続潜在状態は、条件付きガウス分布である観測値
を生じる。典型的なSLDS(Fox et al., 2011)では、
と書くことができる。
ここでは、セクション3.1の生成モデルの事後分布における変分推論を行うための構造化された平均場族について説明する。この平均場族は、SVAEがどのようにしてグラフィカルモデルおよび指数分布族構造を利用するだけでなくボトムアップ推論ネットワークを学ぶこともできるかを示す。以下に示すように、これらの構造は、SVI、メッセージパッシング、バックプロパゲーション、および再パラメータ化トリックを含むいくつかの効率的な推論アルゴリズムを構成することを可能にする。
と書くことができる。
と書く。ここでノードポテンシャルは観測値の関数である。具体的には、本発明者らは、セクション2.2の表記を使用して、各ノードポテンシャルが、精度行列およびポテンシャルベクトルがMLPによる対応する観測に依存するガウス型因子であることを選択する。
これらの局所認識ネットワークは、各観測値からの回帰を、対応する潜在状態における確率的推測に適合させることを可能にする。グラフィカルモデル推論を使用して、これらの局所推測をダイナミクスモデルと合成して、状態系列全体にわたるコヒーレントな結合因子にすることができる。
表記を簡単にするために、セクション2.2と同様に、本発明者らは、観測パラメータに関する変分因子を特異分布であるものとみなし、大域変分パラメータに関する平均場目的は、その場合、
であり、式(5)と同様に、最大化は局所変分因子の自由パラメータ全体に及ぶものである。セクション4では、この変分目的をどのように最適化するかを示す。
このセクションでは、式(29)のSVAE目的の確率的勾配を計算するための効率的なアルゴリズムを開示する。これらの確率的勾配は、確率的勾配上昇やAdam(Kingma&Ba, 2015)などの一般的な最適化ルーチンで使用することができる。
ここでは、モデル推論サブルーチンの結果を使用してSVAE平均場目的(29)の計算確率的勾配が計算される。このアルゴリズムは、アルゴリズム1に要約されている。
と書くことができる。式中、q(z)およびq(x)は、式(6)と同様に局所最適局所平均場因子とみなされる。したがって、系列インデックスnをランダムに一様にサンプリングすることにより、自然勾配のバイアスのない推定値が以下によって与えられる。
本発明者らは
と略記する。これらの期待十分統計量は、セクション4.2に記載されるモデル推論サブルーチンを使用して効率的に計算される。
VAEは限られた潜在確率構造を有する特定のSVAEに対応するため、この推論サブルーチンはAEVBアルゴリズム(Kingma&Welling, 2014)における2つの工程の一般化とみなすことができる。しかし、SVAEの推論サブルーチンは一般に他の計算を行いうる。第1に、SVAEは他の潜在確率変数およびグラフ構造を含むことができるため、推論サブルーチンは局所平均場因子を最適化するか、メッセージパッシングを実行しうる。第2に、SVAEは大域因子に対して確率的自然勾配の更新を行うことができるため、推論サブルーチンは期待十分統計量の計算も行いうる。
セクション2.1のSVIアルゴリズムと同様に、所与のデータ列yについて、局所平均場因子を最適化することができる。すなわち、自然パラメータを有する固定大域パラメータ因子と認識ネットワークによって出力された固定ノードポテンシャルとについて、本発明者らは、離散潜在状態の局所変分因子と連続潜在状態の局所変分因子の両方に関して変分目的を最適化する。この最適化を、SLDS指数分布族形式と構造化変分族を利用することによって効率的に行うことができる。
局所変分因子を最適化した後、モデル推論サブルーチンは、最適化された因子を使用してサンプルを抽出し、期待十分統計量を計算し、KLダイバージェンスを計算する。次いでこれらの推論計算の結果は、SVAE目的の勾配を計算するのに使用される。
6.1.IDの跳ね返りドット
代表的なトイプロブレムとして、ドットが画像の一方の端から他方の端まで一定の速度で跳ね返る1次元画像シーケンスを考える。図25に、この問題に適合されたLDS SVAEにおける推論の結果を示す。最上部のパネルには、経時的なノイズの多い画像の観測値が示されている。2番目のパネルには、過去の画像と未来の画像の両方に関するモデルの推論が示されている。モデルは、垂直な赤線の左側の観測値を条件としており、よってフィルタリングを行っており、垂直な赤線の右側でモデルは予測を行っている。この図には、モデルが、適切な低次元表現およびダイナミクスを学習しており、遠い将来まで一貫して予測することができることが示されている。
行動表現型決定の目標は、行動のパターンを識別し、動物の環境、遺伝的特質、または脳機能が変化したときにそれらのパターンがどのように変化するかを調べることである。ここで、本発明者らは、SLDS SVAEがそのようなビデオデータの柔軟でしかも構造化された生成モデルをどのようにして学習できるかを示すために、Wiltschko et al.(2015)の3D深度カメラデータセットを使用する。
本明細書では、確率的グラフィカルモデルとディープラーニングからの柔軟な特徴表現の両方を利用する新しいモデルクラスおよび対応する推論アルゴリズムが開示されている。時系列の文脈では、この手法は、推論、推定、さらには制御にさえも使用できるいくつかの新しい非線形モデルを提供する。例えば、SVAEにおいて潜在的線形構造を維持することによって、いくつかの動的プログラミング制御問題が扱いやすいままにとどまりうる。
以上の説明および添付の特許請求の範囲は、本発明のいくつかの態様を開示しているが、本発明の他の代替態様を以下のさらなる態様において開示する。
1. 対象の動きを表す3次元ビデオデータを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移統計量セットとに区分するために、計算モデルを使用して前記ビデオデータを処理する工程、および
前記少なくとも1つのモジュールセットを、動物行動のタイプを表すカテゴリに割り当てる工程
を含む、対象の動きを分析してモジュールに分離するための方法。
2. 前記処理する工程が、前記ビデオデータにおいて前記対象を背景から分離する工程を含む、態様1の方法。
3. 前記処理する工程が、前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程をさらに含む、態様2の方法。
4. 前記処理する工程が、位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程をさらに含む、態様3の方法。
5. 前記処理する工程が、主成分空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、主成分分析(PCA)を使用して前記位置合わせされたフレームを処理する工程をさらに含む、態様4の方法。
6. 前記処理する工程が、多様体空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン(MLP)を使用して前記位置合わせされたフレームを処理する工程をさらに含む、態様4の方法。
7. 前記処理する工程が、前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程をさらに含み、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、態様5の方法。
8. 前記モデルがスイッチング線形力学系(SLDS)モデルである、態様7の方法。
9. 前記多層パーセプトロンが構造化変分オートエンコーダである、態様7の方法。
10. 前記モデルが勾配降下およびバックプロパゲーションを使用して訓練される、態様6の方法。
11. MLPを用いて前記位置合わせされたフレームを処理する工程が、計算モデルを用いて前記フレームを処理する工程と同時に行われる、態様7の方法。
12. 前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程をさらに含む、態様5の方法。
13. 前記計算モデルが、サブ秒モジュールを、PCA空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様1の方法。
14. 前記計算モデルが、隠れマルコフモデルを使用してサブ秒モジュール間の遷移期間をモデル化することを含む、態様1の方法。
15. 前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点が前記対象の3Dポーズダイナミクスを表す、態様1の方法。
16. 前記対象が動物試験における動物である、態様1〜10のいずれかの方法。
17. 前記対象がヒトである、態様1〜10のいずれかの方法。
18. 対象を背景から分離するために、前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元グラフィカル空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン(MLP)を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
19. 前記位置合わせされたフレームを処理する工程が、モデルフリーアルゴリズムを使用して行われる、態様18の方法。
20. 前記モデルフリーアルゴリズムが、オートコレログラムを計算することを含む、態様19の方法。
21. 前記位置合わせされたフレームを処理する工程が、モデルベースアルゴリズムを使用して行われる、態様18の方法。
22. 前記モデルベースアルゴリズムがAR-HMMアルゴリズムである、態様21の方法。
23. 前記モデルベースアルゴリズムがSLDSアルゴリズムである、態様21の方法。
24. 前記多層パーセプトロンがSVAEである、態様18の方法。
25. SVAEおよびMLPが、変分推論目的を使用しかつ勾配上昇を行って訓練される、態様24の方法。
26. SVAEおよびMLPが同時に訓練される、態様25の方法。
27. 前記対象が動物試験における動物である、態様18〜22のいずれかの方法。
28. 前記対象がヒトである、態様18〜22のいずれかの方法。
29. 前記対象が、前記対象のサイズが変化するのに十分なほど長い期間にわたって分析される、態様18〜22のいずれかの方法。
30. SVAEおよびMLPが、異なるマウスまたはラットの系統に基づくデータを使用して訓練される、態様25の方法。
31. 試験化合物が試験対象に投与された後の前記試験対象においてモジュールセットを含む試験行動表現を識別する工程、
前記試験行動表現を複数の基準行動表現と比較する工程であって、各基準行動表現が各薬物クラスを表す、工程、および
前記試験行動表現が分類器によってある薬物クラスを表す基準行動表現と一致すると識別された場合に、前記試験化合物は前記薬物クラスに属すると決定する工程
を含む、試験化合物を分類する方法。
32. 前記試験行動表現が、
前記試験対象の動きを表す3次元ビデオデータを受け取る工程、
前記3次元データを少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移期間セットとに区分するために、計算モデルを使用して前記データを処理する工程、および
前記少なくとも1つのモジュールセットを動物行動のタイプを表すカテゴリに割り当てる工程
によって識別される、態様31の方法。
33. 前記計算モデルが、サブ秒モジュールを、主成分分析(PCA)空間を通る定型化した軌跡を表すベクトル自己回帰過程としてモデル化することを含む、態様32の方法。
34. 前記計算モデルが、サブ秒モジュールを、MLPがサブ秒モジュールの特徴多様体を学習している間に同時に適合されるSLDSとしてモデル化することを含む、態様32の方法。
35. MLPがSVAEである、態様34の方法。
36. 前記計算モデルが、隠れマルコフモデルを使用して前記遷移期間をモデル化することを含む、態様33の方法。
37. 前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点は前記試験対象の3Dポーズダイナミクスを表す、態様31〜36のいずれかの方法。
38. 前記試験化合物が、小分子、抗体またはその抗原結合フラグメント、核酸、ポリペプチド、ペプチド、ペプチド模倣体、多糖、単糖、脂質、グリコサミノグリカン、およびそれらの組合せからなる群より選択される、態様31〜37のいずれかの方法。
39. 前記試験対象が動物試験における動物である、態様31〜38のいずれかの方法。
40. 対象への作用因子の投与前および投与後の前記対象の動きを表す3次元ビデオデータを受け取る工程、
前記対象を背景から分離するために前記3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元特徴多様体を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、多層パーセプトロン(MLP)を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のモジュールセットに時間的にセグメント化するために、計算モデルを用いて前記位置合わせされたフレームを処理する工程であって、サブ秒モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、
前記対象への前記作用因子の投与前の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与後の各サブ秒モジュールセット内のモジュール数を決定する工程、
前記対象への前記作用因子の投与前と投与後の各サブ秒モジュールセット内のモジュール数を比較する工程、および
前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化の指示を出力する工程
を含む、対象の動きを分析してモジュールに分離するための方法。
41. 各サブ秒モジュールセットは、行動モジュールを表す基準データとの比較に基づいて所定の行動モジュールに分類される、態様40の方法。
42. 前記対象への前記作用因子の投与前と投与後の各モジュールセット内のモジュール数の発現頻度の変化が、公知のカテゴリの作用因子への曝露後のモジュールの発現頻度の変化を表す基準データと比較される、態様40または41の方法。
43. 公知のカテゴリの作用因子への曝露後の頻度の変化を表す基準データとの前記比較に基づいて、前記作用因子を複数の公知の作用因子カテゴリのうちの1つとして分類するさらなる工程を含む、態様42の方法。
44. 前記作用因子が、薬学的に活性な化合物である、態様40〜42のいずれかの方法。
45. 前記作用因子が、視覚刺激または聴覚刺激である、態様40〜42のいずれかの方法。
46. 前記作用因子が匂い物質である、態様40〜42のいずれかの方法。
47. 前記対象が動物試験における動物である、態様40〜46のいずれかの方法。
48. 前記対象がヒトである、態様40〜46のいずれかの方法。
本明細書の開示は、任意のタイプのハードウェアおよび/またはソフトウェアで実施してもよく、あらかじめプログラムされた汎用コンピューティングデバイスであってもよいことを最初に理解されたい。例えば、システムは、サーバ、パーソナルコンピュータ、ポータブルコンピュータ、シンクライアント、または任意の適切な1台もしくは複数の装置を使用して実装してもよい。本開示および/またはその構成要素は、電気ケーブル、光ファイバケーブルなどの任意の通信媒体上で、または無線方式で、任意の適切な通信プロトコルを使用して相互に接続された、単一の場所の単一の装置、または単一もしくは複数の場所の複数の装置としてもよい。
上述した様々な方法および技術は、本発明を実施するためのいくつかの方法を提供する。当然ながら、必ずしも記載したすべての目的または利点を本明細書に記載した任意の特定の態様に従って達成できるわけではないことを理解されたい。よって、例えば、本明細書で教示または示唆される他の目的または利点を必ずしも達成することなく、本明細書で教示される1つの利点または利点群を達成または最適化するように本方法を実施することもできることを当業者は理解するであろう。本明細書では様々な代替案が言及されている。ある態様は、ある特徴、別の特徴、または複数の特徴を特に含み、別の態様は、ある特徴、別の特徴、または複数の特徴を特に実行し、さらに別の態様は、ある有利な特徴、別の有利な特徴、または複数の有利な特徴を含めることによって特定の特徴を軽減することを理解されたい。
Claims (11)
- 対象の動きを表す3次元ビデオデータを、少なくとも1つのモジュールセットと少なくとも1つのモジュール間遷移統計量セットとに区分するために、計算モデルを使用して前記3次元ビデオデータを処理する工程であって、
前記ビデオデータにおいて前記対象を背景から分離すること、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別すること、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正すること、および、
多様体空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、構造化変分オートエンコーダを含む多層パーセプトロン(MLP)を使用して前記位置合わせされたフレームを処理すること
を含む、前記3次元ビデオデータを処理する工程、および
前記少なくとも1つのモジュールセットを、動物行動のタイプを表すカテゴリに割り当てる工程
を含む、対象の動きを分析してモジュールに分離するための方法。 - 前記3次元ビデオデータが、多次元ベクトル空間における一連の点を出力するためにまず処理され、各点が前記対象の3Dポーズダイナミクスを表す、請求項1記載の方法。
- 前記対象が動物試験における動物である、請求項1または2記載の方法。
- 前記対象がヒトである、請求項1〜3のいずれか一項記載の方法。
- 対象を背景から分離するために、前記対象の動きを表す3次元ビデオデータを前処理する工程、
前記ビデオデータのフレームセット上の、各フレームに共通の座標系に対する前記対象の特徴の向きを識別する工程、
位置合わせされたフレームのセットを出力するために、前記特徴が前記座標系に対して同じ方向に向けられるように前記フレームセットの少なくとも1つのサブセット内の前記対象の前記向きを修正する工程、
3次元グラフィカル空間を通る各位置合わせされたフレームについての前記対象のポーズを表すポーズダイナミクスデータを出力するために、構造化変分オートエンコーダを含む多層パーセプトロン(MLP)を使用して前記位置合わせされたフレームを処理する工程、
前記ポーズダイナミクスデータを別々のサブ秒モジュールセットに時間的にセグメント化するために、前記位置合わせされたフレームを処理する工程であって、モジュールセット内の各サブ秒モジュールが類似したポーズダイナミクスを示す、工程、および
前記3次元ビデオデータにおいて閾値を上回る頻度で発生するモジュールセットの各々の表現を表示する工程
を含む、対象の動きを分析してモジュールに分離するための方法。 - 前記対象が動物試験における動物である、請求項5記載の方法。
- 前記対象がヒトである、請求項5または6記載の方法。
- 前記位置合わせされたフレームを処理する工程が、モデルフリーアルゴリズムを用いて行われる、請求項5記載の方法。
- 前記モデルフリーアルゴリズムが、オートコレログラムを計算することを含む、請求項8記載の方法。
- 前記位置合わせされたフレームを処理する工程が、モデルベースアルゴリズムを用いて行われる、請求項5記載の方法。
- 前記モデルベースアルゴリズムがAR-HMMアルゴリズムである、請求項10記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662310563P | 2016-03-18 | 2016-03-18 | |
US62/310,563 | 2016-03-18 | ||
PCT/US2017/022781 WO2017161167A1 (en) | 2016-03-18 | 2017-03-16 | Automatically classifying animal behavior |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019516157A JP2019516157A (ja) | 2019-06-13 |
JP2019516157A5 JP2019516157A5 (ja) | 2020-04-16 |
JP6964596B2 true JP6964596B2 (ja) | 2021-11-10 |
Family
ID=59852408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018548704A Active JP6964596B2 (ja) | 2016-03-18 | 2017-03-16 | 動物行動の自動分類方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10909691B2 (ja) |
EP (1) | EP3429471A4 (ja) |
JP (1) | JP6964596B2 (ja) |
CN (2) | CN109152555B (ja) |
CA (1) | CA3017518A1 (ja) |
WO (1) | WO2017161167A1 (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101817583B1 (ko) * | 2015-11-30 | 2018-01-12 | 한국생산기술연구원 | 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법 |
US9919217B2 (en) | 2016-03-08 | 2018-03-20 | Electronic Arts Inc. | Dynamic difficulty adjustment |
WO2017170440A1 (ja) * | 2016-03-28 | 2017-10-05 | Necソリューションイノベータ株式会社 | 計測装置、計測方法、及びコンピュータ読み取り可能な記録媒体 |
US10384133B1 (en) | 2016-12-30 | 2019-08-20 | Electronic Arts Inc. | Systems and methods for automatically measuring a video game difficulty |
US10357718B2 (en) | 2017-02-28 | 2019-07-23 | Electronic Arts Inc. | Realtime dynamic modification and optimization of gameplay parameters within a video game application |
US10796142B2 (en) * | 2017-08-28 | 2020-10-06 | Nutech Ventures | Systems for tracking individual animals in a group-housed environment |
US10535138B2 (en) * | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
US10612934B2 (en) * | 2018-01-12 | 2020-04-07 | General Electric Company | System and methods for robotic autonomous motion planning and navigation |
WO2019144146A1 (en) | 2018-01-21 | 2019-07-25 | Stats Llc | Method and system for interactive, interpretable, and improved match and player performance predictions in team sports |
EP3740841A4 (en) * | 2018-01-21 | 2021-10-20 | Stats Llc | SYSTEM AND METHOD FOR MOVEMENT PREDICTION OF MULTIPLE FINE GRANULARITY ADVERSARY AGENTS |
US11450009B2 (en) * | 2018-02-26 | 2022-09-20 | Intel Corporation | Object detection with modified image background |
US11189171B2 (en) * | 2018-03-13 | 2021-11-30 | Nec Corporation | Traffic prediction with reparameterized pushforward policy for autonomous vehicles |
US10824909B2 (en) * | 2018-05-15 | 2020-11-03 | Toyota Research Institute, Inc. | Systems and methods for conditional image translation |
US10713543B1 (en) | 2018-06-13 | 2020-07-14 | Electronic Arts Inc. | Enhanced training of machine learning systems based on automatically generated realistic gameplay information |
JP7146247B2 (ja) * | 2018-09-03 | 2022-10-04 | 国立大学法人 東京大学 | 動作認識方法及び装置 |
US11276244B2 (en) * | 2018-09-18 | 2022-03-15 | AB Strategies SEZC Ltd. | Fixing holes in a computer generated model of a real-world environment |
WO2020072918A1 (en) * | 2018-10-05 | 2020-04-09 | The Trustees Of Princeton University | Automated system to measure multi-animal body part dynamics |
US11699094B2 (en) * | 2018-10-31 | 2023-07-11 | Salesforce, Inc. | Automatic feature selection and model generation for linear models |
CN109558462A (zh) * | 2018-11-02 | 2019-04-02 | 深圳智链物联科技有限公司 | 数据统计方法及装置 |
WO2020180702A1 (en) | 2019-03-01 | 2020-09-10 | Stats Llc | Personalizing prediction of performance using data and body-pose for analysis of sporting performance |
US10953334B2 (en) | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
US11276216B2 (en) * | 2019-03-27 | 2022-03-15 | Electronic Arts Inc. | Virtual animal character generation from image or video data |
US20220172821A1 (en) * | 2019-04-10 | 2022-06-02 | Genting Taurx Diagnostic Centre Sdn Bhd | Adaptive neurological testing method |
CN110163815B (zh) * | 2019-04-22 | 2022-06-24 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
WO2020227614A1 (en) | 2019-05-08 | 2020-11-12 | Stats Llc | System and method for content and style predictions in sports |
CN110188836B (zh) * | 2019-06-21 | 2021-06-11 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
US11110353B2 (en) | 2019-07-10 | 2021-09-07 | Electronic Arts Inc. | Distributed training for machine learning of AI controlled virtual entities on video game clients |
WO2021035687A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳先进技术研究院 | 一种旷场实验数据分析方法、系统及终端设备 |
CN110602527B (zh) | 2019-09-12 | 2022-04-08 | 北京小米移动软件有限公司 | 视频处理方法、装置及存储介质 |
EP4052175A4 (en) * | 2019-10-31 | 2023-11-29 | President And Fellows Of Harvard College | IMAGE PROCESSING FOR STANDARDIZING THE SIZE AND SHAPE OF ORGANISMS |
CN111241462B (zh) * | 2020-01-20 | 2023-07-07 | 北京正和恒基滨水生态环境治理股份有限公司 | 鸟类栖息地承载量计算方法、装置、存储介质和计算机 |
CN111428874A (zh) * | 2020-02-29 | 2020-07-17 | 平安科技(深圳)有限公司 | 风控方法、电子装置及计算机可读存储介质 |
JP7247133B2 (ja) * | 2020-03-12 | 2023-03-28 | 株式会社東芝 | 検出装置、検出方法およびプログラム |
CN111488840A (zh) * | 2020-04-15 | 2020-08-04 | 桂林电子科技大学 | 一种基于多任务学习模型的人体行为分类方法 |
CN111700610B (zh) * | 2020-06-04 | 2023-04-07 | 浙江普可医疗科技有限公司 | 一种脑电爆发抑制模式的分析方法、装置、系统及其存储介质 |
CN115715385A (zh) | 2020-06-05 | 2023-02-24 | 斯塔特斯公司 | 用于预测体育运动中的队形的系统和方法 |
WO2022072794A1 (en) | 2020-10-01 | 2022-04-07 | Stats Llc | Prediction of nba talent and quality from non-professional tracking data |
FR3119309A1 (fr) | 2021-01-29 | 2022-08-05 | Evel'up | système d’analyse comportementale pour l’élevage animal |
FR3119473A1 (fr) | 2021-01-29 | 2022-08-05 | Evel'up | système d’analyse comportementale pour l’élevage animal |
CN112966010A (zh) * | 2021-02-09 | 2021-06-15 | 深圳大学 | 一种用户轨迹信息挖掘方法 |
CN112819240B (zh) * | 2021-02-19 | 2021-11-26 | 北京科技大学 | 基于物理约束的lstm模型预测页岩油产量的方法 |
JPWO2022196635A1 (ja) * | 2021-03-15 | 2022-09-22 | ||
CN117222455A (zh) | 2021-04-27 | 2023-12-12 | 斯塔特斯公司 | 用于单个运动员和团队模拟的系统和方法 |
CN114677631B (zh) * | 2022-04-22 | 2024-03-12 | 西北大学 | 一种基于多特征融合及多阶段训练的文化资源视频中文描述生成方法 |
KR102646871B1 (ko) * | 2023-01-31 | 2024-03-13 | 한국축산데이터 주식회사 | 축사 감시 카메라를 이용한 환경 변화 탐지 장치 및 방법 |
CN117807603B (zh) * | 2024-02-29 | 2024-04-30 | 浙江鹏信信息科技股份有限公司 | 软件供应链审计方法、系统及计算机可读存储介质 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3270005B2 (ja) | 1998-03-20 | 2002-04-02 | 勝義 川崎 | 実験動物の行動観察の自動化方法 |
EP1151319A1 (en) | 1999-02-19 | 2001-11-07 | Fox Chase Cancer Center | Methods of decomposing complex data |
US6678413B1 (en) | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
US20040030741A1 (en) | 2001-04-02 | 2004-02-12 | Wolton Richard Ernest | Method and apparatus for search, visual navigation, analysis and retrieval of information from networks with remote notification and content delivery |
CA2446853A1 (en) | 2001-05-15 | 2002-11-21 | Psychogenics Inc. | Systems and methods for monitoring behavior informatics |
US6837184B2 (en) | 2001-08-06 | 2005-01-04 | Psychogenics, Inc. | Programmable electronic maze for use in the assessment of animal behavior |
JP2003087771A (ja) | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | 監視システム及び方法 |
WO2005001768A1 (en) | 2003-06-06 | 2005-01-06 | Psychogenics, Inc. | System and method for assessing motor and locomotor deficits and recovery therefrom |
JP4598405B2 (ja) | 2004-01-06 | 2010-12-15 | 小原医科産業株式会社 | 小動物の行動診断方法 |
JP2005215927A (ja) * | 2004-01-29 | 2005-08-11 | Mitsubishi Heavy Ind Ltd | 行動認識システム |
US7981058B2 (en) | 2004-03-12 | 2011-07-19 | The Trustees Of Dartmouth College | Intelligent wearable monitor systems and methods |
JP2009500042A (ja) * | 2005-07-07 | 2009-01-08 | インジーニアス・ターゲティング・ラボラトリー・インコーポレーテッド | ターゲットの運動行動の3dのモニタリング及び分析のためのシステム |
US7725192B2 (en) | 2005-10-12 | 2010-05-25 | The General Hospital Corporation | Methods of increasing learning rate |
US20090220425A1 (en) | 2006-01-19 | 2009-09-03 | Drexel University | Method to Quantitatively Measure Effect of Psychotropic Drugs on Sensory Discrimination |
JP2007328435A (ja) | 2006-06-06 | 2007-12-20 | Mitsubishi Electric Corp | 移動体行動分析装置 |
US9943687B2 (en) | 2007-09-26 | 2018-04-17 | Duke University | Method of treating parkinson's disease and other movement disorders |
EP2235602A4 (en) | 2008-01-23 | 2018-03-28 | The Regents of The University of California | Systems and methods for behavioral monitoring and calibration |
WO2010032247A2 (en) | 2008-09-17 | 2010-03-25 | Ramot At Tel-Aviv University Ltd. | System and method for analyzing exploratory behavior |
US8634635B2 (en) | 2008-10-30 | 2014-01-21 | Clever Sys, Inc. | System and method for stereo-view multiple animal behavior characterization |
US9131279B2 (en) | 2009-08-06 | 2015-09-08 | Qualcomm Incorporated | Preparing video data in accordance with a wireless display protocol |
TWI411935B (zh) | 2009-12-25 | 2013-10-11 | Primax Electronics Ltd | 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法 |
JP2012053716A (ja) | 2010-09-01 | 2012-03-15 | Research Institute For Diversity Ltd | 思考モデルの作成方法、思考モデルの作成装置及び思考モデルの作成プログラム |
US8437506B2 (en) * | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US10321892B2 (en) | 2010-09-27 | 2019-06-18 | Siemens Medical Solutions Usa, Inc. | Computerized characterization of cardiac motion in medical diagnostic ultrasound |
EP4198926A1 (en) * | 2012-05-10 | 2023-06-21 | President And Fellows Of Harvard College | Method and apparatus for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals |
WO2015030689A2 (en) | 2013-08-27 | 2015-03-05 | Altun Halis | A tool and method for robust, scale and orientation invariant object detection and classification |
US9639770B2 (en) | 2015-03-26 | 2017-05-02 | Konica Minolta Laboratory U.S.A., Inc. | System and method for improving communication productivity |
JP7034069B2 (ja) | 2015-10-14 | 2022-03-11 | プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジ | 動物行動の自動分類 |
-
2017
- 2017-03-16 US US16/085,946 patent/US10909691B2/en active Active
- 2017-03-16 WO PCT/US2017/022781 patent/WO2017161167A1/en active Application Filing
- 2017-03-16 CA CA3017518A patent/CA3017518A1/en active Pending
- 2017-03-16 CN CN201780031046.1A patent/CN109152555B/zh active Active
- 2017-03-16 CN CN202211082452.XA patent/CN115500818A/zh active Pending
- 2017-03-16 JP JP2018548704A patent/JP6964596B2/ja active Active
- 2017-03-16 EP EP17767561.8A patent/EP3429471A4/en active Pending
-
2020
- 2020-10-30 US US17/085,510 patent/US11669976B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN109152555B (zh) | 2022-09-06 |
CN115500818A (zh) | 2022-12-23 |
CN109152555A (zh) | 2019-01-04 |
US10909691B2 (en) | 2021-02-02 |
US11669976B2 (en) | 2023-06-06 |
EP3429471A4 (en) | 2019-07-31 |
EP3429471A1 (en) | 2019-01-23 |
US20190087965A1 (en) | 2019-03-21 |
WO2017161167A1 (en) | 2017-09-21 |
CA3017518A1 (en) | 2017-09-21 |
JP2019516157A (ja) | 2019-06-13 |
US20210110550A1 (en) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6964596B2 (ja) | 動物行動の自動分類方法 | |
JP7034069B2 (ja) | 動物行動の自動分類 | |
Huang et al. | A virtual reality system to analyze neural activity and behavior in adult zebrafish | |
Wiltschko et al. | Mapping sub-second structure in mouse behavior | |
Knogler et al. | Motor context dominates output from purkinje cell functional regions during reflexive visuomotor behaviours | |
Vanwalleghem et al. | Calcium imaging and the curse of negativity | |
Masson et al. | Identifying neural substrates of competitive interactions and sequence transitions during mechanosensory responses in Drosophila | |
Contreras et al. | Challenges of a small world analysis for the continuous monitoring of behavior in mice | |
Geng et al. | Social behavioral profiling by unsupervised deep learning reveals a stimulative effect of dopamine D3 agonists on zebrafish sociality | |
Johnston et al. | Robust population single neuronal calcium signal extraction using SCOUT allows for longitudinal analysis of behavior-associated neural ensemble dynamics | |
Wiltschko | The Structure of Mouse Behavior | |
Korzus et al. | Prefrontal multistimulus integration within a dedicated disambiguation circuit guides interleaving contingency judgment learning | |
Sundharram | MOUSE SOCIAL BEHAVIOR CLASSIFICATION USING SELF-SUPERVISED LEARNING TECHNIQUES | |
Wittek | Perceptual decision making and visual perception in pigeons | |
Mimura et al. | Unsupervised decomposition and description of nonhuman primate behavior | |
Murari | Markerless Mouse Tracking for Social Experiments | |
Liu et al. | A cortical circuit mechanism for coding and updating task structural knowledge in inference-based decision-making | |
Chen | Dissection of Complex Behavior and Whole-Brain Functional Mapping in Larval Zebrafish | |
Patrick | The neural circuit basis of learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200305 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210607 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6964596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |