JP6014890B2 - 動体の３次元運動検出装置及び検出方法 - Google Patents

Description

本発明は、例えばマウス等の小動物の動き、特にその頭や足等の特徴点の動き、を３次元的に検出する装置及び方法に関する。なお、本発明に係る装置及び方法は、小動物に限られることなく、人間等の一般の動物の他、ロボット等の非生物の動体についても適用可能である。

マウスは、製薬や医療分野等において、動物の自発的運動や刺激に対する反応等を研究するために用いられている。例えば、抗うつ剤等の薬品の開発においては投薬前後の運動の初期解析、脊椎損傷の研究においては損傷解析や治療効果の確認等がマウスを用いて行われる。

このような研究においては、マウスの運動を詳しく解析することが必要である。このため、マウスの運動の観察を自動化する試みがいくつかなされている。一つの方法はマーカーを使用するものであり、他の方法はマーカーを使用しないものである。前者の方法の一つが非特許文献１に記載されている。この方法では、マウスにマーカーを取り付け、マーカーの動きを撮影して、撮影画像を解析する。この方法ではマウスの正確な位置がわかるという利点があるものの、運動時、マーカーを常時マウスに固定しておかなければならないことから、マウスの運動を拘束するという問題がある。すなわち、マウスの通常の状態での観測には適していない。なお、特許文献１にはマーカーを用いて人間の四肢や頭部等の各部の動きを測定するモーションキャプチャー技術が開示されているが、これはそもそも運動体（運動者）の自然な動きを測定することを目的とするものではない。

マーカーを使用しない方法の一つは、ノルダス社（Noldus、オランダ）の「エソビジョンXT」（EthoVision XT）というビデオ運動解析システムである。これは、カラーのビデオ画像をベースに、マウスの頭部、重心及び臀部の３点を追跡（トラッキング）するものである（この方法を用いたマウスの運動解析が非特許文献２に記載されている）。マーカーを使用しない他の方法は、同じくノルダス社の「キャットウォークXT」（CatWalk XT）という歩行解析システムである。これは、細長い通路において、地面についた四肢を圧力で検出して歩行を解析するものである。

特表2008-545206号公報

G. Courtine, et al., "Recovery of supraspinal control of stepping via indirect propriospinal relay connections after spinal cord injury.", Nature medicine, Vol. 14, No. 1, pp. 69-74, 2008. Thomas H.J. Burnea, et al., "Swimming behaviour and post-swimming activity in Vitamin D receptor knockout mice", Brain Research Bulletin, Volume 69, Issue 1, 15 March 2006, Pages 74-78. "EthoVision XT", Noldus社, [online], [平成24年9月13日検索],インターネット<URL: http://www.noldus.com/animal-behavior-research/products/ethovision-xt/> "CatWalk XT", Noldus社, [online], [平成24年9月13日検索],インターネット<URL: http://www.noldus.com/animal-behavior-research/products/catwalk> "PMD[vision](R) CamBoard nano reference design", PMDTec社, [online], [平成24年9月13日検索],インターネット<URL: http://www.pmdtec.com/products-services/pmdvisionr-cameras/pmdvisionr-camboard-nano/>

マーカーを使用しない方法はマウスを拘束しないという利点はあるものの、従来の方法はいずれもマウスの２次元的な動きのみを測定するものであり、四肢を始めとするマウスの体の各部の動きを追跡することができず、薬理効果等の解析には十分ではなかった。これは、マウスの体長が7cm程度と小さいこと、そして、その四足歩行の範囲も小さいことが原因として挙げられる。このため、従来、マウスの体全体の運動の解析は、人間による観察及び評価（主観評価）に依存せざるを得なかった。

本発明が解決しようとする課題は、マウス等の小動物の四肢、頭部などの特徴点の３次元的な動きを自動的に追跡（トラッキング）する方法を提供することである。なお、後に述べるとおり、本発明に係る装置及び方法は、小動物に限られることなく、人間等の一般の動物の他、ロボット等の非生物の動体についても適用可能である。

上記課題を解決するためになされた本願発明の第１の態様は、
a) 可視光を遮断し赤外線を透過する遮蔽板を介して反対側で動く動体の表面の各点を赤外線深度センサーで時系列的に検出するステップと、
b) 各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表すメッシュを作成するステップと、
c) 前記メッシュより、各時点における前記動体の特徴点を抽出するステップと、
d) 前記特徴点の時系列的変化により、前記動体の３次元的動きを検出するステップと
を有することを特徴とする動体３次元運動検出方法である。

上記方法の概略の流れを図１(a)に示す。

この方法において、赤外線深度センサーは、一般に市販されているものを用いることができ、例えば簡易的なものとしては、米国マイクロソフト社が販売するキネクト（KINECT）センサーを用いることができる。

本発明に係る方法では、可視光を遮断し赤外線を透過する遮蔽板を介して動体を検出するため、動体からは赤外線深度センサーやその他の測定機器が見えず、神経質な動体（例えばマウス）に何ら刺激を与えることなく、動体の自然な動きを検出することができる。もちろん、本発明に係る方法は神経質な動体に限られることなく、人間やロボット等、あらゆる動体に対して適用することができる。

なお、赤外線深度センサーが検出するのは、手前側、すなわち動体の遮蔽板側の表面の各点である。動体の表面各点の検出の空間密度及び時間密度（フレームレート）は赤外線深度センサーの性能に依存するが、例えば前記キネクトセンサーの場合、空間密度は約3mm、時間密度は約30フレーム/sec、米国PMDTec社のCamboard Nanoの場合、空間密度は約1 mm（時間密度は同じ）である（非特許文献５）。

こうして所定時間の間、動体の動きを検出し、その表面点の位置データを時系列的に採取する。
所定時間の間に検出された動体の表面点のデータについて、各時点毎に、隣接点間を接続線で結び、動体の表面を表すメッシュを作成する（メッシュ化する）。なお、ここで言う「表す」には、画面上にメッシュを可視的に表現する場合のみならず、コンピュータの内部にそのようなメッシュ化したデータを保持する場合も含む。すなわち、隣接点間の関係を付けたデータとして各点の座標値を記憶しておく場合も含む。

そして、各時点毎に、こうして作成したメッシュより、動体の特徴点を抽出する。特徴点は１個のみ抽出してもよいし、複数個抽出してもよい。特徴点は、必要な体部位の数より多く、冗長にとることが可能であり、またそうすることが精度の点から望ましい。特徴点の抽出の詳細については後述する。

各時点毎に抽出された特徴点を時系列的に連ねることにより、その特徴点の３次元的動きを検出することができる。こうして検出された動きは、画面に表示してもよいし、更にその動線の特徴点を抽出するなりして、動体の運動の解析を行ってもよい。

特徴点の抽出は、例えば、
e) 検出した前記各点より、前記動体の中心点を特定するステップと、
f) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を特徴点とするステップと
で行うことができる。

上記方法の概略の流れを図１(b)に示す。

ここにおける「中心点」は、例えば、全検出点の重心（全座標の平均値の点）とすることができる。

この中心点よりメッシュの各接続線を辿った距離を各表面点について測定し、その距離が極大を示す表面点を特徴点とするのである。

なお、上記に加え、さらに、
g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させるステップ
を備えていてもよい。

また、こうして一旦各表面点までの距離を測定した後、距離の遠い表面点（周辺点。前記特徴点も含まれ得る。）を除き、それ以外の表面点（最初の重心から近い表面点）のみに基づいて重心を特定するようにしてもよい。これは例えばマウスの場合、しっぽや四肢を除いた胴体のみの重心を求めることに相当する。

上記課題を解決するためになされた本願発明の第２の態様は、動体の各部の３次元的動きを検出する装置であって、
a) 可視光を遮断し、赤外線を透過する遮蔽板と、
b) 該遮蔽板を介して動体の反対側に設けられる赤外線深度センサーと
を備え、
前記遮蔽板が水平に配置され、前記赤外線深度センサーが該遮蔽板の下から該遮蔽板上の動体を検出するように配置されていることを特徴とする動体３次元運動検出装置である。

この動体３次元運動検出装置は更に、
c) 前記赤外線深度センサーで時系列的に検出された前記動体の表面の各点のデータを記憶する手段と、
d) 前記記憶されたデータに基づき、各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表す接続線のメッシュを作成する手段と、
e) 前記メッシュより、前記動体の特徴点を抽出する手段と
を備えるようにしてもよい。
これらの手段は、通常、コンピュータ（周辺装置を含む）により実現される。

この動体３次元運動検出装置は更に、
f) 前記特徴点の時系列的変化を画面上に表示する手段
を備えるようにしてもよい。

そして、前記特徴点抽出手段は、
e1) 各時点の前記動体表面の点のデータより、前記動体の中心点を特定する手段と、
e2) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を検出し、それを特徴点とする手段と
を有するものとすることができる。

そしてさらに、
g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させる手段
を備えるようにしてもよい。

本発明に係る動体３次元運動検出方法及び装置では、動体にマーカーを付することなく、その特徴点の３次元的な動きを自動的に追跡（トラッキング）することができる。本発明に係る方法及び装置の対象とする動体は、小動物に限られることなく、人間等の一般の動物の他、ロボット等の非生物の動体であってもよい。

本願発明の第１の態様である動体３次元運動検出方法の概略の構成を表すフローチャート(a)、及び、その中の特徴点の抽出方法の一例の概略構成を表すフローチャート(b)。 本願発明の一実施例である運動検出装置の概略構成図。 実施例の運動検出装置の外観斜視図。 実施例の運動検出装置で取得した赤外線画像の一例を示す図。 フレーム画像から抽出したマウスの部分画像の図(a)、メッシュ化のための結線の一例を示す説明図(b)、メッシュ化されたマウスの斜視図(c)、第１フレームについて特徴点を抽出した後、各特徴点をマニュアルで特定したことを説明する説明図(d)、及び、第２フレーム以降の各特徴点を示す画像の図(e)。 鼻先（nose）の軌跡の目視検出結果及び自動検出結果を比較したグラフ。 右前足（R-front-paw）及び左前足（L-front-paw）の軌跡の目視検出結果及び自動検出結果を比較したグラフ。 右後足（R-rear-paw）及び左後足（L-rear-paw）の軌跡の目視検出結果及び自動検出結果を比較したグラフ。 鼻先（nose）の軌跡の目視検出結果及び自動検出結果の差のグラフ。 右前足（R-front-paw）及び左前足（L-front-paw）の軌跡の目視検出結果と自動検出結果の差のグラフ。 右後足（R-rear-paw）及び左後足（L-rear-paw）の軌跡の目視検出結果と自動検出結果の差のグラフ。 左後足（L-rear-paw）の高さの軌跡の目視検出結果及び自動検出結果を比較したグラフ。 右後足（R-rear-paw）の高さの軌跡の目視検出結果及び自動検出結果を比較したグラフ。

以下、本発明に係る方法の具体的な実施例について述べる。ただし、本発明は多くの異なる態様で実施することが可能であり、以下に示す実施例に限定されるものではない。

マウスについて、その頭部及び四肢の動きを自動的に観測する装置を作製した。マウスは、下が見える透明板の上を忌避するため、透明板上で運動するマウスを下から可視光で撮影しようとすると、マウスの自然な動きを観測することができない。これは、科学的実験においては、無視できない外因となる。そこで、運動検出装置１０は図２に示すような構成とした。

本実施例で用いた運動検出装置１０では、可視光を遮断し、赤外線のみを透過させる板（底板）１１を水平に置き、その上でマウス１２を運動させることにした。具体的には、図３に示すように、透明アクリル板２０の上に縦40cm、横40cm、深さ60cmの箱２１を置き、その箱２１の底に黒色の赤外線透過フィルター２２を貼付し、それを底板１１とした。この底板１１の下方に赤外線反射鏡１４を置き、その側方に赤外線深度センサー１３を配置した。赤外線深度センサー１３を底板１１の直下に配置せず、反射鏡１４を介するようにしたのは、用いた赤外線深度センサー１３（キネクトセンサー）の最適深度特性と観測視野特性を考慮して、所定の距離を置くためである。従って、赤外線深度センサの最適深度特性によっては鏡を設けることなく、直接撮影するようにしてもよい。

赤外線深度センサー１３には演算装置１５を接続する。演算装置１５はコンピュータにより構成され、記憶装置１６、入力装置１８、表示装置１７等が接続されている。

このような構成の装置１０において、箱２１の中に６週齢のメスのマウス１２（体長6.3cm）を入れ、自由に運動をさせ、その間、赤外線深度センサー１３で撮影を行った（図１(a)のステップS1に相当）。赤外線深度センサー１３で撮影された一時点の赤外線像を図４に示す。

この装置１０により時系列的に得られる図４に示すような画像（すなわち、映像）より、次のような手順でマウス１２の各部の動きを検出した。
まず、前処理（プリプロセシング）として、得られた各時点の画像（フレーム画像）より、マウスの部分のみを抜き出す（図５(a)）。これは例えば制限ボックスフィルター（bounding box filtering）等の従来の既知の手法を用いることができる。

次に、抜き出された画像のうち、マウスを構成する像の各ピクセルをそれぞれ検出点とし、各検出点を接続線で接続してメッシュ化する（図１(a)のステップS2に相当）。各検出点は深度センサーで検出された点であるため、xy座標の他に深さ値（z座標）を有する。メッシュ化には様々な既知の手法を用いることができるが、例えば図５(b)に示すように、或る検出点（p₀）に対して隣接する８検出点（p₁〜p₈）を接続するという方法を採ることができる。これにより構成されたマウス１２の表面メッシュを横から見た図を図５(c)に示す。

このメッシュより、次のような手順で(1)鼻先、(2)右前足、(3)左前足、(4)右後足、(5)左後足の5個の特徴点を抽出した（図１(a)のステップS3に相当）。なお、特徴点の数は取得したい点の数に依存する。例えば重心と頭、臀部のみを取得したい場合は3点となる。

まず、全検出点の座標の平均を取り、重心点を算出する（図１(b)のステップS31に相当）。この重心点より、まず最も近い検出点（中心表面点）を選択し、重心点とその中心表面点を直線で結ぶ。次に、この中心表面点からメッシュを辿った各検出点への距離を算出する。そして、重心又は中心表面点からの距離がメッシュ上で極大となる検出点を、最大距離の点から順次5個選択する（図１(b)のステップS32に相当）。これらが前記5個の特徴点となる。最大距離となるのは、多くの場合、(4)右後足又は(5)左後足であるが、場合によっては(2)右前足や(3)左前足、又は(1)鼻先となる。いずれにせよ、これら5個の特徴点はほぼ確実に抽出することができるが、いずれが(1)鼻先でありいずれが(2)右前足であるか等は自動で決定することは難しい。従って、図５(d)に示すように、最初のフレーム画像において、各特徴点がこれら(1)〜(5)の各点であることを操作者がマニュアルで指定することが望ましい。

なおここで、取得したい体部位に対応した点の数より多く特徴点を取得し、時間的に前後のフレームの情報等を参酌して、手足としてもっともらしい点を選択することにより、トラッキング精度を上げるという方法を採ることもできる。例えば、頭と四肢の5点をトラッキングしたい場合は、各フレームにおいて6点以上の特徴点を取得することが望ましい。それらの中で、前後のフレームの情報より、頭と四肢として適切な特徴点5点を選択する。これにより誤認識の可能性を低減し、トラッキング精度を上げることができる。

各時点のフレーム画像についてこうして抽出した特徴点を時系列的に並べることにより、各特徴点の動きを検出することができる（図１(a)のステップS4に相当。図５(e)）。

試験を行ったマウスの(1)鼻先の動きを図６に示す。図６は90フレーム、すなわち3秒間の動きをプロットしたものである。図６では、上記方法で自動的に検出した点の底板上（z=0）への射影を×でプロットした。図６には同時に、操作者が各フレーム画像を目視で観察し、(1)鼻先特徴点を検出した結果を■でプロットした。目視検出は底板上（ground）で行った。なお、図６において右上が開始点、左下が終了点である。終了点間際の数点を除き、両者は非常に近い軌跡を示している。

同様の方法で、左右の前足の軌跡を比較したグラフを図７に、左右の後足の軌跡を比較したグラフを図８に示す。

両検出方法による差異をより明らかにするため、横軸にフレーム番号（すなわち、時間）を取り、縦軸に両検出方法による特徴点の検出位置の誤差をプロットしたグラフを図９〜図１１に示す。これらのグラフより各特徴点の誤差の平均及び分散を計算すると、誤差の平均は1.3mm（左後足）〜3.5mm（鼻先）、分散は1.8mm（左後足）〜5.7mm（鼻先）であった。マウスの体長が約70mmであることを考慮すると、誤差の平均は 5% 程度であり、これはマウスの足先の直径と同程度である。すなわち、本発明はマウスのような小動物に対しても十分な精度をもったトラッキングができる。

本発明に係る方法では深度センサーを用いているため、各特徴点の３次元的な動きを検出することができる。そこで、各特徴点の高さ（底板１１からの距離）の軌跡を、上記自動検出と観察による検出とで比較した。そのうちの右後足（R-rear-paw）及び左後足（L-rear-paw）の結果を図１２及び図１３に示す。高さにおいても、自動検出はほぼ正しい位置を示していることが分かる。

１０…運動検出装置
１１…底板
１２…マウス
１３…赤外線深度センサー
１４…赤外線反射鏡
１５…演算装置
１６…記憶装置
１７…表示装置
１８…入力装置
２０…透明アクリル板
２１…箱
２２…赤外線透過フィルター

Claims (9)

1. a) 可視光を遮断し赤外線を透過する遮蔽板を介して反対側で動く動体の表面の各点を赤外線深度センサーで時系列的に検出するステップと、
   b) 各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表すメッシュを作成するステップと、
   c) 前記メッシュより、各時点における前記動体の特徴点を抽出するステップと、
   d) 前記特徴点の時系列的変化により、前記動体の３次元的動きを検出するステップと
   を有することを特徴とする動体３次元運動検出方法。
2. 前記特徴点の抽出が、
   e) 検出した前記各点より、前記動体の中心点を特定するステップと、
   f) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を特徴点とするステップと
   を有することを特徴とする請求項１に記載の動体３次元運動検出方法。
3. さらに、
   g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させるステップ
   を有することを特徴とする請求項２に記載の動体３次元運動検出方法。
4. 前記動体がマウスであることを特徴とする請求項１〜３のいずれかに記載の動体３次元運動検出方法。
5. 動体の各部の動きを検出する装置であって、
   a) 可視光を遮断し、赤外線を透過する遮蔽板と、
   b) 該遮蔽板を介して動体の反対側に設けられる赤外線深度センサーと
   を備え、
   前記遮蔽板が水平に配置され、前記赤外線深度センサーが該遮蔽板の下から該遮蔽板上の動体を検出するように配置されていることを特徴とする動体３次元運動検出装置。
6. 更に、
   c) 前記赤外線深度センサーで時系列的に検出された前記動体の表面の各点のデータを記憶する手段と、
   d) 前記記憶されたデータに基づき、各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表す接続線のメッシュを作成する手段と、
   e) 前記メッシュより、各時点における前記動体の特徴点を抽出する手段と
   を備えることを特徴とする請求項５に記載の動体３次元運動検出装置。
7. 更に、
   f) 前記特徴点の時系列的変化を画面上に表示する手段
   を備えることを特徴とする請求項６に記載の動体３次元運動検出装置。
8. 前記特徴点抽出手段が、
   e1) 各時点の前記動体表面の点のデータより、前記動体の中心点を特定する手段と、
   e2) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を検出し、それを特徴点とする手段と
   を有することを特徴とする請求項６又は７に記載の動体３次元運動検出装置。
9. さらに、
   g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させる手段
   を備えることを特徴とする請求項６〜８のいずれかに記載の動体３次元運動検出装置。