JP6467813B2 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本技術は、分析対象物を経時的に撮像した動画像に対して画像解析を行う画像処理装置、画像処理プログラム及び画像処理方法に関する。

創薬や再生医療に向けて細胞の機能評価が課題となっており、種々の分析手法が検討されている。分析手法の一つに、分析対象の細胞を経時的に撮像した動画像を解析することによって細胞の情報を得る画像解析がある。

例えば、特許文献１には、蛍光染色と画像処理を用いて神経細胞の突起伸張を解析する方法が開示されている。また、特許文献２には、画像解析により、神経細胞による神経回路網の評価を行う方法が開示されている。

特開２００５−０９５１７２号公報 特開２００７−２３３２３８号公報

ここで、細胞の中には、画像において検出可能な動きを有するものがある。例えば、心筋細胞は収縮や弛緩を行い、神経細胞は軸索輸送や突起伸張等を行う。このような動きを画像解析によって検出することができれば、細胞の機能評価にとって有効である。

しかしながら、細胞の機能評価を行う上では、単に動きを抽出すればよいわけでない。
細胞の動きには、細胞自体の動き（伸縮等）もあれば、周囲の流体の流れ等よって動く場合もあるからである。また、細胞の動きであってもその方向が重要な場合がある。例えば心筋細胞であれば、心筋の伸縮方向に沿った動きが重要であり、機能評価のためにはその方向に沿った動きを抽出する必要がある。また、神経細胞であれば、細胞体の振動、軸索輸送あるいは突起伸張等の各種の動きがあり、それぞれ動きの方向や質が異なっている。

以上のような事情に鑑み、本技術の目的は、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、動き解析部と、軸方向設定部と、情報抽出部とを具備する。
上記動き解析部は、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する。
上記軸方向設定部は、上記分析対象動画像において、軸方向を設定する。
上記情報抽出部は、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。

この構成によれば、動きベクトルから軸方向に対する動きの情報が抽出されるため、動きの量だけではなく動きの方向も含めた情報を提示することができ、ユーザは分析対象物の動きを、動きの方向も含めて評価することが可能となる。軸方向は、ユーザが任意で設定してもよく、画像処理装置が設定してもよい。

上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定してもよい。

この構成によれば、分析対象物の動きに応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、最も大きい動きベクトルの方向と同一方向を軸方向に設定することができる。

上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定してもよい。

この構成によれば、分析対象物に対する画像処理結果に応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、分析対象動画像において分析対象物を検出し、その延伸方向を軸方向に設定することができる。

上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出してもよい。

この構成によれば、ユーザが軸方向に対する分析対象物の動きの方向を評価することが可能となる。

上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出してもよい。

この構成によれば、動きベクトルの動き量が、軸方向に対する動き量に変換され、ユーザが軸方向に対する動き量を評価することが可能となる。

上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出してもよい。

この構成によれば、軸方向から所定角度内の動きベクトルの動き量が抽出されるため、ユーザが軸方向及び軸方向に近い方向に対する動き量を評価することが可能となる。

上記画像処理装置は、上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲について算出された動きベクトルと上記軸方向に基づいて、上記情報を抽出してもよい。

この構成によれば、分析範囲について動きベクトルが算出され、軸方向に他する動きの情報が抽出される。このため、ユーザは分析対象動画像において分析を所望する範囲を分析範囲に指定することにより、分析範囲についての情報を得ることができる。分析範囲の動きベクトルは、区画毎に算出された動きベクトルを加算した動きベクトル、あるいは区画毎に算出された動きベクトルのうち最大の動きベクトル等とすることができる。

上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定してもよい。

この構成によれば範囲指定部によって、分析範囲が指定される。範囲指定部は、分析対象動画像に画像処理を施して、分析対象動画像に含まれる分析対象物を検出し、分析対象物が含まれる範囲を分析範囲に指定することができる。

上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させてもよい。

この構成によれば、分析範囲に含まれる分析対象物の動きに応じて分析範囲を分析対象物の動きに追随させることが可能となる。

上記画像処理装置は、上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。

この構成によれば、ユーザは、分析範囲について算出された動きベクトルを参照し、分析範囲に含まれる分析対象物の動きを評価することが可能となる。

上記画像処理装置は、上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。

この構成によれば、ユーザは、区画毎に算出された動きベクトルのうち、画像処理結果に応じて選択された動きベクトルを参照することが可能となる。結果出力部は、分析対象動画像における分析対象物の形状等に応じて動きベクトルを選択することができる。

上記画像処理装置は、上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成してもよい。

この構成によれば、ユーザは、フレーム間で選択された動きベクトルを比較することが可能となる。結果出力部は例えば、各フレームで最も大きい動きベクトルを選択することができる。

上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる。

上記目的を達成するため、本技術の一形態に係る画像処理方法は、
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。

以上のように、本技術によれば、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することが可能である。

本技術の実施形態に係る画像処理装置の機能的構成を示す模式図である。 同画像処理装置の動画像取得部が取得する分析対象動画像の例である。 分析対象動画像における動きの例を示す模式図である。 同画像処理装置の範囲指定部部が指定する分析範囲の模式図である。 同画像処理装置の動き解析部が設定する分析範囲の模式図である。 同画像処理装置の動き解析部による動きベクトルの算出を示す模式図である。 同画像処理装置の動き解析部によって算出された動きベクトルの模式図である。 同画像処理装置の軸方向設定部によって設定される軸方向の模式図である 同画像処理装置の軸方向設定部によって設定される軸方向の模式図である 同画像処理装置の情報抽出部による、分析範囲についての動きベクトルの算出を示す模式図である。 同画像処理装置の情報抽出部によって算出された分析範囲についての動きベクトルと軸方向を示す模式図である。 分析範囲について算出された動きベクトルと軸方向の関係を示す模式図である。 同画像処理装置の情報抽出部による動きベクトルの投影のための変換式である。 同画像処理装置の情報抽出部によって抽出された軸方向と動きベクトルのなす角の時間変化を示すグラフである。 同画像処理装置の情報抽出部によって抽出された軸方向に対する動き量の時間変化を示すグラフである。 同画像処理装置の情報抽出部によって抽出された軸方向から所定角度内の動きベクトルの動き量の時間変化を示すグラフである。 同画像処理装置の結果出力部によって生成される軸方向に対する動き量の時間変化を示す画像である。 図１７に示す画像が生成されるとなった元分析対象動画像である。 同画像処理装置の結果出力部によって生成される動きベクトルの時間変化を示すグラフである。 同画像処理装置の結果出力部によって生成される分析対象動画像に動きベクトルを重畳した画像の例である。 同画像処理装置の結果出力部によって生成される分析対象動画像に動きベクトルを重畳した画像の例である。 同画像処理装置の結果出力部によって生成される分析対象動画像に動きベクトルを重畳した画像の例である。 同画像処理装置の範囲指定部による分析範囲の移動を示す模式図である。 同画像処理装置の動作を示すフローチャートである。 同画像処理装置の別の動作を示すフローチャートである。 同画像処理装置の機能的構成を実現するためのハードウェア構成を示す模式図である。

本技術の実施形態に係る画像処理装置について説明する。

[画像処理装置の機能的構成]
図１は、本実施形態に係る画像処理装置１０の機能的構成を示す模式図である。同図に示すように、画像処理装置１０は、動画像取得部１１、範囲指定部１２、動き解析部１３、軸方向設定部１４、情報抽出部１５及び結果出力部１６を有する。

動画像取得部１１は、「分析対象動画像」を取得する。分析対象動画像は、分析対象物を経時的に撮像した動画像であり、分析対象動画像は連続的に撮像された複数のフレームから構成される動画や、タイムラプス撮影により撮影された静止画を含む。分析対象物は、細胞や細胞群、あるいは生体組織等であり、動きを有するものであれば本実施形態を適用することができる。分析対象動画像の撮像速度は分析対象に応じて適宜決定することが可能である。

分析対象動画像は、明視野撮像、暗視野撮像、位相差撮像、蛍光撮像、共焦点撮像、多光子励起蛍光撮像、吸収光撮像、乱光撮像等の各種の光学的な撮像方法を利用して撮像された動画像であるものとすることができる。

図２は、分析対象動画像の例であり、神経細胞を含む動画像である。図３は、神経細胞の動きの例を示す模式図である。神経細胞は、図３のＡに示すような細胞体の振動、Ｂに示すような軸索輸送（軸索における細胞内小器官の輸送）、Ｃに示す軸索の伸張等といった種々の動きを含んでいる。この他にも神経細胞と同様に種々の動きを含む細胞がある。また、細胞自体が動いている場合もあれば、細胞外の環境（周囲の水流等）によって動いている場合もある。本実施形態では、これらの動きの判別が可能である。

動画像取得部１１は、図示しない撮像装置（顕微鏡撮像装置）から分析対象動画像を取得してもよく、ストレージに格納されている動画像やネットワークから供給された動画像を分析対象動画像として取得するものとすることも可能である。この際、動画像取得部１１は、予め撮像された動画像から、分析対象の種類に応じて所定の周期でサンプリングし、分析対象動画像を取得してもよい。

範囲指定部１２は、分析対象動画像において分析範囲を指定する。図４は、分析範囲の例を示す模式図である。同図に示すように、範囲指定部１２は、分析対象動画像において分析範囲Ｒを指定する。分析範囲Ｒは、例えば一つの細胞や細胞群を含む範囲とすることができる。また、分析範囲Ｒは、分析対象動画像の全範囲であってもよい。

範囲指定部１２は、ユーザによる操作入力によって指示された範囲を分析範囲Ｒとして指定してもよく、分析対象動画像に対する画像処理によって分析対象物を検出し、その存在する範囲を分析範囲Ｒに指定してもよい。

動き解析部１３は、分析範囲Ｒから動きベクトルを算出する。動き解析部１３は、分析範囲Ｒ内に複数の算出区画を設定する。図５は、算出区画の例を示す模式図である。同図に示すように動き解析部１３は、分析範囲Ｒを複数の算出区画Ｄに区画する。

算出区画Ｄの数や大きさは任意であり、動き解析部１３はユーザによる指定や分析範囲Ｒの大きさに応じて算出区画Ｄを設定するものとすることができる。なお、動き解析部１３は、分析範囲Ｒの全体を一つの算出区画Ｄとしてもよい。

続いて動き解析部１３は、各算出区画Ｄの動きベクトルを算出する。動き解析部１３は、ブロックマッチングにより各算出区画Ｄの動きベクトルを算出するものとすることができる。図６は、動きベクトルの算出の態様を示す模式図である。

同図に示すように動き解析部１３は、分析対象動画像を構成する一つのフレームにおける、特定の算出区画Ｄ（図中算出区画Ｄ１）に含まれる画素群を前のフレームにおける画素群の範囲と比較し、最も一致する画素群の範囲を特定する（図中画素範囲Ｄ２）。なお前のフレームは１フレーム前のフレームであってもよく、複数フレーム前のフレームであってもよい。

動き解析部１３は、前のフレームにおいて特定した画素範囲Ｄ２から現フレームにおける算出区画Ｄ１へのベクトルを、算出区画Ｄ１の動きベクトル（以下、算出区画ベクトルＢ）として算出するものとすることができる。動き解析部１３は、分析範囲Ｒに含まれる各算出区画Ｄについて、同様に算出区画ベクトルを算出する。

図７は、各算出区画Ｄにおいて算出された算出区画ベクトルＢの例を示す模式図であり、矢印の方向は算出区画ベクトルＢの方向を、矢印の長さは算出区画ベクトルＢの大きさを表す（点は動きベクトル０を表す）。この各算出区画ベクトルＢは、分析対象動画像のフレーム毎に算出され、したがって分析対象動画像の時刻毎に変動する。なお、動き解析部１３は、ブロックマッチング以外の手法によって算出区画ベクトルＢを算出してもよい。

軸方向設定部１４は、分析範囲Ｒについて軸方向を設定する。図８及び図９は、分析範囲Ｒについて設定された軸方向Ｓを示す模式図である。軸方向設定部１４は、ユーザによって指定された方向を軸方向とすることができる。ユーザは、分析対象動画像において、動きを抽出したい方向を軸方向として設定することができる。

例えば、図８では、神経細胞の軸索に沿って軸方向Ｓが設定されている。また、軸方向設定部１４は、複数の軸方向を設定してもよい。図９は、細胞体の中心から放射状に設定された軸方向Ｓを示す。

また、軸方向設定部１４は、分析対象動画像に対する画像処理によって軸方向を設定してもよい。例えば、軸方向設定部１４は、分析対象動画像に含まれる分析対象物を検出してその長辺方向を軸方向に設定し、あるいは分析対象物の中心から放射状に軸方向を設定してもよい。また、軸方向設定部１４は、後述する分析範囲について算出された分析範囲の動きベクトルの方向を軸方向に設定してもよい。

情報抽出部１５は、算出区画ベクトル及び軸方向に基づいて、分析対象動画像における分析対象物の軸方向に対する動きの情報（以下、動き情報）を抽出する。情報抽出部１５は、動き解析部１３から供給された各算出区画Ｄの算出区画ベクトルＢから、分析範囲Ｒについての動きベクトル（以下、分析範囲ベクトル）を算出することができる。

図１０は、分析範囲ベクトルの算出の態様を示す模式図である。同図に示すように、情報抽出部１５は、分析範囲Ｒに含まれる各算出区画Ｄの算出区画ベクトルＢを加算し、分析範囲ベクトルＣを算出するものとすることができる。

また、情報抽出部１５は、算出区画ベクトルＢのうち、最も動き量（長さ）が大きいものを分析範囲ベクトルとしてもよい。図１１は、分析範囲Ｒについて算出された分析範囲ベクトルＣと軸方向Ｓを示す模式図である。上記のように各算出区画ベクトルＢは分析対象動画像の時刻毎に変動するため、分析範囲ベクトルＣも時刻毎に変動する。

情報抽出部１５は、分析範囲ベクトルＣと軸方向Ｓに基づいて、動き情報を抽出する。図１２は、分析範囲ベクトルＣと軸方向Ｓの関係を示す模式図である。情報抽出部１５は、分析範囲ベクトルＣを軸方向Ｓに投影することができる。

図１２に、投影された分析範囲ベクトル（以下、投影ベクトル）Ｃ'を示す。同図に示すように、情報抽出部１５は、分析範囲ベクトルＣの座標系（Ｘ，Ｙ）を、軸方向Ｓの座標系（ｘ'、Ｙ'）座標系に変換することができる。図１３は、座標系の変換式の例を示す。図１２に示すように、軸方向Ｓと分析範囲ベクトルＣがなす角を角度θとする。

情報抽出部１５は、軸方向Ｓに対する分析範囲ベクトルＣの角度を動き情報として抽出することができる。図１４は、軸方向Ｓに対する分析範囲ベクトルＣの角度の時間変化の例を示すグラフである。同図に示すように、角度θは、分析対象動画像の撮像時刻（フレーム）に伴って変動する。

角度θの値（絶対値）が大きい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していないことを示し、角度θの値が小さい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していることを示す。即ち、この動き情報から、分析対象物の動きの方向が軸方向Ｓに対して一致しているか否かを把握することが可能となる。

また、情報抽出部１５は、分析範囲ベクトルＣの軸方向Ｓに対する動き量を動き情報として抽出することができる。情報抽出部１５は、上記投影ベクトルＣ'の動き量（（ｘ',ｙ'）で表される投影ベクトルＣ'の長さ）を分析範囲ベクトルＣの軸方向Ｓに対する動き量とすることができる。図１５は、分析範囲ベクトルＣの、軸方向Ｓに対する動き量（motion)の時間変化の例を示すグラフである。

同図に示すように、軸方向Ｓに対する動き量は、分析対象動画像の撮像時刻（フレーム）に伴って変動する。上記のように軸方向Ｓに対する動き量は、軸方向Ｓに投影された投影ベクトルＣ'の動き量である。このため、分析範囲ベクトルＣの動き量が大きくても、その動き方向が軸方向Ｓと乖離していれば、軸方向Ｓに対する動き量は小さくなる。即ち、この動き情報から、分析対象物の軸方向に対する動きの程度を把握することが可能となる。

また、情報抽出部１５は、軸方向Ｓから所定角度内を動き方向とする動き量を動き情報として抽出することができる。情報抽出部１５は、軸方向Ｓとなす角の角度θが所定角度内の分析範囲ベクトルＣの動き量（（ｘ,ｙ）で表される分析範囲ベクトルＣの長さ）を抽出することができる。所定角度（例えば±３０°）は任意であり、予め定められていてもよく、ユーザが設定してもよい。

ユーザは、抽出したい動き方向の角度範囲が小さければ狭い角度とし、抽出したい動き方向の角度範囲が大きければ広い角度とすることができる。図１６は、軸方向Ｓから所定角度内の分析範囲ベクトルＣの動き量（motion)の時間変化の例を示すグラフである。所定角度から外れた、即ち、軸方向Ｓとは方向が乖離した分析範囲ベクトルＣの動き量は抽出されないため、ユーザは所望の動き方向についての動き量を把握することが可能となる。

なお、上記説明では、情報抽出部１５は、分析範囲Ｒについて算出された分析範囲ベクトルＣについて動き情報を抽出するものとしたが、各算出区画Ｄについて算出された算出区画ベクトルＢ（図７参照）について同様に動き情報を抽出するものとしてもよい。即ち、図１４乃至図１６に示すような動き情報が、各算出区画Ｄ毎に抽出されてもよい。

結果出力部１６は、情報抽出部１５から供給された動き情報を出力し、ユーザに提示する。結果出力部１６は例えば、図１４乃至図１６に示したように、動き情報のグラフを含む画像を生成し、ディスプレイに表示させるものとすることができる。

また、結果出力部１６は、動き情報を分析対象動画像においてマッピングし、動き情報提示画像を生成してもよい。図１７は、動き情報提示画像の例であり、図１７（ａ）は時刻１における動き情報提示画像、図１７（ｂ）は時刻２における動き情報提示画像である。

図１８は、図１７（ａ）及び（ｂ）に示す動き情報提示画像の元となった分析対象動画像であり、心筋細胞の画像である。上記のように軸方向設定部によって、分析対象動画像の一方向に軸方向Ｓが設定されている。

図１７（ａ）及び（ｂ）に示すように、結果出力部１６は、算出区画Ｄ毎に算出区画ベクトルＢの軸方向Ｓに対する動き量を濃淡又は色分け等で表すことができる。図１７（ａ）及び（ｂ）において、白色の区画は軸方向Ｓに対する動き量が大きい算出区画Ｄを示し、黒色の区画は軸方向Ｓに対する動き量が小さい算出区画Ｄを示す。

図１７（ａ）に示す時刻１の動き情報提示画像は心筋細胞の収縮時のものであり、図１７（ｂ）に示す時刻２の動き情報提示画像は心筋細胞の弛緩時のものである。図１７（ａ）と図１７（ｂ）を比較すると、白色の区画と黒色の区画の分布が異なっている。これは、軸方向に対する動き量が大きい区画が時刻によって異なっていることを示し、この画像から心筋細胞の動きの方向が把握できることがわかる。

また、結果出力部１６は、分析範囲ベクトルＣをユーザに提示してもよい。図１９は、分析範囲ベクトルＣの提示例を示す模式図である。結果出力部１６は、同図に示すように、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣを一つのグラフで提示してもよい。

また、結果出力部１６は、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣの先端を結ぶ線Ｄを提示してもよい。線Ｄの形状は分析範囲ベクトルＣの時間変換の傾向を示す。例えば図１９における線Ｄは、左下方向に多く伸張しているが、これは分析範囲Ｒにおいて同方向への動きが大きいことを示す。

分析範囲Ｒにおける分析対象動画像の動きが等方的であれば、線Ｄは円形に近い形状となる。即ち、ユーザは、線Ｄの形状を参照することによって、分析範囲Ｒにおける動きの方向を直感的に把握することが可能となる。また、結果出力部１６は、算出区画Ｄ毎に算出された算出区画ベクトルＢを、分析範囲ベクトルＣと同様に提示してもよい。

また、結果出力部１６は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像を生成し、ユーザに提示してもよい。図２０は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像の例である。

同図に示すように、結果出力部１６は、分析範囲ベクトルＣと共に算出区画ベクトルＢを提示してもよく、算出区画ベクトルＢのうち動き量が大きいもののみを提示してもよい。また、結果出力部１６は、算出区画ベクトルＢのうち、分析範囲ベクトルＣと動き方向が同一又は所定角度内のもののみを提示してもよい。

また、結果出力部１６は、所定の算出区画Ｄの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２１は、算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。同図に示す例では、神経細胞の軸索の先端に相当する算出区画Ｄの算出区画ベクトルＢが分析対象動画像に重畳されている。

算出区画ベクトルＢを提示する算出区画Ｄは、ユーザによって指定されたものであってもよく、分析対象動画像に対する画像処理によって決定されたものであってもよい。例えば分析対象動画像に対する画像処理によって伸張する物体が検出されると、結果出力部１６はその先端に位置する算出区画Ｄの算出区画ベクトルＢを提示するものとすることができる。

さらに、結果出力部１６は、分析対象動画像における異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２２は、異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。

結果出力部１６は、あるフレームにおける最も大きい算出区画ベクトルＢ２と、その前のフレームにおける最も大きい算出区画ベクトルＢ１とを分析対象動画像に重畳させることができる。結果出力部１６は、より多数の異なるフレームの算出区画ベクトルＢを提示してもよい。これによりユーザは、分析対象動画像における動きの遷移を把握することができる。

また、結果出力部１６は、算出区画ベクトルＢ又は分析範囲ベクトルＣを積分することで動きの距離、微分することで動きの加速度を算出し、提示することも可能である。

画像処理装置１０は以上のような機能的構成を有する。上記のように画像処理装置１０においては、分析対象動画像における動きが動きの方向に応じて提示される。このため、分析対象物の動きをその量だけでなく、動きの方向によって評価することが可能となる。

なお、範囲指定部１２は、分析対象動画像において、分析範囲Ｒを指定するとしたが、分析対象動画像の時刻経過に伴って分析範囲Ｒを移動させてもよい。図２３は、分析範囲Ｒの移動を示す模式図である。分析範囲Ｒ１は、分析対象動画像における所定の時間に設定された分析範囲であり、分析範囲Ｒ２はその後の所定の時間に設定された分析範囲である。

同図に示すように範囲指定部１２は、分析範囲Ｒ１を分析範囲ベクトルＣの方向に移動させ、分析範囲Ｒ２を新たな分析範囲とすることができる。分析範囲の移動量は、予め定められた所定量としてもよく、分析範囲ベクトルＣの大きさに応じて調整してもよい。

動き解析部１３は、新たに設定された分析範囲Ｒ２について上記のように動き解析を実施し、算出区画ベクトルを算出するものとすることができる。情報抽出部１５は、その算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて、動き情報を抽出するものとすることができる。

これにより、分析範囲Ｒが所定時刻毎に分析範囲ベクトルの方向に移動するため、分析対象物の動きに追随して動きを評価することが可能となる。例えば、神経細胞の軸索輸送（図３参照）において、輸送物に合わせて分析範囲Ｒを移動させ、その輸送を評価することができる。

[画像処理装置の動作]
画像処理装置１０の動作について説明する。図２４は、画像処理装置１０の動作を示すフローチャートである。

同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１０１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１０２）。続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１０３）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１０４）。

続いて軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１０５）する。この際軸方向設定部１４は、分析範囲ベクトルに基づいて軸方向を設定してもよい。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１０６）、結果出力部１６が動き情報を提示する（Ｓｔ１０７）。

なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。

また、画像処理装置１０は次のように動作をしてもよい。図２５は、画像処理装置１０の別の動作を示すフローチャートである。

同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１１１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１１２）。続いて、軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１１３）する。軸方向設定部１４は、ユーザによる指定又は分析対象動画像に対する画像処理により軸方向を設定することができる。

続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１１４）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１１５）。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１１６）、結果出力部１６が動き情報を提示する（Ｓｔ１１７）。

なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。

[画像処理装置のハードウェア構成]
上記のような画像処理装置１０の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。

図２６は、画像処理装置１０のハードウェア構成を示す模式図である。同図に示すように画像処理装置１０はハードウェア構成として、ＣＰＵ１０１、ＧＰＵ１０２、メモリ１０３、ストレージ１０４及び入出力部（Ｉ／Ｏ）１０５を有する。これらはバス１０６によって互いに接続されている。

ＣＰＵ（Central Processing Unit）１０１は、メモリ１０３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１０３に格納する。ＣＰＵ１０１はマイクロプロセッサであるものとすることができる。

ＧＰＵ（Graphic Processing Unit）」１０２は、ＣＰＵ１０１による制御を受けて、画像処理を実行する。ＣＰＵ１０１はＧＰＵ１０２に並列演算処理を実行させ、動きベクトルの算出や動き情報の抽出を高速に行うことが可能である。ＧＰＵ１０２はマイクロプロセッサであるものとすることができる。

メモリ１０３はＣＰＵ１０１によって実行されるプログラム及びデータを格納する。メモリ１０３はＲＡＭ（Random Access Memory）であるものとすることができる。

ストレージ１０４は、プログラムやデータを格納する。ストレージ１０４はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。

入出力部１０５は画像処理装置１０に対する入力を受け付け、また画像処理装置１０の出力を外部に供給する。入出力部１０５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェイスを含む。

画像処理装置１０のハードウェア構成はここに示すものに限られず、画像処理装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。

なお、本技術は以下のような構成も採ることができる。

（１）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
を具備する画像処理装置。

（２）
上記（１）に記載の画像処理装置であって、
上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定する
画像処理装置。

（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定する
画像処理装置。

（４）
上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出する
画像処理装置。

（５）
上記（１）から（４）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出する
画像処理装置。

（６）
上記（１）から（５）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出する
画像処理装置。

（７）
上記（１）から（６）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲についての動きベクトルと上記軸方向に基づいて、上記情報を抽出する
画像処理装置。

（８）
上記（１）から（７）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定する
画像処理装置。

（９）
上記（１）から（８）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させる
画像処理装置。

（１０）
上記（１）から（９）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。

（１１）
上記（１）から（１０）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。

（１２）
上記（１）から（１１）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。

（１３）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる画像処理プログラム。

（１４）
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する
画像処理方法。

１０…画像処理装置
１１…動画像取得部
１２…範囲指定部
１３…動き解析部
１４…軸方向設定部
１５…情報抽出部
１６…結果出力部

Claims (13)

1. 分析対象物を経時的に撮像した分析対象動画像において分析範囲を指定する範囲指定部と、
   前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
   前記分析対象動画像において、軸方向を設定する軸方向設定部と、
   前記分析対象動画像における分析対象物の前記軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
   異なる時刻に抽出された前記軸方向に対する動きの情報の時間変化を出力する結果出力部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記軸方向設定部は、前記動きベクトルに基づいて前記軸方向を設定する
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記軸方向設定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記軸方向を設定する
   画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記情報抽出部は、前記軸方向に対する前記動きベクトルの角度を抽出する
   画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記情報抽出部は、前記動きベクトルを前記軸方向に投影し、前記軸方向に対する動き量を抽出する
   画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記範囲指定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記分析範囲を設定する
   画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記範囲指定部は、前記分析範囲について算出された動きベクトルの方向に前記分析範囲を移動させる
   画像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記分析対象動画像に前記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部
   をさらに具備する画像処理装置。
9. 請求項１に記載の画像処理装置であって、
   前記分析対象動画像に対する画像処理結果に応じて、前記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部
   をさらに具備する画像処理装置。
10. 請求項１に記載の画像処理装置であって、
    前記結果出力部は、前記分析対象動画像に、前記分析対象動画像の所定フレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルと、前記分析対象動画像の前記所定フレームより前のフレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する
    画像処理装置。
11. 請求項１に記載の画像処理装置であって、
    前記分析対象物は、心筋細胞又は神経細胞である
    画像処理装置。
12. 分析対象物を経時的に撮像した分析対象動画像において、分析範囲を指定する範囲指定部と、
    前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
    前記分析対象動画像において、軸方向を設定する軸方向設定部と、
    前記分析対象動画像における分析対象物の前記軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
    異なる時刻に抽出された前記軸方向に対する動きの情報の時間変化を出力する結果出力部と
    として画像処理装置を機能させる画像処理プログラム。
13. 範囲指定部が、分析対象物を経時的に撮像した分析対象動画像において、分析範囲を指定し、
    動き解析部が、前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出し、
    軸方向設定部が、前記分析対象動画像において、軸方向を設定し、
    情報抽出部が、前記分析対象動画像における分析対象物の前記軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出し、
    結果出力部が、異なる時刻に抽出された前記軸方向に対する動きの情報の時間変化を出力する
    画像処理方法。