JP6667006B2 - 深度画像を用いた行動パターン分析システム及び方法 - Google Patents

Description

本発明は、行動パターン分析システム及び方法に関し、具体的には、深度画像を用いた行動パターン分析システム及び方法に関する。

従来は、行動パターン分析のための様々なアルゴリズムが開示されている。

韓国特許公開第１０−２０１５−０１００１４１号公報又は韓国登録特許第１０−１５１３２１５号公報は、動画中の客体のパターン分析について例示している。ところが、従来のパターン解析アルゴリズムは、主に車両の移動や車両のナンバープレート認識不法駐停車のような定型化されたパターン分析に限定されている実情である。

人又は動物の具体的な動作に対する分析は容易ではない。例えば、人や動物が座っていたり立っていたり、又は歩き回ったりするような行動パターンについては分析が容易ではない。さらに、このような人や動物の具体的な動作は見る方向によっても異なって示されるので、正確な分析が困難である。例えば、走る動作において横に走る場合には、容易に分析可能であるとしても、カメラに向かって走ってくる場合や、斜線方向に走ってくる場合には、その客体のパターン変化が別々に示されるので、分析に困難がある。

従来は、ＶＩＣＯＮのような高価の動作分析装置を用いて分析することができるが、一般的なカメラを用いてパターン分析を行うことは不可能である実情である。

特定の空間内の実験対象者や動物に対する長時間のパターン分析を行う場合、このような実情から、実験者が直接肉眼で観察して行動パターンを分析し、記録することができるだけである。

そのため、一般的なカメラを用いてより容易且つ正確に実験対象者や動物の行動パターンを定義し、分析することができるアルゴリズムが求められる。

本発明の目的は、深度画像を用いた行動パターン分析システムを提供することにある。

本発明の他の目的は、深度画像を用いた行動パターン分析方法を提供することにある。

上述の本発明の目的に応じた深度画像を用いた行動パターン分析システムは、所定の空間上の実験対象者又は動物の３次元動画を生成する３次元動画生成モジュール；上記３次元動画生成モジュールで生成された３次元動画において、上記実験対象者又は動物を背景（ｂａｃｋｇｒｏｕｎｄ）と分離して抽出する客体抽出モジュール；上記客体抽出モジュールにより抽出された客体に対し、当該客体の長さ、大きさ、重心を測定し、上記客体の深度画像（ｄｅｐｔｈ ｉｍａｇｅ）を抽出して客体を定義する客体定義モジュール；上記客体定義モジュールで定義された客体が上記客体抽出モジュールで抽出される場合、当該客体の重心の移動速度及び移動時間と、上記抽出された深度データの変化を累積分析して上記客体の基本行動パターンを定義する行動パターン定義モジュール；上記行動パターン定義モジュールで定義された客体の基本行動パターンを用い、上記客体抽出モジュールで抽出された客体に対する基本行動パターンの持続時間及び頻度数を分析して把握する行動パターン分析モジュールを含むように構成されることができる。

ここで、上記行動パターン定義モジュールは、上記３次元動画において客体の深度画像の変化値と時間当たりの変化する客体のパターン分析を通じて、上記被験者又は動物の基本行動パターンを定義するように構成されることができる。

また、上記行動パターン定義モジュールは、座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がるに対する基本行動パターンを定義するように構成されることができる。

なお、上記行動パターン定義モジュールは、座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がるの基本行動パターンそれぞれに対して高さ（ｈｅｉｇｈｔ）の変化パターン、客体の画像の時間当たりの変化パターン、重心の動きの速度をそれぞれ定義するように構成されることができる。

一方、上記３次元動画生成モジュールは、深度画像カメラの映像を合成して３次元動画を生成するように構成されることができる。

上述の本発明の他の目的に応じた深度画像を用いた行動パターン分析方法は、３次元動画生成モジュールが所定の空間上の実験対象者又は動物の３次元動画を生成する段階；客体抽出モジュールが、上記３次元動画生成モジュールで生成された３次元動画において、上記実験対象者又は動物を背景と分離して抽出する段階；客体定義モジュールが、上記客体抽出モジュールにより抽出された客体に対し、当該客体の長さ、大きさ、重心を測定し、上記客体の深度画像を抽出して客体を定義する段階；上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度データの変化を累積分析して上記客体の基本行動パターンを定義する段階；行動パターン分析モジュールが、上記行動パターン定義モジュールで定義された客体の基本行動パターンを用い、上記客体抽出モジュールで抽出された客体に対する基本行動パターンの持続時間及び頻度数を分析して把握する段階を含むように構成されることができる。

このとき、上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度データの変化を累積分析して上記客体の基本行動パターンを定義する段階は、上記３次元動画において客体の深度画像の変化値と時間当たりの変化する客体のパターン分析を通じて、上記被験者又は動物の基本行動パターンを定義するように構成されることができる。

また、上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度データの変化を累積分析して上記客体の基本行動パターンを定義する段階は、座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がるに対する基本行動パターンを定義するように構成されることができる。

また、上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度データの変化を累積分析して上記客体の基本行動パターンを定義する段階は、座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がるの基本行動パターンそれぞれに対して高さの変化パターン、客体の画像の時間当たりの変化パターン、重心の動きの速度をそれぞれ定義するように構成されることができる。

一方、上記３次元動画生成モジュールが所定の空間上の実験対象者又は動物の３次元動画を生成する段階は、深度画像カメラの映像を合成して３次元動画を生成するように構成されることができる。

上述の深度画像を用いた行動パターン分析システム及び方法によれば、深度画像カメラを用いた３次元動画で深度画像を抽出し、画像パターンの変化を分析して、実験対象者や動物の行動パターンを容易且つ正確に分析することができる効果がある。

特に、実験対象者や動物の基本行動パターンを蓄積されたデータを用いて分析することによって、実験対象者や動物の行動パターンを正確に定義し、把握することができる効果がある。

また、高価の装備がなくても、一般的な装備を用いて実験対象者や動物の行動分析をエラーなく行うことができる効果がある。

本発明の一実施例に係る深度画像を用いた行動パターン分析システムのブロック構成図である。 本発明の一実施例に係る深度画像を用いた行動パターン分析の例示図である。 本発明の他の実施例に係る深度画像を用いた行動パターン分析の例示図である。 本発明の一実施例に係る深度画像を用いた行動パターン分析方法のフローチャートである。

本発明は、多様な変更を加えることができ、色々な実施例を有することができるところ、特定の実施例を図面に例示し、発明を実施するための具体的な内容に詳細に説明しようとする。しかし、これは、本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解されなければならない。各図面を説明しながら類似の参照符号を類似の構成要素に使用した。

第１、第２、Ａ、Ｂ等の用語は、多様な構成要素を説明するのに使用されることができるが、上記構成要素は、上記用語により限定されてはならない。上記用語は、一つの構成要素を他の構成要素から区別する目的のみで使用される。例えば、本発明の権利範囲を逸脱することなく第１の構成要素は第２の構成要素と命名されることができ、同様に、第２の構成要素も第１の構成要素と命名されることができる。及び／又はという用語は、複数の関連した記載された項目の組み合わせ又は複数の関連した記載された項目のうちのいずれかの項目を含む。

ある構成要素が他の構成要素に「連結されて」いるのか、「接続されて」いると言及されたときには、その他の構成要素に直接連結されているか、又は接続されている可能性もあるが、中間に他の構成要素が存在する可能性もあると理解されなければならない。反面、ある構成要素が他の構成要素に「直接連結されて」いるのか、「直接接続されて」いると言及されたときには、中間に他の構成要素が存在しないものと理解されなければならない。

本出願において使用した用語は、単に特定の実施例を説明するのに使用されたもので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに異なった意味でない限り、複数の表現を含む。本出願において、「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものと理解されなければならない。

異なって定義されない限り、技術的若しくは科学的な用語を含めてここで使用される全ての用語は、本発明の属する技術分野において通常の知識を有する者により一般的に理解されることと同様の意味を有している。一般的に使用される辞典に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解されるべきであり、本出願において明白に定義しない限り、理想的若しくは過度に形式的な意味に解釈されない。

以下、本発明に係る好ましい実施例を添付の図面を参照して詳細に説明する。

図１は、本発明の一実施例に係る深度画像を用いた行動パターン分析システムのブロック構成図である。

図１を参照すれば、本発明の一実施例に係る深度画像を用いた行動パターン分析システム（以下、「行動パターン分析システム」という）１００は、３次元動画生成モジュール１１０、客体抽出モジュール１２０、客体定義モジュール１３０、行動パターン定義モジュール１４０及び行動パターン分析モジュール１５０を含むように構成されることができる。

行動パターン分析システム１００は、ステレオ映像により生成された３次元動画の深度画像を抽出し、特定の空間上の実験対象者や動物の行動パターンを綿密且つ正確に自動分析して把握することができるように構成される。

行動パターン分析システム１００は、高価の装備がなくても、３次元動画において深度画像を用いた正確な行動パターンの解析アルゴリズムだけでエラーのないパターン分析が可能である。特に、累積された客体画像のパターンの変化を通じて基本行動パターンを定義するので、正確な行動パターンの分析が可能である。

行動パターン分析システム１００は、特定の空間上で実験対象者や動物が示す行動パターンを分析するためのシステムである。実験又は治療等に活用が可能なシステムである。

以下、細部的な構成について説明する。

３次元動画生成モジュール１１０は、所定の空間上の実験対象者又は動物の３次元動画を生成するように構成されることができる。空間を撮影し、その動画内に実験対象者と動物が捕捉されることができる。撮影は１台以上の深度画像カメラ１０により行われることができ、３次元動画生成モジュール１１０ ２台の深度画像カメラ１０により生成されたステレオ映像を合成して３次元動画を生成する。

客体抽出モジュール１２０は、３次元動画生成モジュール１１０で生成された３次元動画において実験対象者又は動物を背景と分離し、前景（ｆｏｒｅｇｒｏｕｎｄ）として抽出するように構成されることができる。

ここで、背景は、特定の空間に固定的に配置された形状であって、通常は固定された姿勢を有する。

客体定義モジュール１３０は、客体抽出モジュール１２０により抽出された客体に対し、当該客体の長さ、大きさ、重心を測定するように構成されることができる。長さは、高さ、左右の長さ等になることができ、大きさは、全体的な大きさになることができる。重心は、客体の移動を把握するための構成である。

一方、客体定義モジュール１３０は、３次元動画において客体の深度画像を抽出するように構成されることができる。

また、客体定義モジュール１３０は、客体の長さ、大きさ、重心と深度画像により当該客体を定義するように構成されることができる。実験対象者や動物がとる姿勢や方向に応じて、客体の長さ、大きさ等が異になる場合があるので、当該客体の深度画像と長さ、大きさ等を総合的に分析して客体を定義するように構成されることができる。

客体定義モジュール１３０で定義された客体が客体抽出モジュール１２０を通じて抽出されるが、行動パターン定義モジュール１４０は、その抽出された客体に対し、当該客体の重心の移動速度及び移動時間と、そして抽出された深度データの変化を累積分析して客体の基本行動パターンを定義するように構成されることができる。すなわち、どの実験対象者に対して基本行動パターン、例えば、横たわる、立つ等を予め定義せずに、３次元動画により累積的に抽出される客体の行動パターンを通じて基本行動パターンを定義する。

ここで、より具体的には、行動パターン定義モジュール１４０は、３次元動画において客体の深度画像の変化値と時間当たりの変化する客体のパターン分析を通じて、実験対象者又は動物の基本行動パターンを定義するように構成されることができる。すなわち、実験対象者がパターンの変化がある程度速く行われるか、又はどのように変化するか等を分析して定義することができる。

例えば、行動パターン定義モジュール１４０は座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がる等に対する基本行動パターンを定義するように構成されることができる。

具体的には、行動パターン定義モジュール１４０が座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がるの基本行動パターンそれぞれに対して高さの変化パターン、客体の画像の時間当たりの変化パターン、重心の動きの速度をそれぞれ定義するように構成されることができる。座るの場合、立つよりも小さいある程度の高さの変化パターンを有することができ、重心もより低くなる。走るの場合には、高さの大きな変化なく重心が急速に変化し、このとき、深度画像も考慮される。

行動パターン分析モジュール１５０は、行動パターン定義モジュール１４０で定義された客体の基本行動パターンを用い、客体抽出モジュール１２０で抽出された客体に対する基本行動パターンの持続時間及び頻度数を分析して把握するように構成されることができる。従来は、観察者が、立つの行動パターンが数分間にどの程度の割合で発生するかをいちいち直接見て記録する必要があったが、本発明においては、行動パターン分析モジュール１５０が自動的に既定義の基本行動パターンを参考にして、その持続時間と頻度数を自動的に分析して把握することができる。

図２は、本発明の一実施例に係る深度画像を用いた行動パターン分析の例示図であり、図３は、本発明の他の実施例に係る深度画像を用いた行動パターン分析の例示図である。

図２及び図３では、立つに対する高さの変化と、また、動きに対する持続時間の変化を通じて行動パターンを分析する過程を例示している。

図４は、本発明の一実施例に係る深度画像を用いた行動パターン分析方法のフローチャートである。

図４を参照すれば、まず、３次元動画生成モジュール１１０が所定の空間上の実験対象者又は動物の３次元動画を生成するＳ１０１。ここで、３次元動画生成モジュールは、深度画像カメラ１０の映像を合成して３次元動画を生成するように構成されることができる。

次に、客体抽出モジュール１２０が３次元動画生成モジュール１１０で生成された３次元動画において実験対象者又は動物を背景と分離して抽出するＳ１０２。

次に、客体定義モジュール１３０が客体抽出モジュール１２０により抽出された客体に対し、当該客体の長さ、大きさ、重心を測定し、客体の深度画像を抽出して客体を定義するＳ１０３。

次に、客体定義モジュール１３０で定義された客体が、客体抽出モジュール１２０で抽出される場合、行動パターン定義モジュール１４０が、当該客体の重心の移動速度及び移動時間と、抽出された深度データの変化を累積分析して客体の基本行動パターンを定義するＳ１０４。

このとき、行動パターン定義モジュール１４０は、３次元動画において客体の深度画像の変化値と時間当たりの変化する客体のパターン分析を通じて、実験対象者又は動物の基本行動パターンを定義するように構成されることができる。

例えば、行動パターン定義モジュール１４０は座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がるに対する基本行動パターンを定義するように構成されることができる。

このとき、行動パターン定義モジュール１４０は座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がるの基本行動パターンそれぞれに対して高さの変化パターン、客体の画像の時間当たりの変化パターン、重量中心の動きの速度をそれぞれ定義するように構成されることができる。

次に、行動パターン分析モジュール１５０が行動パターン定義モジュール１４０で定義された客体の基本行動パターンを用い、客体抽出モジュールで抽出された客体に対する基本行動パターンの持続時間及び頻度数を分析して把握するＳ１０５。

以上、実施例を参照して説明したが、当該技術分野の熟練された当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を多様に修正及び変更させることができることを理解することができる。

Claims (10)

1. 所定の空間上の実験対象者又は動物の３次元動画を生成する３次元動画生成モジュールであって、前記３次元動画は２台以上の深度画像カメラにより生成されたステレオ画像を合成することにより生成される、３次元動画生成モジュール；
   上記３次元動画生成モジュールで生成された３次元動画において、上記実験対象者又は動物を背景と分離して抽出する客体抽出モジュール；
   上記客体抽出モジュールにより抽出された客体に対し、当該客体の長さ、大きさ、重心を測定することによって、上記客体の深度画像から客体を抽出して定義する客体定義モジュール；
   上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、当該客体の重心の移動速度及び移動時間と、上記抽出された深度画像の変化を累積分析して上記客体の基本行動パターンを定義する行動パターン定義モジュール；
   上記行動パターン定義モジュールで定義された客体の基本行動パターンを用い、上記客体抽出モジュールで抽出された客体に対する基本行動パターンの持続時間及び頻度数を分析して把握する行動パターン分析モジュールを含む、深度画像を用いた行動パターン分析システム。
2. 上記行動パターン定義モジュールは、
   上記３次元動画において客体の深度画像の変化と客体の重心の移動速度及び移動時間に基づく時間当たりの変化とに基づいて客体のパターン分析を行うことにより、上記実験対象者又は動物の基本行動パターンを定義するように構成されていることを特徴とする、請求項１に記載の深度画像を用いた行動パターン分析システム。
3. 上記行動パターン定義モジュールは、
   座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がることに対する基本行動パターンを定義するように構成されていることを特徴とする、請求項１に記載の深度画像を用いた行動パターン分析システム。
4. 上記行動パターン定義モジュールは、
   座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がることの基本行動パターンそれぞれに対して、客体の深度画像の時間当たりの変化パターン、重心の動きの速度をそれぞれ定義するように構成されていることを特徴とする、請求項３に記載の深度画像を用いた行動パターン分析システム。
5. 上記３次元動画生成モジュールは、
   深度画像カメラの映像を合成して３次元動画を生成するように構成されていることを特徴とする、請求項１に記載の深度画像を用いた行動パターン分析システム。
6. ３次元動画生成モジュールが所定の空間上の実験対象者又は動物の３次元動画を生成する段階であって、前記３次元動画は２台以上の深度画像カメラにより生成されたステレオ画像を合成することにより生成される、段階；
   客体抽出モジュールが、上記３次元動画生成モジュールで生成された３次元動画において、上記実験対象者又は動物を背景と分離して抽出する段階；
   客体定義モジュールが、上記客体抽出モジュールにより抽出された客体に対し、当該客体の長さ、大きさ、重心を測定することによって、上記客体の深度画像から客体を抽出して定義する段階；
   上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度画像の変化を累積分析して上記客体の基本行動パターンを定義する段階；
   行動パターン分析モジュールが、上記行動パターン定義モジュールで定義された客体の基本行動パターンを用い、上記客体抽出モジュールで抽出された客体に対する基本行動パターンの持続時間及び頻度数を分析して把握する段階を含む、深度画像を用いた行動パターン分析方法。
7. 上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度画像の変化を累積分析して上記客体の基本行動パターンを定義する段階は、
   上記３次元動画において客体の深度画像の変化と客体の重心の移動速度及び移動時間に基づく時間当たりの変化とに基づいて客体のパターン分析を行うことにより、上記実験対象者又は動物の基本行動パターンを定義するように構成されていることを特徴とする、請求項６に記載の深度画像を用いた行動パターン分析方法。
8. 上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度画像の変化を累積分析して上記客体の基本行動パターンを定義する段階は、
   座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がることに対する基本行動パターンを定義するように構成されていることを特徴とする、請求項６に記載の深度画像を用いた行動パターン分析方法。
9. 上記客体定義モジュールで定義された客体が、上記客体抽出モジュールで抽出される場合、行動パターン定義モジュールが、当該客体の重心の移動速度及び移動時間と、上記抽出された深度画像の変化を累積分析して上記客体の基本行動パターンを定義する段階は、
   座る、立つ、横たわる、うつ伏せる、歩き回る、走る、又はぶら下がることの基本行動パターンそれぞれに対して、客体の深度画像の時間当たりの変化パターン、重心の動きの速度をそれぞれ定義するように構成されていることを特徴とする、請求項８に記載の深度画像を用いた行動パターン分析方法。
10. 上記３次元動画生成モジュールが所定の空間上の実験対象者又は動物の３次元動画を生成する段階は、
    深度画像カメラの映像を合成して３次元動画を生成するように構成されていることを特徴とする、請求項９に記載の深度画像を用いた行動パターン分析方法。