JP6956993B1

JP6956993B1 - 行動推定システム

Info

Publication number: JP6956993B1
Application number: JP2021093353A
Authority: JP
Inventors: 木村　大介
Original assignee: Asilla Inc
Current assignee: Asilla Inc
Priority date: 2021-03-09
Filing date: 2021-06-03
Publication date: 2021-11-02
Anticipated expiration: 2041-06-03
Also published as: WO2022191094A1; JP2022138090A

Abstract

【課題】コンピュータにかかる負荷を抑制しつつ画像に映った行動体の行動を高精度かつ短時間で推定することが可能な行動推定システムを提供する。【解決手段】行動推定システム１は、学習装置と、推定装置と、を備えている。学習装置は、学習取得部と、情報取得部と、学習側検出部と、各サンプル画像内で検出された特徴量、各サンプル画像内で検出された特徴量の検出位置及び軸情報の関連性を学習する学習部と、を備える。推定装置は、対象画像内の特徴量を検出する推定側検出部３３と、上記関連性を参照して、対象画像内で検出された特徴量及び対象画像内で検出された特徴量の検出位置に対応する対象画像内における軸の位置及び形状を決定する決定部３４と、決定された軸の位置及び形状に基づき、対象画像内において当該軸を有するであろう対象行動体の行動を推定する推定部３５と、を備えている。【選択図】図１

Description

本発明は、コンピュータにかかる負荷を抑制しつつ画像に映った行動体の行動を高精度かつ短時間で推定することが可能な行動推定システムに関する。

従来より、行動体の複数の関節の座標及び深度の複数の時系列画像における変位に基づき、行動体の行動を推定する行動推定装置が知られている（例えば、特許文献１参照）。

特許第６５２５１７９号

上記技術では、検出する関節の数が多いほど行動を高精度に推定することが可能となるが、検出する関節の数が多いほど、コンピュータにかかる負荷も増大してしまう。

そこで、本発明は、コンピュータにかかる負荷を抑制しつつ画像に映った行動体の行動を高精度かつ短時間で推定することが可能な行動推定システムを提供することを目的としている。

本発明は、学習装置と、推定装置と、を備えた行動推定システムであって、前記学習装置は、多数のサンプル画像を取得する学習側取得部と、各サンプル画像に映ったサンプル行動体の体の少なくとも部分的な軸の位置及び形状に関する軸情報を取得する情報取得部と、各サンプル画像内の特徴量を検出する学習側検出部と、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、を備え、前記推定装置は、対象画像を取得する推定側取得部と、前記対象画像内の特徴量を検出する推定側検出部と、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する前記対象画像内における前記軸の位置及び形状を決定する決定部と、前記決定された軸の位置及び形状に基づき、前記対象画像内において前記軸を有するであろう対象行動体の行動を推定する推定部と、を備えたことを特徴とする行動推定システムを提供している。

このような構成によれば、行動体の体の軸の位置及び形状を考慮することで、行動体の次の姿勢を予測しやすくなり、高精度かつ短時間で行動体の行動を推定することが可能となる。また、学習装置及び推定装置のいずれにおいても、「行動体が存在しているか」を判断する（サンプル行動体及び対象行動体の部位等を識別する）必要がないため、コンピュータにかかる負荷を大幅に低減させることが可能となる。

また、前記推定側取得部は、前記対象画像として複数の時系列画像を取得し、前記推定部は、各時系列画像において決定された軸の位置及び形状に基づき前記対象行動体の重心の変位又は加速度を推定し、前記推定された重心の変位又は加速度に基づき前記対象行動体の行動を推定することが好ましい。

このような構成によれば、決定された軸の位置及び形状に基づき行動体の重心の変位や加速度を推定することで、より高精度かつ短時間で行動体の行動を推定（予測）することが可能となる。

また、本発明の別の観点によれば、多数のサンプル画像を取得するステップと、各サンプル画像に映ったサンプル行動体の体の少なくとも部分的な軸の位置及び形状に関する軸情報を取得するステップと、各サンプル画像内の特徴量を検出するステップと、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習するステップと、対象画像を取得するステップと、前記対象画像内の特徴量を検出するステップと、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する前記対象画像内における前記軸の位置及び形状を決定するステップと、前記決定された軸の位置及び形状に基づき、前記対象画像内において前記軸を有するであろう対象行動体の行動を推定するステップと、を備えたことを特徴とする行動推定プログラム又は行動推定方法を提供している。

また、本発明の別の観点によれば、多数のサンプル画像を取得する学習側取得部と、各サンプル画像に映ったサンプル行動体の体の少なくとも部分的な軸の位置及び形状に関する軸情報を取得する情報取得部と、各サンプル画像内の特徴量を検出する学習側検出部と、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、を有する学習装置との間で通信可能な推定装置であって、対象画像を取得する推定側取得部と、前記対象画像内の特徴量を検出する推定側検出部と、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する前記対象画像内における前記軸の位置及び形状を決定する決定部と、前記決定された軸の位置及び形状に基づき、前記対象画像内において前記軸を有するであろう対象行動体の行動を推定する推定部と、を備えたことを特徴とする行動推定装置を提供している。

また、本発明の別の観点によれば、多数のサンプル画像を取得する学習側取得部と、各サンプル画像に映ったサンプル行動体の体の少なくとも部分的な軸の位置及び形状に関する軸情報を取得する情報取得部と、各サンプル画像内の特徴量を検出する学習側検出部と、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、を有する学習装置との間で通信可能なコンピュータにインストールされるプログラム又は当該コンピュータで使用される方法であって、対象画像を取得するステップと、前記対象画像内の特徴量を検出するステップと、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する前記対象画像内における前記軸の位置及び形状を決定するステップと、前記決定された軸の位置及び形状に基づき、前記対象画像内において前記軸を有するであろう対象行動体の行動を推定するステップと、を備えたことを特徴とする行動推定プログラム又は行動推定方法を提供している。

また、本発明の別の観点によれば、多数のサンプル画像を取得する学習側取得部と、各サンプル画像に映ったサンプル行動体の体の少なくとも部分的な軸の位置及び形状に関する軸情報を取得する情報取得部と、各サンプル画像内の特徴量を検出する学習側検出部と、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、を備え、対象画像を取得する推定側取得部と、前記対象画像内の特徴量を検出する推定側検出部と、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する前記対象画像内における前記軸の位置及び形状を決定する決定部と、前記決定された軸の位置及び形状に基づき、前記対象画像内において前記軸を有するであろう対象行動体の行動を推定する推定部と、を有する行動推定装置との間で通信可能であることを特徴とする学習装置を提供している。

また、本発明の別の観点によれば、コンピュータにインストールされるプログラム又は当該コンピュータで使用される方法であって、多数のサンプル画像を取得するステップと、各サンプル画像に映ったサンプル行動体の体の少なくとも部分的な軸の位置及び形状に関する軸情報を取得するステップと、各サンプル画像内の特徴量を検出するステップと、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習するステップと、を備え、前記コンピュータは、対象画像を取得する推定側取得部と、前記対象画像内の特徴量を検出する推定側検出部と、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する前記対象画像内における前記軸の位置及び形状を決定する決定部と、前記決定された軸の位置及び形状に基づき、前記対象画像内において前記軸を有するであろう対象行動体の行動を推定する推定部と、を有する行動推定装置との間で通信可能であることを特徴とする学習プログラムを提供している。

本発明の行動推定システムによれば、コンピュータにかかる負荷を抑制しつつ画像に映った行動体の行動を高精度かつ短時間で推定することが可能となる。

本発明の実施の形態による行動推定システムのブロック図本発明の実施の形態による学習装置における学習の説明図本発明の実施の形態による推定装置における軸の位置及び形状の決定の説明図本発明の実施の形態による行動推定システムのフローチャート

以下、本発明の実施の形態による行動推定システム１について、図１−図４を参照して説明する。

行動推定システム１は、対象画像に映った行動体の行動を推定するためのものである。本実施の形態では、行動体として、人間を例に説明を行う。

行動推定システム１は、図１に示すように、学習装置２と、推定装置３と、を備えている。

まず、学習装置２について説明する。

学習装置２は、図１に示すように、学習側取得部２１と、情報取得部２２と、学習側検出部２３と、学習部２４と、を備えている。

学習側取得部２１は、図２（a）に示すようなサンプル画像Ｘ２を取得する。本実施の形態では、サンプル画像Ｘ２には、サンプル行動体Ｙ２が映っており、サンプル画像Ｘ２は、行動推定システム１のユーザにより入力されるものとする。

情報取得部２２は、サンプル画像Ｘ２内におけるサンプル行動体Ｙ２の体の少なくとも部分的な軸の位置及び形状に関する軸情報Ｚを取得する。軸の形状を示す要素としては、線の形状（直線、折れ線、曲線等）や線の長さ等が考えられる。

軸情報Ｚとしては、例えば、正中線が考えられる。正中線とは、左右対称形の行動体の前面・背面の中央を頭から縦にまっすぐ通る線を意味する。

軸情報Ｚは、行動推定システム１のユーザにより入力される。具体的には、ユーザは、図２（ｂ）に示すように、サンプル行動体Ｙ２の姿勢等を考慮して、サンプル画像Ｘ２内のサンプル行動体Ｙ２に適切な軸情報Ｚ（図２（ｂ）では正中線）を入力する。

学習側検出部２３は、サンプル画像Ｘ２内の特徴量を検出する。例えば、畳み込み演算（Ｃｏｎｖｏｌｕｔｉｏｎ）を用いて、サンプル画像Ｘ２内の所定数のピクセルの集まり（Ｎ×Ｍピクセル数）ごとに特徴量を抽出する方法が考えられる。

学習部２４は、サンプル画像Ｘ２内で検出された特徴量と、サンプル画像Ｘ２内で検出された特徴量の検出位置と、軸情報Ｚと、の関連性を学習する。

これは、軸の周辺の特徴量の分布を学習していることを意味する。例えば、図２のサンプル画像Ｘ２に映ったサンプル行動体Ｙ２（人間）の肩の部分と腰の部分では、異なった特徴量が存在することとなるので、学習部２４は、例えば、「この形状の軸が入力された場合、軸の右上に特徴量Ａが存在し、軸の左下に特徴量Ｂが存在することが多い」と学習していくこととなる（図２（ｂ）の例では、結果として、正中線（軸情報Ｚ）に対する左肩（特徴量Ａ）と右腰（特徴量Ｂ）の位置を学習していることとなる）。

なお、学習側検出部２３及び学習部２４の動作は、ディープラーニング等の機械学習により行うことが可能である。

このようにして、学習装置２では、多数のサンプル画像Ｘ２を用いて、サンプル画像内Ｘ２で検出された特徴量と、サンプル画像Ｘ２内で検出された特徴量の検出位置と、軸情報Ｚと、の関連性を学習していくこととなる。すなわち、学習装置２では、「行動体が存在しているか」を判断する（サンプル行動体Ｙ２の部位等を識別する）ことなしに、上記関連性を学習していることとなる。

続いて、推定装置３について説明する。

推定装置３は、図１に示すように、記憶部３１と、推定側取得部３２と、推定側検出部３３と、決定部３４と、推定部３５と、を備えている。

記憶部３１は、軸の位置や形状の変化に応じた行動を識別するための識別子を記憶している。識別子としては、例えば、“転倒（軸が倒れるような変化）”を識別するものや、“飛び跳ね（軸が上下に移動するような変化）”を識別するものや、“物を拾う（軸が中心付近から１８０度近く折れ曲がるような変化）”を識別するもの等が考えられる。

推定側取得部３２は、図３（a）に示すような対象画像Ｘ３を取得する。本実施の形態では、対象画像Ｘ３には、対象行動体Ｙ３が映っており、対象画像Ｘ３は、行動推定システム１のユーザにより入力されるものとする。また、本実施の形態では、対象画像Ｘ３として、撮影装置により撮影された複数の時系列画像を取得するものとする。

推定側検出部３３は、対象画像Ｘ３内の特徴量を検出する。例えば、学習側検出部２３と同様に、畳み込み演算（Ｃｏｎｖｏｌｕｔｉｏｎ）を用いて、対象画像Ｘ３内の所定数のピクセルの集まり（Ｎ×Ｍピクセル数）ごとに特徴量を抽出する方法が考えられる。

決定部３４は、学習部２４で学習された関連性を参照して、対象画像Ｘ３内で検出された特徴量及びその検出位置に対応する対象画像Ｘ３内における軸の位置及び形状を決定する。

詳細には、学習部２４で学習された関連性の中に、推定側検出部３３により検出された複数の特徴量及びそれらの位置関係に近いもの（比例関係にあるものを含む）が存在する場合、対応する軸の位置及び形状を、対象画像Ｘ３内における軸の位置及び形状と決定する。

図３（ｂ）では、推定側検出部３３により、特徴量Ａと特徴量Ｂが図２（ｂ）と同じような位置関係で検出されたため、「図２（ｂ）と同じような形状の正中線（軸情報Ｚ）が、特徴量Ａと特徴量Ｂの間の図２（ｂ）と同じような位置に存在する」と決定された例を示している。

推定部３５は、決定された軸の位置及び形状に基づき、対象画像Ｘ３内において当該軸を有するであろう対象行動体Ｙ３の行動を推定する。本実施の形態では、記憶部３１に記憶された識別子を参照して、決定された軸の位置及び形状に対応する行動を推定する。すなわち、推定装置３では、「行動体が存在しているか」を判断する（対象行動体Ｙ３の部位等を識別する）ことなしに、「軸が存在し得るための特徴量が存在するか」を判断していることとなる。

なお、行動の推定は、各時系列画像において決定された軸の位置及び形状に基づき対象行動体Ｙ３の重心の変位又は加速度を推定し、推定された重心の変位又は加速度に基づいて行うことが好ましい。この場合、学習装置２において、軸情報Ｚと同様に、ユーザが情報取得部２２に重心情報を入力し、サンプル画像Ｘ２内で検出された特徴量と、サンプル画像Ｘ２内で検出された特徴量の検出位置と、重心情報と、の関連性を学習部２４に学習させておくことが好ましい。

続いて、図４のフローチャートを用いて、行動推定システム１の動作について説明する。行動推定システム１では、学習段階と推定段階の２段階の動作を行う。

学習段階では、学習側取得部２１によりサンプル画像Ｘ２が取得され（Ｓ１）、情報取得部２２により軸情報Ｚが取得され（Ｓ２）、学習側検出部２３によりサンプル画像Ｘ２内の特徴量が検出されると（Ｓ３）、学習部２４により、特徴量と、特徴量の検出位置と、軸情報と、の関連性が学習される（Ｓ４）。

Ｓ１−Ｓ４のステップは、多数のサンプル画像Ｘ２及びサンプル行動体Ｙ２について行われることが好ましい。また、Ｓ２とＳ３のステップは、順序が逆であっても良い。

続いて、推定段階では、推定側取得部３２により対象画像Ｘ３が取得され（Ｓ５）、推定側検出部３３により対象画像Ｘ３内の特徴量が検出されると（Ｓ６）、決定部３４により、検出された特徴量及び特徴量の検出位置に対応する対象画像Ｘ３内における軸の位置及び形状が決定される（Ｓ７）

最後に、推定部３５により、決定された軸の位置及び形状に基づき、対象画像Ｘ３内において当該軸を有するであろう対象行動体Ｙ３の行動が推定される（Ｓ８）。

このような構成の行動推定システム１は、歩行・転倒等の動作を推定するのみならず、例えば、屈伸運動の繰り返し回数を数える等の用途に使用することも可能である。

以上説明したように、本実施の形態による行動推定システム１では、サンプル画像Ｘ２内で検出された特徴量と、サンプル画像Ｘ２内で検出された特徴量の検出位置と、軸情報Ｚと、の関連性を参照して、対象画像Ｘ３内における対象行動体Ｙ３の軸の位置及び形状を決定し、決定された軸の位置及び形状に基づき対象画像Ｘ３内において当該軸を有するであろう対象行動体Ｙ３の行動を推定する。

このような構成によれば、行動体の体の軸の位置及び形状を考慮することで、行動体の次の姿勢を予測しやすくなり、高精度かつ短時間で行動体の行動を推定することが可能となる。また、学習装置２及び推定装置３のいずれにおいても、「行動体が存在しているか」を判断する（サンプル行動体Ｙ２及び対象行動体Ｙ３の部位等を識別する）必要がないため、コンピュータにかかる負荷を大幅に低減させることが可能となる。

また、本実施の形態による行動推定システム１では、各時系列画像において決定された軸の位置及び形状に基づき対象行動体Ｙ３の重心の変位又は加速度を推定し、推定された重心の変位又は加速度に基づき対象行動体Ｙ３の行動を推定する。

尚、本発明の行動推定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

例えば、上記実施の形態では、軸として正中線を用いたが、腕の軸、足の軸等の他の軸を用いても良い。また、軸は直線に限らず、折れ線や曲線であっても良い。

また、上記実施の形態では、記憶部３１に記憶された識別子を参照して、決定された軸の位置及び形状に対応する行動を推定したが、その他の方法で行動を推定しても良い。例えば、識別子を設けなくても、「軸が右（又は左）に移動したら歩行（走行）」、「軸が縦向きの画像から軸が横向きに移動したら転倒」のように、決定された軸の位置の変化等に関するルールベースで簡易的に行動を推定しても良い。

また、上記実施の形態では、複数の特徴量（特徴量Ａと特徴量Ｂ）に基づき軸の位置を学習又は決定したが、単一の特徴量に基づき学習又は決定することを除外するものではない。

また、上記実施の形態では、学習段階・推定段階のいずれにおいても行動体の識別を行わなかったが、より高精度な推定を行うために行動体の識別を更に行っても良い。

また、上記実施の形態では、複数の時系列画像に映った行動体の行動を推定したが、単一の画像に映った行動体の行動を推定しても良い。この場合には、軸の位置や形状に対応する行動を示す識別子等を記憶しておき、決定された軸の位置や形状に基づいて行動体の行動を推定する等の方法が考えられる。

また、上記実施の形態では、行動体として人間を例に説明したが、動物やロボットについて使用することも可能である。

また、行動推定システム１における学習装置２と推定装置３は、別体であり、互いに通信可能であっても良い。

また、本発明は、行動推定システム、学習装置、推定装置が行う処理に相当するプログラム又は方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ−ＲＯＭ等が考えられるが、それに限定されるものではない。

１行動推定システム
２学習装置
３推定装置
２１学習側取得部
２２情報取得部
２３学習側検出部
２４学習部
３１記憶部
３２推定側取得部
３３推定側検出部
３４決定部
３５推定部
Ａ特徴量
Ｂ特徴量
Ｘ２サンプル画像
Ｘ３対象画像
Ｙ２サンプル行動体
Ｙ３対象行動体
Ｚ軸情報

Claims

学習装置と、
推定装置と、
を備えた行動推定システムであって、
前記学習装置は、
多数のサンプル画像を取得する学習側取得部と、
各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得する情報取得部と、
各サンプル画像内の特徴量を検出する学習側検出部と、
各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、
を備え、
前記推定装置は、
対象画像を取得する推定側取得部と、
前記対象画像内の特徴量を検出する推定側検出部と、
前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定する決定部と、
前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定する推定部と、
を備えたことを特徴とする行動推定システム。
前記推定側取得部は、前記対象画像として複数の時系列画像を取得し、
前記推定部は、各時系列画像において決定された軸情報に基づき前記対象行動体の重心の変位又は加速度を推定し、前記推定された重心の変位又は加速度に基づき前記対象行動体の行動を推定することを特徴とする請求項１に記載の行動推定装置。
コンピュータにインストールされるプログラムであって、
多数のサンプル画像を取得するステップと、
各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得するステップと、
各サンプル画像内の特徴量を検出するステップと、
各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習するステップと、
対象画像を取得するステップと、
前記対象画像内の特徴量を検出するステップと、
前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定するステップと、
前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定するステップと、
を備えたことを特徴とする行動推定プログラム。
前記対象画像を取得するステップでは、前記対象画像として複数の時系列画像を取得し、
前記推定するステップでは、各時系列画像において決定された軸情報に基づき前記対象行動体の重心の変位又は加速度を推定し、前記推定された重心の変位又は加速度に基づき前記対象行動体の行動を推定することを特徴とする請求項３に記載の行動推定プログラム。
多数のサンプル画像を取得するステップと、
各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得するステップと、
各サンプル画像内の特徴量を検出するステップと、
各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習するステップと、
対象画像を取得するステップと、
前記対象画像内の特徴量を検出するステップと、
前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定するステップと、
前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定するステップと、
を備えたことを特徴とする行動推定方法。
前記対象画像を取得するステップでは、前記対象画像として複数の時系列画像を取得し、
前記推定するステップでは、各時系列画像において決定された軸情報に基づき前記対象行動体の重心の変位又は加速度を推定し、前記推定された重心の変位又は加速度に基づき前記対象行動体の行動を推定することを特徴とする請求項５に記載の行動推定方法。
多数のサンプル画像を取得する学習側取得部と、各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得する情報取得部と、各サンプル画像内の特徴量を検出する学習側検出部と、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、を有する学習装置との間で通信可能な推定装置であって、
対象画像を取得する推定側取得部と、
前記対象画像内の特徴量を検出する推定側検出部と、
前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定する決定部と、
前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定する推定部と、
を備えたことを特徴とする行動推定装置。
前記推定側取得部は、前記対象画像として複数の時系列画像を取得し、
前記推定部は、各時系列画像において決定された軸情報に基づき前記対象行動体の重心の変位又は加速度を推定し、前記推定された重心の変位又は加速度に基づき前記対象行動体の行動を推定することを特徴とする請求項７に記載の行動推定装置。
多数のサンプル画像を取得する学習側取得部と、各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得する情報取得部と、各サンプル画像内の特徴量を検出する学習側検出部と、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、を有する学習装置との間で通信可能なコンピュータにインストールされるプログラムであって、
対象画像を取得するステップと、
前記対象画像内の特徴量を検出するステップと、
前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定するステップと、
前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定するステップと、
を備えたことを特徴とする行動推定プログラム。
前記対象画像を取得するステップでは、前記対象画像として複数の時系列画像を取得し、
前記推定するステップでは、各時系列画像において決定された軸情報に基づき前記対象行動体の重心の変位又は加速度を推定し、前記推定された重心の変位又は加速度に基づき前記対象行動体の行動を推定することを特徴とする請求項９に記載の行動推定プログラム。
多数のサンプル画像を取得する学習側取得部と、各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得する情報取得部と、各サンプル画像内の特徴量を検出する学習側検出部と、各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、を有する学習装置との間で通信可能なコンピュータで使用される方法であって、
対象画像を取得するステップと、
前記対象画像内の特徴量を検出するステップと、
前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定するステップと、
前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定するステップと、
を備えたことを特徴とする行動推定方法。
前記対象画像を取得するステップでは、前記対象画像として複数の時系列画像を取得し、
前記推定するステップでは、各時系列画像において決定された軸情報に基づき前記対象行動体の重心の変位又は加速度を推定し、前記推定された重心の変位又は加速度に基づき前記対象行動体の行動を推定することを特徴とする請求項１１に記載の行動推定方法。
多数のサンプル画像を取得する学習側取得部と、
各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得する情報取得部と、
各サンプル画像内の特徴量を検出する学習側検出部と、
各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習する学習部と、
を備え、
対象画像を取得する推定側取得部と、前記対象画像内の特徴量を検出する推定側検出部と、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定する決定部と、前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定する推定部と、を有する行動推定装置との間で通信可能であることを特徴とする学習装置。
コンピュータにインストールされるプログラムであって、
多数のサンプル画像を取得するステップと、
各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得するステップと、
各サンプル画像内の特徴量を検出するステップと、
各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習するステップと、
を備え、
前記コンピュータは、対象画像を取得する推定側取得部と、前記対象画像内の特徴量を検出する推定側検出部と、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定する決定部と、前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定する推定部と、を有する行動推定装置との間で通信可能であることを特徴とする学習プログラム。
コンピュータで使用される方法であって、
多数のサンプル画像を取得するステップと、
各サンプル画像に映ったサンプル行動体の正中線に関するユーザにより入力された軸情報を取得するステップと、
各サンプル画像内の特徴量を検出するステップと、
各サンプル画像内で検出された特徴量と、各サンプル画像内で検出された特徴量の検出位置と、前記軸情報と、の関連性を学習するステップと、
を備え、
前記コンピュータは、対象画像を取得する推定側取得部と、前記対象画像内の特徴量を検出する推定側検出部と、前記関連性を参照して、前記対象画像内で検出された特徴量及び前記対象画像内で検出された特徴量の検出位置に対応する軸情報を決定する決定部と、前記決定された軸情報に基づき、前記対象画像内において前記決定された軸情報を有するであろう対象行動体の行動を推定する推定部と、を有する行動推定装置との間で通信可能であることを特徴とする学習方法。