JP7158534B1 - 行動解析装置、行動解析方法及び行動解析プログラム - Google Patents
行動解析装置、行動解析方法及び行動解析プログラム Download PDFInfo
- Publication number
- JP7158534B1 JP7158534B1 JP2021100042A JP2021100042A JP7158534B1 JP 7158534 B1 JP7158534 B1 JP 7158534B1 JP 2021100042 A JP2021100042 A JP 2021100042A JP 2021100042 A JP2021100042 A JP 2021100042A JP 7158534 B1 JP7158534 B1 JP 7158534B1
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- content
- behavior
- target
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 263
- 230000009471 action Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 57
- 210000000707 wrist Anatomy 0.000 description 37
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】事前に必要な設定作業の負荷を軽減しつつ、画像データから人の行動内容を特定できるようにする。【解決手段】骨格情報抽出部２４は、画像データに映った被写体について、骨格の関節の位置を示す骨格情報を抽出する。行動特定部２５は、関節の位置に基づく解析項目を示す対象部品を用いて構成された解析条件を行動内容に対応付けた行動解析ルールを記憶装置から読み出して、取得された骨格情報が行動解析ルールにおける解析条件を満たす場合に、解析条件に対応付けられた行動内容が示す行動を前記被写体が行っていると特定する。【選択図】図１
Description
本開示は、画像データから人の行動内容を特定する技術に関する。
映像を構成する画像データから人の２次元の関節位置情報を抽出して、人の姿勢等を特定することが行われている。
特許文献１には、人体の部位を複数の特徴点に分割し、それぞれの特徴点の形状特徴量を複数の姿勢モデルと比較して、最も類似する姿勢モデルを人体の姿勢と推定することが記載されている。形状特徴量は、関節の角度と方向と位置と等から計算される。
特許文献１には、人体の部位を複数の特徴点に分割し、それぞれの特徴点の形状特徴量を複数の姿勢モデルと比較して、最も類似する姿勢モデルを人体の姿勢と推定することが記載されている。形状特徴量は、関節の角度と方向と位置と等から計算される。
特許文献１に記載された方法では、姿勢モデルを作成するためには、同じ姿勢をとっている人の画像データを学習データとして複数集める必要がある。
本開示は、事前に必要な設定作業の負荷を軽減しつつ、画像データから人の行動内容を特定できるようにすることを目的とする。
本開示は、事前に必要な設定作業の負荷を軽減しつつ、画像データから人の行動内容を特定できるようにすることを目的とする。
本開示に係る行動解析装置は、
画像データに映った被写体について、骨格の関節の位置を示す骨格情報を抽出する骨格情報抽出部と、
関節の位置に基づく解析項目を示す対象部品を用いて構成された解析条件を行動内容に対応付けた行動解析ルールを記憶装置から読み出して、前記骨格情報取得部によって取得された前記骨格情報が前記行動解析ルールにおける前記解析条件を満たす場合に、前記解析条件に対応付けられた前記行動内容が示す行動を前記被写体が行っていると特定する行動特定部と
を備える。
画像データに映った被写体について、骨格の関節の位置を示す骨格情報を抽出する骨格情報抽出部と、
関節の位置に基づく解析項目を示す対象部品を用いて構成された解析条件を行動内容に対応付けた行動解析ルールを記憶装置から読み出して、前記骨格情報取得部によって取得された前記骨格情報が前記行動解析ルールにおける前記解析条件を満たす場合に、前記解析条件に対応付けられた前記行動内容が示す行動を前記被写体が行っていると特定する行動特定部と
を備える。
本開示では、関節の位置に基づく解析項目を示す対象部品と、対象部品が示す解析項目に対する解析内容を示す内容部品とが組み合わされて構成された解析条件を行動内容に対応付けた行動解析ルールを用いて行動を特定する。対象部品と内容部品とを組み合わせて構成された解析条件を用いて行動を特定するため、事前に必要な設定作業として、特定する行動を行っている人等の画像データを取得する必要がない。したがって、事前に必要な設定作業の負荷を軽減しつつ、画像データから被写体の行動内容を特定可能である。
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る行動解析装置１０の構成を説明する。
行動解析装置１０は、画像データから画像データに映った被写体の行動を特定するためのコンピュータである。実施の形態１では、被写体は人である。しかし、被写体は、人に限らず、犬、猫といった動物であってもよい。また、被写体は、駆動するロボットであってもよい。
行動解析装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る行動解析装置１０の構成を説明する。
行動解析装置１０は、画像データから画像データに映った被写体の行動を特定するためのコンピュータである。実施の形態１では、被写体は人である。しかし、被写体は、人に限らず、犬、猫といった動物であってもよい。また、被写体は、駆動するロボットであってもよい。
行動解析装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。
行動解析装置１０は、通信インタフェース１４を介して、１台以上のカメラ４１と接続されている。
行動解析装置１０は、機能構成要素として、条件指定部２１と、ルール生成部２２と、フレーム抽出部２３と、骨格情報抽出部２４と、行動特定部２５と、通知部２６とを備える。行動解析装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、行動解析装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、行動解析装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、行動解析装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、行動解析装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、行動解析ルール３１と、対象部品３２と、内容部品３３とが記憶される。
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
＊＊＊動作の説明＊＊＊
図２から図１１を参照して、実施の形態１に係る行動解析装置１０の動作を説明する。
実施の形態１に係る行動解析装置１０の動作手順は、実施の形態１に係る行動解析方法に相当する。また、実施の形態１に係る行動解析装置１０の動作を実現するプログラムは、実施の形態１に係る行動解析プログラムに相当する。
図２から図１１を参照して、実施の形態１に係る行動解析装置１０の動作を説明する。
実施の形態１に係る行動解析装置１０の動作手順は、実施の形態１に係る行動解析方法に相当する。また、実施の形態１に係る行動解析装置１０の動作を実現するプログラムは、実施の形態１に係る行動解析プログラムに相当する。
行動解析装置１０の動作は、行動解析ルール３１を設定する事前処理と、行動解析ルール３１を用いて画像データに映った人の行動を特定する特定処理とに分けられる。
図２を参照して、実施の形態１に係る行動解析ルール３１を説明する。
行動解析ルール３１は、解析条件が行動内容に対応付けられて構成される。
解析条件は、対象部品３２と内容部品３３とが組み合わされて構成される。対象部品３２は、処理対象とする関節の位置に基づく解析項目を示す部品である。対象部品３２は、解析項目毎に用意される。内容部品３３は、対象部品３２が示す解析項目と、他の内容部品３３による解析結果との少なくともいずれかに対する解析内容を示す部品である。内容部品３３は、解析内容毎に用意される。
行動解析ルール３１は、解析条件が行動内容に対応付けられて構成される。
解析条件は、対象部品３２と内容部品３３とが組み合わされて構成される。対象部品３２は、処理対象とする関節の位置に基づく解析項目を示す部品である。対象部品３２は、解析項目毎に用意される。内容部品３３は、対象部品３２が示す解析項目と、他の内容部品３３による解析結果との少なくともいずれかに対する解析内容を示す部品である。内容部品３３は、解析内容毎に用意される。
図３を参照して、実施の形態１に係る解析項目を説明する。
解析項目としては、Ｘ座標と、Ｙ座標と、関節角度と、ベクトル角度と、距離（Ｘ座標）と、距離（Ｙ座標）と、距離（ユークリッド）と、速度と、運動量と、動作といった項目がある。Ｘ座標と、Ｙ座標と、関節角度と、ベクトル角度と、距離（Ｘ座標）と、距離（Ｙ座標）と、距離（ユークリッド）とは、解析内容の分類を表す解析種別が姿勢である。速度と運動量と動作とは、それぞれ解析種別が速度と運動量と動作とである。
解析項目としては、Ｘ座標と、Ｙ座標と、関節角度と、ベクトル角度と、距離（Ｘ座標）と、距離（Ｙ座標）と、距離（ユークリッド）と、速度と、運動量と、動作といった項目がある。Ｘ座標と、Ｙ座標と、関節角度と、ベクトル角度と、距離（Ｘ座標）と、距離（Ｙ座標）と、距離（ユークリッド）とは、解析内容の分類を表す解析種別が姿勢である。速度と運動量と動作とは、それぞれ解析種別が速度と運動量と動作とである。
解析項目“Ｘ座標”は、処理対象とする１つの関節のＸ座標が解析する対象であることを意味する。解析項目“Ｙ座標”は、処理対象とする１つの関節のＹ座標が解析する対象であることを意味する。
解析項目“関節角度”は、処理対象とする関節の角度が解析する対象であることを意味する。解析項目“関節角度”は、処理対象とする関節として３つの関節ａ，ｂ，ｃが指定され、関節ａの位置と関節ｂの位置とを結んだ直線と、関節ｂの位置と関節ｃの位置とを結んだ直線との成す角度が解析する対象であることを意味する。例えば、処理対象とする関節として、右肩、右肘、右手首が指定された場合には、右肩の位置と右肘の位置とを結んだ直線と、右肘の位置と右手首の位置とを結んだ直線との成す角度、つまり右肘の角度が解析項目となる。
解析項目“ベクトル角度”は、処理対象とする４つの関節のうち２つの関節の位置から特定されるベクトルと、残り２つの関節の位置から特定されるベクトルとの成す角度が解析する対象であることを意味する。解析項目“ベクトル角度”は、処理対象とする関節として４つの関節ａ，ｂ，ｃ，ｄが指定され、関節ａの位置から関節ｂの位置へのベクトルと、関節ｃの位置から関節ｄの位置へのベクトルとの成す角度が解析する対象であることを意味する。
解析項目“距離（Ｘ座標）”は、処理対象とする２つの関節の間のＸ座標の距離（Ｘ軸方向の距離）が解析する対象であることを意味する。解析項目“距離（Ｙ座標）”は、処理対象とする２つの関節の間のＹ座標の距離（Ｙ軸方向の距離）が解析する対象であることを意味する。解析項目“距離（ユークリッド）”は、処理対象とする２つの関節の間のユークリッド距離が解析する対象であることを意味する。つまり、解析項目“距離（Ｘ座標）”，“距離（Ｙ座標）”，“距離（ユークリッド）”は、処理対象とする複数の関節についての相対的な位置関係が解析する対象であることを意味する。
解析項目“速度”は、映像を構成する２つのフレームの画像データ間における、処理対象とする関節の移動量が解析する対象であることを意味する。解析項目“運動量”は、映像を構成する指定されたフレームの画像データ間における、処理対象とする関節の移動量が解析する対象であることを意味する。解析項目“速度”及び解析項目“運動量”は、処理対象とする関節として１つ以上の関節が指定される。処理対象とする関節が１つだけ指定された場合には、関節の移動量が解析項目であり、処理対象とする関節が２つ以上指定された場合には、指定された各関節の移動量の合計が解析する対象である。
解析項目“動作”は、処理対象とする関節の移動方向が解析する対象であることを意味する。具体的には、解析項目“動作”は、処理対象とする関節が指定方向に移動しているか否かが解析する対象であることを意味する。つまり、解析項目“速度”，“動作”は、処理対象とする関節の位置の動きが解析する対象であることを意味する。
解析項目“関節角度”は、処理対象とする関節の角度が解析する対象であることを意味する。解析項目“関節角度”は、処理対象とする関節として３つの関節ａ，ｂ，ｃが指定され、関節ａの位置と関節ｂの位置とを結んだ直線と、関節ｂの位置と関節ｃの位置とを結んだ直線との成す角度が解析する対象であることを意味する。例えば、処理対象とする関節として、右肩、右肘、右手首が指定された場合には、右肩の位置と右肘の位置とを結んだ直線と、右肘の位置と右手首の位置とを結んだ直線との成す角度、つまり右肘の角度が解析項目となる。
解析項目“ベクトル角度”は、処理対象とする４つの関節のうち２つの関節の位置から特定されるベクトルと、残り２つの関節の位置から特定されるベクトルとの成す角度が解析する対象であることを意味する。解析項目“ベクトル角度”は、処理対象とする関節として４つの関節ａ，ｂ，ｃ，ｄが指定され、関節ａの位置から関節ｂの位置へのベクトルと、関節ｃの位置から関節ｄの位置へのベクトルとの成す角度が解析する対象であることを意味する。
解析項目“距離（Ｘ座標）”は、処理対象とする２つの関節の間のＸ座標の距離（Ｘ軸方向の距離）が解析する対象であることを意味する。解析項目“距離（Ｙ座標）”は、処理対象とする２つの関節の間のＹ座標の距離（Ｙ軸方向の距離）が解析する対象であることを意味する。解析項目“距離（ユークリッド）”は、処理対象とする２つの関節の間のユークリッド距離が解析する対象であることを意味する。つまり、解析項目“距離（Ｘ座標）”，“距離（Ｙ座標）”，“距離（ユークリッド）”は、処理対象とする複数の関節についての相対的な位置関係が解析する対象であることを意味する。
解析項目“速度”は、映像を構成する２つのフレームの画像データ間における、処理対象とする関節の移動量が解析する対象であることを意味する。解析項目“運動量”は、映像を構成する指定されたフレームの画像データ間における、処理対象とする関節の移動量が解析する対象であることを意味する。解析項目“速度”及び解析項目“運動量”は、処理対象とする関節として１つ以上の関節が指定される。処理対象とする関節が１つだけ指定された場合には、関節の移動量が解析項目であり、処理対象とする関節が２つ以上指定された場合には、指定された各関節の移動量の合計が解析する対象である。
解析項目“動作”は、処理対象とする関節の移動方向が解析する対象であることを意味する。具体的には、解析項目“動作”は、処理対象とする関節が指定方向に移動しているか否かが解析する対象であることを意味する。つまり、解析項目“速度”，“動作”は、処理対象とする関節の位置の動きが解析する対象であることを意味する。
図４を参照して、実施の形態１に係る対象部品３２を説明する。
対象部品３２は、対象部品３２を識別するための識別子が設定されるパラメータと、処理対象とする関節を示す設定値が設定されるパラメータとを用いて構成される。
例えば、解析項目“Ｙ座標”についての対象部品３２は、識別子が設定されるパラメータｔ１と、処理対象とする関節を示す設定値が設定されるパラメータｔ２とを用いて構成される。同様に、解析項目“速度”についての対象部品３２は、識別子が設定されるパラメータｔ３と、処理対象とする関節を示す設定値が設定されるパラメータｔ４とを用いて構成される。また、解析項目“距離（Ｘ座標）”についての対象部品３２は、識別子が設定されるパラメータｔ５と、処理対象とする関節を示す設定値が設定される２つのパラメータｔ６，ｔ７とを用いて構成される。
対象部品３２は、対象部品３２を識別するための識別子が設定されるパラメータと、処理対象とする関節を示す設定値が設定されるパラメータとを用いて構成される。
例えば、解析項目“Ｙ座標”についての対象部品３２は、識別子が設定されるパラメータｔ１と、処理対象とする関節を示す設定値が設定されるパラメータｔ２とを用いて構成される。同様に、解析項目“速度”についての対象部品３２は、識別子が設定されるパラメータｔ３と、処理対象とする関節を示す設定値が設定されるパラメータｔ４とを用いて構成される。また、解析項目“距離（Ｘ座標）”についての対象部品３２は、識別子が設定されるパラメータｔ５と、処理対象とする関節を示す設定値が設定される２つのパラメータｔ６，ｔ７とを用いて構成される。
図５を参照して、実施の形態１に係る解析内容を説明する。
解析内容としては、論理積と、論理和と、否定と、比較と、継続判定と、履歴判定と、繰返判定といったものがある。論理積と論理和と否定とは、解析内容の分類を表すルール種別が論理ルールである。比較は、ルール種別が比較である。継続判定と履歴判定とは、ルール種別が時間判定ルールである。繰返判定は、ルール種別が回数判定ルールである。
解析内容としては、論理積と、論理和と、否定と、比較と、継続判定と、履歴判定と、繰返判定といったものがある。論理積と論理和と否定とは、解析内容の分類を表すルール種別が論理ルールである。比較は、ルール種別が比較である。継続判定と履歴判定とは、ルール種別が時間判定ルールである。繰返判定は、ルール種別が回数判定ルールである。
解析内容“論理積”は、処理対象とする２つの値の論理積を解析結果として返すこと意味する。解析内容“論理和”は、処理対象とする２つの値の論理和を解析結果として返すこと意味する。解析内容“否定”は、処理対象とする１つの値の否定を解析結果として返すこと意味する。
解析内容“比較”は、処理対象とする２つの値を比較して、比較が正しい場合には真（１）を、比較が誤りである場合には偽（０）を解析結果として返すこと意味する。比較には、ＧＴ：“値１”＞“値２”と、ＬＴ：“値１”＜“値２”と、ＥＱ“値１”＝“値２”とがある。
解析内容“継続判定”は、処理対象とする１つの値が下限時間以上上限時間未満の間継続して真（１）である場合には真（１）を、継続していない場合には偽（０）を解析結果として返すこと意味する。
解析内容“履歴判定”は、処理対象とする１つの値が第１時刻から第２時刻の間の１つ以上のフレームの画像データについて真（１）であった場合には真（１）を、得られていない場合には偽（０）を解析結果として返すこと意味する。
解析内容“繰返判定”は、処理対象とする１つの値が第１時刻から第２時刻の間の指定数以上のフレームの画像データについて真（１）であった場合には真（１）を、得られていない場合には偽（０）を解析結果として返すこと意味する。
解析内容“比較”は、処理対象とする２つの値を比較して、比較が正しい場合には真（１）を、比較が誤りである場合には偽（０）を解析結果として返すこと意味する。比較には、ＧＴ：“値１”＞“値２”と、ＬＴ：“値１”＜“値２”と、ＥＱ“値１”＝“値２”とがある。
解析内容“継続判定”は、処理対象とする１つの値が下限時間以上上限時間未満の間継続して真（１）である場合には真（１）を、継続していない場合には偽（０）を解析結果として返すこと意味する。
解析内容“履歴判定”は、処理対象とする１つの値が第１時刻から第２時刻の間の１つ以上のフレームの画像データについて真（１）であった場合には真（１）を、得られていない場合には偽（０）を解析結果として返すこと意味する。
解析内容“繰返判定”は、処理対象とする１つの値が第１時刻から第２時刻の間の指定数以上のフレームの画像データについて真（１）であった場合には真（１）を、得られていない場合には偽（０）を解析結果として返すこと意味する。
図６を参照して、実施の形態１に係る解析内容毎の処理対象とする値について説明する。
ルール種別が、論理ルールと時間判定ルールと回数判定ルールとである解析内容については、処理対象とする値として、内容部品３３による解析結果をとる。つまり、上述した解析内容のうち比較以外の論理積と論理和と否定と継続判定と履歴判定と繰返判定とは、処理対象とする値として、内容部品３３による解析結果をとる。
一方、ルール種別が比較ルールである解析内容は、処理対象とする値として、対象部品３２が示す解析項目と、数値とをとる。つまり、上述した解析内容のうち比較は、処理対象とする値として、対象部品３２が示す解析項目と、数値とをとる。
ルール種別が、論理ルールと時間判定ルールと回数判定ルールとである解析内容については、処理対象とする値として、内容部品３３による解析結果をとる。つまり、上述した解析内容のうち比較以外の論理積と論理和と否定と継続判定と履歴判定と繰返判定とは、処理対象とする値として、内容部品３３による解析結果をとる。
一方、ルール種別が比較ルールである解析内容は、処理対象とする値として、対象部品３２が示す解析項目と、数値とをとる。つまり、上述した解析内容のうち比較は、処理対象とする値として、対象部品３２が示す解析項目と、数値とをとる。
図７を参照して、実施の形態１に係る内容部品３３を説明する。
内容部品３３は、内容部品３３を識別するための識別子が設定されるパラメータと、処理対象とする値を示す設定値が設定されるパラメータとを用いて構成される。処理対象とする値は、上述した通り、解析内容に応じて、内容部品３３による解析結果と、対象部品３２が示す解析項目と、数値とのいずれかになる。
例えば、解析内容“論理和”についての内容部品３３は、識別子が設定されるパラメータｃ１と、処理対象とする値を示す設定値である内容部品３３の識別子が設定される２つのパラメータｃ２，ｃ３とを用いて構成される。また、解析内容“比較”についての内容部品３３は、識別子が設定されるパラメータｃ４と、処理対象とする値を示す設定値である対象部品３２の識別子又は数値が設定される２つのパラメータｃ５，ｃ６と、比較演算であるＧＴ，ＬＴ，ＥＱが設定されるパラメータｃ７とを用いて構成される。
なお、図７では、解析内容“比較”についての内容部品３３は、比較演算であるＧＴ，ＬＴ，ＥＱのいずれかが評価タイプとしてパラメータｃ７に設定される構成になっている。しかし、比較演算であるＧＴ，ＬＴ，ＥＱそれぞれについて別々に内容部品３３を用意しておいてもよい。この場合には、比較演算であるＧＴ，ＬＴ，ＥＱが設定されるパラメータｃ７は必要ない。
内容部品３３は、内容部品３３を識別するための識別子が設定されるパラメータと、処理対象とする値を示す設定値が設定されるパラメータとを用いて構成される。処理対象とする値は、上述した通り、解析内容に応じて、内容部品３３による解析結果と、対象部品３２が示す解析項目と、数値とのいずれかになる。
例えば、解析内容“論理和”についての内容部品３３は、識別子が設定されるパラメータｃ１と、処理対象とする値を示す設定値である内容部品３３の識別子が設定される２つのパラメータｃ２，ｃ３とを用いて構成される。また、解析内容“比較”についての内容部品３３は、識別子が設定されるパラメータｃ４と、処理対象とする値を示す設定値である対象部品３２の識別子又は数値が設定される２つのパラメータｃ５，ｃ６と、比較演算であるＧＴ，ＬＴ，ＥＱが設定されるパラメータｃ７とを用いて構成される。
なお、図７では、解析内容“比較”についての内容部品３３は、比較演算であるＧＴ，ＬＴ，ＥＱのいずれかが評価タイプとしてパラメータｃ７に設定される構成になっている。しかし、比較演算であるＧＴ，ＬＴ，ＥＱそれぞれについて別々に内容部品３３を用意しておいてもよい。この場合には、比較演算であるＧＴ，ＬＴ，ＥＱが設定されるパラメータｃ７は必要ない。
図８及び図９を参照して、実施の形態１に係る行動解析ルール３１の具体例を説明する。
図８及び図９では、行動解析ルール３１は、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のプログラムコードにより構成されている。図８及び図９の左端の数値は、行動解析ルール３１の行数を表している。この行数から分かるように、図９に記載されたプログラムコードは、図８に記載されたプログラムコードの続きになっている。
図８及び図９では、行動解析ルール３１は、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のプログラムコードにより構成されている。図８及び図９の左端の数値は、行動解析ルール３１の行数を表している。この行数から分かるように、図９に記載されたプログラムコードは、図８に記載されたプログラムコードの続きになっている。
図８及び図９では、２行目から４４行目のプログラムコードが１つの行動内容についての行動解析ルール３１を表している。実際には、４４行目と４５行目との間に他の行動内容についての行動解析ルール３１が記述される。
２行目から４４行目のプログラムコードは、２行目に記載されたように、“手を振る”という行動内容についての行動解析ルール３１である。３行目から４３行目のプログラムコードが解析条件を表している。
解析条件のうち、３行目から１９行目のプログラムコードは、解析項目に関するプログラムコードであり、対象部品３２に対応している。解析条件のうち、２０行目から４３行目のプログラムコードは、解析内容に関するプログラムコードであり、内容部品３３に対応している。
２行目から４４行目のプログラムコードは、２行目に記載されたように、“手を振る”という行動内容についての行動解析ルール３１である。３行目から４３行目のプログラムコードが解析条件を表している。
解析条件のうち、３行目から１９行目のプログラムコードは、解析項目に関するプログラムコードであり、対象部品３２に対応している。解析条件のうち、２０行目から４３行目のプログラムコードは、解析内容に関するプログラムコードであり、内容部品３３に対応している。
４行目から６行目のプログラムコードと、７行目から９行目のプログラムコードと、１０行目から１２行目のプログラムコードとは、それぞれ解析項目“Ｙ座標”についての対象部品３２である。
４行目から６行目のプログラムコードは、識別子として“Ｃ１”がパラメータに設定され、処理対象とする関節を示す設定値として“右手首”がパラメータに設定されている。つまり、４行目から６行目のプログラムコードは、識別子が“Ｃ１”であり、“右手首”のＹ座標を解析項目とする対象部品３２である。４行目から６行目のプログラムコードが実行されると、“右手首”のＹ座標の値が取得される。
同様に、７行目から９行目のプログラムコードは、識別子が“Ｃ２”であり、“首”のＹ座標を解析項目とする対象部品３２である。７行目から９行目のプログラムコードが実行されると、“首”のＹ座標の値が取得される。また、同様に、１０行目から１２行目のプログラムコードは、識別子が“Ｃ３”であり、“左手首”のＹ座標を解析項目とする対象部品３２である。１０行目から１２行目のプログラムコードが実行されると、“左首”のＹ座標の値が取得される。
４行目から６行目のプログラムコードは、識別子として“Ｃ１”がパラメータに設定され、処理対象とする関節を示す設定値として“右手首”がパラメータに設定されている。つまり、４行目から６行目のプログラムコードは、識別子が“Ｃ１”であり、“右手首”のＹ座標を解析項目とする対象部品３２である。４行目から６行目のプログラムコードが実行されると、“右手首”のＹ座標の値が取得される。
同様に、７行目から９行目のプログラムコードは、識別子が“Ｃ２”であり、“首”のＹ座標を解析項目とする対象部品３２である。７行目から９行目のプログラムコードが実行されると、“首”のＹ座標の値が取得される。また、同様に、１０行目から１２行目のプログラムコードは、識別子が“Ｃ３”であり、“左手首”のＹ座標を解析項目とする対象部品３２である。１０行目から１２行目のプログラムコードが実行されると、“左首”のＹ座標の値が取得される。
１３行目から１５行目のプログラムコードと、１６行目から１８行目のプログラムコードとは、それぞれ解析項目“速度”についての対象部品３２である。
１３行目から１５行目のプログラムコードは、識別子として“Ｃ４”がパラメータに設定され、処理対象とする関節を示す設定値として“右手首”がパラメータに設定されている。つまり、１３行目から１５行目のプログラムコードは、識別子が“Ｃ４”であり、“右手首”の速度を解析項目とする対象部品３２である。１３行目から１５行目のプログラムコードが実行されると、“右手首”の速度が取得される。
同様に、１６行目から１８行目のプログラムコードは、識別子が“Ｃ５”であり、“左手首”の速度を解析項目とする対象部品３２である。１６行目から１８行目のプログラムコードが実行されると、“左手首”の速度が取得される。
１３行目から１５行目のプログラムコードは、識別子として“Ｃ４”がパラメータに設定され、処理対象とする関節を示す設定値として“右手首”がパラメータに設定されている。つまり、１３行目から１５行目のプログラムコードは、識別子が“Ｃ４”であり、“右手首”の速度を解析項目とする対象部品３２である。１３行目から１５行目のプログラムコードが実行されると、“右手首”の速度が取得される。
同様に、１６行目から１８行目のプログラムコードは、識別子が“Ｃ５”であり、“左手首”の速度を解析項目とする対象部品３２である。１６行目から１８行目のプログラムコードが実行されると、“左手首”の速度が取得される。
２３行目から２６行目のプログラムコードと、２７行目から３０行目のプログラムコードと、３３行目から３６行目のプログラムコードと、３７行目から４０行目のプログラムコードとは、それぞれ解析内容“比較”についての内容部品３３である。
２３行目から２６行目のプログラムコードは、識別子として“Ｒ３”がパラメータに設定され、処理対象とする値として識別子“Ｃ１”及び識別子“Ｃ２”がパラメータに設定され、比較演算として“ＧＴ”がパラメータに設定されている。つまり、２３行目から２６行目のプログラムコードは、識別子が“Ｒ３”であり、識別子“Ｃ１”の対象部品３２で取得された値が、識別子“Ｃ２”の対象部品３２で取得された値よりも大きいか否かを判定する内容部品３３である。２３行目から２６行目のプログラムコードが実行されると、識別子“Ｃ１”の対象部品３２で取得された値が、識別子“Ｃ２”の対象部品３２で取得された値よりも大きい場合には真（１）が返され、そうでない場合には偽（０）が返される。識別子“Ｃ１”の対象部品３２で取得された値は、右手首のＹ座標の値であり、識別子“Ｃ２”の対象部品３２で取得された値は、首のＹ座標の値である。したがって、右手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。
同様に、２７行目から３０行目のプログラムコードは、識別子が“Ｒ４”であり、識別子“Ｃ４”の対象部品３２で取得された値が、数値“３０”よりも大きいか否かを判定する内容部品３３である。識別子“Ｃ４”の対象部品３２で取得された値は、右手首の速度である。したがって、右手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。また、同様に、３３行目から３６行目のプログラムコードは、識別子が“Ｒ６”であり、識別子“Ｃ３”の対象部品３２で取得された値が、識別子“Ｃ２”の対象部品３２で取得された値よりも大きいか否かを判定する内容部品３３である。識別子“Ｃ３”の対象部品３２で取得された値は、左手首のＹ座標の値であり、識別子“Ｃ２”の対象部品３２で取得された値は、首のＹ座標の値である。したがって、左手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。また、同様に、３７行目から４０行目のプログラムコードは、識別子が“Ｒ７”であり、識別子“Ｃ５”の対象部品３２で取得された値が、数値“３０”よりも大きいか否かを判定する内容部品３３である。識別子“Ｃ４”の対象部品３２で取得された値は、左手首の速度である。したがって、左手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。
２３行目から２６行目のプログラムコードは、識別子として“Ｒ３”がパラメータに設定され、処理対象とする値として識別子“Ｃ１”及び識別子“Ｃ２”がパラメータに設定され、比較演算として“ＧＴ”がパラメータに設定されている。つまり、２３行目から２６行目のプログラムコードは、識別子が“Ｒ３”であり、識別子“Ｃ１”の対象部品３２で取得された値が、識別子“Ｃ２”の対象部品３２で取得された値よりも大きいか否かを判定する内容部品３３である。２３行目から２６行目のプログラムコードが実行されると、識別子“Ｃ１”の対象部品３２で取得された値が、識別子“Ｃ２”の対象部品３２で取得された値よりも大きい場合には真（１）が返され、そうでない場合には偽（０）が返される。識別子“Ｃ１”の対象部品３２で取得された値は、右手首のＹ座標の値であり、識別子“Ｃ２”の対象部品３２で取得された値は、首のＹ座標の値である。したがって、右手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。
同様に、２７行目から３０行目のプログラムコードは、識別子が“Ｒ４”であり、識別子“Ｃ４”の対象部品３２で取得された値が、数値“３０”よりも大きいか否かを判定する内容部品３３である。識別子“Ｃ４”の対象部品３２で取得された値は、右手首の速度である。したがって、右手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。また、同様に、３３行目から３６行目のプログラムコードは、識別子が“Ｒ６”であり、識別子“Ｃ３”の対象部品３２で取得された値が、識別子“Ｃ２”の対象部品３２で取得された値よりも大きいか否かを判定する内容部品３３である。識別子“Ｃ３”の対象部品３２で取得された値は、左手首のＹ座標の値であり、識別子“Ｃ２”の対象部品３２で取得された値は、首のＹ座標の値である。したがって、左手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。また、同様に、３７行目から４０行目のプログラムコードは、識別子が“Ｒ７”であり、識別子“Ｃ５”の対象部品３２で取得された値が、数値“３０”よりも大きいか否かを判定する内容部品３３である。識別子“Ｃ４”の対象部品３２で取得された値は、左手首の速度である。したがって、左手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。
２２行目及び３１行目のプログラムコードと、３２行目及び４１行目のプログラムコードとは、解析内容“論理積”についての内容部品３３である。
２２行目及び３１行目のプログラムコードは、識別子として“Ｒ２”がパラメータに設定され、処理対象とする値として識別子“Ｒ３”及び識別子“Ｒ４”がパラメータに設定されている。なお、２２行目及び３１行目のプログラムコードは、識別子“Ｒ２”の内容部品３３に、識別子“Ｒ３”の内容部品３３と、識別子“Ｒ４”の内容部品３３とが入れ子の状態で記述されることにより、識別子“Ｒ２”の内容部品３３で処理対象とする値として識別子“Ｒ３”及び識別子“Ｒ４”が設定されている。つまり、２２行目及び３１行目のプログラムコードは、識別子が“Ｒ２”であり、識別子“Ｒ３”の内容部品３３で返された値と、識別子“Ｒ４”の内容部品３３で返された値との論理積を返す内容部品３３である。識別子“Ｒ３”の内容部品３３では、右手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。識別子“Ｒ４”の内容部品３３では、右手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。したがって、右手首が首よりも高い位置にあり、かつ、右手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。
同様に、３２行目及び４１行目のプログラムコードは、識別子が“Ｒ５”であり、識別子“Ｒ６”の内容部品３３で返された値と、識別子“Ｒ７”の内容部品３３で返された値との論理積を返す内容部品３３である。識別子“Ｒ６”の内容部品３３では、左手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。識別子“Ｒ７”の内容部品３３では、左手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。したがって、左手首が首よりも高い位置にあり、かつ、左手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。
２２行目及び３１行目のプログラムコードは、識別子として“Ｒ２”がパラメータに設定され、処理対象とする値として識別子“Ｒ３”及び識別子“Ｒ４”がパラメータに設定されている。なお、２２行目及び３１行目のプログラムコードは、識別子“Ｒ２”の内容部品３３に、識別子“Ｒ３”の内容部品３３と、識別子“Ｒ４”の内容部品３３とが入れ子の状態で記述されることにより、識別子“Ｒ２”の内容部品３３で処理対象とする値として識別子“Ｒ３”及び識別子“Ｒ４”が設定されている。つまり、２２行目及び３１行目のプログラムコードは、識別子が“Ｒ２”であり、識別子“Ｒ３”の内容部品３３で返された値と、識別子“Ｒ４”の内容部品３３で返された値との論理積を返す内容部品３３である。識別子“Ｒ３”の内容部品３３では、右手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。識別子“Ｒ４”の内容部品３３では、右手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。したがって、右手首が首よりも高い位置にあり、かつ、右手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。
同様に、３２行目及び４１行目のプログラムコードは、識別子が“Ｒ５”であり、識別子“Ｒ６”の内容部品３３で返された値と、識別子“Ｒ７”の内容部品３３で返された値との論理積を返す内容部品３３である。識別子“Ｒ６”の内容部品３３では、左手首が首よりも高い位置にある場合には真（１）が返され、そうでない場合には偽（０）が返される。識別子“Ｒ７”の内容部品３３では、左手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。したがって、左手首が首よりも高い位置にあり、かつ、左手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。
２１行目及び４２行目のプログラムコードは、解析内容“論理和”についての内容部品３３である。２１行目及び４２行目のプログラムコードは、識別子として“Ｒ１”がパラメータに設定され、処理対象とする値として識別子“Ｒ２”及び識別子“Ｒ５”がパラメータに設定されている。つまり、２１行目及び４２行目のプログラムコードは、識別子が“Ｒ１”であり、識別子“Ｒ２”の内容部品３３で返された値と、識別子“Ｒ５”の内容部品３３で返された値との論理和を返す内容部品３３である。識別子“Ｒ２”の内容部品３３では、右手首が首よりも高い位置にあり、かつ、右手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。識別子“Ｒ５”の内容部品３３では、左手首が首よりも高い位置にあり、かつ、左手首の速度が３０よりも速い場合には真（１）が返され、そうでない場合には偽（０）が返される。したがって、右手首と左手首とのどちらか一方でも、首の位置より高く、かつ、速度が速い場合には真（１）が返され、そうでない場合には偽（０）が返される。
２０行目及び４３行目のプログラムコードは、解析内容“継続判定”についての内容部品３３である。２０行目及び４３行目のプログラムコードは、識別子として“Ｒ０”がパラメータに設定され、処理対象とする値として識別子“Ｒ１”がパラメータに設定され、下限時間として３（秒）がパラメータに設定されている。なお、上限時間はパラメータに設定されていない。つまり、２０行目及び４３行目のプログラムコードは、識別子が“Ｒ０”であり、識別子“Ｒ１”の内容部品３３で返された値が真（１）である状態が、下限時間以上継続しているか否か判定する内容部品３３である。識別子“Ｒ１”の内容部品３３は、右手首と左手首とのどちらか一方でも、首の位置より高く、かつ、速度が速い場合には真（１）が返され、そうでない場合には偽（０）が返される。したがって、右手首と左手首とのどちらか一方でも、首の位置より高く、かつ、速度が速い状態が３（秒）以上継続した場合には真（１）が返され、そうでない場合には偽（０）が返される。
図１０を参照して、実施の形態１に係る事前処理を説明する。
（ステップＳ１１：条件指定処理）
条件指定部２１は、関節の位置に基づく解析項目を示す対象部品３２と、対象部品３２が示す解析項目に対する解析内容を示す内容部品３３とを組み合わせた解析条件をユーザに指定させる。ユーザはＳＥ（Ｓｙｓｔｅｍ Ｅｎｇｉｎｅｅｒ）もしくは顧客であり、顧客が直接解析条件を入力することもできる。
上述したように、解析項目毎に対象部品３２が用意され、解析内容毎に内容部品３３が用意されている。条件指定部２１は、これらの対象部品３２及び内容部品３３を提供して、図８及び図９を参照して説明したように、対象部品３２及び内容部品３３を組み合わせて解析条件を指定させる。具体的には、条件指定部２１は、図４に示す対象部品３２と、図７に示す内容部品３３とのように、プログラムコードで記述された対象部品３２及び内容部品３３を表示して、図８及び図９を参照して説明したように、対象部品３２及び内容部品３３をユーザに組み合わさせ、パラメータを設定させて、図８及び図９の３行目から４３行目のような解析条件をユーザに作成させる。なお、条件指定部２１は、プログラムコードで記述された対象部品３２と内容部品３３とを直接表示するのではなく、対象部品３２及び内容部品３３の組合せ方法と、設定するパラメータとを指定させるＧＵＩ画面を表示してもよい。そして、ユーザにＧＵＩ画面を操作させて、対象部品３２及び内容部品３３の組合せ方法と、設定するパラメータとを指定させることにより、解析条件を作成させてもよい。
（ステップＳ１１：条件指定処理）
条件指定部２１は、関節の位置に基づく解析項目を示す対象部品３２と、対象部品３２が示す解析項目に対する解析内容を示す内容部品３３とを組み合わせた解析条件をユーザに指定させる。ユーザはＳＥ（Ｓｙｓｔｅｍ Ｅｎｇｉｎｅｅｒ）もしくは顧客であり、顧客が直接解析条件を入力することもできる。
上述したように、解析項目毎に対象部品３２が用意され、解析内容毎に内容部品３３が用意されている。条件指定部２１は、これらの対象部品３２及び内容部品３３を提供して、図８及び図９を参照して説明したように、対象部品３２及び内容部品３３を組み合わせて解析条件を指定させる。具体的には、条件指定部２１は、図４に示す対象部品３２と、図７に示す内容部品３３とのように、プログラムコードで記述された対象部品３２及び内容部品３３を表示して、図８及び図９を参照して説明したように、対象部品３２及び内容部品３３をユーザに組み合わさせ、パラメータを設定させて、図８及び図９の３行目から４３行目のような解析条件をユーザに作成させる。なお、条件指定部２１は、プログラムコードで記述された対象部品３２と内容部品３３とを直接表示するのではなく、対象部品３２及び内容部品３３の組合せ方法と、設定するパラメータとを指定させるＧＵＩ画面を表示してもよい。そして、ユーザにＧＵＩ画面を操作させて、対象部品３２及び内容部品３３の組合せ方法と、設定するパラメータとを指定させることにより、解析条件を作成させてもよい。
（ステップＳ１２：ルール生成処理）
ルール生成部２２は、ステップＳ１１で指定された解析条件に対応する行動内容の名称を指定させて、解析条件と行動内容とを対応付けた行動解析ルール３１を生成する。
具体的には、ルール生成部２２は、ユーザによって指定された行動内容の名称を図８の２行目のように解析条件と行動内容とを対応づけて設定することにより、行動解析ルール３１を生成する。ルール生成部２２は、行動解析ルール３１をストレージ１３に書き込む。
ルール生成部２２は、ステップＳ１１で指定された解析条件に対応する行動内容の名称を指定させて、解析条件と行動内容とを対応付けた行動解析ルール３１を生成する。
具体的には、ルール生成部２２は、ユーザによって指定された行動内容の名称を図８の２行目のように解析条件と行動内容とを対応づけて設定することにより、行動解析ルール３１を生成する。ルール生成部２２は、行動解析ルール３１をストレージ１３に書き込む。
図１１を参照して、実施の形態１に係る特定処理を説明する。
（ステップＳ２１：ルール取得処理）
行動特定部２５は、事前処理で生成された行動解析ルール３１をストレージ１３から読み出す。図８及び図９では、“手を振る”という行動内容についての行動解析ルール３１だけが示されていた。しかし、“立ち上がる”、“歩く”といった複数の行動内容についての行動解析ルール３１が生成されていてもよい。この場合には、図９の４５行目以降に、“立ち上がる”、“歩く”といった他の行動内容についての行動解析ルール３１が記述される。
（ステップＳ２１：ルール取得処理）
行動特定部２５は、事前処理で生成された行動解析ルール３１をストレージ１３から読み出す。図８及び図９では、“手を振る”という行動内容についての行動解析ルール３１だけが示されていた。しかし、“立ち上がる”、“歩く”といった複数の行動内容についての行動解析ルール３１が生成されていてもよい。この場合には、図９の４５行目以降に、“立ち上がる”、“歩く”といった他の行動内容についての行動解析ルール３１が記述される。
（ステップＳ２２：画像読込処理）
フレーム抽出部２３は、カメラ４１によって得られた新しいフレームの画像データを読み込む。フレーム抽出部２３は、読み込まれた画像データをメモリ１２に書き込む。フレーム抽出部２３は、一定時間以上前のフレームの画像データについては、メモリ１２から削除する。例えば、必要になる過去一定数のフレーム（例えば、１５０フレーム）の画像データだけをメモリ１２に記憶しておくようにしてもよい。
なお、新しいフレームの画像データがない場合には、フレーム抽出部２３は処理を終了する。
フレーム抽出部２３は、カメラ４１によって得られた新しいフレームの画像データを読み込む。フレーム抽出部２３は、読み込まれた画像データをメモリ１２に書き込む。フレーム抽出部２３は、一定時間以上前のフレームの画像データについては、メモリ１２から削除する。例えば、必要になる過去一定数のフレーム（例えば、１５０フレーム）の画像データだけをメモリ１２に記憶しておくようにしてもよい。
なお、新しいフレームの画像データがない場合には、フレーム抽出部２３は処理を終了する。
（ステップＳ２３：骨格情報抽出処理）
骨格情報抽出部２４は、ステップＳ２２で取得された新しい画像データに映った人である被写体について、骨格の関節の位置を示す骨格情報を抽出する。骨格情報の抽出方法は、既存の技術を用いればよい。なお、骨格情報は、関節の位置だけでなく、目、口、鼻、耳といった体の部位の位置も示していてもよい。骨格情報抽出部２４は、抽出された骨格情報を、画像データと対応付けてメモリ１２に書き込む。
骨格情報抽出部２４は、ステップＳ２２で取得された新しい画像データに映った人である被写体について、骨格の関節の位置を示す骨格情報を抽出する。骨格情報の抽出方法は、既存の技術を用いればよい。なお、骨格情報は、関節の位置だけでなく、目、口、鼻、耳といった体の部位の位置も示していてもよい。骨格情報抽出部２４は、抽出された骨格情報を、画像データと対応付けてメモリ１２に書き込む。
なお、ステップＳ２２からステップＳ２３の処理は、行動解析装置１０の外部の装置によって実現されてもよい。この場合には、行動解析装置１０は、外部の装置によって抽出された骨格情報を取得すればよい。
（ステップＳ２４：行動特定処理）
行動特定部２５は、ステップＳ２３で取得された骨格情報が行動解析ルール３１における解析条件を満たす場合に、解析条件に対応付けられた行動内容が示す行動を被写体が行っていると特定する。
具体的には、行動特定部２５は、各行動内容についての行動解析ルール３１を実行する。つまり、行動特定部２５は、図８及び図９に示すような各行動内容についての行動解析ルール３１を実行する。図８及び図９に示す行動解析ルール３１が実行された場合には、３行目から１９行目のプログラムコードにより各解析項目が特定され、２０行目から４３行目のプログラムコードによって解析条件を満たすか否かが判定される。ここでは、行動特定部２５は、ある行動内容についての行動解析ルール３１で真（１）が返された場合には、その行動内容が示す行動を被写体が行っていると特定する。
なお、２つ以上の行動を被写体が行っていると特定される場合もある。例えば、立ち上がりながら手を振っている場合には、“立ち上がる”という行動と、“手を振る”という行動との両方を行っていると特定される。
行動特定部２５は、ステップＳ２３で取得された骨格情報が行動解析ルール３１における解析条件を満たす場合に、解析条件に対応付けられた行動内容が示す行動を被写体が行っていると特定する。
具体的には、行動特定部２５は、各行動内容についての行動解析ルール３１を実行する。つまり、行動特定部２５は、図８及び図９に示すような各行動内容についての行動解析ルール３１を実行する。図８及び図９に示す行動解析ルール３１が実行された場合には、３行目から１９行目のプログラムコードにより各解析項目が特定され、２０行目から４３行目のプログラムコードによって解析条件を満たすか否かが判定される。ここでは、行動特定部２５は、ある行動内容についての行動解析ルール３１で真（１）が返された場合には、その行動内容が示す行動を被写体が行っていると特定する。
なお、２つ以上の行動を被写体が行っていると特定される場合もある。例えば、立ち上がりながら手を振っている場合には、“立ち上がる”という行動と、“手を振る”という行動との両方を行っていると特定される。
ここで、解析項目“Ｙ座標”については、１フレームの画像データだけから特定可能である。しかし、解析項目“速度”については、２フレーム以上の画像データが必要になる。このように複数のフレームの画像データが必要な解析項目の対象部品３２は、直近に取得されたフレームの画像データについての骨格情報に加え、必要な数の過去のフレームの画像データについての骨格情報をメモリ１２から読み出して、使用する。例えば、解析項目“速度”についての対象部品３２は、直近に取得されたフレームの画像データについての骨格情報に加え、１つ前のフレームの画像データについての骨格情報をメモリ１２から読み出して、使用する。
また、複数のフレームを用いる際には、被写体が同一人物であることを特定する必要がある場合がある。例えば、解析項目“速度”の場合には、直近に取得されたフレームの画像データに映っている被写体と、１つ前のフレームの画像データに映っている被写体とが同一人物であることを特定する必要がある。このように同一人物であることを特定する処理については、対象部品３２に実装されているものとする。例えば、被写体の位置等により同一人物であることを特定することが可能である。
また、解析項目の設定によっては、複数の被写体の間に相関関係があるか否かを判定する必要がある場合がある。相関関係があるかないかを判定する処理についても、必要に応じて対象部品３２に実装されているものとする。
また、解析項目の設定によっては、複数の被写体の間に相関関係があるか否かを判定する必要がある場合がある。相関関係があるかないかを判定する処理についても、必要に応じて対象部品３２に実装されているものとする。
（ステップＳ２５：特定判定処理）
行動特定部２５は、ステップＳ２４で行動内容が特定されたか否かを判定する。
行動特定部２５は、行動内容が特定された場合には、処理をステップＳ２６に進める。一方、行動特定部２５は、行動内容が特定されなかった場合には、処理をステップＳ２２に戻す。
行動特定部２５は、ステップＳ２４で行動内容が特定されたか否かを判定する。
行動特定部２５は、行動内容が特定された場合には、処理をステップＳ２６に進める。一方、行動特定部２５は、行動内容が特定されなかった場合には、処理をステップＳ２２に戻す。
（ステップＳ２６：通知処理）
通知部２６は、特定された行動内容を通知する。具体例としては、通知部２６は、特定された行動内容を示す情報を表示装置に表示する、特定された行動内容に応じた態様で警告灯を点灯させる、管理者の端末に特定された行動を示すメッセージを送信するといった方法により、特定された行動内容を通知する。
通知部２６は、特定された行動内容を通知する。具体例としては、通知部２６は、特定された行動内容を示す情報を表示装置に表示する、特定された行動内容に応じた態様で警告灯を点灯させる、管理者の端末に特定された行動を示すメッセージを送信するといった方法により、特定された行動内容を通知する。
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る行動解析装置１０は、対象部品３２と内容部品３３とを組み合わせて構成された解析条件を用いて行動を特定するため、事前に必要な設定作業として、特定する行動を行っている人の画像データを取得する必要がない。したがって、事前に必要な設定作業の負荷を軽減しつつ、画像データから人の行動内容を特定可能である。
以上のように、実施の形態１に係る行動解析装置１０は、対象部品３２と内容部品３３とを組み合わせて構成された解析条件を用いて行動を特定するため、事前に必要な設定作業として、特定する行動を行っている人の画像データを取得する必要がない。したがって、事前に必要な設定作業の負荷を軽減しつつ、画像データから人の行動内容を特定可能である。
また、カメラ４１の設置位置又は設置角度によって取得される画像データが異なる。特許文献１に記載された方法では、画像データを得るためのカメラの向き又は角度により形状特徴量が変化するため、カメラの向き及び角度が変われば、姿勢モデルを作成し直す必要がある。そのため、姿勢を特定する前提として事前に必要になる姿勢モデルの作成にかかる負担が重い。実施の形態１に係る行動解析装置１０は、対象部品３２と内容部品３３とを組み合わせて構成された解析条件を用いて行動を特定するため、カメラ４１の設置位置又は設置角度に応じて、パラメータの調整を行う等して容易に対応可能である。したがって、事前に必要な設定作業の負荷を軽減しつつ、画像データから人の行動内容を特定可能である。
また、機械学習を行って生成された学習済モデルを用いた推論では、推論の結果が適切に得られない場合に、その原因を特定することが難しい。実施の形態１に係る行動解析装置１０は、対象部品３２と内容部品３３とを組み合わせて構成された解析条件を用いて行動を特定するため、どの条件により適切な結果が得られなかったかを容易に特定可能である。そのため、解析条件の改善を容易に行うことができる。
また、実施の形態１に係る行動解析装置１０は、論理演算により複数の条件を組み合わせて解析条件を構成することが可能である。そのため、状況に応じた柔軟な条件設定を行うことが可能であり、適切に行動を特定することが可能である。
また、実施の形態１に係る対象部品３２及び内容部品３３は、ＸＭＬといったタグ形式の言語を用いて記述可能である。そのため、プログラムに詳しくない人であっても、解析条件の内容を理解し易い。
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、行動解析装置１０は、事前処理と特定処理との両方を行った。しかし、事前処理を行う装置と、特定処理を行う装置とを分けてもよい。この場合には、事前処理を行う装置は、行動解析ルール３１を外部の記憶装置に記憶する。そして、特定処理を行う装置は、外部の記憶装置から行動解析ルール３１を読み出して使用する。なお、外部の記憶装置に代えて、事前処理を行う装置又は特定処理を行う装置のストレージが用いられてもよい。
＜変形例１＞
実施の形態１では、行動解析装置１０は、事前処理と特定処理との両方を行った。しかし、事前処理を行う装置と、特定処理を行う装置とを分けてもよい。この場合には、事前処理を行う装置は、行動解析ルール３１を外部の記憶装置に記憶する。そして、特定処理を行う装置は、外部の記憶装置から行動解析ルール３１を読み出して使用する。なお、外部の記憶装置に代えて、事前処理を行う装置又は特定処理を行う装置のストレージが用いられてもよい。
＜変形例２＞
実施の形態１では、手を振るという行動を特定する例を説明した。行動特定装置１０は、人に加えて背景に映った物体を考慮して行動を特定することも可能である。具体的には、行動特定装置１０は、画像データに映った、位置が固定された什器又は壁等の物体と、骨格情報が示す関節の位置との関係を考慮して、行動を特定することができる。例えば、レジやレジカウンタの位置に対して、いずれか一方の手首がレジの現金トレー近辺にあるのに対して、その人物の足首の位置（人物の立っている位置）がレジカウンタの外側にあるという状態を特定することができる。
この場合には、行動特定装置１０は、固定された物体の位置と、処理対象とする１つ以上の関節の位置との位置関係を解析する対象とする解析項目を用いて行動を特定すればよい。
これにより、例えば、店舗のカウンタ越しにレジに手を入れるといった行動を特定することが考えられる。
実施の形態１では、手を振るという行動を特定する例を説明した。行動特定装置１０は、人に加えて背景に映った物体を考慮して行動を特定することも可能である。具体的には、行動特定装置１０は、画像データに映った、位置が固定された什器又は壁等の物体と、骨格情報が示す関節の位置との関係を考慮して、行動を特定することができる。例えば、レジやレジカウンタの位置に対して、いずれか一方の手首がレジの現金トレー近辺にあるのに対して、その人物の足首の位置（人物の立っている位置）がレジカウンタの外側にあるという状態を特定することができる。
この場合には、行動特定装置１０は、固定された物体の位置と、処理対象とする１つ以上の関節の位置との位置関係を解析する対象とする解析項目を用いて行動を特定すればよい。
これにより、例えば、店舗のカウンタ越しにレジに手を入れるといった行動を特定することが考えられる。
＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
図１２を参照して、変形例３に係る行動解析装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、行動解析装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
各機能構成要素がハードウェアで実現される場合には、行動解析装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
１０ 行動解析装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 条件指定部、２２ ルール生成部、２３ フレーム抽出部、２４ 骨格情報抽出部、２５ 行動特定部、２６ 通知部、３１ 行動解析ルール、３２ 対象部品、３３ 内容部品、４１ カメラ。
Claims (12)
- 骨格の関節の位置に基づく解析項目を示す対象部品であって、処理対象とする関節を示す設定値が設定されるパラメータを用いて構成される複数の対象部品のうちのいずれかの対象部品と、前記対象部品が示す前記解析項目に対する解析内容を示す内容部品であって、対象部品を示す設定値が設定されるパラメータを用いて構成される複数の内容部品のうちのいずれかの内容部品と、が選択され組み合わせて生成された解析条件に対して、前記対象部品のパラメータに処理対象とする関節を示す設定値が設定され、前記内容部品のパラメータに対象部品を示す設定値が設定された解析条件を行動内容に対応付けた行動解析ルールを記憶装置から読み出して、画像データに映った被写体についての骨格の関節の位置を示す骨格情報が前記行動解析ルールにおける前記解析条件を満たす場合に、前記解析条件に対応付けられた前記行動内容が示す行動を前記被写体が行っていると特定する行動特定部
を備える行動解析装置。 - 関節の位置に基づく解析項目を示す対象部品であって、処理対象とする関節を示す設定値が設定されるパラメータを用いて構成される複数の対象部品のうちのいずれかの対象部品と、前記対象部品が示す前記解析項目に対する解析内容を示す内容部品であって、対象部品を示す設定値が設定されるパラメータを用いて構成される複数の内容部品のうちのいずれかの内容部品と、が選択され組み合わせて生成された解析条件に対して、前記対象部品のパラメータに処理対象とする関節を示す設定値が設定され、前記内容部品のパラメータに対象部品を示す設定値が設定された解析条件を指定させる条件指定部と、
前記条件指定部によって指定された前記解析条件に対応する行動内容を指定させて、前記解析条件と前記行動内容とを対応付けた行動解析ルールを生成するルール生成部と
を備える行動解析装置。 - 前記対象部品は、解析項目毎に用意された
請求項１又は２に記載の行動解析装置。 - 前記内容部品は、解析内容毎に用意された
請求項１から３までのいずれか１項に記載の行動解析装置。 - 前記解析条件は、さらに、他の内容部品による解析結果に対する解析内容を示す内容部品を用いて構成された
請求項１から４までのいずれか１項に記載の行動解析装置。 - 前記内容部品は、解析内容毎に用意されており、処理対象とする対象部品と、処理対象とする解析結果の判定元の内容部品との少なくともいずれかを示す設定値が設定されるパラメータを用いて構成された
請求項５に記載の行動解析装置。 - 前記解析項目は、処理対象とする複数の関節についての相対的な位置関係と、処理対象とする関節の位置の動きとの少なくともいずれかを含む
請求項１から６までのいずれか１項に記載の行動解析装置。 - 前記解析項目は、固定された物体の位置と、処理対象とする１つ以上の関節の位置との位置関係を含む
請求項１から７までのいずれか１項に記載の行動解析装置。 - コンピュータが、骨格の関節の位置に基づく解析項目を示す対象部品であって、処理対象とする関節を示す設定値が設定されるパラメータを用いて構成される複数の対象部品のうちのいずれかの対象部品と、前記対象部品が示す前記解析項目に対する解析内容を示す内容部品であって、対象部品を示す設定値が設定されるパラメータを用いて構成される複数の内容部品のうちのいずれかの内容部品と、が選択され組み合わせて生成された解析条件に対して、前記対象部品のパラメータに処理対象とする関節を示す設定値が設定され、前記内容部品のパラメータに対象部品を示す設定値が設定された解析条件を行動内容に対応付けた行動解析ルールを記憶装置から読み出して、画像データに映った被写体についての骨格の関節の位置を示す骨格情報が前記行動解析ルールにおける前記解析条件を満たす場合に、前記解析条件に対応付けられた前記行動内容が示す行動を前記被写体が行っていると特定する行動解析方法。
- 骨格の関節の位置に基づく解析項目を示す対象部品であって、処理対象とする関節を示す設定値が設定されるパラメータを用いて構成される複数の対象部品のうちのいずれかの対象部品と、前記対象部品が示す前記解析項目に対する解析内容を示す内容部品であって、対象部品を示す設定値が設定されるパラメータを用いて構成される複数の内容部品のうちのいずれかの内容部品と、が選択され組み合わせて生成された解析条件に対して、前記対象部品のパラメータに処理対象とする関節を示す設定値が設定され、前記内容部品のパラメータに対象部品を示す設定値が設定された解析条件を行動内容に対応付けた行動解析ルールを記憶装置から読み出して、画像データに映った被写体についての骨格の関節の位置を示す骨格情報が前記行動解析ルールにおける前記解析条件を満たす場合に、前記解析条件に対応付けられた前記行動内容が示す行動を前記被写体が行っていると特定する行動特定処理
を行う行動解析装置としてコンピュータを機能させる行動解析プログラム。 - コンピュータが、関節の位置に基づく解析項目を示す対象部品であって、処理対象とする関節を示す設定値が設定されるパラメータを用いて構成される複数の対象部品のうちのいずれかの対象部品と、前記対象部品が示す前記解析項目に対する解析内容を示す内容部品であって、対象部品を示す設定値が設定されるパラメータを用いて構成される複数の内容部品のうちのいずれかの内容部品と、が選択され組み合わせて生成された解析条件に対して、前記対象部品のパラメータに処理対象とする関節を示す設定値が設定され、前記内容部品のパラメータに対象部品を示す設定値が設定された解析条件を指定させ、
コンピュータが、指定された前記解析条件に対応する行動内容を指定させて、前記解析条件と前記行動内容とを対応付けた行動解析ルールを生成する行動解析方法。 - 関節の位置に基づく解析項目を示す対象部品であって、処理対象とする関節を示す設定値が設定されるパラメータを用いて構成される複数の対象部品のうちのいずれかの対象部品と、前記対象部品が示す前記解析項目に対する解析内容を示す内容部品であって、対象部品を示す設定値が設定されるパラメータを用いて構成される複数の内容部品のうちのいずれかの内容部品と、が選択され組み合わせて生成された解析条件に対して、前記対象部品のパラメータに処理対象とする関節を示す設定値が設定され、前記内容部品のパラメータに対象部品を示す設定値が設定された解析条件を指定させる条件指定処理と、
前記条件指定処理によって指定された前記解析条件に対応する行動内容を指定させて、前記解析条件と前記行動内容とを対応付けた行動解析ルールを生成するルール生成処理とを行う行動解析装置としてコンピュータを機能させる行動解析プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021100042A JP7158534B1 (ja) | 2021-06-16 | 2021-06-16 | 行動解析装置、行動解析方法及び行動解析プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021100042A JP7158534B1 (ja) | 2021-06-16 | 2021-06-16 | 行動解析装置、行動解析方法及び行動解析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7158534B1 true JP7158534B1 (ja) | 2022-10-21 |
| JP2022191674A JP2022191674A (ja) | 2022-12-28 |
Family
ID=83691944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021100042A Active JP7158534B1 (ja) | 2021-06-16 | 2021-06-16 | 行動解析装置、行動解析方法及び行動解析プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7158534B1 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018131630A1 (ja) | 2017-01-13 | 2018-07-19 | 三菱電機株式会社 | 作業分析装置および作業分析方法 |
| WO2019049216A1 (ja) | 2017-09-05 | 2019-03-14 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7241004B2 (ja) * | 2019-11-19 | 2023-03-16 | 株式会社エヌ・ティ・ティ ピー・シー コミュニケーションズ | 身体動作解析装置、身体動作解析システム、身体動作解析方法、及びプログラム |
-
2021
- 2021-06-16 JP JP2021100042A patent/JP7158534B1/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018131630A1 (ja) | 2017-01-13 | 2018-07-19 | 三菱電機株式会社 | 作業分析装置および作業分析方法 |
| WO2019049216A1 (ja) | 2017-09-05 | 2019-03-14 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022191674A (ja) | 2022-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shriram et al. | Deep learning-based real-time AI virtual mouse system using computer vision to avoid COVID-19 spread | |
| JP4686595B2 (ja) | クリティカルポイント解析に基づくポーズ推定 | |
| Adeli et al. | Socially and contextually aware human motion and pose forecasting | |
| JP6950692B2 (ja) | 人流推定装置、人流推定方法およびプログラム | |
| CN111259751B (zh) | 基于视频的人体行为识别方法、装置、设备及存储介质 | |
| US20130335318A1 (en) | Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers | |
| Ding et al. | STFC: Spatio-temporal feature chain for skeleton-based human action recognition | |
| KR20160129000A (ko) | 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템 | |
| KR102358543B1 (ko) | 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작 | |
| JP2007034525A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| Trivedi et al. | Psumnet: Unified modality part streams are all you need for efficient pose-based action recognition | |
| Nan et al. | Learning to infer human attention in daily activities | |
| US11069086B2 (en) | Non-transitory computer-readable storage medium for storing position detection program, position detection method, and position detection apparatus | |
| Li et al. | Global co-occurrence feature learning and active coordinate system conversion for skeleton-based action recognition | |
| JP7080285B2 (ja) | 動作特定装置、動作特定方法及び動作特定プログラム | |
| WO2021248857A1 (zh) | 一种障碍物属性判别方法、系统及智能机器人 | |
| JP7158534B1 (ja) | 行動解析装置、行動解析方法及び行動解析プログラム | |
| Raman et al. | Emotion and Gesture detection | |
| Ueng et al. | Vision based multi-user human computer interaction | |
| JP2021128476A (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
| CN108629824B (zh) | 图像生成方法、装置、电子设备及计算机可读介质 | |
| JP2007048232A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| Desai | Segmentation and recognition of fingers using Microsoft Kinect | |
| Shah et al. | Gesture recognition technique: a review | |
| CN113807280A (zh) | 一种基于Kinect的虚拟船舶机舱系统与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221011 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7158534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |