JP6731097B2

JP6731097B2 - 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体

Info

Publication number: JP6731097B2
Application number: JP2019124785A
Authority: JP
Inventors: 健王; 旭斌李; 楽亢; 澤宇劉; 至真遅; 成月張; 霄劉; 呉孫; 石磊文; 英澤包; 明裕陳; 二鋭丁
Original assignee: Baidu Online Network Technology Beijing Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd
Priority date: 2018-07-03
Filing date: 2019-07-03
Publication date: 2020-07-29
Anticipated expiration: 2039-07-03
Also published as: CN108921098A; EP3531341A2; EP3531341A3; US10970528B2; CN108921098B; EP3531341B1; JP2019164842A; US20190325207A1

Description

本発明の実施例は、通信技術分野に関し、特に人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体に関する。

小売現場では、人体行動を分析する必要があり、具体的には人体追跡及び購買行為に関連する動作の取得及び認識に関する。

従来技術において、均一に分散して設置されたマルチチャンネルカメラで人体を追跡している。具体的にはマルチチャンネルカメラを用いて撮影した２次元画像の情報を人体追跡の基に、２次元画像内で人体追跡を行って人体の位置を確定するが、小売現場に人が密集する場合、人体追跡を正確に行えない。また、従来技術では、ライトカーテン又は赤外線センサで購買行為に関連する動作を取得及び認識するが、ライトカーテン又は赤外線センサで取得・認識した手部の位置が正確なものではなく、正確に人体動作を認識することが難しい。

本発明の実施例は、人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体を提供し、それにより人体追跡の正確さと、人体動作の認識精度を向上させるものである。

第１態様では、本発明の実施例に係る人体行動分析方法は、複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、前記複数の撮影機器が撮影した画像の情報を取得するステップと、前記複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行って、少なくとも１つの人体の空間における位置情報及び前記少なくとも１つの人体の識別情報を確定するステップと、前記少なくとも１つの人体のうちの目標人体の空間における位置情報に基づいて、前記位置情報に対応する棚の上方の撮影機器が撮影した目標画像を取得するステップと、前記目標画像及び前記位置情報に対応する非視覚センサの検知データに基づいて、前記目標人体の動作を認識するステップと、を含む。

第２態様では、本発明の実施例に係る人体行動分析装置は、複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、前記複数の撮影機器が撮影した画像の情報を取得するために用いられる第１取得モジュールと、前記複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行って、少なくとも１つの人体の空間における位置情報及び前記少なくとも１つの人体の識別情報を確定するために用いられる確定モジュールと、前記少なくとも１つの人体のうちの目標人体の空間における位置情報に基づいて、前記位置情報に対応する棚の上方の撮影機器が撮影した目標画像を取得するために用いられる第２取得モジュールと、前記目標画像及び前記位置情報に対応する非視覚センサの検知データに基づいて、前記目標人体の動作を認識するために用いられる認識モジュールと、を含む。

第３態様では、本発明の実施例に係る機器は、メモリと、プロセッサと、コンピュータプログラムと、を含み、ここで、前記コンピュータプログラムは、前記メモリに記憶され、且つ第１態様に記載の方法を実現するために、前記プロセッサにより実行されるように構成される。

第４態様では、本発明の実施例に係るコンピュータ可読記憶媒体には、第１態様に記載の方法を実現するためにプロセッサにより実行されるコンピュータプログラムが記憶されている。

本発明の実施例に係る人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体は、複数の撮影機器が撮影した画像の情報を取得し、前記複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行い、複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、棚の上方の撮影機器が棚の前面にいる人体をより完全に撮影できるため、人体追跡の正確さが向上する。また、棚の上方の撮影機器が撮影した画像の情報と人体周りの非視覚センサの検知データとを合わせて、人体動作を認識することにより、人体動作の認識精度が向上する。

本発明の実施例に係る応用現場を示す模式図である。本発明の実施例に係る人体行動分析方法のフローチャートである。本発明の他の実施例に係る人体行動分析方法のフローチャートである。本発明の実施例に係る人体行動分析装置の構造を示す模式図である。本発明の実施例に係る機器の構造を示す模式図である。

上記の添付図面に、本発明に明確に開示された実施例を示し、より詳細な説明は後述する。これらの添付図面とテキストの説明は、いかなる方法で本発明の構想範囲を制限するためのものではなく、特定の実施例を参考としながら、当業者に本発明の概念を説明するためのものである。

ここでは、例示的な実施例について詳細に説明し、その例を添付図面に表す。図面に関する以下の説明について、特に明記しない限り、異なる添付図面における同じ数字は同じ又は同様の要素を表す。以下の例示的な実施例に記載された実施形態は、本発明と一致するすべての実施形態を示すものではなく、特許請求の範囲に詳述した、本発明の一部の態様と一致する装置及び方法の例にすぎない。

本発明に係る人体行動分析方法は、図１に示す応用現場に適用できる。図１に示すように、応用現場は、具体的には、スーパーマーケット、ショッピングモールなどのような小売現場であってもよく、図１に示すように、応用現場には複数の撮影機器、例えば撮影機器１１、撮影機器１２、撮影機器１３、撮影機器１４が含まれ、ここで、撮影機器１１、撮影機器１２、撮影機器１３は店舗の天井に設置することができ、撮影機器１４は棚１５の上方に設置することができる。また、応用現場には、さらに、データ処理、画像処理機能を備えた機器１６が含まれ、機器１６は、コンピュータのような店舗のローカル端末機器であってもよく、リモートサーバであってもよい。機器１６は、撮影機器１１、撮影機器１２、撮影機器１３、撮影機器１４が撮影した画像の情報を受信できる。また、棚１５の横梁１７に取り付けられたライトカーテンセンサ１８、棚１５の棚板１９上に取り付けた赤外線センサ２０のような非視覚センサを棚１５にさらに取り付けることもでき、機器１６は非視覚センサの検知データを取得することができ、選択的に、撮影機器及び非視覚センサは機器１６と有線接続又は無線接続することができる。

本発明は、人体行動分析方法を提供し、従来技術の上記のような技術的問題を解決することを目的とする。

以下、本発明の技術的解決手段及び本願の技術的解決手段でどのように上記の技術的問題を解決するかについて、具体的な実施例を参照しながら詳細に説明する。以下の具体的な実施例を組み合わせることができ、一部の実施例では、同じ又は同様の概念又はプロセスについての詳細な説明を省略する。以下、添付図面を参照しながら、本発明の実施例について説明する。

図２は、本発明の実施例に係る人体行動分析方法のフローチャートである。本発明の実施例は、従来技術の上記の技術的問題に対して、人体行動分析方法を提供し、人体行動分析方法の具体的なステップは以下のようである。

ステップ２０１では、複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、複数の撮影機器が撮影した画像の情報を取得する。

図１に示すように、店舗の天井に設置された撮影機器１１、撮影機器１２、撮影機器１３及び棚１５の上方に設置された撮影機器１４が画像の情報をリアルタイムに撮影し、且つ撮影した画像の情報を機器１６に送信し、選択的に、各撮影機器と機器１６との間は有線通信又は無線通信をすることができる。本実施例において、撮影機器は、具体的にはＲＧＢカメラであっても、ＲＧＢ−Ｄカメラであってもよい。ここは例示的な説明に過ぎず、撮影機器の数と具体的位置を制限するものではない。なお、他の実施例において、撮影機器１１、撮影機器１２、撮影機器１３を店舗の天井に設置しなくてもよく、例えば、店舗の壁、隅などの箇所に設置してもよく、複数の撮影機器の撮影範囲が前記店舗をカバーできればよいということが理解できる。また、撮影機器１４を棚の上方に設置しなくてもよく、例えば棚の縦梁に設置してもよく、撮影機器１４が前記棚の前面にいる顧客を撮影できるだけでよく、ここでは、各棚に取り付けられる撮影機器の数も限定しない。

ステップ２０２では、複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行って、少なくとも１つの人体の空間における位置情報及び前記少なくとも１つの人体の識別情報を確定する。

機器１６は、撮影機器１１、撮影機器１２、撮影機器１３及び撮影機器１４がリアルタイムに撮影した画像の情報を受信した後、各撮影機器がリアルタイムに撮影した画像の情報に基づいて人体追跡を行い、各撮影機器が撮影した人体が空間における３Ｄ位置情報と、人体の識別情報と、各撮影機器が撮影した画像の情報における人体の２Ｄ位置情報を確定する。

例えば、撮影機器１１、撮影機器１２、撮影機器１３及び撮影機器１４が撮影した画像は、人体Ａ、人体Ｂと人体Ｃを含み、機器１６が人体追跡を行った後、空間における人体Ａ、人体Ｂと人体Ｃそれぞれの３Ｄ位置情報と、識別情報と、各撮影機器が撮影した画像における人体Ａ、人体Ｂと人体Ｃそれぞれの２Ｄ位置を確定する。

ステップ２０３では、少なくとも１つの人体のうちの目標人体の空間における位置情報に基づいて、位置情報に対応する棚の上方の撮影機器が撮影した目標画像を取得する。

なお、商品を持ち上げる、商品を元の位置に戻すなどのように、人体Ａ、人体Ｂと人体Ｃが店舗内で行う動作は様々であり、機器１６は人体ごとに動作を認識できるということが理解でき、人体Ａを例として、機器１６が人体Ａの空間における３Ｄ位置情報を確定した後、さらに３Ｄ位置情報に対応する棚の上方の撮影機器を確定することができ、例えば、機器１６は、人体Ａの空間における３Ｄ位置情報に基づいて、撮影機器１４のような人体Ａに最も近い、棚の上方に設置された撮影機器を確定し、且つ機器１６が受信したすべての画像の情報から撮影機器１４が撮影した画像の情報を確定し、なお、撮影機器１４が撮影した画像の情報は人体Ａを含むことが理解できる。ここでは、撮影機器１４が撮影した画像の情報を目標画像と記録する。

ステップ２０４では、目標画像及び位置情報に対応する非視覚センサの検知データに基づいて、目標人体の動作を認識する。

本実施例において、機器１６は、さらに、人体Ａの空間における３Ｄ位置情報に基づいて、人体Ａに最も近い非視覚センサを確定することができ、具体的には、機器１６は、撮影機器１４が撮影した画像の情報と人体Ａに最も近い非視覚センサの検知データに基づいて、人体Ａの動作を認識する。

具体的には、目標人体の動作を認識するステップには、目標人体が商品を持ち上げる動作を認識すること、及び／又は、目標人体が商品を下ろす動作を認識することを含む。

例えば、機器１６は、撮影機器１４が撮影した画像の情報と、人体Ａに最も近い非視覚センサの検知データとに基づいて、人体Ａが商品を持ち上げる及び／又は商品を下ろす動作を認識する。

本発明の実施例は、複数の撮影機器が撮影した画像の情報を取得し、複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行い、複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、棚の上方の撮影機器が棚の前面にいる人体をより完全に撮影できるため、人体追跡の正確さが向上する。また、棚の上方の撮影機器が撮影した画像の情報と人体周りの非視覚センサの検知データとを合わせて、人体動作を認識することにより、人体動作の認識精度が向上する。

図３は、本発明の他の実施例に係る人体行動分析方法のフローチャートである。上記実施例に基づいて、目標画像及び位置情報に対応する非視覚センサの検知データに従って目標人体の動作を認識するステップは、具体的には、以下のステップを含む。

ステップ３０１では、目標画像における、目標人体の手部キーポイントを含む目標人体のキーポイントを取得する。

例えば、機器１６は、撮影機器１４が撮影した目標画像を受信した後、人体Ａの目標画像における２Ｄ位置情報に基づいて、人体キーポイントアルゴリズムを用いて目標画像における人体Ａのキーポイントを取得し、なお、人体Ａのキーポイントは人体Ａのボディーキーポイントと人体Ａの手部キーポイントを含み、且つ機器１６は目標画像における人体Ａのボディーキーポイントと人体Ａの手部キーポイントに基づいて、人体Ａと人体Ａの手部の関連関係を構築できることが理解できる。

ステップ３０２では、目標人体の手部キーポイントと、位置情報に対応する非視覚センサの検知データとに基づいて、目標人体の動作を認識する。

具体的には、機器１６は、人体Ａの手部キーポイントと、人体Ａに最も近い非視覚センサの検知データとに基づいて、人体Ａの動作を認識する。機器１６は、撮影機器１４が撮影した目標画像をリアルタイムに受信し、且つ目標画像から人体Ａの手部キーポイントをリアルタイムに抽出することができるが、人体Ａの手部動作が常にリアルタイムで変化するわけではないため、機器１６は人体Ａの手部キーポイントに基づいて、人体Ａの手部動作をリアルタイムで認識しない。例えば、人体Ａが商品を持ち上げる又は商品を下ろすことは常にリアルタイムで発生するものではなく、人体Ａは商品を持ち上げる前に商品を注意深く観察する場合もあり、人体Ａが商品を持ち上げた後に商品をすぐ下ろさずよく見る場合もある。したがって、人体Ａの手部動作、例えば商品を持ち上げる又は商品を下ろす動作が発生する頻度が低いにも関わらず、機器１６が人体Ａの手部キーポイントに基づいて、人体Ａ手部動作をリアルタイムで認識すると、機器１６の計算量が増加する。したがって、本実施例において、機器１６は、人体Ａに最も近い非視覚センサの検知データと人体Ａ手部キーポイントを合わせて、人体Ａの動作を認識してもよい。

選択的に、非視覚センサは、棚の顧客に面する横梁に設置された、動作の発生時刻を検知するために用いられるライトカーテンセンサを含み、目標人体の手部キーポイントと、位置情報に対応する非視覚センサの検知データとに基づいて、目標人体の動作を認識するステップは、ライトカーテンセンサが検知した動作の発生時に、目標人体の手部キーポイントに基づいて目標人体の動作を認識する。

図１に示すように、ライトカーテンセンサ１８は棚１５の横梁１７に設置され、具体的には、ライトカーテンセンサ１８は棒状であってもよく、ライトカーテンセンサ１８は横梁１７の顧客に面する外縁に設置されてもよい。選択的に、横梁１７の外縁には複数のライトカーテンセンサが設置され、ライトカーテンセンサ１８はそのうちの１つにすぎない。例えば、複数のライトカーテンセンサは横梁１７の外縁に順番に並べて設置される。ここで、各ライトカーテンセンサの横梁１７に対応する位置情報は予め設定したものである。

例えば、人体Ａが手を伸ばして商品２１を持ち上げるか又は商品２１を元の位置に戻す時、人体Ａの手部は複数のライトカーテンセンサのうちの少なくとも１つ、例えばライトカーテンセンサ１８を通過し、このとき、ライトカーテンセンサ１８は感知信号を機器１６に送信でき、機器１６はライトカーテンセンサ１８が感知信号を送信した時刻に基づいて人体Ａの手部動作の発生時刻を確定し、且つライトカーテンセンサ１８の横梁１７に対する位置情報に基づいて、人体Ａの手部動作の発生位置を確定できる。具体的には、機器１６は人体Ａの手部動作の発生時に、人体Ａの手部キーポイント及び変化に基づいて、人体Ａの手部動作、例えば商品を持ち上げる、商品を元の位置に戻す又はその他の動作を認識する。

選択的に、非視覚センサは、棚の棚板に設置された赤外線センサをさらに含み、ライトカーテンセンサは、さらに、動作の発生位置を検知するために用いられる。ライトカーテンセンサが検知した動作の発生時に、目標人体の手部キーポイントに基づいて目標人体の動作を認識することは、ライトカーテンセンサが検知した動作の発生時に、ライトカーテンセンサが検知した動作の発生位置に基づいて、動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化を取得することと、動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、目標人体の手部キーポイントとに基づいて、目標人体の動作を認識することと、を含む。

図１に示すように、赤外線センサ２０は棚１５の棚板１９上に設置され、なお、棚１５の棚板１９上に複数の赤外線センサを設置することができ、赤外線センサ２０はそのうちの１つにすぎないことが理解できる。赤外線センサは人体Ａの手部から放射される赤外線と、赤外線センサの前方にある商品とを感知するために用いられる。人体Ａが手を伸ばして商品２１を持ち上げるか又は商品２１を元の位置に戻す時、赤外線センサが検知した人体Ａの手部から放射される赤外線の強度は常に変化しており、例えば、人体Ａの手部が商品２１に徐々に近づける場合、赤外線センサが検知した人体Ａの手部から放射される赤外線の強度は増加し続け、人体Ａの手部が商品２１から徐々に離れる場合、赤外線センサが検知した人体Ａ手部から放射される赤外線の強度は弱まり続ける。棚板１９上で人体Ａの手部に最も近い赤外線センサが検知した、人体Ａの手部から放射される赤外線の強度がより正確であることが理解できる。

棚板１９上で人体Ａの手部に最も近い赤外線センサを確定できる方法として、一つの可能な方法によると、人体Ａが手を伸ばして商品２１を持ち上げるか又は商品２１を元の位置に戻す時、人体Ａの手部が複数のライトカーテンセンサのうち少なくとも１つ、例えばライトカーテンセンサ１８を通過し、このとき、ライトカーテンセンサ１８は感知信号を機器１６に送信することができ、機器１６はライトカーテンセンサ１８が感知信号を送信した時刻に基づいて人体Ａの手部動作の発生時刻を確定することができ、且つ横梁１７に対するライトカーテンセンサ１８の位置情報に基づいて、人体Ａの手部動作の発生位置を確定することができ、このとき、機器１６は人体Ａの手部動作の発生位置に基づいて、人体Ａの手部動作が発生した位置に最も近い赤外線センサを確定することができ、又はライトカーテンセンサ１８に最も近い赤外線センサ、例えば赤外線センサ２０を確定することができる。さらに、機器１６は赤外線センサ２０が検知した人体及び／又は商品の赤外線放射強度の変化を取得し、且つ赤外線センサ２０が検知した人体及び／又は商品の赤外線放射強度の変化と、撮影機器１４が撮影した目標画像における人体Ａの手部のキーポイント及び前記キーポイントの変化とを合わせて、人体Ａの手部動作、例えば商品を持ち上げる、商品を元の位置に戻す又はその他の動作を認識する。

選択的に、非視覚センサは、棚の棚板に設置された重力センサをさらに含み、人体行動分析方法は、さらに、ライトカーテンセンサが検知した動作の発生時に、ライトカーテンセンサが検知した動作の発生位置に基づいて、動作の発生位置に対応する重力センサが検知した重力変化を取得することを含む。動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、目標人体の手部キーポイントとに基づいて、目標人体の動作を認識することは、動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、動作の発生位置に対応する重力センサが検知した重力変化と、目標人体の手部キーポイントとに基づいて、目標人体の動作を認識することを含む。

図１に示すように、棚１５の棚板１９上にさらに重力センサを設置することもでき、棚板１９上の商品が減るか又は増加するかによって、重力センサの検知結果が異なる。すなわち、人体Ａが棚板１９上から商品を持ち上げるか又は商品を元の位置に戻す時、重力センサの検知結果が異なる。したがって、機器１６が人体Ａの手部動作を認識するとき、さらに重力センサの検知結果を合わせることもできる。

具体的には、人体Ａが手を伸ばして商品２１を持ち上げるか又は商品２１を元の位置に戻す時、人体Ａの手部は複数のライトカーテンセンサのうち少なくとも１つ、例えばライトカーテンセンサ１８を通過し、このとき、ライトカーテンセンサ１８は感知信号を機器１６に送信でき、機器１６はライトカーテンセンサ１８が感知信号を送信した時刻に基づいて人体Ａの手部動作の発生時刻を確定し、且つ横梁１７に対応するライトカーテンセンサ１８の位置情報に基づいて、人体Ａの手部動作の発生位置を確定でき、このとき、機器１６は人体Ａの手部動作の発生位置に基づいて、人体Ａの手部動作が発生した位置に最も近い赤外線センサを確定し、又はライトカーテンセンサ１８に最も近い赤外線センサ、例えば赤外線センサ２０を確定し、及び人体Ａの手部動作の発生位置に最も近い重力センサを確定し、又はライトカーテンセンサ１８に最も近い赤外線センサ、例えば重力センサを確定することができる。さらに、機器１６は、赤外線センサ２０が検知した人体及び／又は商品の赤外線放射強度の変化と、重力センサが検知した重力変化とを取得し、機器１６は赤外線センサ２０が検知した人体及び／又は商品の赤外線放射強度の変化と、重力センサが検知した重力変化と、撮影機器１４が撮影した目標画像における人体Ａの手部キーポイント及び前記キーポイントの変化とに基づいて、人体Ａの手部動作、例えば商品を持ち上げる、商品を元の位置に戻す又はその他の動作を認識する。

また、機器１６が人体Ａの手部動作を確定した後、さらに、上記の人体追跡プロセスで確定した人体Ａの識別情報に基づいて、動作が現在店舗内のどの人によって行われているかを確定することができる。

本発明の実施例は、棚の上方の撮影機器が撮影した画像の情報と人体周りの非視覚センサの検知データとを合わせて、人体動作を認識することにより、人体動作の認識精度が向上し、また、非視覚センサの検知データにより人体動作の発生時刻を確定することにより、人体動作の発生時に人体動作を認識し、人体動作をリアルタイムに認識する必要がなく、人体動作の発生頻度が低い場合、機器の計算量を減らし、機器のリソース利用率が向上する。

図４は、本発明の実施例に係る人体行動分析装置の構造を示す模式図である。人体行動分析装置は、具体的には、上記実施例における機器１６であってもよく、又は機器１６の部品であってもよい。本発明の実施例に係る人体行動分析装置により、人体行動分析方法の実施例に係る処理フローを実行することができ、図４に示すように、人体行動分析装置４０は、複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、複数の撮影機器が撮影した画像の情報を取得するために用いられる第１取得モジュール４１と、複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行って、少なくとも１つの人体の空間における位置情報及び少なくとも１つの人体の識別情報を確定するために用いられる確定モジュール４２と、前記少なくとも１つの人体のうちの目標人体の空間における位置情報に基づいて、位置情報に対応する棚の上方の撮影機器が撮影した目標画像を取得するために用いられる第２取得モジュール４３と、目標画像及び位置情報に対応する非視覚センサの検知データに基づいて、目標人体の動作を認識するために用いられる認識モジュール４４と、を含む。

選択的に、認識モジュール４４は、目標画像における、目標人体の手部キーポイントを含む目標人体のキーポイントを取得するために用いられる取得ユニット４４１と、目標人体の手部キーポイントと、位置情報に対応する非視覚センサの検知データとに基づいて、目標人体の動作を認識するために用いられる認識ユニット４４２と、を含む。

選択的に、前記非視覚センサは、棚の顧客に面する横梁に設置された、動作の発生時刻を検知するために用いられるライトカーテンセンサを含み、認識ユニット４４２は、具体的には、ライトカーテンセンサが検知した動作の発生時に、目標人体の手部キーポイントに基づいて、目標人体の動作を認識するために用いられる。

選択的に、非視覚センサは、棚の棚板に設置された赤外線センサをさらに含み、ライトカーテンセンサは、さらに、動作の発生位置を検知するために用いられ、取得ユニット４４１は、さらに、ライトカーテンセンサが検知した動作の発生時に、ライトカーテンセンサが検知した動作の発生位置に基づいて、動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化を取得するために用いられ、認識ユニット４４２は、具体的には、動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、目標人体の手部キーポイントとに基づいて、目標人体の動作を認識するために用いられる。

選択的に、非視覚センサは、棚の棚板に設置された重力センサをさらに含み、取得ユニット４４１は、さらに、ライトカーテンセンサが検知した動作の発生時に、ライトカーテンセンサが検知した動作の発生位置に基づいて、動作の発生位置に対応する重力センサが検知した重力変化を取得するために用いられ、認識ユニット４４２は、具体的には、動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、動作の発生位置に対応する重力センサが検知した重力変化と、前記目標人体の手部キーポイントとに基づいて、目標人体の動作を認識するために用いられる。

選択的に、認識モジュール４４は、具体的には、目標人体が商品を持ち上げる動作の認識、及び／又は、目標人体が商品を元の位置に戻す動作の認識のために用いられる。

図４に示す実施例の人体行動分析装置は、上記方法の実施例の技術的可決手段を実行するために用いることができ、その実現原理と技術効果が同様であるため、ここでは、詳細な説明を省略する。

図５は、本発明の実施例に係る機器の構造を示す模式図である。機器は、端末機器であってもよく、サーバであってもよい。本発明の実施例に係る機器により、人体行動分析方法の実施例に係る処理フローを実行することができ、図５に示すように、機器５０は、メモリ５１と、プロセッサ５２と、コンピュータプログラムと、通信インタフェース５３とを含み、ここで、上述の人体行動分析方法を実施するために、プロセッサ５２により実行されるように構成されたコンピュータプログラムは、メモリ５１に記憶されている。

図５に示す実施例の機器は、上述方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理と技術効果が同様であるため、ここでは、詳細な説明を省略する。

また、本実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに含み、コンピュータプログラムがプロセッサにより実行されることで上記実施例に係る人体追跡方法を実現する。

本発明に係るいくつかの実施例において、その他の方法で開示された装置及び方法を実現できることが理解できる。例えば、上述の装置の実施例は単なる例示であり、例えば、ユニットの分割は論理機能の分割にすぎず、実際に実現する際には別の分割方法もありえる。例えば複数のユニット又は部品を組み合わせて別の１つのシステムに集積してもよく、又は一部の特徴を無視するか、実行しなくてもよい。さらに、図示又は説明した相互結合又は直接結合又は通信接続は、何らかのインタフェース、装置又はユニットの間接結合又は通信接続であっても、電気的、機械的または他の形態であってもよい。

分離部材として説明したユニットは、物理的に分離していても分離していなくてもよく、ユニットとして図示された部材は、物理的ユニットであってもなくてもよく、すなわち、一箇所に位置してもよく、又は複数のネットワークユニットに分割されていてもよい。実際の必要性に応じて、本実施例の手段と目的を実現するために一部又は全部のユニットを選択することができる。

また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットが物理的に別々に存在してもよく、２つまたは二つ以上のユニットが１つのユニットに集積されてもよい。上記の集積ユニットは、ハードウェアの形態を用いてもよく、ソフトウェア機能ユニット付きハードウェアの形態を用いてもよい。

上記ソフトウェア機能ユニットの形態で実現された集積ユニットは、コンピュータ可読記憶媒体に格納されてもよい。上記ソフトウェア機能ユニットは、記憶媒体に格納され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであり得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例に説明された方法の一部のステップを実行させるためのいくつかのコマンドを含む。記憶媒体は、ＵＳＢ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、ランダム・アクセス・メモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、光ディスクなど、プログラムコードを記憶することができる様々な媒体を含む。

説明の便宜及び簡潔さのために、上記の各機能モジュールの分割を例として説明したが、実際の応用において、必要性に応じて上記機能が異なる機能モジュールにより実行されるように構成してもよく、すなわち上述の全部又は一部の機能を実行するために、装置の内部構造を異なる機能モジュールに分割することは当業者には明らかであろう。上述の装置の具体的な作業プロセスは、前述方法の実施例における対応のプロセスを参考できるため、ここでは詳細な説明を省略する。

最後に、以上の各実施例は本発明の技術的解決手段を説明するものにすぎず、それに対して限定しない。前述の各実施例を参照しながら、本発明について詳細に説明したが、当業者であれば、前述の各実施例に記載された技術的解決手段を変更でき、又はその一部又は全部の技術特徴に対して同価置換を行うことができ、これらの変更又は置換に対応する技術的解決手段は、本発明の各実施例の技術的解決手段の範囲から逸脱しないことを理解すべきである。

Claims

人体行動分析装置によって実行される人体行動分析方法であって、
複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、前記人体行動分析装置が、前記複数の撮影機器が撮影した画像の情報を取得するステップと、
前記人体行動分析装置が、前記複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行って、少なくとも１つの人体の空間における位置情報及び前記少なくとも１つの人体の識別情報を確定するステップと、
前記人体行動分析装置が、前記少なくとも１つの人体のうちの目標人体の空間における位置情報に基づいて、前記位置情報に対応する棚の上方の撮影機器が撮影した目標画像を取得するステップと、
前記人体行動分析装置が、前記目標画像及び前記位置情報に対応する非視覚センサの検知データに基づいて、前記目標人体の動作を認識するステップとを含み、
前記人体行動分析装置が、前記目標画像及び前記位置情報に対応する非視覚センサの検知データに基づいて、前記目標人体の動作を認識する前記ステップは、
前記人体行動分析装置が、前記目標画像における、前記目標人体の手部キーポイントを含む前記目標人体のキーポイントを取得するステップと、
前記人体行動分析装置が、前記目標人体の手部キーポイントと、前記位置情報に対応する非視覚センサの検知データとに基づいて、前記目標人体の動作を認識するステップとを含み、
前記非視覚センサは、前記棚の顧客に面する横梁に設置された、前記動作の発生時刻を検知するために用いられるライトカーテンセンサを含み、
前記人体行動分析装置が、前記目標人体の手部キーポイントと、前記位置情報に対応する非視覚センサの検知データとに基づいて、前記目標人体の動作を認識する前記ステップは、
前記ライトカーテンセンサが検知した前記動作の発生時に、前記人体行動分析装置が、前記目標人体の手部キーポイントに基づいて前記目標人体の動作を認識することを含む人体行動分析方法。
前記非視覚センサは、前記棚の棚板に設置された赤外線センサをさらに含み、
前記ライトカーテンセンサは、さらに、前記動作の発生位置を検知するために用いられ、
前記ライトカーテンセンサが検知した前記動作の発生時に、前記人体行動分析装置が、前記目標人体の手部キーポイントに基づいて前記目標人体の動作を認識することは、
前記ライトカーテンセンサが検知した前記動作の発生時に、前記人体行動分析装置が、前記ライトカーテンセンサが検知した前記動作の発生位置に基づいて、前記動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化を取得することと、
前記人体行動分析装置が、前記動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、前記目標人体の手部キーポイントとに基づいて、前記目標人体の動作を認識することとを含む請求項１に記載の人体行動分析方法。
前記非視覚センサは、前記棚の棚板に設置された重力センサをさらに含み、
前記人体行動分析方法は、さらに、
前記ライトカーテンセンサが検知した前記動作の発生時に、前記人体行動分析装置が、前記ライトカーテンセンサが検知した前記動作の発生位置に基づいて、前記動作の発生位置に対応する重力センサが検知した重力変化を取得することを含み、
前記人体行動分析装置が、前記動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、前記目標人体の手部キーポイントとに基づいて、前記目標人体の動作を認識することは、
前記人体行動分析装置が、前記動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、前記動作の発生位置に対応する重力センサが検知した重力変化と、前記目標人体の手部キーポイントとに基づいて、前記目標人体の動作を認識することを含む請求項２に記載の人体行動分析方法。
前記目標人体の動作を認識することは、
前記目標人体が商品を持ち上げる動作を認識すること；及び／又は
前記目標人体が商品を下ろす動作を認識することを含む請求項１〜３のいずれか１項に記載の人体行動分析方法。
複数の撮影機器のうち少なくとも１つの撮影機器が棚の上方に設置され、前記複数の撮影機器が撮影した画像の情報を取得するために用いられる第１取得モジュールと、
前記複数の撮影機器が撮影した画像の情報に基づいて人体追跡を行って、少なくとも１つの人体の空間における位置情報及び前記少なくとも１つの人体の識別情報を確定するために用いられる確定モジュールと、
前記少なくとも１つの人体のうちの目標人体の空間における位置情報に基づいて、前記位置情報に対応する棚の上方の撮影機器が撮影した目標画像を取得するために用いられる第２取得モジュールと、
前記目標画像及び前記位置情報に対応する非視覚センサの検知データに基づいて、前記目標人体の動作を認識するために用いられる認識モジュールとを含み、
前記認識モジュールは、
前記目標画像における、目標人体の手部キーポイントを含む前記目標人体のキーポイントを取得するために用いられる取得ユニットと、
前記目標人体の手部キーポイントと、前記位置情報に対応する非視覚センサの検知データとに基づいて、前記目標人体の動作を認識するために用いられる認識ユニットとを含み、
前記非視覚センサは、前記棚の顧客に面する横梁に設置された、前記動作の発生時刻を検知するために用いられるライトカーテンセンサを含み、
前記認識ユニットは、具体的には、前記ライトカーテンセンサが検知した前記動作の発生時に、前記目標人体の手部キーポイントに基づいて前記目標人体の動作を認識するために用いられる人体行動分析装置。
前記非視覚センサは、前記棚の棚板に設置された赤外線センサをさらに含み、
前記ライトカーテンセンサは、さらに、前記動作の発生位置を検知するために用いられ、
前記取得ユニットは、さらに、前記ライトカーテンセンサが検知した前記動作の発生時に、前記ライトカーテンセンサが検知した前記動作の発生位置に基づいて、前記動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化を取得するために用いられ、
前記認識ユニットは、具体的には、前記動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、前記目標人体の手部キーポイントとに基づいて、前記目標人体の動作を認識するために用いられる請求項５に記載の人体行動分析装置。
前記非視覚センサは、前記棚の棚板に設置された重力センサをさらに含み、
前記取得ユニットは、さらに、前記ライトカーテンセンサが検知した前記動作の発生時に、前記ライトカーテンセンサが検知した前記動作の発生位置に基づいて、前記動作の発生位置に対応する重力センサが検知した重力変化を取得するために用いられ、
前記認識ユニットは、具体的には、前記動作の発生位置に対応する赤外線センサが検知した人体及び／又は商品の赤外線放射強度の変化と、前記動作の発生位置に対応する重力センサが検知した重力変化と、前記目標人体の手部キーポイントとに基づいて、前記目標人体の動作を認識するために用いられる請求項６に記載の人体行動分析装置。
前記認識モジュールは、具体的には、
前記目標人体が商品を持ち上げる動作の認識、及び／又は
前記目標人体が商品を元の位置に戻す動作の認識のために用いられる請求項５〜７のいずれか１項に記載の人体行動分析装置。
メモリと、
プロセッサと、
コンピュータプログラムと、を含み、
ここで、前記コンピュータプログラムは、前記メモリに記憶され、且つ請求項１〜４のいずれか１項に記載の人体行動分析方法を実現するために、前記プロセッサにより実行されるように構成される機器。
請求項１〜４のいずれか１項に記載の人体行動分析方法を実現するために、プロセッサにより実行されるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体。