JP7283852B2 - マルチモーダル行動認識方法、装置およびプログラム - Google Patents

Description

本発明は、マルチモーダル情報に基づいてユーザの行動を認識する方法、装置およびプログラムに係り、特に、カメラ画像から推定した人物の姿勢および当該人物が取り扱う物体の挙動をマルチモーダル情報として行動認識を行うマルチモーダル行動認識方法、装置およびプログラムに関する。

特許文献１には、姿勢推定装置のプロセッサがスポーツ映像中に存在する選手の姿勢を推定する方法として、ユーザによって入力された情報に基づいて得られる情報であって、推定対象の試合のスポーツ映像中に存在する特定選手の関節位置を指定する参照姿勢情報を受け取り、参照姿勢情報を用いて、推定対象のスポーツ映像中に存在する特定選手以外の選手である推定対象選手の姿勢を推定する技術が開示されている。

特許文献２には、ゴルフスイング中のゴルファーの関節がヘッドスピードに与える影響を算出するために、ゴルファーによるクラブのスイング中のゴルファーの身体の所定部位の位置座標データおよびクラブの所定部位の位置座標データを取得し、スイング中のゴルファーの地面反力データを取得し、ゴルファーの身体の所定部位の位置座標データおよびクラブの所定部位の位置座標データと、取得された地面反力データと、剛体リンクモデルとに基づき、ゴルファーの関節ごとの関節トルクを算出し、算出されたゴルファーの関節ごとの関節トルクおよびスイング中のゴルファーの動作により生じた力の、クラブのヘッドスピードに対する寄与をゴルファーの関節ごとに算出する技術が開示されている。

特許6589144号公報 特開2019-110990号公報

特許文献２は、ゴルフクラブの挙動（クラブのヘッドスピード）をゴルファーの姿勢（関節トルク）と関連付けて分析するが、ゴルファーはゴルフクラブをスイングの開始から終了まで保持し続ける。そのため、ゴルファーがゴルフクラブに接触した（グリップを握った）タイミングにおけるゴルファーの姿勢や接触位置といった接触行動の態様が、その後のスイングに与える影響は無視できてしまう。

これに対して、サッカーや野球のようなボール競技では、プレーヤがボールに接触行動したときの姿勢やボールへの接触位置に応じてボールの挙動が変化し、ゲーム展開に大きな影響を与える。したがって、人物の姿勢と物体の挙動との関係を接触行動の態様と関連付けて認識することが重要となる。

本発明の目的は、上記の技術課題を解決し、人物の姿勢と物体の挙動との関係を人物の物体に対する接触行動の態様と関連付けて認識するマルチモーダル行動認識方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、人物のカメラ映像および物体の挙動を検知するセンサ信号をマルチモーダル情報として行動認識を行うマルチモーダル行動認識装置において、以下の構成を具備した点に特徴がある。

(1) カメラ映像に基づいて人物の姿勢を推定する手段と、物体の動きに応じて変化するセンサ信号を取得する手段と、前記センサ信号に基づいて物体の挙動を推定する手段と、時刻同期させた人物の姿勢と物体の挙動との関係に基づいて、物体に対して接触行動する人物の姿勢と当該物体の挙動との因果関係を認識する手段とを具備した。

(2) 人物が物体に接触したタイミングを推定する手段を更に具備し、人物が物体に接触したタイミングにおける人物の姿勢と当該タイミング以降の物体の挙動との因果関係を認識するようにした。

(3) 人物が接触した物体上の位置を推定する手段を更に具備し、人物の姿勢、物体の挙動および人物が接触した物体上の位置の因果関係を認識するようにした。

(4) 人物が物体に接触したタイミングを推定する手段と、人物が接触した物体上の位置を推定する手段とを更に具備し、人物が物体に接触したタイミングにおける人物の姿勢、当該タイミング以降の物体の挙動および人物が接触した物体上の位置の因果関係を認識するようにした。

本発明によれば、以下のような効果が達成される。

(1) 時刻同期させた人物の姿勢と物体の挙動との関係に基づいて、物体に対して接触行動する人物の姿勢と当該物体の挙動との因果関係を認識するので、サッカーや野球のように、プレーヤがボールに接触行動したときの姿勢やボールへの接触位置等の態様に応じてボールの挙動が変化し、ゲーム展開に大きな影響を与える分野の行動認識において、人物の姿勢と物体の挙動との関係を接触行動の態様と関連付けて認識できるようになる。

(2) 人物が物体に接触したタイミングを推定し、人物が物体に接触したタイミングにおける人物の姿勢と当該タイミング以降の物体の挙動との因果関係を認識するようにしたので、人物の姿勢と物体の挙動との関係が、人物が物体に接触したタイミングTに依存する場合に、人物が物体に接触したタイミングTにおける人物の姿勢と当該タイミング以降の物体の挙動との因果関係を認識できるようになる。

(3) 人物が接触した物体上の位置を推定し、人物の姿勢、物体の挙動および人物が接触した物体上の位置の因果関係を認識するようにしたので、人物の姿勢と物体の挙動との関係が、人物が接触した物体上の位置Pに依存する場合に、人物の姿勢、物体の挙動および人物が接触した物体上の位置Pの因果関係を認識できるようになる。

(4) 人物が物体に接触したタイミング、および人物が接触した物体上の位置を推定し、人物が物体に接触したタイミングにおける人物の姿勢、当該タイミング以降の物体の挙動および人物が接触した物体上の位置の因果関係を認識するようにしたので、人物の姿勢と物体の挙動との関係が、人物が物体に接触したタイミングTおよび人物が接触した物体上の位置Pのいずれにも依存する場合にも、人物が物体に接触したタイミングTにおける人物の姿勢、当該タイミング以降の物体の挙動および人物が接触した物体上の位置Pの因果関係を認識できるようになる。

本発明が適用される行動認識システムの構成を示した図である。 サッカーボールに内蔵されたセンサシステムの機能ブロック図である。 マルチモーダル行動認識システムの機能ブロック図である。 インサイドキックのタイミングにおける姿勢推定の結果を示した図である。 本発明を適用したマルチモーダル行動認識手順のフローチャートである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用される行動認識システムの構成を示した図であり、カメラ画像に基づいて推定した人物の姿勢、および検知した物体の挙動、をマルチモーダル情報として処理し、物体に接触行動する人物の姿勢と当該物体の挙動との因果関係を認識する。

本実施形態では、人物の姿勢およびサッカーボールの挙動を推定し、人物がサッカーボールに対して接触行動したときの姿勢とその後のサッカーボールの挙動との因果関係を認識する場合を例にして説明する。

マルチモーダル行動認識システムは、カメラおよび通信機能を備えたローカル端末１と、各種の動きセンサおよび通信機能を内蔵してローカル端末１等へセンサ信号を送信する物体２と、ローカル端末１と例えばWi-Fi、無線基地局BSおよびネットワークNW経由で通信し、ローカル端末１から取得した情報に基づいてマルチモーダル行動認識を実行する行動認識サーバ３とを主要な構成としている。なお、ローカル端末１の処理能力が十分に高く、ローカル端末１のみでマルチモーダル行動認識を実行できれば行動認識サーバ３は省略しても良い。

図２は、前記サッカーボール２に内蔵されたセンサシステム２０の構成を示した機能ブロック図であり、３軸加速度センサ２０１、３軸ジャイロセンサ２０２、３軸磁気センサ２０３および各センサの出力信号を処理する制御部２０４、各センサおよび制御部２０４に電力を供給するバッテリ２０５ならびにBluetooth（登録商標）等の無線通信インタフェース２０６を主要な構造としている。

前記各センサ２０１，２０２，２０３により所定のサンプリング周期で計測された３軸方向の加速度、３軸方向の角速度および３軸方向の地磁気は、その計測時刻情報と共にリアルタイムあるいは一時記憶された後に一括して、無線通信インタフェース２０６からローカル端末１等へ送信される。

図３は、前記ローカル端末１および行動認識サーバ３が協働して実現するマルチモーダル行動認識システム１００の主要部の構成を示した機能ブロック図であり、カメラ１０１、人物領域抽出部１０２、関節点抽出部１０３、姿勢推定部１０４、センサ信号取得部１０５、挙動推定部１０６、接触態様推定部１０７および行動認識部１０８を主要な構成としている。各構成はローカル端末１および行動認識サーバ３に分散して実装しても良いし、ローカル端末１のみに実装しても良い。

このようなローカル端末１および行動認識サーバ３は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた汎用のコンピュータやモバイル端末に、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。本実施形態では、ローカル端末１をスマートフォンやタブレット端末で代用する場合を例にして説明する。

カメラ１０１は、物体（本実施形態では、サッカーボール）２に接触する人物の動画を撮影し、そのカメラ画像をフレーム単位で出力する。人物領域抽出部１０２は、カメラ映像の各フレーム画像から人物領域を抽出する。人物領域の抽出には、例えばSSD (Single Shot Multibox Detector) を用いることができる。

関節点抽出部１０３は、フレーム画像の人物領域から、予め抽出対象として登録されている関節点を抽出する。関節点の抽出には既存の関節点抽出技術 (Cascaded Pyramid Network) を用いることができる。姿勢推定部１０４は、抽出した関節点に基づいて人物の姿勢を推定する。

センサ信号取得部１０５は、人物が取り扱う物体２に実装されたセンサシステム２０から、その動きに応じて変化するセンサ信号を取得する。本実施形態では、物体２から加速度センサ信号、モーションセンサ信号および地磁気センサ信号を取得する。

挙動推定部１０６は、前記センサ信号取得部１０５が取得したセンサ信号に基づいて物体の挙動を推定する。回転方向検知部１０６ａは物体の回転方向を検知する。回転速度検知部１０６ｂは物体の回転速度を検知する。移動方向検知部１０６ｃは物体の移動方向を検知する。移動速度検知部１０６ｄは物体の移動速度を検知する。加速度検知部１０６ｅは物体の加速度を検知する。高度検知部１０６ｆは物体の高度を検知する。

接触態様推定部１０７は、接触タイミング推定部１０７ａおよび接触位置推定部１０７ｂを含む。接触タイミング推定部１０７ａは、物体２の動きに基づいて人物が当該物体２に接触したタイミングTを推定する。本実施形態では、人物がサッカーボール２をキックしたタイミングを推定する。接触位置推定部１０７ｂは、物体２の挙動に基づいて人物が接触した物体上の位置Pを推定する。本実施形態では、人物が蹴ったサッカーボール上の位置を推定する。なお、前記接触位置Pには人物が物体に接触した際の当該人物の部位の位置を含めてもよい。

行動認識部１０８は、時刻同期部１０８ａ、接触時姿勢推定部１０８ｂおよび姿勢／接触関係認識部１０８ｃを含み、前記接触位置P、前記接触タイミングT以降のサッカーボールの挙動および前記接触タイミングTにおける人物の姿勢に基づいて、当該人物の姿勢とサッカーボール２の挙動との因果関係を認識する。

前記時刻同期部１０８ａは、人物の姿勢推定時刻と物体の挙動推定時刻とを同期させる。前記接触時姿勢推定部１０８ｂは、人物が物体に接触した接触タイミングTにおける人物の姿勢を推定する。本実施形態では、人物がサッカーボール２を蹴ったときの姿勢が推定される。姿勢／接触関係認識部１０８ｃは、人物がサッカーボール２に接触したタイミングTにおける人物の姿勢、当該タイミングT以降の物体の挙動および人物が接触した物体上の位置Pの因果関係を認識する。

図４は、インサイドキックの接触タイミング（キックタイミング）におけるプレーヤの姿勢推定の結果を示した図であり、人物の右足F_Rの姿勢（指先と踵とを結ぶ骨格Fsで代表できる）が地面に対して略平行となっており、骨格F_Sの中心位置でボールと接触している。

このとき、接触位置（キック位置）がボール側面やや上部かつ骨格F_Sの中心位置と推定され、接触タイミング以降のボールの挙動として、滑りの無い順回転が推定されていれば、右足F_Rが地面に対して略平行となる姿勢でサッカーボール２の側面やや上部をキックすることが好ましいインサイドキックの方法であると認識できる。

これに対して、接触位置はサッカーボール２の側面やや上部かつ骨格F_Sの中心位置と推定されるが、プレーヤの右足F_Rが地面に対して略平行ではなく、接触タイミング以降のボールの挙動に滑りや逆回転が含まれると推定されると、右足F_Rが地面に対して略平行とならない姿勢でのインサイドキックは、たとえキック位置が適正であっても望ましいインサイドキックではないと認識できる。

図５は、本発明を適用したマルチモーダル行動認識の手順を示したフローチャートであり、ステップＳ１では、フレーム画像ごとに人物の姿勢が関節点に基づいて推定される。ステップＳ２では、サッカーボール２から、その動きに応じて変化するセンサ信号が取得される。ステップＳ３では、サッカーボール２から取得したセンサ信号に基づいて人物のボール２に対する接触タイミングTおよび接触位置Pが推定される。

ステップＳ４では、当該接触タイミングT以降のボールの挙動が、サッカーボール２から取得したセンサ信号の時系列に基づいて推定される。本実施形態では、サッカーボール２の回転方向、回転速度、移動方向、移動速度、加速度、高度に基づいてサッカーボール２の挙動が推定される。

ステップＳ５では、前記接触タイミングTにおける人物の姿勢（キック姿勢）、キック位置Pおよびキック後のボールの挙動に基づいて、人物のキック姿勢とその後のボールの挙動との因果関係が認識される。

本実施形態によれば、サッカーや野球のように、プレーヤがボールに接触行動したときの姿勢やボールへの接触位置等の態様に応じてボールの挙動が変化し、ゲーム展開に大きな影響を与える分野の行動認識において、人物の姿勢と物体の挙動との関係を接触行動の態様と関連付けて認識できるようになる。

なお、上記の実施形態ではインサイドキックにおける人物の姿勢と物体の挙動との因果関係を、キックする足の姿勢と関連付けて認識するものとして説明したが、本発明はこれのみに限定されるものではなく、他の骨格の姿勢と対応付けてもよい。

また、上記の実施形態ではパスを行う人物の姿勢とボールの挙動との因果関係を認識するものとして説明したが、パスを受ける人物の姿勢とボールの挙動との因果関係を認識するようにしても良い。

さらに、上記の実施形態では人物がボールに直接接触する場合を例にして説明したが、実質的に人物と一体化している用具（バット、スティック、ゴルフクラブ等）がボールに接触する場合にも同様に適用できる。

一方、上記の実施形態では、人物が物体に接触したタイミングTおよび人物が接触した物体上の位置Pを推定し、人物が物体に接触したタイミングTにおける人物の姿勢、当該タイミング以降の物体の挙動および人物が接触した物体上の位置Pの因果関係を認識するものとして説明したが、本発明はこれのみに限定されるものではない。

例えば、人物の姿勢と物体の挙動との関係が、人物が接触した物体上の位置に依存せず、人物が物体に接触したタイミングTのみに依存するのであれば、前記接触位置推定部１０７ｂを省略し、前記行動認識部１０８は、人物が物体に接触したタイミングTにおける人物の姿勢と当該タイミング以降の物体の挙動との因果関係を認識するようにしても良い。

さらに、人物の姿勢と物体の挙動との関係が、人物が物体に接触したタイミングTに依存せず、人物が接触した物体上の位置Pのみに依存するのであれば、前記接触タイミング推定部１０７ａを省略し、前記行動認識部１０８は、人物の姿勢、物体の挙動および人物が接触した物体上の位置Pの因果関係を認識するようにしても良い。

さらに、人物の姿勢と物体の挙動との関係が、人物が物体に接触したタイミングTおよび人物が接触した物体上の位置Pのいずれにも依存しないのであれば、前記接触タイミング推定部１０７ａおよび接触位置推定部１０７ｂをいずれも省略し、前記行動認識部１０８は、人物の姿勢と物体の挙動と因果関係のみを認識するようにしても良い。

１…ローカル端末，２…サッカーボール，３…行動認識サーバ，１０１…カメラ，１０２…人物領域抽出部，１０３…関節点抽出部，１０４…姿勢推定部，１０５…センサ信号取得部，１０６…挙動推定部，１０７…接触態様推定部，１０８…行動認識部，２０１…３軸加速度センサ，２０２…３軸ジャイロセンサ，２０３…３軸地磁気センサ，２０４…制御部，２０５…バッテリ，２０６…無線通信インタフェース

Claims (8)

1. 人物のカメラ映像および物体の挙動を検知するセンサ信号をマルチモーダル情報として行動認識を行うマルチモーダル行動認識装置において、
   カメラ映像に基づいて人物の姿勢を推定する手段と、
   物体の動きに応じて変化するセンサ信号を取得する手段と、
   前記センサ信号に基づいて物体の挙動を推定する手段と、
   前記推定した物体の挙動に基づいて、人物が接触した当該物体上の位置を推定する手段と、
   時刻同期させた人物の姿勢と物体の挙動との関係および人物が接触した物体上の位置に基づいて、物体に対して接触行動する人物の姿勢と当該物体の挙動と人物が接触した物体上の位置との因果関係を認識する手段とを具備したことを特徴とするマルチモーダル行動認識装置。
2. 人物が物体に接触したタイミングを推定する手段を更に具備し、
   前記因果関係を認識する手段は、人物が物体に接触したタイミングにおける人物の姿勢と当該タイミング以降の物体の挙動と人物が接触した物体上の位置との因果関係を認識することを特徴とする請求項１に記載のマルチモーダル行動認識装置。
3. 前記物体の挙動を推定する手段は、前記物体の回転方向、回転速度、移動方向、移動速度、加速度および高度の少なくとも一つを推定することを特徴とする請求項１または２に記載のマルチモーダル行動認識装置。
4. 前記センサ信号が、３軸の加速度センサ信号、３軸のジャイロセンサ信号および３軸の地磁気センサ信号のうち少なくとも一つを含むことを特徴とする請求項３に記載のマルチモーダル行動認識装置。
5. コンピュータが人物のカメラ映像および物体の挙動を検知するセンサ信号をマルチモーダル情報として行動認識を行うマルチモーダル行動認識方法において、
   カメラ映像に基づいて人物の姿勢を推定し、
   物体の動きに応じて変化するセンサ信号を取得し、
   前記センサ信号に基づいて物体の挙動を推定し、
   前記推定した物体の挙動に基づいて、人物が接触した当該物体上の位置を推定し、
   時刻同期させた人物の姿勢と物体の挙動との関係および人物が接触した物体上の位置に基づいて、物体に対して接触行動する人物の姿勢と当該物体の挙動と人物が接触した物体上の位置との因果関係を認識することを特徴とするマルチモーダル行動認識方法。
6. 人物が物体に接触したタイミングを更に推定し、
   人物が物体に接触したタイミングにおける人物の姿勢と当該タイミング以降の物体の挙動と人物が接触した物体上の位置との因果関係を認識することを特徴とする請求項５に記載のマルチモーダル行動認識方法。
7. 人物のカメラ映像および物体の挙動を検知するセンサ信号をマルチモーダル情報として行動認識を行うマルチモーダル行動認識プログラムにおいて、
   カメラ映像に基づいて人物の姿勢を推定する手順と、
   物体の動きに応じて変化するセンサ信号を取得する手順と、
   前記センサ信号に基づいて物体の挙動を推定する手順と、
   前記推定した物体の挙動に基づいて、人物が接触した当該物体上の位置を推定する手順と、
   時刻同期させた人物の姿勢と物体の挙動との関係および人物が接触した物体上の位置に基づいて、物体に対して接触行動する人物の姿勢と当該物体の挙動と人物が接触した物体上の位置との因果関係を認識する手順と、
   をコンピュータに実行させるマルチモーダル行動認識プログラム。
8. 人物が物体に接触したタイミングを推定する手順を更に含み、
   前記因果関係を認識する手順では、人物が物体に接触したタイミングにおける人物の姿勢と当該タイミング以降の物体の挙動と人物が接触した物体上の位置との因果関係を認識することを特徴とする請求項７に記載のマルチモーダル行動認識プログラム。

Images