JP7078577B2 - 動作類似度評価装置、方法およびプログラム - Google Patents

Description

本発明は、映像間で各映像内の動作の類似度を評価する動作類似度評価装置、方法およびプログラムに係り、特に、お手本映像内のお手本の動作と物真似映像内の物真似の動作との類似度を定量的、客観的に評価できる動作類似度評価装置、方法およびプログラムに関する。

アイドルの舞踏シーン、有名人の演技シーンあるいはプロスポーツ選手のフォームなどを正確に物真似したいという需要がある。このような需要に応えるべく、特許文献１には、カメラ画像から各部位の動きを認識し、お手本の映像と追随できていない部位を表示する技術が開示されている。

特許文献２には、所定動作の複数のタイミングの動作状態を示した手本静止画像を表示し、プレーヤが所定動作を実演しているところを撮影した複数の撮影静止画像を表示し、操作者により撮影静止画像から手本静止画像に対応する対応静止画像として選択された画像を手本静止画像と並べて表示し、手本静止画像と対応静止画像をコマ送り再生する際に、互いに対応する手本静止画像と対応静止画像とが同時に表示されるようにコマ送り再生して表示する技術が開示されている。

特許文献３には、所定回数の反復運動を含むトレーニング動画の再生指示をユーザから受け付け、再生指示に基づいてトレーニング動画を再生可能とするとともに、トレーニング動画から反復運動の部分を抽出し、ユーザのトレーニング動画の視聴状況に基づいて反復運動の部分の再生を制御する技術が開示されている。

特開2009-213782号公報 特開2014-094029号公報 特開2018-114228号公報

Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.

従来技術では、お手本の画像とユーザを撮影した画像とを比較して客観的に評価するための評価基準が定量化、定式化されておらず、また各画像の類似度に基づく具体的な評価方法も示されていなかった。

本発明の目的は、上記の技術課題を解決し、お手本映像内のお手本の動作と物真似映像内の物真似の動作との類似度を定量的、客観的に評価できる動作類似度評価装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、お手本動作と物真似動作との類似度を評価する動作類似度評価装置において、以下の構成を具備した点に特徴がある。

(1) お手本映像を取得する手段と、物真似映像を取得する手段と、お手本映像および物真似映像から各動作の骨格情報を抽出する手段と、同期時刻における各骨格情報の類似度に基づいて各動作の類似度を評価する手段とを具備した。

(2) お手本映像から抽出した骨格情報に基づいて評価部位を決定する手段を具備し、類似度を評価する手段は、お手本映像の評価部位を物真似映像の対応部位と比較するようにした。

(3) 評価部位を決定する手段は、お手本映像から抽出した骨格情報に基づいて各部位の動き量を計測し、動き量が閾値を超える部位を評価部位に決定するようにした。

(4) 類似度を評価する手段は、お手本映像の骨格情報に基づいて類似範囲を設定し、類似範囲に物真似映像から抽出した骨格情報が含まれる割合に基づいて類似度を評価するようにした。

(5) 類似度を評価する手段による評価の根拠を物真似映像の提供元へ通知する手段を更に具備した。

本発明によれば、以下のような効果が達成される。

(1) お手本映像および物真似映像から各動作の骨格情報を抽出し、同期時刻における各骨格情報の類似度に基づいて各動作の類似度を評価するので、お手本映像のモデルとユーザとの体形、服装あるいは身長等の違いにかかわらず正確な動作類似度評価が可能になる。

(2) お手本映像と物真似映像とを比較する際に、予め設定した評価部位に着目するようにしたので、少ない計算量で正確な動作類似度評価が可能になる。

(3) お手本映像から抽出した骨格情報に基づいて各部位の動き量を計測し、動き量が閾値を超える部位を評価部位に決定するようにしたので、動作類似度評価に好適な部位を確実に選択できるようになる。

(4) お手本映像の骨格情報に基づいて類似範囲を設定し、類似範囲に物真似映像から抽出した骨格情報が含まれる割合に基づいて類似度を評価するので、お手本映像中のモデル特有の姿勢に対する動作類似度を定量的に評価できるようになる。

(5) 動作類似度評価の根拠を物真似映像の提供元へ通知するので、物真似をするユーザは動作類似度評価の根拠を学習することができ、これを自身の動作に反映させることで物真似の上達を期待できるようになる。

本発明の一実施形態に係る動作類似度評価装置の機能ブロック図である。 骨格情報の抽出例を示した図である。 類似範囲の設定例を示した図である。 本発明の一実施形態に係るネットワーク構成を示した図である。 動作類似度評価装置の動作を示したシーケンスフローである。 動作類似度評価装置の他の実施形態の機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る動作類似度評価装置１の主要部の構成を示した図であり、お手本データベース（DB）１０１には、多数のお手本動作の映像がお手本映像Imとして蓄積されている。物真似映像取得部１０２は、お手本動作を物真似するユーザを撮影した物真似動作の映像を物真似映像Isとして取得する。人物領域推定部１０３は、お手本映像Imおよび物真似映像Isから人物領域を推定する。

骨格情報抽出部１０４は、お手本映像Imおよび物真似映像Isの各人物領域から骨格情報をそれぞれ抽出する。類似度評価部１０５は、各骨格情報の類似度に基づいて、お手本の動作と物真似の動作との類似度を評価する。評価根拠通知部１０６は、類似度の評価結果およその根拠をユーザへ通知する。前記物真似映像取得部１０２は、カメラ１０からユーザの物真似映像Isを取得する。お手本映像Imは、お手本再生部２０により再生されることでユーザに視聴される。

このような動作類似度評価装置１は、汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。

前記お手本映像Imは、アイドル歌手の振り付けやプロスポーツ選手のプレーを撮影した映像であり、例えばインターネットから予め取得してお手本DB１０１に蓄積しておくことができる。お手本映像再生部２０は、ユーザがお手本DB１０１から選択したお手本映像を再生する。

前記人物領域推定部１０３は、お手本映像Imおよび物真似映像Isからフレーム単位で人物領域をそれぞれ推定する。人物領域の推定には、例えばSSD (Single Shot Multibox Detector) を用いることができる。

骨格情報抽出部１０４は、図２に示したように、お手本映像Imおよび物真似映Isの各人物領域から骨格を抽出し、その位置情報や他の骨格との連結状態を骨格情報として登録する。骨格情報の抽出には、既存の骨格抽出技術 (Cascaded Pyramid Network) を用いることができる。

なお、骨格の抽出手法は、上記のように予め推定した人物領域を対象とする方法に限定されない。例えば、非特許文献１に開示されるように、フレーム画像から抽出した特徴マップに対して、身体パーツの位置をエンコードするConfidence Mapおよび身体パーツ間の連結性をエンコードするPart Affinity Fields（PAFs）を用いた二つの逐次予測プロセスを順次に適用し、フレーム画像から抽出した人物オブジェクト（ユーザ）の身体パーツの位置および連結性をボトムアップ的アプローチにより一回の推論で推定することでスケルトンモデルを構築してもよい。

このとき、異なる部分領域から抽出した身体パーツの連結性を推定対象外とする処理を実装することで、身体パーツの位置および連結性を部分領域ごとに、すなわちユーザごとにオブジェクトのスケルトンモデルを推定できるようになる。

類似度評価部１０５において、動き量計算１０５ａは、お手本映像Imから抽出した骨格情報に基づいて、手、足、頭、膝関節、肘関節など各部位の動き量Pを計算する。比較部位選択部１０５ｂは、動き量Pが所定の基準値を超える部位、あるいは動き量Pが上位Nベストに入る部位を比較対象の部位（比較部位）として選択する。

類似範囲設定部１０５ｃは、選択された比較部位ごとに、その範囲内に物真似映像Isから抽出した対応部位の骨格が位置している場合に当該対応部位の骨格の動きを前記比較部位の動きに類似していると判断するための類似範囲Eを設定する。図３は、類似範囲の設定例を示した図であり、ここでは、左腕の前腕部位および右足の大腿部位に類似領域E1，E2がそれぞれ設定されている。

類似度計算部１０５ｄは、お手本映像Imの再生時刻と物真似映像Isの撮影時刻とを同期させた状態で各映像を比較し、前記お手本映像Imに関して設定された比較部位ごとに、その類似範囲E内に、物真似映像Isから抽出した対応部位が位置しているか否か、あるいは類似範囲E内に、物真似映像Isから抽出した対応部位が含まれる割合に基づいて、比較部位ごとに類似度を計算する。

類似度計算部１０５ｄは更に、比較部位ごとに計算した類似度を統合して、お手本とその物真似との全体的な類似度をスコア化する。例えば、複数の比較部位の類似度の平均値を類似度スコア化として計算することができる。

図５は、動作類似度評価装置１の動作を示したシーケンスフローであり、ここでは、図４に示したように、ユーザ端末２が前記カメラ１０およびお手本映像再生部２０の各機能を分担し、動作類似度評価装置１の機能がサーバ３に実装されている。前記ユーザ端末２は、スマートフォンやタブレット端末で代替できる。

なお、本実施形態ではユーザ端末２の処理負荷を軽減すべく、大部分の機能をサーバ３へ実装しているが、ユーザ端末２のハードウェア資源に余裕があり、かつ十分な処理能力を備えていれば、サーバ３に実装した機能の一部を各ユーザ端末２へ移行しても良い。このようにすれば、多数のユーザが物真似の評価を要求しているような場合でも、処理負荷が各ユーザ端末２に分散されるので、サーバ３への負荷集中を防止できるようになる。

時刻t1において、ユーザがユーザ端末２からサーバ３にアクセスして、物真似したいお手本映像Imを選択すると、時刻t2において、選択されたお手本映像Imがサーバ３からユーザ端末２へ配信される。時刻t3でお手本映像Imの再生が開始されると、ユーザ端末２のカメラが撮影を開始し、お手本映像Imの物真似をするユーザの物真似映像Isが記録される。

時刻t4では、撮影完了した物真似映像Isがユーザ端末２からサーバ３へアップロードされる。サーバ３は、前記物真似映像Isを取得すると、時刻t5において、前記人物領域推定部１０３が、前記配信したお手本映像Imおよびアップロードされた物真似映像Isから人物領域を推定する。時刻t6では、前記骨格情報抽出部１０４が、お手本映像Imおよび物真似映像Isの各人物領域から骨格情報をそれぞれ抽出する。

時刻t7では、お手本映像Imから抽出した骨格情報に基づいて、動き量計算部１０５ａが各部位の動き量Pを計算し、比較部位選択部１０５ｂが、動き量Pの計算結果に基づいて比較部位を選択する。

時刻t8では、選択された比較部位ごとに、類似範囲設定部１０５ｃが類似範囲Eを設定する。時刻t9では、類似度計算部１０５ｄがお手本映像Imの比較部位の骨格情報と物真似映像Isの対応部位の骨格情報とを比較し、お手本映像Imの各比較部位の類似範囲内に物真似映像Isの各対応部位が位置しているか否かに基づいて、お手本の動作と物真似の動作との類似度スコアを計算する。時刻t10では、類似度スコアの計算結果が評価の根拠と共に評価根拠通知部１０６によりユーザ端末２へ通知される。

本実施形態によれば、同期時刻における各骨格情報の類似度に基づいて各動作の類似度を評価するので、お手本映像のモデルとユーザとの体形、服装あるいは身長等の違いにかかわらず正確な動作類似度評価が可能になる。

また、本実施形態によれば、お手本映像Imと物真似映像Isとを比較する際に、予め設定した評価部位に着目するようにしたので、少ない計算量で正確な動作類似度評価が可能になる。加えて、お手本映像Imから抽出した骨格情報に基づいて各部位の動き量を計測し、動き量が閾値を超える部位を評価部位に決定するので、動作類似度評価に好適な部位を確実に選択できるようになる。

さらに、本実施形態によれば、お手本映像Imの骨格情報に基づいて類似範囲を設定し、類似範囲に物真似映像から抽出した骨格情報が含まれる割合に基づいて類似度を評価するので、お手本映像中のモデル特有の姿勢に対する動作類似度を定量的に評価できるようになる。

さらに、動作類似度評価の根拠をユーザへ通知するので、ユーザは動作類似度評価の根拠を学習することができ、これを自身の動作に反映させることで物真似の上達を期待できるようになる。

なお、上記の実施形態では、特に図５を参照して説明したように、物真似映像Isの撮影完了後に当該物真似映像Isをユーザ端末２から取得し、お手本映像Imとの類似度の評価を開始するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、ユーザ端末２から数フレーム単位で物真似映像Isを逐次的に取得し、当該数フレーム単位でお手本映像Imの対応区間と類似度を比較して評価結果をユーザ端末２へ通知するようにしても良い。このようにすれば、ユーザは略リアルタイムで評価結果を取得できるので、評価結果を自身の物真似に直ちに反映させることができ、試行錯誤的な学習を実現できるようになる。

さらに、上記の実施形態では、お手本映像Imが予めお手本DB１０１に蓄積されているものとして説明したが、本発明はこれのみに限定されるものではなく、インターネットやテレビ放送等で発信されている映像をお手本としてリアルタイムで真似する用途にも適用できる。

その場合は、図６に示した第２実施形態のように、前記お手本DB１０１に代えて、あるいはお手本DB１０１に加えて、インターネットあるいはテレビ視聴用のインタフェース１０７を設けてお手本映像Imを取得し、お手本映像再生部２０で当該お手本映像Imをリアルタイムで再生しながら、その物真似映像を撮影して評価するようにしても良い。

１...動作類似度評価装置，２...ユーザ端末，３...サーバ，１０...カメラ，２０...お手本映像再生部，１０１...お手本DB，１０２...物真似映像取得部，１０３...人物領域推定部，１０４...骨格情報抽出部，１０５...類似度評価部，１０６...評価根拠通知部，１０５ａ...動き量計算部，１０５ｂ...比較部位選択部，１０５ｃ...類似範囲設定部，１０５ｄ...類似度計算部，１０６...評価根拠通知部

Claims (10)

1. お手本動作と物真似動作との類似度を評価する動作類似度評価装置において、
   お手本映像を取得する手段と、
   物真似映像を取得する手段と、
   お手本映像および物真似映像から各動作の骨格情報を抽出する手段と、
   同期時刻における各骨格情報の類似度に基づいて各動作の類似度を評価する手段とを具備し、
   前記類似度を評価する手段は、お手本映像の骨格情報に基づいて類似範囲を設定する手段を具備し、
   前記類似範囲に前記物真似映像から抽出した骨格情報が含まれる割合に基づいて類似度を評価することを特徴とする動作類似度評価装置。
2. お手本映像から抽出した骨格情報に基づいて評価部位を決定する手段を具備し、
   前記類似度を評価する手段は、お手本映像の評価部位を物真似映像の対応部位と比較することを特徴とする請求項１に記載の動作類似度評価装置。
3. 前記評価部位を決定する手段は、お手本映像から抽出した骨格情報に基づいて各部位の動き量を計測する手段を具備し、
   動き量が閾値を超える部位を評価部位に決定することを特徴とする請求項２に記載の動作類似度評価装置。
4. 前記類似度を評価する手段による評価の根拠を物真似映像の提供元へ通知する手段を更に具備したことを特徴とする請求項１ないし３のいずれかに記載の動作類似度評価装置。
5. コンピュータがお手本動作と物真似動作との類似度を評価する動作類似度評価方法において、
   お手本映像を記憶する手順と、
   物真似映像を取得する手順と、
   お手本映像および物真似映像から各動作の骨格情報を抽出する手順と、
   同期時刻における各骨格情報の類似度に基づいて各動作の類似度を評価する手順とを含み、
   前記類似度を評価する手順では、お手本映像の骨格情報に基づいて類似範囲を設定し、当該類似範囲に前記物真似映像から抽出した骨格情報が含まれる割合に基づいて類似度を評価することを特徴とする動作類似度評価方法。
6. お手本映像から抽出した骨格情報に基づいて評価部位を決定する手順を含み、
   前記類似度を評価する手順では、お手本映像の評価部位を物真似映像の対応部位と比較することを特徴とする請求項５に記載の動作類似度評価方法。
7. 前記評価部位を決定する手順では、お手本映像から抽出した骨格情報に基づいて各部位の動き量を計測し、動き量が閾値を超える部位を評価部位に決定することを特徴とする請求項６に記載の動作類似度評価方法。
8. お手本動作と物真似動作との類似度を評価する動作類似度評価プログラムにおいて、
   お手本映像を記憶する手順と、
   物真似映像を取得する手順と、
   お手本映像および物真似映像から各動作の骨格情報を抽出する手順と、
   同期時刻における各骨格情報の類似度に基づいて各動作の類似度を評価する手順と、
   をコンピュータに実行させ、
   前記類似度を評価する手順では、お手本映像の骨格情報に基づいて類似範囲を設定し、当該類似範囲に前記物真似映像から抽出した骨格情報が含まれる割合に基づいて類似度を評価することを特徴とする動作類似度評価プログラム。
9. お手本映像から抽出した骨格情報に基づいて評価部位を決定する手順を含み、
   前記類似度を評価する手順では、お手本映像の評価部位を物真似映像の対応部位と比較することを特徴とする請求項８に記載の動作類似度評価プログラム。
10. 前記評価部位を決定する手順では、お手本映像から抽出した骨格情報に基づいて各部位の動き量を計測し、動き量が閾値を超える部位を評価部位に決定することを特徴とする請求項９に記載の動作類似度評価プログラム。

Images