JP7485154B1 - 映像処理システム - Google Patents

Abstract

【課題】映像に映っているターゲットの行動を適切に反映した行動特徴量を取得すること。【解決手段】映像処理システムは、ターゲットが映っている映像に適用される。映像処理システムは、映像に映っているターゲットの姿勢をオリジナル姿勢として推定する。映像処理システムは、オリジナル姿勢を有するターゲットの所定の関節の関節回転の情報を取得する。更に、映像処理システムは、ベース姿勢を有するベースターゲットモデルの所定の関節に関節回転を適用することによって、ベースターゲットモデルのベース姿勢をターゲットの規格化姿勢に変換する。そして、映像処理システムは、時系列上のターゲットの一連の規格化姿勢の特徴量をターゲットの行動特徴量として抽出する。【選択図】図２

Description

本開示は、ターゲットが映っている映像に適用される映像処理技術に関する。

特許文献１は、被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置を開示している。

特開２０２２－０９２５２８号公報

映像に映っているターゲット（例：人物）の姿勢を推定する技術が知られている。時系列上のターゲットの一連の姿勢から抽出される特徴量は、そのターゲットの行動（action）を反映した行動特徴量となる。ターゲットの行動特徴量は、例えば、そのターゲットの行動を認識したり、異常行動を検知したりするために有用である。

但し、映像に映っているターゲットのサイズ、形状、向き、等は様々である。ターゲットのサイズ、形状、あるいは向きが異なる場合、同じ行動であっても、抽出される行動特徴量が十分に一致しない可能性がある。行動特徴量を利用したアプリケーションの精度を向上させるためには、同じ行動に対して抽出される行動特徴量はなるべく一致することが望ましい。

本開示の１つの目的は、映像に映っているターゲットの行動を適切に反映した行動特徴量を取得することができる技術を提供することにある。

本開示の１つの観点は、ターゲットが映っている映像に適用される映像処理システムに関する。
映像処理システムは、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、映像に映っているターゲットの姿勢をオリジナル姿勢として推定する。１又は複数のプロセッサは、オリジナル姿勢を有するターゲットの所定の関節の関節回転の情報を取得する。
更に、１又は複数のプロセッサは、ベース姿勢を有するベースターゲットモデルの所定の関節に関節回転を適用することによって、ベースターゲットモデルのベース姿勢をターゲットの規格化姿勢に変換する。
そして、１又は複数のプロセッサは、時系列上のターゲットの一連の規格化姿勢の特徴量をターゲットの行動特徴量として抽出する。

本開示によれば、映像に映っているターゲットのオリジナル姿勢を規格化することにより、ターゲットの規格化姿勢が得られる。ターゲットの規格化姿勢からは、ターゲットのサイズ、形状、等の影響が排除されている。そのような規格化姿勢に基づいて、ターゲットの行動特徴量が抽出される。よって、同じ行動に対する行動特徴量がより一致しやすくなる。すなわち、ターゲットの行動を適切に反映した行動特徴量が得られる。その結果、行動特徴量を利用したアプリケーションの精度が向上する。

実施の形態に係る映像処理システムの概要を説明するための概念図である。 実施の形態に係る映像処理システムの機能構成例を示すブロック図である。 実施の形態に係る空間的観点からの規格化処理の一例を説明するための概念図である。 実施の形態に係る時間的観点からの規格化処理の一例を説明するための概念図である。 実施の形態に係る規格化処理の一例を示す概念図である。 実施の形態に係る映像処理システムの機能構成例を示すブロック図である。

１．映像処理システムの概要
図１は、本実施の形態に係る映像処理システム１００の概要を説明するための概念図である。映像処理システム１００は、カメラＣＡＭによって撮影される映像ＶＩＤを取得し、映像ＶＩＤに対して様々な処理を行う。

特に、映像処理システム１００は、ターゲットＴＧが映っている映像ＶＩＤに適用される。本実施の形態では、ターゲットＴＧは、関節（joint）を有する動体である。そのようなターゲットＴＧとしては、人物、人物の一部（例：手）、ロボット、等が例示される。以下の説明では、ターゲットＴＧが人物である場合について主に考える。但し、ターゲットＴＧは人物に限定されない。

一例として、映像ＶＩＤに映っているターゲットＴＧの行動（action）を認識することを考える。映像処理システム１００は、映像ＶＩＤを構成する一連の画像の各々に映っているターゲットＴＧの姿勢（pose）を推定する。時系列上に並べられた一連の姿勢を、以下、「姿勢シーケンス」と呼ぶ。映像処理システム１００は、ターゲットＴＧの姿勢シーケンスの特徴量を抽出する。ターゲットＴＧの姿勢シーケンスから抽出される特徴量は、そのターゲットＴＧの行動を反映している。そのような特徴量を、以下、「行動特徴量ＦＥＡ」と呼ぶ。行動の種類と行動特徴量ＦＥＡとの対応関係を示すデータベースは予め作成されている。映像処理システム１００は、ターゲットＴＧの行動特徴量ＦＥＡをデータベースと照らし合わせることによって、そのターゲットＴＧの行動を認識（分類、特定）することができる。

行動特徴量ＦＥＡの用途は、行動認識に限られない。例えば、映像ＶＩＤに映っているターゲットＴＧの行動を分析することができる。例えば、正常な行動を表す行動特徴量ＦＥＡの分布とターゲットＴＧの行動特徴量ＦＥＡとを対比することによって、ターゲットＴＧの異常行動を検出することができる。他の例として、習熟した行動を表す行動特徴量ＦＥＡの分布とターゲットＴＧの行動特徴量ＦＥＡとを対比することによって、ターゲットＴＧの行動の習熟度合いを見積もることができる。

更に他の例として、ターゲットＴＧの行動特徴量ＦＥＡを用いてマッチングを行うことによって、映像データベースの中から、ターゲットＴＧと同じ行動をしている他のターゲットを検索することができる。更に他の例として、ターゲットＴＧの行動特徴量ＦＥＡを用いてマッチングを行うことによって、映像データベースの中から、ターゲットＴＧと同じ行動をしている他のターゲットが映っている他の映像を検索することもできる。

但し、映像ＶＩＤに映っているターゲットＴＧのサイズ（size）、形状（shape）、向き（view）、等は様々である。ターゲットＴＧのサイズ、形状、あるいは向きが異なる場合、同じ行動であっても、抽出される行動特徴量ＦＥＡが十分に一致しない可能性がある。

例えば図１において、カメラＣＡＭ－１によって撮影される映像ＶＩＤ－１には、走っているターゲットＴＧ－１が映っている。カメラＣＡＭ－２によって撮影される映像ＶＩＤ－２には、走っているターゲットＴＧ－２が映っている。ターゲットＴＧ－１、ＴＧ－２は共に走っている。すなわち、ターゲットＴＧ－１、ＴＧ－２の“行動”は同じである。しかしながら、映像ＶＩＤ－１、ＶＩＤ－２のそれぞれに映っているターゲットＴＧ－１、ＴＧ－２のサイズ、形状、向き、等は異なっている。よって、映像ＶＩＤ－１に映っているターゲットＴＧ－１の行動特徴量ＦＥＡ－１と映像ＶＩＤ－２に映っているターゲットＴＧ－２の行動特徴量ＦＥＡ－２が十分に一致しない可能性がある。すなわち、ターゲットＴＧ－１、ＴＧ－２の“行動”は同じであるにもかかわらず、それぞれの行動特徴量ＦＥＡ－１、ＦＥＡ－２が十分に一致しない可能性がある。

同じ行動に対する行動特徴量ＦＥＡが十分に一致しない場合、行動特徴量ＦＥＡを利用したアプリケーションの精度が低下するおそれがある。行動特徴量ＦＥＡを利用したアプリケーションの精度を向上させるためには、同じ行動に対して抽出される行動特徴量ＦＥＡはなるべく一致することが望ましい。すなわち、ターゲットＴＧのサイズ、形状、向き、等に対する行動特徴量ＦＥＡのロバスト性を向上させることが望まれる。

そこで、本実施の形態によれば、行動特徴量ＦＥＡのロバスト性を向上させるために、行動特徴量ＦＥＡの抽出の前処理として、ターゲットＴＧの姿勢の「規格化（normalization）」が行われる。以下、本実施の形態に係る規格化処理に関連する処理について詳しく説明する。

２．規格化処理に関連する処理
図２は、本実施の形態に係る映像処理システム１００の機能構成例を示すブロック図である。映像処理システム１００は、姿勢推定部１１０、規格化処理部１２０、及び特徴量抽出部１３０を含んでいる。

映像処理システム１００は、カメラＣＡＭによって撮影された映像ＶＩＤを取得する。映像ＶＩＤは、一連の画像（フレーム）を含んでいる。まず、映像処理システム１００は、映像ＶＩＤに含まれる各画像に映っているターゲットＴＧを検出する。ターゲットＴＧの検出は、周知の物体検出技術により可能である。バウンディングボックスは、画像において検出されたターゲットＴＧの位置を表す。

姿勢推定部１１０は、ターゲットＴＧの部分の画像に基づいて、ターゲットＴＧの３次元姿勢を推定する姿勢推定処理を行う。画像の中の各バウンディングボックスによって囲まれる部分画像が、ターゲットＴＧの画像に相当する。姿勢推定部１１０は、機械学習に基づく姿勢推定モデルを用いることによって、部分画像からキーポイントを抽出し、ターゲットＴＧの３次元姿勢を推定する。尚、姿勢推定処理は周知技術であり、その手法は特に限定されない。例えば、ＴｒａｎｓＰｏｓｅが姿勢推定処理に利用される。

姿勢推定部１１０によって推定されるターゲットＴＧの３次元姿勢を、便宜上、「オリジナル姿勢ＰＳＯ」と呼ぶ。このオリジナル姿勢ＰＳＯから行動特徴量ＦＥＡが直接抽出されると、上述の課題が発生する。そこで、規格化処理部１２０は、特徴量抽出の前処理として、ターゲットＴＧのオリジナル姿勢ＰＳＯを規格化する規格化処理を実行する。規格化処理をリターゲッティング（re-targeting）と言うこともできる。規格化処理部１２０における規格化処理の詳細は後述される。オリジナル姿勢ＰＳＯを規格化することにより得られる３次元姿勢を、以下、「規格化姿勢ＰＳＮ」と呼ぶ。

特徴量抽出部１３０は、オリジナル姿勢ＰＳＯではなく規格化姿勢ＰＳＮに基づいて、ターゲットＴＧの行動特徴量ＦＥＡを抽出する。より詳細には、特徴量抽出部１３０は、ターゲットＴＧの規格化姿勢ＰＳＮを時系列上に並べる。規格化姿勢シーケンスは、時系列上に並べられた一連の規格化姿勢ＰＳＮである。特徴量抽出部１３０は、ターゲットＴＧの規格化姿勢シーケンスの特徴量をターゲットＴＧの行動特徴量ＦＥＡとして抽出する。このような特徴量抽出処理には、例えば、公知のＳＴ－ＧＣＮｓ（Ｓｐａｔｉａｌ－Ｔｅｍｐｏｒａｌ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）が用いられる。

以下、規格化処理部１２０による規格化処理について詳しく説明する。以下に説明されるように、空間的観点からの規格化処理と時間的観点からの規格化処理の２種類が考えられる。

２－１．空間的観点からの規格化処理
図２に示されるように、規格化処理部１２０は、関節回転取得部１２１、ベースターゲットモデル１２２、及びモデル処理部１２３を含んでいる。

関節回転取得部１２１は、ターゲットＴＧのオリジナル姿勢ＰＳＯの情報を取得する。ターゲットＴＧは、１以上の関節ＪＴｉを有している。姿勢推定処理において抽出されたキーポイントの少なくとも一部が関節ＪＴｉに相当する。ｉは関節の識別子であり、１以上の値を取る。ターゲットＴＧのオリジナル姿勢ＰＳＯの情報は、ターゲットＴＧの関節ＪＴｉの３次元配置情報を含んでいる。その関節ＪＴｉの３次元配置情報に基づいて、所定の関節ＪＴｉの関節回転（joint rotation）Ｒｉの情報を取得することができる。すなわち、関節回転取得部１２１は、オリジナル姿勢ＰＳＯを有するターゲットＴＧの所定の関節ＪＴｉの関節回転Ｒｉの情報を取得することができる。関節回転Ｒｉは、関節角（joint angle）とも呼ばれる。ターゲットＴＧの関節ＪＴｉの関節回転Ｒｉは、ターゲットＴＧのサイズ、形状、及び向きに依存しない。

ベースターゲットモデル１２２は、ターゲットＴＧの共通モデルである。ベースターゲットモデル１２２は、ベース姿勢を有している。図２に示される例では、ベースターゲットモデル１２２は、Ｔ字姿勢をベース姿勢として有するＴ－Ｐｏｓｅモデルである。ベースターゲットモデル１２２も所定の関節ＪＴｉを有している。

モデル処理部１２３は、関節回転取得部１２１からターゲットＴＧの所定の関節ＪＴｉの関節回転Ｒｉの情報を取得する。そして、モデル処理部１２３は、ベース姿勢を有するベースターゲットモデル１２２の所定の関節ＪＴｉに、ターゲットＴＧの所定の関節ＪＴｉの関節回転Ｒｉを適用する。ベースターゲットモデル１２２の所定の関節ＪＴｉに関節回転Ｒｉを適用することにより、ベースターゲットモデル１２２のベース姿勢が変換される。変換後のベースターゲットモデル１２２の姿勢には、ターゲットＴＧのサイズや形状を除くターゲットＴＧのオリジナル姿勢ＰＳＯが反映されている。従って、変換後のベースターゲットモデル１２２の姿勢が、ターゲットＴＧのサイズや形状の影響が除外されたターゲットＴＧの規格化姿勢ＰＳＮとなる。すなわち、モデル処理部１２３は、関節回転Ｒｉをベースターゲットモデル１２２に適用することによって、ベースターゲットモデル１２２のベース姿勢をターゲットＴＧの規格化姿勢ＰＳＮに変換する。

更に、モデル処理部１２３は、規格化姿勢ＰＳＮの向きを“所定の向き”に揃えてもよい。所定の向きは予め指定される。ベースターゲットモデル１２２は仮想のモデルであるため、その向きを自由に変化させることができるのである。例えば、ベースターゲットモデル１２２の向きは、クォータニオン（quaternion）によって表現される。ベースターゲットモデル１２２のクォータニオンを所定のクォータニオンにすることによって、規格化姿勢ＰＳＮの向きを所定の向きに揃えることができる。すなわち、モデル処理部１２３は、規格化姿勢ＰＳＮの向きが所定の向きになるように、ベースターゲットモデル１２２のベース姿勢をターゲットＴＧの規格化姿勢ＰＳＮに変換する。

図３は、空間的観点からの規格化処理の一例を示している。映像ＶＩＤ－１にはターゲットＴＧ－１が映っており、映像ＶＩＤ－２にはターゲットＴＧ－２が映っている。ターゲットＴＧ－１とターゲットＴＧ－２は、異なるサイズ、形状、及び向きを有している。ターゲットＴＧ－１のオリジナル姿勢ＰＳＯ－１に基づいて、ターゲットＴＧ－１の関節回転Ｒｉ－１の情報が得られる。関節回転Ｒｉ－１がベースターゲットモデル１２２に適用され、ターゲットＴＧ－１の規格化姿勢ＰＳＮ－１が得られる。更に、ターゲットＴＧ－１の規格化姿勢ＰＳＮ－１は“所定の向き”になるように調整される。ターゲットＴＧ－２についても同様である。

このようにして得られたターゲットＴＧ－１の規格化姿勢ＰＳＮ－１からは、ターゲットＴＧ－１のサイズ、形状、及び向きの影響が排除されている。同様に、ターゲットＴＧ－２の規格化姿勢ＰＳＮ－２からは、ターゲットＴＧ－２のサイズ、形状、及び向きの影響が排除されている。すなわち、ターゲットＴＧのサイズ、形状、及び向きに対するロバスト性が向上する。

以上に説明されたように、規格化処理部１２０は、ターゲットＴＧのオリジナル姿勢ＰＳＯを空間的観点から規格化し、ターゲットＴＧの規格化姿勢ＰＳＮを取得する。尚、規格化姿勢ＰＳＮにおける各関節ＪＴｉは、位置（ｘ，ｙ，ｚ）と時間（ｔ）の情報を有する。

２－２．時間的観点からの規格化処理
一例として、ターゲットＴＧが人物であり、行動が走ることである場合について考える。速く走る人物もいれば、遅く走る人物もいる。但し、行動特徴量ＦＥＡの観点から言えば、速い走りも遅い走りも同じ“走り”として捉えることが好ましい。言い換えれば、速い走りに対する行動特徴量ＦＥＡと遅い走りに対する行動特徴量ＦＥＡをなるべく一致させることが好ましい。そのために、時間的観点から規格化処理が行われる。

図４は、時間的観点からの規格化処理の一例を説明するための概念図である。以下の説明において、「シフト量ＳＦＴ」とは、時系列上で異なるタイミング間のターゲットＴＧの所定の関節ＪＴの位置変化量である。例えば、シフト量ＳＦＴは、所定時間だけ離れたタイミング間のターゲットＴＧの所定の関節ＪＴの位置変化量である。他の例として、シフト量ＳＦＴは、連続するタイミング間のターゲットＴＧの所定の関節ＪＴの位置変化量であってもよい。規格化姿勢ＰＳＮにおける関節ＪＴは位置（ｘ，ｙ，ｚ）と時間（ｔ）の情報を有するため、それら情報に基づいてシフト量ＳＦＴを算出することができる。

規格化姿勢シーケンスは、時系列上に並べられた一連の規格化姿勢ＰＳＮである。規格化処理部１２０は、ターゲットＴＧの規格化姿勢シーケンスに基づいて、ターゲットＴＧの所定の関節ＪＴのシフト量ＳＦＴを算出する。更に、規格化処理部１２０は、そのシフト量ＳＦＴが所定の基準量ＳＦＴ０になるように、規格化姿勢シーケンスを逆に調整する。すなわち、規格化処理部１２０は、シフト量ＳＦＴを所定の基準量ＳＦＴ０に規格化する。

例えば図４において、時間ｔ２ａにおけるターゲットＴＧ－２の関節ＪＴの位置と時間ｔ２ｂにおけるターゲットＴＧ－２の関節ＪＴの位置に基づいて、ターゲットＴＧ－２に関するシフト量ＳＦＴ－２が算出される。算出されたシフト量ＳＦＴ－２は、所定の基準量ＳＦＴ０よりも大きい（ＳＦＴ－２＞ＳＦＴ０）。そこで、時間ｔ２ａ～時間ｔ２ｘまでのシフト量ＳＦＴ－２が所定の基準量ＳＦＴ０と一致するような時間ｔ２ｘが探索される。そのような時間ｔ２ｘは、時間ｔ２ａ、ｔ２ｂにおける関節ＪＴの位置に基づいて探索可能である。そして、時間ｔ２ｘに新たな規格化姿勢ＰＳＮが挿入される。時間ｔ２ｘにおける規格化姿勢ＰＳＮの関節ＪＴの位置は、時間ｔ２ａ、ｔ２ｂにおける関節ＪＴの位置に基づく線形補間により算出可能である。このように、ターゲットＴＧ－２に関するシフト量ＳＦＴ－２が所定の基準量ＳＦＴ０に一致するように、ターゲットＴＧ－２の規格化姿勢シーケンスが調整される。これは、“アップサンプリング”に相当する。

一方、図４において、ターゲットＴＧ－１に関するシフト量ＳＦＴ－１は、所定の基準量ＳＦＴ０よりも小さい（ＳＦＴ－１＜ＳＦＴ０）。この場合は、“ダウンサンプリング”が行われる。ターゲットＴＧ－１に関するシフト量ＳＦＴ－１が所定の基準量ＳＦＴ０に一致するように、ターゲットＴＧ－１の規格化姿勢シーケンスが調整される。

規格化処理部１２０は、ターゲットＴＧの関節ＪＴ毎に上述の処理を行い、シフト量ＳＦＴを所定の基準量ＳＦＴ０に規格化する。

変形例として、規格化処理部１２０は、ターゲットＴＧの関節ＪＴ毎に算出されたシフト量ＳＦＴの平均値を算出してもよい。その平均値は、ターゲットＴＧ全体としてのシフト量ＳＦＴであると言える。ターゲットＴＧ全体としてのシフト量ＳＦＴは、ターゲットＴＧ全体としての速度に相当する。規格化処理部１２０は、ターゲットＴＧのシフト量ＳＦＴが所定の基準量ＳＦＴ０になるように、ターゲットＴＧの規格化姿勢シーケンスを調整する。

図５は、規格化処理の一例を示している。ターゲットＴＧ－１のオリジナル姿勢ＰＳＯ－１が規格化され、規格化姿勢ＰＳＮ－１が得られる。同様に、ターゲットＴＧ－２のオリジナル姿勢ＰＳＯ－２が規格化され、規格化姿勢ＰＳＮ－２が得られる。オリジナル姿勢ＰＳＯ－１、ＰＳＯ－２ではターゲットＴＧ－１、ＴＧ－２のサイズ、形状、向き、及び速度は異なっているが、規格化姿勢ＰＳＮ－１、ＰＳＮ－２ではそれらは揃っている。すなわち、ターゲットＴＧの規格化姿勢ＰＳＮからは、ターゲットＴＧのサイズ、形状、向き、及び速度の影響が排除されている。

２－４．効果
以上に説明されたように、本実施の形態によれば、映像ＶＩＤに映っているターゲットＴＧのオリジナル姿勢ＰＳＯを規格化することにより、ターゲットＴＧの規格化姿勢ＰＳＮが得られる。ターゲットＴＧの規格化姿勢ＰＳＮからは、ターゲットＴＧのサイズ、形状、向き、及び速度の影響が排除されている。そのような規格化姿勢ＰＳＮに基づいて、ターゲットＴＧの行動特徴量ＦＥＡが抽出される。よって、ターゲットＴＧのサイズ、形状、向き、速度に対する行動特徴量ＦＥＡのロバスト性が向上する。言い換えれば、同じ行動に対する行動特徴量ＦＥＡがより一致しやすくなる。すなわち、ターゲットＴＧの行動を適切に反映した行動特徴量ＦＥＡが得られる。その結果、行動特徴量ＦＥＡを利用したアプリケーションの精度が向上する。

尚、上記セクション２－１で説明された空間的観点からの規格化処理だけでも、効果は得られる。時間的観点からの規格化処理はオプションである。また、規格化姿勢ＰＳＮの向きを所定の向きに揃えなくても、ターゲットＴＧのサイズ及び形状の影響は排除されるため、ある程度の効果は得られる。規格化姿勢ＰＳＮの向きを所定の向きにそろえた場合、更なる効果が得られる。

３．映像処理システムの構成例
図６は、本実施の形態に係る映像処理システム１００の構成例を示すブロック図である。映像処理システム１００は、１又は複数のプロセッサ１０１（以下、単に「プロセッサ１０１」と呼ぶ）、１又は複数の記憶装置１０２（以下、単に「記憶装置１０２」と呼ぶ）、及びインタフェース１０３を備えている。プロセッサ１０１は、様々な処理を実行する。例えば、プロセッサ１０１は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１０２は、処理に必要な様々な情報を格納する。記憶装置１０２の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、揮発性メモリ、不揮発性メモリ、等が挙げられる。インタフェース１０３は、ネットワークインタフェースやユーザインタフェースを含む。

コンピュータプログラム１０４は、本実施の形態に係る映像処理のためのコンピュータプログラムである。コンピュータプログラム１０４は、記憶装置１０２に格納される。コンピュータプログラム１０４は、コンピュータ読み取り可能な記録媒体に記録されていてもよい。コンピュータプログラム１０４は、プロセッサ１０１により実行される。コンピュータプログラム１０４を実行するプロセッサ１０１と記憶装置１０２との協働により、映像処理システム１００の機能が実現されてもよい。

また、各種データベース１０５が記憶装置１０２に格納される。

プロセッサ１０１は、インタフェース１０３を介して、１以上のカメラＣＡＭによって撮影される映像ＶＩＤを収集する。データベース１０５は、収集された映像ＶＩＤに関する映像データベースを含む。

また、プロセッサ１０１は、図２で示された姿勢推定部１１０、規格化処理部１２０、及び特徴量抽出部１３０の機能を備えている。プロセッサ１０１は、映像ＶＩＤに映っているターゲットＴＧの行動特徴量ＦＥＡを抽出する。データベース１０５は、抽出された行動特徴量ＦＥＡに関する特徴量データベースを含む。特徴量データベースは、行動の種類と行動特徴量ＦＥＡの対応関係を示していてもよい。

プロセッサ１０１は、行動特徴量ＦＥＡを様々な用途に利用することができる。例えば、プロセッサ１０１は、ターゲットＴＧの行動特徴量ＦＥＡを特徴量データベースと照らし合わせることによって、そのターゲットＴＧの行動を認識（分類、特定）することができる。

他の例として、プロセッサ１０１は、映像ＶＩＤに映っているターゲットＴＧの行動を分析してもよい。例えば、正常な行動を表す行動特徴量ＦＥＡの分布とターゲットＴＧの行動特徴量ＦＥＡとを対比することによって、ターゲットＴＧの異常行動を検出することができる。他の例として、習熟した行動を表す行動特徴量ＦＥＡの分布とターゲットＴＧの行動特徴量ＦＥＡとを対比することによって、ターゲットＴＧの行動の習熟度合いを見積もることができる。

更に他の例として、プロセッサ１０１は、ターゲットＴＧの行動特徴量ＦＥＡを用いてマッチングを行うことによって、映像データベースの中から、ターゲットＴＧと同じ行動をしている他のターゲットを検索してもよい。更に他の例として、プロセッサ１０１は、ターゲットＴＧの行動特徴量ＦＥＡを用いてマッチングを行うことによって、映像データベースの中から、ターゲットＴＧと同じ行動をしている他のターゲットが映っている他の映像を検索してもよい。

１００…映像処理システム， １１０…姿勢推定部， １２０…規格化処理部， １２１…関節回転取得部， １２２…ベースターゲットモデル， １２３…モデル処理部， １３０…特徴量抽出部， ＦＥＡ…行動特徴量， ＰＳＮ…規格化姿勢， ＰＳＯ…オリジナル姿勢， ＶＩＤ…映像

Claims (4)

1. ターゲットが映っている映像に適用される映像処理システムであって、
   １又は複数のプロセッサを備え、
   前記１又は複数のプロセッサは、
   前記映像に映っている前記ターゲットの姿勢をオリジナル姿勢として推定し、
   前記オリジナル姿勢を有する前記ターゲットの所定の関節の関節回転の情報を取得し、
   ベース姿勢を有するベースターゲットモデルの前記所定の関節に前記関節回転を適用することによって、前記ベースターゲットモデルの前記ベース姿勢を前記ターゲットの規格化姿勢に変換し、
   時系列上の前記ターゲットの一連の規格化姿勢の特徴量を前記ターゲットの行動特徴量として抽出する
   ように構成された
   映像処理システム。
2. 請求項１に記載の映像処理システムであって、
   前記１又は複数のプロセッサは、更に、前記規格化姿勢の向きが所定の向きになるように、前記ベースターゲットモデルの前記ベース姿勢を前記ターゲットの前記規格化姿勢に変換するように構成された
   映像処理システム。
3. 請求項２に記載の映像処理システムであって、
   前記１又は複数のプロセッサは、更に、時系列上で異なるタイミング間の前記所定の関節の位置変化量が基準量になるように、時系列上の前記ターゲットの前記一連の規格化姿勢を調整するように構成された
   映像処理システム。
4. 請求項１乃至３のいずれか一項に記載の映像処理システムであって、
   前記１又は複数のプロセッサは、更に、前記行動特徴量に基づいて第１処理を行い、
   前記第１処理は、
   前記映像に映っている前記ターゲットの行動を認識すること、
   前記映像に映っている前記ターゲットの前記行動を分析すること、
   前記映像に映っている前記ターゲットの異常行動を検出すること、
   前記ターゲットと同じ行動をしている他のターゲットを検索すること、及び
   前記ターゲットと同じ行動をしている他のターゲットが映っている他の映像を検索すること
   のうち少なくとも１つを含む
   映像処理システム。

Images