JP6630322B2 - 映像解析方法 - Google Patents

Description

本発明は映像解析方法に関し、より詳細には、モニタ等の表示装置内における映像データの特定個所の追跡を行うと共に、その特定個所が表示装置内で動き始め、あるいは停止した時間を特定時間データとして抽出するための映像解析方法に関する。

映像を解析する必要性は様々な分野で存在している。例えば、特許文献１（特開２０１７−３３３９０号公報）には、スポーツ中継等で同じ形状のボールが映像内に複数表示されていても、特定のボールを高精度で追跡することが可能な技術内容が開示されている。また、特許文献２（特開２０１６−２０７１４０号公報）には、映像内の人物の位置情報を得ることができる技術内容が開示されている。さらには、特許文献３（特開２０１５−１７０８７４号公報）には、複数のネットワークカメラから送信されてきた映像をリアルタイムで解析し、人や車等の動体を検知して自動的に管理者にアラートを上げるような大規模管理システムに関する技術内容が開示されている。

特開２０１７−３３３９０号公報 特開２０１６−２０７１４０号公報 特開２０１５−１７０８７４号公報

ところで、映像内における特定個所の追跡および特定個所の映像内における移動が開始、あるいは停止した時間（タイミング）を検出するにあたっては、映像をフレーム分割して特定個所の動作を分析する手法が一般的である。このとき、特定個所を高精度で追跡するためにはフレームレートを増やす必要があるが、フレームレートを増やすと、特定個所の移動開始時間あるいは移動停止時間を検出するためのデータ処理量が膨大になってしまい煩雑であるといった課題がある。これとは反対にフレームレートを減らすと、特定個所の移動開始時間あるいは移動停止時間を検出するためのデータ処理量が少なくなり煩雑さは軽減されるが、特定個所の追跡や特定個所の移動開始時間あるいは移動停止時間を高精度で行うことができないといった課題がある。

そこで本発明は、映像内の特定個所を高精度に追跡することが可能でありながらも、映像内の特定個所の移動が開始、あるいは停止した時間を特定時間データとして抽出する際におけるデータ処理の煩雑さを軽減することが可能な映像解析方法の提供を目的としている。

すなわち本発明は、映像をフレームごとに認識する認識手段と、前記映像の特定個所をマーキングするマーキング手段と、演算手段と、を有する映像解析装置を用い、前記マーキング手段によりマーキングされた前記映像の前記特定個所のフレーム領域内における位置データを所定時間範囲にわたって追跡し、前記特定個所の前記フレーム領域内における移動が開始、あるいは停止したときにおける前記フレームの時間データを特定時間データとして抽出する映像解析方法であって、前記演算手段は、前記フレームの各々に対し、前記時間データおよび前記特定個所の前記フレーム領域内における前記位置データをそれぞれ算出し、前記フレームの各々を対象として、前記特定個所の前記フレーム領域内における前記位置データから、前記特定個所の前記フレーム領域内における移動が開始、あるいは停止したと推定される前記フレームを特定位置到達フレームとして抽出し、当該特定位置到達フレームの前記時間データのうち最大あるいは最小の時間データおよび前記フレーム領域内における前記位置データを特定位置座標として抽出し、前記特定位置到達フレームにおける前記時間データ以降、あるいは前記特定位置到達フレームにおける前記時間データ以前の時間範囲における前記フレームの前記時間データおよび前記フレーム領域内における前記位置データの近似曲線を算出し、前記近似曲線と前記特定位置到達フレームの前記フレーム領域内における前記位置データとの交点における前記時間データを前記特定時間データとして抽出することを特徴とする映像解析方法とすることもできる。

これにより、映像内の特定個所を高精度に追跡することが可能でありながらも、映像内の特定個所の移動が開始、あるいは停止した時間を検出する際におけるデータ処理の煩雑さを軽減することが可能になる。

また、前記演算手段は、前記所定時間範囲における最小の時間あるいは最大の時間のときの前記フレーム領域内における前記位置データを前記特定位置到達フレームの前記フレーム領域内における前記位置データとしていることが好ましい。このとき、前記所定時間範囲における最小の時間あるいは最大の時間のときの前記フレーム領域内における前記位置データは停止した状態になっていることが前提となる。

これにより、特定位置到達フレームの決定が容易になるから、映像内の特定個所が表示装置内において移動が開始した時間、あるいは停止した時間を抽出する際における映像解析の煩雑さを軽減することができる。

また、前記所定時間範囲における前記最大の時間あるいは前記最小の時間のときの前記フレーム領域内における前記位置データは、前記最大の時間あるいは前記最小の時間から所定時間範囲にある前記フレームの前記フレーム領域内における前記位置データの平均値としていることが好ましい。

これにより、前記所定時間範囲における前記最大の時間あるいは前記最小の時間のときの前記フレーム領域内における前記位置データの信頼性を高めることができる。

また、前記演算手段は、前記所定時間範囲における前記最大の時間あるいは前記最小の時間のときの前記フレーム領域内における前記位置データに予め設定した比率を乗じて得た値を前記特定位置到達フレームの前記フレーム領域内における前記位置データとしていることが好ましい。

これにより、特定位置到達フレームの決定が容易になるから、映像内の特定個所の移動が開始、あるいは停止した特定時間データを抽出する際における映像解析の煩雑さを軽減することができる。

本発明における映像解析方法の構成によれば、映像内の特定個所を高精度に追跡することが可能でありながらも、映像内の特定個所の移動が開始、あるいは停止した特定時間データを抽出する際におけるデータ処理の煩雑さを軽減することができる。

参考実施形態における映像解析装置の概略構成図である。 参考実施形態における映像解析方法の概略処理フロー図である。 参考実施形態における特定個所の時間データと座標データの関係を表すグラフである。 第１実施形態における映像解析方法の概略処理フロー図である。 第１実施形態における特定個所の時間データと座標データの関係を表すグラフである。 変形実施形態における特定個所の時間データと座標データの関係を表すグラフである。

本発明における映像解析方法について実施形態に基づいて説明する。

（参考実施形態）
本実施形態で用いられる映像解析装置１００は、図１に示すように映像をフレームごとに認識する認識手段としての高速度カメラ１０と、高速度カメラ１０で撮影した映像の特定個所をマーキングするマーキング手段２２と、マーキング手段２２によりマーキングされた映像の特定個所の映像データを演算するＣＰＵに代表される演算手段２４とを有するパーソナルコンピュータ２０を具備している。

パーソナルコンピュータ２０の記憶部２６には、高速度カメラ１０により撮像された映像データＶＤが記憶される。また、記憶部２６には映像解析プログラムＶＡＰＧＭが予めインストールされていて、映像解析者は、映像解析プログラムＶＡＰＧＭに沿ってマウスやキーボードなどに代表されるデータ入力手段２８を操作することで、本実施形態における映像解析方法を実行することができる。ここでは、映像解析装置１００を用いてバーチャルリアリティー映像を表示するヘッドマウントディスプレー３０の性能判定検査に本発明の映像解析方法を適用した実施形態について説明を行うものとする。

バーチャルリアリティー映像を表示するヘッドマウントディスプレー３０（以下、単にディスプレー３０という）は、使用者の視野がディスプレー３０に表示された画像のみとなるように、使用者の頭部に装着した状態で用いられる。ディスプレー３０は、使用者の動作に合わせて表示面３０ａに表示する映像内容を変化させることで、使用者にバーチャル空間を体感させている。このようなバーチャルリアリティーを体感する際においては、使用者の動きに対してディスプレー３０に表示されている映像が変化するまでのタイムラグが大きいと、使用者が不快な思いをすることがある。このため、実際の使用者の動きとディスプレー３０に表示されている映像が変化するまでのタイムラグが許容できる範囲内であるか否かの確認を行う際に本発明における映像解析方法が用いられる。

具体的には、ディスプレー３０の表示面３０ａに表示されている映像を撮像する高速度カメラ１０と、高速度カメラ１０で撮像された映像データを解析するパーソナルコンピュータ２０とを用いた映像解析方法である。ディスプレー３０には図示しない加速度センサが取り付けられていて、加速度センサにより計測された加速度データＡＤはパーソナルコンピュータ２０に送信可能に設定されている。また、ディスプレー３０は三次元の３軸方向の軸線であるｘ軸、ｙ軸、ｚ軸のそれぞれの軸線周りに回転可能な保持具（図示せず）に保持されている。パーソナルコンピュータ２０の演算手段２４は、加速度センサから送信された加速度データＡＤを加速度計測時間データＡＣＴＤと紐づけさせた状態で記憶部２６に記憶させている。以上が図２に示す解析用データ収集ステップである。

続けて図２を参照しながら本実施形態における映像解析方法を説明する。映像解析者がパーソナルコンピュータ２０のデータ入力手段２８を介してマーキング手段２２に映像の特徴的部分を特定個所としてマーキングさせる（ステップ１）。演算手段２４は、このマーキングした部分（以下、特定個所）を映像のフレーム毎に所定の時間範囲にわたって追跡する。演算手段２４は、ディスプレー３０に表示されている特定個所のディスプレー３０の表示面３０ａに設定されている特定個所位置データＰＬＤ（特定個所のフレーム領域内における位置を示す位置データ）と、そのときの特定個所時間データＰＴＤ（時間データ）とをフレーム毎に抽出し、これらを対にした状態で記憶部２６に記憶させる（ステップ２）。

演算手段２４は、加速度データＡＤと加速度データＡＤを計測している時間データである加速度計測時間データＡＣＴＤとに基づいて、加速度計測時間データＡＣＴＤと、ｘ軸周りの回転加速度、ｙ軸周りの回転加速度、ｚ軸周りの回転加速度をフレーム毎に抽出する（ステップ３）。ここで、特定個所位置データＰＬＤと共に抽出された特定個所時間データＰＴＤと、加速度計測時間データＡＣＴＤは基準時間（時間軸の基準点）を共通させておく処理が施されている。なお、ステップ２とステップ３の順序は入れ替えることもできる。このようにして演算手段２４により所定時間範囲において抽出された特定個所位置データＰＬＤと特定個所時間データＰＴＤをグラフ化したものが図３である。図３のグラフの縦軸は特定個所位置データＰＬＤ（位置データ）を示し、同横軸が特定個所時間データＰＴＤ（時間データ）を示している。

続いて演算手段２４は、フレームの各々を対象として、特定個所のフレーム領域内における変位が所定範囲内（予め記憶部２６に記憶されている閾値）になっている位置を停止推定位置として抽出する。この閾値は適宜設定することができる。本実施形態においては、図３のグラフに示されているように、最終時間までの所要時間範囲における特定個所のフレーム領域内における変位が０になっている（グラフが水平になっていて、特定個所がフレーム領域内において停止した状態を意味する）。したがって本実施形態においては閾値にかかわらず、グラフが水平になっているときの特定個所位置データＰＬＤを特定個所がフレーム領域内での移動を停止したと推定する停止推定位置とし、停止推定位置における特定個所位置データＰＬＤＳとして抽出（ステップ４）し記憶部２６に記憶させている。

また、演算手段２４は停止推定位置の特定個所位置データＰＬＤＳと同じ位置データであると共に特定個所時間データＰＴＤが最初に検出されたフレーム（特定個所位置データＰＬＤＳと同じ位置データであって、かつ時間データが最小の時間であるフレーム）を特定位置到達フレームＰＲＦとして抽出して記憶部２６に記憶させる（ステップ５）。演算手段２４は特定位置到達フレームＰＲＦにおける特定個所時間データＰＴＤＳと特定個所位置データＰＬＤＳを特定個所の停止位置座標ＳＰＣＤとして抽出し、記憶部２６に記憶させる（ステップ６）。

さらに演算手段２４は、特定個所の停止位置座標ＳＰＣＤと、ステップ３で算出した時間データとｘ軸周りの回転加速度、ｙ軸周りの回転加速度、ｚ軸周りの回転加速度とを比較し、ディスプレー３０を装着した使用者の動作変化と、この動作変化に対応するディスプレー３０への映像の表示変化とのディレイタイムＤＴを算出し、記憶部２６に記憶させる（ステップ７）。本実施形態においては、すべての軸周りの回転加速度が０になったときの時間データと、停止位置座標ＳＰＣＤの停止推定位置における特定個所時間データＰＴＤＳとの差を求めればよい。演算手段２４はディレイタイムＤＴが、予め記憶部２６に記憶（設定）されている許容値ＰＶ以下であるかを判断（ステップ８）し、許容値ＰＶ以下であればそのディスプレー３０に対して合格判定を出し（ステップ９）、ディレイタイムＤＴが許容値ＰＶを超えていたらそのディスプレー３０に対して不合格判定を出し（ステップ１０）、本実施形態における処理フローを終了する（ＥＮＤ）。

このように、所定時間範囲内で抽出された特定個所の位置データと特定個所の時間データのグラフにおいて、限定した範囲内での特定個所の位置データおよび時間データを確認することで停止位置座標ＳＰＣＤを抽出することが可能になる。これにより、従来技術に比較して極めて短時間で停止位置座標ＳＰＣＤ（すなわち特定時間データ）を抽出することができるのである。すなわちバーチャルリアリティーにおいて用いられるディスプレー３０の製品性能評価の合否判断を高精度かつ短時間で行うことができる点において好都合である。

（第１実施形態）
本実施形態においては、参考実施形態と共通する構成については参考実施形態で用いた符号を付すことによりここでの詳細な説明は省略している。本実施形態における映像解析方法は、図４に示すように、解析用データ収集ステップからステップ３までは同一であるが、ステップ４以降の処理において相違する。

具体的には、図５に示すように、演算手段２４は、グラフにおいて所定時間範囲の最終時間のときの特定個所位置データＰＰＬＤ（位置データ）と同じ値であって特定個所時間データが最小の時間データであるフレームを特定位置到達フレームＰＰＲＦとして抽出して記憶部２６に記憶させる（ステップ４）。演算手段２４は、特定位置到達フレームＰＰＲＦにおける特定位置到達時間データＰＰＴＤと特定位置到達位置データＰＰＬＤを、特定位置到達時の特定位置座標ＰＰＣＤとして抽出すると共に記憶部２６に記憶させる（ステップ５）。続けて演算手段２４は、特定位置到達フレームＰＰＲＦにおける時間データ以前の時間範囲におけるフレームの時間データおよびフレーム領域内における位置データの近似曲線ＮＣＶを算出する（ステップ６）。このフレームの時間データおよび位置データの近似曲線ＮＣＶの算出方法は、公知の方法を適宜採用することができるので詳細な説明は省略する。なお、図５に示すように近似曲線ＮＣＶは、曲率半径が無限大である直線になることもある。

演算手段２４は、算出した近似曲線ＮＣＶと特定位置座標ＰＰＣＤの特定個所位置データＰＰＬＤとの交点を算出（ステップ７）し、算出した交点における特定個所時間データＰＰＴＤ２および特定個所位置データＰＰＬＤを停止位置座標ＳＰＣＤとして抽出し記憶部２６に記憶させる（ステップ８）。続いて演算手段２４は、特定個所の停止位置座標ＳＰＣＤと、ステップ３で算出した時間データとｘ軸周りの回転加速度、ｙ軸周りの回転加速度、ｚ軸周りの回転加速度とを比較し、ディスプレー３０を装着した使用者の動作変化と、この動作変化に対応するディスプレー３０への映像の表示変化とのディレイタイムＤＴを算出し、記憶部２６に記憶させる（ステップ９）。なお、ディレイタイムＤＴの算出方法は、参考実施形態と同様にして行うことができるため、ここでの詳細な説明は省略する。

演算手段２４は、ディレイタイムＤＴが予め記憶部２６に記憶（設定）されている許容値ＰＶ以下であるかを判断（ステップ１０）し、ディレイタイムＤＴが許容値ＰＶ以下であれば演算手段２４がそのディスプレー３０に対して合格判定を出す（ステップ１１）。これに対し、ディレイタイムＤＴが許容値ＰＶを超えていた場合には、演算手段２４がそのディスプレー３０に対して不合格判定を出し（ステップ１２）、本実施形態における処理フローを終了する（ＥＮＤ）。

本実施形態では、参考実施形態に比較して特定個所の停止位置座標ＳＰＣＤ（すなわち特定時間データ）を算出する際のデータ処理が複雑になるが、従来技術に対しては十分にデータ処理量を削減することができる。また、本実施形態によれば、参考実施形態より高精度で特定個所の停止位置座標ＳＰＣＤ（特定時間データ）の算出が可能になる。

以上の実施形態における特定個所位置データは、特定個所を追跡した所定時間範囲において最終時間のときの位置データとしているが、この形態に限定されるものではない。例えば、特定個所を追跡した所定時間範囲において最大の時間（最終時間）のときの位置データに、予め設定した比率（記憶部２６に予め記憶されている）を乗じて得た値を停止推定位置のフレーム領域内における位置データとして用いることも可能である。

また、演算手段２４は、各実施形態におけるステップ４に代えて、フレームの各々を対象として、特定個所のフレーム領域内における変位が予め設定されている閾値の範囲内であるか否かを判断する停止推定位置判断ステップを実行してもよい。この停止推定位置判断ステップの判断結果に基づいて特定個所が停止したと推定して（判断結果がＹＥＳ）停止推定位置を決定することもできる。判断結果がＮＯである場合には、判断結果がＹＥＳになるまで停止推定位置判断ステップを繰り返し行えばよい。

また、以上の実施形態は、特定個所がフレーム領域内において移動していた状態から停止した際のフレームにおける時間データを特定時間データとして抽出する形態について説明したが、このような形態に限定されるものではない。例えば、図６に示すように演算手段２４は、特定個所がフレーム領域内において停止していた状態から移動を開始した際のフレームを移動開始位置フレームとし、移動開始位置フレームにおける座標ＭＰＣＤにおける位置データをＰＰＬＤとして用いる。

そして演算手段２４はこのときの時間データをＰＰＴＤ２として、このときの時間データＰＰＴＤ２以降における特定個所時間データと特定個所位置データの近似曲線ＮＣＶを算出する。さらに演算手段２４は、算出した近似曲線ＮＣＶに移動開始位置フレームの位置データＰＰＬＤを代入して特定時間データＰＰＴＤを抽出する形態とすることもできる。このような形態においては、第１実施形態において『最小の時間』と『最大の時間』を入れ替え、『時間データ以前』を『時間データ以降』に置き換えればよい。

さらには、以上の実施形態と変形実施形態においては、特定個所の所定時間範囲における最小の時間あるいは最大の時間のときのフレーム領域内における位置データは停止した状態になっていることが前提としているが、この形態に限定されるものではない。以上に説明した実施形態のように認識手段として高速度カメラ１０を用いている場合には、特定個所が完全に停止していなくても、人間の視覚においては停止したと認識することができる場合があるためである。

例えば、演算手段２４は所定時間範囲における最大の時間を含む特定時間範囲の微小変化範囲において、特定個所が予め設定した単位時間当たりの位置変化量以内に収束したときのフレームを特定位置到達フレームＰＲＦとみなし、演算手段２４はこのときの座標を停止位置座標ＳＰＣＤとして採用することもできる。また、所定時間範囲における最小の時間を含む特定時間範囲の微小変化範囲において、演算手段２４は、特定個所が予め設定した単位時間当たりの位置変化量以上に変化したときのフレームを移動開始位置フレームＭＰＣＤとみなすこともできる。移動開始位置フレームＭＰＣＤを算出した後は、演算手段２４が第１実施形態および図６に示した変形実施形態と同様の手順によって特定時間データＰＰＴＤを抽出することができる。

さらには、以上の実施形態における構成に対し、明細書中に記載されている変形例や、他の公知の構成を適宜組み合わせた形態を採用することもできる。

１０ 高速度カメラ
２０ パーソナルコンピュータ，
２２ マーキング手段，２４ 演算手段，２６ 記憶部，２８ データ入力手段，
３０ ディスプレー（ヘッドマウントディスプレー），
３０ａ 表示面，
１００ 映像解析装置，
ＶＤ 映像データ，
ＶＡＰＧＭ 映像解析プログラム，
ＡＤ 加速度データ，
ＡＣＴＤ 加速度計測時間データ，
ＰＬＤ 特定個所位置データ，
ＰＴＤ 特定個所時間データ，
ＰＲＦ 特定位置到達フレーム，
ＰＬＤＳ 停止推定位置における特定個所時間データ，
ＰＴＤＳ ＰＲＦにおける特定個所時間データ，
ＳＰＣＤ 停止位置座標，
ＤＴ ディレイタイム，
ＰＶ 許容値，
ＮＣＶ 近似曲線

Claims (4)

1. 映像をフレームごとに認識する認識手段と、前記映像の特定個所をマーキングするマーキング手段と、演算手段と、を有する映像解析装置を用い、前記マーキング手段によりマーキングされた前記映像の前記特定個所のフレーム領域内における位置データを所定時間範囲にわたって追跡し、前記特定個所の前記フレーム領域内における移動が開始、あるいは停止したときにおける前記フレームの時間データを特定時間データとして抽出する映像解析方法であって、
   前記演算手段は、
   前記フレームの各々に対し、前記時間データおよび前記特定個所の前記フレーム領域内における前記位置データをそれぞれ算出し、
   前記フレームの各々を対象として、前記特定個所の前記フレーム領域内における前記位置データから、前記特定個所の前記フレーム領域内における移動が開始、あるいは停止したと推定される前記フレームを特定位置到達フレームとして抽出し、当該特定位置到達フレームの前記時間データのうち最大あるいは最小の時間データおよび前記フレーム領域内における前記位置データを特定位置座標として抽出し、
   前記特定位置到達フレームにおける前記時間データ以降、あるいは前記特定位置到達フレームにおける前記時間データ以前の時間範囲における前記フレームの前記時間データおよび前記フレーム領域内における前記位置データの近似曲線を算出し、
   前記近似曲線と前記特定位置到達フレームの前記フレーム領域内における前記位置データとの交点における前記時間データを前記特定時間データとして抽出することを特徴とする映像解析方法。
2. 前記演算手段は、
   前記所定時間範囲における最小の時間あるいは最大の時間のときの前記フレーム領域内における前記位置データを前記特定位置到達フレームの前記フレーム領域内における前記位置データとしていることを特徴とする請求項１記載の映像解析方法。
3. 前記所定時間範囲における前記最大の時間あるいは前記最小の時間のときの前記フレーム領域内における前記位置データは、前記最大の時間あるいは前記最小の時間から所定時間範囲にある前記フレームの前記フレーム領域内における前記位置データの平均値としていることを特徴とする請求項１または２に記載の映像解析方法。
4. 前記演算手段は、
   前記所定時間範囲における前記最大の時間あるいは前記最小の時間のときの前記フレーム領域内における前記位置データに予め設定した比率を乗じて得た値を前記特定位置到達フレームの前記フレーム領域内における前記位置データとしていることを特徴とする請求項１または２に記載の映像解析方法。

Images