JP6607886B2 - 映像解析方法 - Google Patents

Description

本発明は、映像を解析する方法に関する。

映像を解析する必要性は様々な分野で存在している。
例えば、特許文献１：特開２０１７−３３３９０号公報には、スポーツ中継などで同じ形状のボールが映像内に複数存在していても、特定のボールに関して追跡精度を高めることができる内容が開示されている。

また、特許文献２：特開２０１６−２０７１４０号公報には、映像内の人物の位置情報を得ることができる内容が開示されている。

さらに、特許文献３：特開２０１５−１７０８７４号公報では、複数のネットワークカメラからの映像をリアルタイムで解析し、人や車などの動体を検知して自動的に管理者にアラートを上げるような大規模監視システムが開示されている。

特開２０１７−３３３９０号公報 特開２０１６−２０７１４０号公報 特開２０１５−１７０８７４号公報

ところで、映像をモニタに出力する映像表示装置本体又はモニタが省電力モードに設定されていると、モニタに表示される映像は、元の映像の全フレームを表示するものではなく、何も表示されないフレーム（例えば、全面が黒などの同一色になっている）又は一部が表示されないフレームが所定間隔をあけて配置される場合もある。

このように、何も表示されないフレーム又は一部が表示されないフレームが存在している場合でも、特定のフレームレート（例えば３０フレーム／ｓ以上）であれば、肉眼では何も表示されないフレーム又は一部が表示されないフレームの存在は認識できない。
しかし、映像解析装置等で映像内の特定個所を追跡するにあたっては、何も表示されないフレーム又は一部が表示されないフレームでは特定個所をロストしてしまい、特定個所の追跡ができないという課題がある。

そこで、本発明は上記課題を解決すべくなされ、その目的とするところは、映像内の特定個所の追跡を正確に実行できる方法を提供することにある。

本発明にかかる映像解析方法によれば、映像をフレームごとに認識する認識手段と、映像内の特定個所をマーキングするマーキング手段と、を有する解析装置を用い、映像内の特定個所の位置を時間経過に伴って追跡する映像解析方法であって、前記解析装置は、フレームごとの映像における輝度を検出する輝度検出手段を有し、前記輝度検出手段は、任意のフレームから各フレームの輝度を順番に検出し、前記認識手段は、輝度のピークを有するフレームのみに対して、順番に前記特定個所の認識を実行するとともに、前記輝度のピークを有するフレームにおいて、特定個所の認識ができなかった場合、該フレームの前後の所定の数のフレームに対して前記特定個所の認識を実行することを特徴としている。
この方法を採用することによって、輝度のピークを有するフレームであれば何も表示されないフレームではないことが明らかであるから、このフレームで特定個所の認識を行うことにより、特定個所を見失うことなく追跡を正確に行える。
また、この方法によれば、ピークのフレームにおいて何らかの事情により、特定個所の認識が出来ない可能性もあるため、ピークの前後において特定個所を見つけることができる。

また、前記認識手段は、前記輝度のピークを有するフレームの前後の所定の数のフレームにおいて、特定個所の認識ができなかった場合、次の輝度のピークを有するフレームにおいて前記特定個所の認識を実行することを特徴としてもよい。
この方法によれば、ピークのフレーム及びその前後の所定数のフレームにおいて何らかの事情により、特定個所の認識が出来ない可能性もあるため、その次のピークに移行して特定個所を見つけることができる。

また、前記輝度検出手段は、前記輝度のピークを探知する際に、輝度が所定の閾値を越え、次に閾値より下がった範囲の中のフレームで最も輝度の高いフレームをピークとすることを特徴としてもよい。

また、前記輝度検出手段は、前記輝度のピークを探知する際に、輝度が所定の閾値を越え、次に閾値より下がった範囲の中のフレームのうちの、中間のフレームをピークとすることを特徴としてもよい。

また、前記輝度検出手段は、前記輝度のピークを探知する際に、輝度のピークの出現周期を算出し、算出した出現周期ごとのサンプリングに基づいてピークとなるフレームを算出することを特徴としてもよい。

本発明の映像解析方法によれば、映像内の特定個所の追跡を正確に実行できる。

映像解析方法に用いるシステムの構成を示す説明図である。 何も表示されないフレームの例を説明する説明図である。 第１の実施形態に用いる解析装置の内部構成を示す説明図である。 第１の実施形態を示すフローチャートである。 第２の実施形態に用いる解析装置の内部構成を示す説明図である。 第２の実施形態を示すフローチャートである。 フレームごとに検出した輝度を示すグラフである。 第２の実施形態における他の形態を示すフローチャートである。 ピーク算出方法の第１の実施形態を示す説明図である。 ピーク算出方法の第２の実施形態を示す説明図である。 第３の実施形態を示すフローチャートである。

以下、映像解析方法の実施形態を説明する。
まず、映像解析方法を実現するシステム構成について、図１に基づいて説明する。
映像解析の対象となるのは、例えばバーチャルリアリティのゲームや体感イベントなどで用いられる、映像表示装置の一例としてのヘッドマウントディスプレイ１０をあげることができる。

ヘッドマウントディスプレイ１０は、体験者の頭部に装着され、頭部を動かすことでその方向に視線が移動するように表示映像が制御される。
ヘッドマウントディスプレイ１０の出荷時などにおいて実行する動作確認として、ヘッドマウントディスプレイ１０にテスト映像を入力し、ヘッドマウントディスプレイ１０を動かしていったときに、表示されている映像と、実際のヘッドマウントディスプレイ１０の動きとのズレを検出する必要がある。

そこで、ヘッドマウントディスプレイ１０の表示面１０ａに表示されている映像を撮像する高速度カメラ２０と、高速度カメラ２０で撮像された映像を解析する解析装置２２とを用い、ヘッドマウントディスプレイ１０に表示されている映像において、特徴ある部分をマーカーとして特定し、このマーカーをフレームごとに追跡することにより、ヘッドマウントディスプレイ１０に表示されている映像の移動を検出する。

なお、ヘッドマウントディスプレイ１０が省電力モードに設定されている場合など、所定フレーム数おきに、何も表示されないフレーム又は一部が表示されないフレームが存在することがある。何も表示されないフレームは、一般的には全面黒色の映像である。

このような全面黒色のフレーム及び一部が表示されないフレームを含む連続したフレーム映像の例を、図２に示す。
図２では、上から下に向けて時間が経過した状態を示している。最初の一番上のフレームでは、中央に丸の周囲を四角形で囲んだマーカー（特定個所）を示している。上から２番目のフレームでは、画面の左半分以上が黒色となっており、マーカーの認識が出来なくなっている。上から３番目のフレームでは、画面全体が表示されており、一番最初のフレームと比較してマーカーが少し左側に移動したことが認識できる。上から４番目のフレームは、全面黒色のフレームであり、マーカーの認識が出来なくなっている。一番下のフレームは、画面全体が表示されており、上から３番目のフレームよりさらにマーカーが左に移動したことが認識できる。

ここでは５つのフレームのみを図示したが、実際には、この前後にもフレームが連続している。
このように複数の連続したフレームのうち、全面黒色のフレーム又は一部が表示されないフレームが存在すると、マーカーの追跡が正確に行えない場合が生じる。

本発明では、全面黒色のフレームが存在しているか又は一部が表示されないフレームが存在している映像において、マーカーを正確に追跡すべく、以下に説明するような種々の手法を採用している。

（第１の実施形態）
図３に、本実施形態で用いる解析装置の構成を示す。
解析装置２２は、モニタ２３と、本体２５とを備えており、本体２５内には、ＣＰＵ及びメモリ等から構成される制御部２７と、ハードディスクドライブ等の記憶装置２９とが設けられている。
制御部２７は、高速度カメラ２０で撮像された映像のフレーム単位ごとのフレーム映像を認識する認識手段２４と、認識手段２４によって認識されたフレーム単位の映像において特定個所をマーキングするマーキング手段２６と、を有している。認識手段２４及びマーキング手段２６は、所定の動作を実行するプログラムをＣＰＵが実行することによって実現される。
認識手段２４は、フレームごとにマーキング手段２６によってマーキングされたマーカーを認識する。

なお、解析装置２２としては通常のコンピュータを採用してもよい。この場合、解析装置２２の解析機能を実現する解析プログラムをコンピュータが実行することで、通常のコンピュータが解析装置２２として機能する。

第１の実施形態による解析方法を図４に基づいて説明する。
最初に、高速度カメラ２０は、ヘッドマウントディスプレイ１０の表示面１０ａに表示されている映像を撮像し、撮像されたデータは解析装置２２の記憶装置２９に記憶されているものとする。

制御部２７は、撮像されたデータの最初のフレームをモニタ２３に表示させる（ステップＳ１０１）。なお、ここでは制御部２７は、撮像された映像のうち最初のフレームをモニタ２３に表示させることとしたが、撮像された映像のうち任意のフレームからモニタ２３に表示させればよい。
作業者は、撮像されたデータの最初のフレームの中から特定個所をマーキング手段２６によってマーキングする（ステップＳ１０２）。

次に、認識手段２４は、フレームごとに順番にマーカーを認識する（ステップＳ１０４）。認識手段２４がマーカーの認識ができると、次のフレームに移行してマーカーの認識動作を実行する（ステップＳ１０５）。
ただし、認識手段２４がマーカーの認識ができなかった場合も、次のフレームに移行してマーカーの認識動作を実行する（ステップＳ１０５）。なお、マーカーの認識ができなかった場合としては、全面黒色のフレームの場合又は一部が表示されないフレーム場合が含まれる。
このようにして、認識手段２４は、マーカーが認識できないフレームが存在していてもそこで、認識動作を停止することなく、次にマーカーが認識できるフレームに移行してマーカーの位置を追跡する。このため、この方法によれば、特定個所を見失うことなく追跡を正確に行うことができる。

（第２の実施形態）
図５に、本実施形態で用いる解析装置の構成を示す。
本実施形態で用いる解析装置２２は、第１の実施形態の解析装置に加え、フレームごとの輝度を検出できる輝度検出手段３０を設けている。それ以外の構成要素は、上述した第１の実施形態と同一であるため、説明を省略する。

第２の実施形態による解析方法を図６に基づいて説明する。
最初に、高速度カメラ２０は、ヘッドマウントディスプレイ１０の表示面１０ａに表示されている映像を撮像し、撮像されたデータは解析装置２２の記憶装置２９に記憶されているものとする。

制御部２７は、撮像されたデータの最初のフレームをモニタ２３に表示させる（ステップＳ２０１）。
作業者は、撮像されたデータの最初のフレームの中から特定個所をマーキング手段２６によってマーキングする（ステップＳ２０２）。

次に輝度検出手段３０が、各フレームの輝度を順番に算出する（ステップＳ２０４）。
そして、認識手段２４は、輝度のピークを有するフレームに対してのみマーカーを認識する（ステップＳ２０６）。

図７に、解析動作実行中のモニタ２３に表示される映像の例を示している。
モニタ２３に表示される画面の右下のグラフは、横軸に時間経過、縦軸に輝度を示したものである。これを見ると分かるように、フレームごとに輝度が大きく異なっており、波形としては細かいのこぎり波状になっている。本実施形態では、輝度のグラフにおいてピークとなっている個所のフレームのみマーカーの認識動作を実行してマーカーの位置を追跡する。このため、この方法によれば、特定個所を見失うことなく追跡を正確に行うことができる。

次に、第２の実施形態の解析方法における他の形態を図８に基づいて説明する。図８は、図６のステップＳ２０４までは共通なので、ステップＳ２０４以降の工程から説明する。
認識手段２４は、輝度のピークを有するフレームに対してマーカーを認識するように動作する（ステップＳ２０６）が、マーカーの認識が出来た場合は、ステップＳ２１０を経て、次のピークのフレームのマーカー認識工程へ移行する（ステップＳ２２０）。

ステップＳ２０６で輝度のピークを有するフレームでマーカーの認識が出来なかった場合、ステップＳ２０８へ移行し、ピークを有するフレームの前後数フレーム（例えば、前後３フレーム）においてマーカーの認識を行う。
認識手段２４は、ピークを有するフレームの前後数フレームでのマーカーの認識が出来た場合はステップＳ２０９を経て、次のピークのフレームのマーカー認識工程へ移行する（ステップＳ２２０）。

また、認識手段２４は、ピークを有するフレームの前後数フレームでのマーカーの認識が出来なかった場合、次のピークのフレームのマーカー認識工程へ移行する（ステップＳ２２０）。

このようにすれば、何らかの事情でピークを有するフレームでのマーカーの認識ができない場合であっても、その前後の数フレームであれば輝度も十分であると考えられ、マーカー認識の確実な実行が期待できる。
また、ピーク前後の数フレームでもマーカー認識が出来ない場合、次のピークへ移行してマーカー認識を行うため、確実に認識できるフレームにおいてマーカー認識を実行できる。

次に、本実施形態における輝度のピークの算出方法について、いくつか説明するが、以下に説明するいずれの算出方法を用いてもよい。
まずピークの算出方法の第１の実施形態を、図９に基づいて説明する。
ピークの算出は、解析装置２２の輝度検出手段３０が実行する。また、輝度に対して、予め閾値を設定しておく。
輝度検出手段３０は、輝度のピークを探知する際に、輝度が閾値を越え、次に閾値より下がった範囲の中のフレームで最も輝度の高いフレームをピークとするように設定する。
これによれば、閾値よりも低い輝度でのピークを探知してしまうことがなく、マーカーを認識できる可能性の高いフレームを選択することができる。

次に、ピークの算出方法の第２の実施形態を、図１０に基づいて説明する。
輝度検出手段３０は、輝度のピークを探知する際に、輝度が所定の閾値を越え、次に閾値より下がった範囲の中のフレームのうちの、中間のフレームをピークとするように設定する。
この場合も、閾値よりも低い輝度でのピークを探知してしまうことがなく、マーカーを認識できる可能性の高いフレームを選択することができる。

次に、ピークの算出方法の第３の実施形態を説明する。
輝度検出手段３０は、輝度のピークを探知する際に、輝度のピークの出現周期を算出し、算出した出現周期ごとにサンプリングして、これに基づいてピークとなるフレームを算出する。

（第３の実施形態）
本実施形態で用いる解析装置の構成は、第２の実施形態での解析装置の構成と同一であり、構成についての説明は省略する。
以下、第３の実施形態による解析方法を図１１に基づいて説明する。
最初に、高速度カメラ２０は、ヘッドマウントディスプレイ１０の表示面１０ａに表示されている映像を撮像し、撮像されたデータは解析装置２２の記憶装置２９に記憶されているものとする。

制御部２７は、撮像されたデータの最初のフレームをモニタ２３に表示させる（ステップＳ３０１）。
作業者は、撮像されたデータの最初のフレームの中から特定個所をマーキング手段２６によってマーキングする（ステップＳ３０２）。

次に輝度検出手段３０が、各フレームの輝度を順番に算出する（ステップＳ３０４）。
次に、認識手段２４は、予め設定された閾値以上の輝度を有するフレームに対して順番にマーカーを認識する（ステップＳ３０６）。
このようにすれば、少なくとも全面黒色のフレームに対してマーカーの認識動作を実行することはなく、特定個所を見失うことなく追跡を正確に行うことができる。

上述してきた実施形態では、映像解析対象はヘッドマウントディスプレイの例について説明したが、映像解析の対象についてはヘッドマウントディスプレイに限定するものではない。

以上本発明につき好適な実施形態を挙げて種々説明したが、本発明はこの実施形態に限定されるものではなく、発明の精神を逸脱しない範囲内で多くの改変を施し得るのはもちろんである。

１０ ヘッドマウントディスプレイ
１０ａ 表示面
２０ 高速度カメラ
２２ 解析装置
２３ モニタ
２４ 認識手段
２５ 本体
２６ マーキング手段
２７ 制御部
２９ 記憶装置
３０ 輝度検出手段

Claims (5)

1. 映像をフレームごとに認識する認識手段と、映像内の特定個所をマーキングするマーキング手段と、を有する解析装置を用い、映像内の特定個所の位置を時間経過に伴って追跡する映像解析方法であって、
   前記解析装置は、フレームごとの映像における輝度を検出する輝度検出手段を有し、
   前記輝度検出手段は、
   任意のフレームから各フレームの輝度を順番に検出し、
   前記認識手段は、
   輝度のピークを有するフレームのみに対して、順番に前記特定個所の認識を実行するとともに、
   前記輝度のピークを有するフレームにおいて、特定個所の認識ができなかった場合、該フレームの前後の所定の数のフレームに対して前記特定個所の認識を実行することを特徴とする映像解析方法。
2. 前記認識手段は、
   前記輝度のピークを有するフレームの前後の所定の数のフレームにおいて、特定個所の認識ができなかった場合、次の輝度のピークを有するフレームにおいて前記特定個所の認識を実行することを特徴とする請求項１記載の映像解析方法。
3. 前記輝度検出手段は、
   前記輝度のピークを探知する際に、
   輝度が所定の閾値を越え、次に閾値より下がった範囲の中のフレームで最も輝度の高いフレームをピークとすることを特徴とする請求項１又は請求項２記載の映像解析方法。
4. 前記輝度検出手段は、
   前記輝度のピークを探知する際に、
   輝度が所定の閾値を越え、次に閾値より下がった範囲の中のフレームのうちの、中間のフレームをピークとすることを特徴とする請求項１又は請求項２記載の映像解析方法。
5. 前記輝度検出手段は、
   前記輝度のピークを探知する際に、
   輝度のピークの出現周期を算出し、算出した出現周期ごとのサンプリングに基づいてピークとなるフレームを算出することを特徴とする請求項１又は請求項２記載の映像解析方法。