JP5548202B2 - ビデオデータベース中にアーカイブ化された画像のストリームに基づくシーン検索の最適化方法 - Google Patents

Description

本発明は、ビデオデータベース中にアーカイブ化された画像のストリーム中のシーンの検索を最適化する方法に関するものである。

本発明は、記録媒体上に記憶され、コンピュータによって実行した際に上記方法を実行することを意図したソフトウェア、及び上記方法を実行するのに適した装置にも関するものである。

ビデオ画像は、産業用途では工程監視及び管理用に、及び公的及び私的な場所用のビデオ監視用途において、ますます利用されている。これらの用途は一般に、監視領域の異なる視点における高信頼性の画像を提供するように入念に構成されたカメラネットワークを使用する。異なるカメラによって提供される画像は圧縮され、そして後に使用するためにビデオデータベース中に記憶される。大部分の用途では、特にビデオ監視分野では、この利用法は、特にネットワークが、例えば町のような広い地域にわたって散在する多数のカメラが含む際には、大量のビデオ画像を処理することを必要とする。記憶される画像の量は急速に大きくなり、考えられる用途に関係する動作や対象物を抽出するためにオペレータが迅速かつ効果的な画像の分析を実行して、考慮する用途に関係する行動または対象物を抽出することができるには過度に大量になる。

実際は、調査は、数万時間ものビデオを視聴及び／または処理することを必要とし得る。このため、取得時にビデオの事前索引（インデックス）付けが行われていなければ、所望の情報を見出すことは困難である。さらに、検索中に入手可能なビデオは記憶されているビデオであり、従って圧縮されており、もはや、可能な最上質の情報抽出のための最適な画質を有しない。

従来技術では、所定の事象または指示に対して警報を発生するシステムが存在する。しかし、一部の用途では、警報を発生する事象及び指示は、関連情報を提供する性質の対象物（個人、車両）を探して、アーカイブ全体を迅速かつ効果的にナビゲートする（辿る）には不十分であり得る。このことは例えば、カメラによって監視される地域の種々の地点で、群衆中の容疑者を探す際である。

現在のビデオ監視システムの１つの欠点は、これらのシステムが、現在の事象のみを扱い、所定事象に対して警報を発生することに関係する。こうしたシステムの「メモリ」の概念は、記録されるビデオ及び検出される警報に限定される。

これらのシステムは、当該事象が発生した際には警報を発生しなかったが、後の調査に関連して決定的になった事象を発見することを可能にしない。

本発明の第１目的は、これらのシステムが、オペレータによって分析されるデータ量を限定することによって、及びカメラによって取得した画像のストリームに体系的に注記付けして調査に関係するビデオシーケンス（映像列）の迅速な選択を可能にすることによって、効果的な調査を可能にするように、こうしたシステムのメモリを編成することにある。

本発明の第２目的は、オペレータが、圧縮前のビデオストリーム上の情報を抽出して最高画質を利用することを可能にする体系的索引付けを用いて、迅速かつ効果的にビデオアーカイブをナビゲートすることを可能にする、実体的ツール及びソフトウェアを提供することにある。

本発明は、（画像）ストリームへの包括的かつ体系的な注記付け、包括的要求からの無関連なビデオの選別、及び対象を絞った検索からの関係するビデオの選択に基づく、ビデオアーカイブ内の調査を支援する方法を提案する。

この方法は：
画像のアーカイブ化に先行する前処理の第１段階であって：
上記ストリームの画像から包括的情報を抽出するステップと、
この包括的情報の関数として定義される少なくとも１つの指標によって、上記画像のシーンに体系的に注記付けするステップと、
１つ以上のストリームから生じた上記指標から抽出した情報に基づいて、上記画像のシーンに索引付けするステップとを含む第１段階と、
上記画像に関連する上記注記付けの指標を備えた画像のストリームから、ビデオセグメントを事前選択することによる調査の第２段階と、
上記事前選択したビデオセグメントに関連する上記注記付けの一部分を形成しない少なくとも１つの追加的特徴に基づいて特定シーンを検索する第３段階とを含む。

第３段階は、上記事前選択したビデオセグメント中の上記追加的特徴を認識することを可能にするトレーニング（学習）ステップ含むことが好ましい。

本発明によれば、特定シーンを検索する第３段階は、上記追加的特徴、及び上記事前選択したビデオセグメントに関連する上記注記付けを含む包括的要求を用いて実行する。この検索段階では、上記事前選択したビデオセグメントについての追加的情報を抽出するための処理を適用し、この追加的情報を、上記検索（認識）した特定の（追加的）特徴のためのトレーニングモデルに含まれる情報と比較する。

本発明の他の特徴によれば、上記画像から抽出した上記包括的情報を、上記検索したシーンの考えられる用途の関数として定義する。

本発明の方法の１つの可能な応用は、ビデオ監視カメラのネットワークによって得られた画像のストリーム中の特定シーンを検索することに関する。

この場合は、これらのカメラによって得られた画像のストリームからのシーンの注記付けは、ビデオ監視ネットワークの各カメラによって得られた各ビデオストリームに対して、ストリーム毎に独立して行う。

１つの好適例では、上記シーンの注記付けは、上記前処理の装置または上記処理の装置のいずれかによって、いくつかの別個のストリームに関連する注記を処理することによって行う。

本発明の他の好適例では、上記シーンの注記付けは、いくつかの別個のストリームに関連する注記を併合することによって行うことができる。この好適例は、例えばいくつかのカメラを含むシステムによって行われるビデオ監視の用途に特に適している。

本発明の第１の代案の好適例では、上記前処理の第１段階を、画像の取得時に実行する。

本発明の第２の代案の好適例では、上記前処理の第１段階を、画像のアーカイブ化中に実行する。

本発明の方法は、記録媒体上に記憶され、コンピュータによって実行可能なソフトウェアによって実行される。このソフトウェアは：
画像のアーカイブ化に先行する前処理段階を実行するための命令を含む第１モジュールであって、この前処理段階が：
上記ストリームの画像から包括的情報を抽出するステップと、
この包括的情報の関数として定義される少なくとも１つの指標によって、上記画像のシーンに体系的に注記付けするステップと、
１つ以上のストリームから生じた上記指標から抽出した情報に基づいて、上記画像のシーンに索引付けするステップとを含む第１モジュールと、
上記画像に関連する上記注記付けの指標を備えた画像のストリームから、ビデオセグメントを事前選択することによる調査段階を実行するための命令を含む第２モジュールと、
上記事前選択したビデオセグメントに関連する上記注記付けの一部分を形成しない少なくとも１つの追加的特徴に基づいて特定シーンを検索する段階を実行するための命令を含む第３モジュールとを備えている。

上記ソフトウェアは、ビデオデータベース中にアーカイブ化した画像のストリームからのシーンの検索を最適化する装置内に実装することができ、この装置は：
上記画像のアーカイブ化に先行する前処理段階を実行することを意図した第１装置であって：
上記ストリームの画像から包括的情報を抽出する手段と、
この包括的情報の関数として定義される少なくとも１つの指標によって、上記画像のシーンに体系的に注記付けする手段と、
１つ以上のストリームから生じた上記指標から抽出した情報に基づいて、上記画像のシーンに索引付けする手段とを備えた第１装置と、
上記画像に関連する上記注記付けの指標を備えた画像のストリームから、ビデオセグメントを事前選択することによる調査段階を実行することを意図した第２装置と、
上記事前選択したビデオセグメントに関連する上記注記付けの一部分を形成しない少なくとも１つの追加的特徴に基づいて特定シーンを検索する段階を実行することを意図した第３装置とを備えている。

本発明の他の特徴及び利点は、図面を参照した、非限定的な例としての以下の説明より明らかになる。

本発明の方法を実行する取得兼画像システムの全体構造を概略的に示す図である。 本発明によるビデオセグメントの検索の主要ステップを示すブロック図である。

図１に、例えばビデオ監視ネットワーク内のカメラ２のネットワークによって得られた画像の取得及び処理用のシステムを例示する。各カメラ２の出力は、注記付けモジュール６及び圧縮モジュール６を含む第１前処理装置４に接続されている。各処理装置４の出力は、注記併合モジュール１２及びメモリ１４を含む第２前処理装置１０に接続されている。第２前処理装置１０の出力は索引付け装置１６に接続され、索引付け装置１６は集中型または分散型とすることができ、検索装置１８と通信する。検索装置１８は後処理モジュール１９にも接続され、後処理モジュール１９は、上記トレーニング（学習）、及び検索中の特定の特徴の検索を行う。

動作中には、カメラ２によって得られた画像は、圧縮前に、このカメラに関連する第１前処理装置４に伝送される。

処理装置４の注記付けモジュール６はソフトウェアを含み、このソフトウェアの機能は、カメラから受信した画像に包括的注記を追加することを意図したアプリケーションに適合させることができる。

従って、ビデオ監視用途では、移動物体（歩行者、車両）を検出して特性化する問題とすることができる。総括的注記は、例えば「歩行者」、「車両」、物体に関連する軌跡、特性化の属性、等である。

産業プロセス（工程）を監視する用途では、コンベヤのベルト上を流れる物体を検出して特性化することを含むことができる。この場合は、総括的注記は、例えば物体の形状及び色である。シーンの注記付けは、いくつかの別個のストリームに関連する注記を処理することによって行う。このことは、ストリーム毎に独立して行うか、あるいは、注記併合モジュール１２を用いて、各ストリーム上に作成された注記を併合することによって、即ちいくつかのストリーム（例えばビデオ監視におけるマルチ（複数）カメラ追跡）の注記を併合することによって行うことができる。これらの注記は、これらのカメラのできる限り近くで局所的に（前処理装置４内で）抽出するか、あるいは、処理装置１２内で索引付けする前に、抽出することができる。

一旦、注記を定義して画像に関連付けると、これらの画像を圧縮し、そしてメモリ１４に記憶する。

次に、記憶している画像に、索引付け装置１６において体系的索引付けを施す。この索引付けは、上記調査段階中にオペレータが指定した検索基準に対応しない画像を迅速に除外することを可能にする。従って、例えばビデオアーカイブ中の歩行者に関心がある場合に、自動車のみを有するすべてのシーケンスは、検索から自動的に除外される。データベース中のナビゲーションは、前処理装置４のソフトウェアに適用される包括的でない特徴を認識するトレーニング（学習）段階によって最適化することができる。

従って、包括的性質でない追加的特徴を有する個人を探している場合、例えば「探している個人が赤いバックパックを持っている」場合は、後処理装置１９は、包括的特徴（即ち、歩行者のシーケンス）に基づいて事前選択したセグメントの中から、赤いバックパックを持っている歩行者のシーケンスを自動的に選択するように構成することができる。

この構成は、「赤いバックパックの存在」という概念を学習することによって得られ、従って、事前選択したビデオに対して実行及び適用される。

マルチメディア用途では、シーンを複数ショットに切り分け、各ショットを特性かすることを含むことができる。

従って、映画アーカイブ中で所定の俳優のシーケンスを検索する際は、この検索に、人物を含むショットに索引付けして事前選択するステップが先行する。

図２に、データベースからビデオセグメントを検索するステップを例示する。

ステップ２０では、オペレータが検索装置１８を用いて、ビデオセグメントの検索要求を出す。この要求は、前処理段階中に検索した対象物に関連する包括的基準を原則的に含む。

ステップ２２では、索引付け装置１６が、この包括的基準を満たす対象物を、前処理段階中に事前選択したセグメントの中から検索し、見出したセグメントを後処理装置１９に送信する。

検索する対象物が他の包括的でない特徴を有する場合は、後処理装置１９内に含まれるモデル化装置２６から得られるモデルを用いて、検索を最適化する。モデル化装置２６は、包括的注記及び追加的な特定基準を考慮に入れて、モデルを構築する。

本発明は、調査に関係して、より一般的には、ビデオデータベース中の対象を絞ったすべての検索（産業上の観察、マルチメディア、等）に使用することのできるインテリジェントなビデオ監視システム内で実現することができる。

本発明の方法は、特定の個人、車両または事象を検索するのに必要な操作数、及び検索時間を大幅に低減することを可能にする。

Claims (9)

1. ビデオデータベース中にアーカイブ化された画像のストリームに基づくシーンの検索を最適化する方法において、
   前記画像のアーカイブ化に先行する前処理の第１段階であって、
   前記ストリームの画像から包括的情報を抽出するステップと、
   前記包括的情報の関数として定義される少なくとも１つの指標によって、前記画像のシーンに体系的に注記付けするステップであって、複数の別個のストリームに関連する注記付けを処理することによって前記シーンの注記付けを行うステップと、
   １つ以上のストリームから生じた前記指標から抽出した情報に基づいて、前記画像のシーンに索引付けするステップとを含む第１段階と、
   前記画像に関連する前記注記付けの指標を備えた前記画像のストリームから、ビデオセグメントを事前選択することによる調査の第２段階と、
   前記事前選択したビデオセグメントに関連する前記注記付けの一部分でない少なくとも１つの非包括的な追加的特徴を認識することを可能にするトレーニングステップと、
   前記非包括的な追加的特徴に基づいて特定シーンを検索する第３段階と
   を含み、
   前記事前選択したビデオセグメントに関連する前記注記付けを含む包括的要求を用いて前記第３段階を実行し、前記非包括的な追加的特徴は、前記注記付けの一部分を形成しないことを特徴とする方法。
2. 前記画像から抽出した前記包括的情報が、前記検索したシーンの考えられる用途の関数として定義されることを特徴とする請求項１に記載の方法。
3. ビデオ監視カメラのネットワークによって得られた画像のストリーム中の特定シーンを検索することを含むことを特徴とする請求項２に記載の方法。
4. 前記シーンの前記注記付けを、前記ビデオ監視カメラのネットワークの各カメラによって得られた前記ストリームに対して、ストリーム毎に独立して行うことを特徴とする請求項３に記載の方法。
5. 前記シーンの前記注記付けを、前処理装置(6)または処理装置(12)のいずれかによって、複数の別個のストリームに関連する注記を処理することによって行うことを特徴とする請求項４に記載の方法。
6. 前記前処理の第１段階を、前記画像の取得時に実行することを特徴とする請求項１に記載の方法。
7. 前記前処理の第１段階を、前記画像のアーカイブ化中に実行することを特徴とする請求項１に記載の方法。
8. 記録媒体上に記憶され、コンピュータによって実行した際に、請求項１〜７のいずれかに記載の方法を実行することを意図したソフトウェアにおいて、
   前記画像のアーカイブ化に先行する前処理段階を実行するための命令を含む第１モジュールであって、前記前処理段階が、
   前記ストリームの画像から包括的情報を抽出するステップと、
   前記包括的情報の関数として定義される少なくとも１つの指標によって、前記画像のシーンに体系的に注記付けするステップであって、複数の別個のストリームに関連する注記付けを処理することによって前記シーンの注記付けを行うステップと、
   １つ以上のストリームから生じた前記指標から抽出した情報に基づいて、前記画像のシーンに索引付けするステップとを含む第１モジュールと、
   前記画像に関連する前記注記付けの指標を備えた前記画像のストリームから、ビデオセグメントを事前選択することによる調査段階、及び前記事前選択したビデオセグメントに関連する前記注記付けの一部分でない少なくとも１つの非包括的な追加的特徴を認識することを可能にするトレーニング段階を実行するための命令を含む第２モジュールと、
   前記追加的特徴に基づいて特定シーンを検索する段階を実行するための命令を含む第３モジュールと
   を備え、
   前記特定シーンを検索する段階は、前記事前選択したビデオセグメントに関連する前記注記付けを含む包括的要求を用いて実行され、前記非包括的な追加的特徴は、前記注記付けの一部分を形成しないことを特徴とするソフトウェア。
9. ビデオデータベース中にアーカイブ化された画像のストリームからのシーンの検索を最適化する装置において、
   前記画像のアーカイブ化に先行する前処理段階を実行することを意図した第１装置(4)であって：
   前記ストリームの画像から包括的情報を抽出する手段と、
   前記包括的情報の関数として定義される少なくとも１つの指標によって、前記画像のシーンに体系的に注記付けする手段(6)であって、複数の別個のストリームに関連する注記付けを処理することによって前記シーンの注記付けを行う手段と、
   １つ以上のストリームから生じた前記指標から抽出した情報に基づいて、前記画像のシーンに索引付けする手段と、
   前記画像に関連する前記注記付けの指標を備えた前記画像のストリームから、ビデオセグメントを事前選択することによる調査段階と、前記事前選択したビデオセグメントに関連する前記注記付けの一部分でない少なくとも１つの非包括的な追加的特徴を認識することを可能にするトレーニング段階とを実行することを意図した第２装置(16)と、
   前記非包括的な追加的特徴に基づいて特定シーンを検索する段階を実行することを意図した第３装置(18)と
   を備え、
   前記特定シーンを検索する段階は、前記事前選択したビデオセグメントに関連する前記注記付けを含む包括的要求を用いて実行され、前記非包括的な追加的特徴は、前記注記付けの一部分を形成しないことを特徴とする装置。
   

Images