JP2023544948A - コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム - Google Patents

Abstract

コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム。映像処理のコンピュータ実装方法が提供される。この方法は、第１の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第１の映像シーケンスを取得することと、第２の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第２の映像シーケンスを取得することとを含む。この方法は、第１の映像シーケンスの記録期間と第２の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、第１及び第２の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも重複の期間からの第１及び／又は第２の映像シーケンスのフレームを使用して少なくとも１つの第１の映像クリップを定義することとをさらに含む。図３

Description

本開示は、コンピュータ実装方法、映像処理のためのコンピュータプログラム及び装置、並びにそのような装置を備える映像監視システムに関する。本開示はまた、映像シーケンスからサムネイルを生成するためのコンピュータ実装方法、コンピュータプログラム、及び装置に関する。特に、本開示は関心のある異なるオブジェクト又はアクティビティを示す映像シーケンスを処理しそのサムネイルを生成する必要がある映像監視の分野に関する。

映像監視システムは一般に、１つ以上のビデオカメラの視野内の物体及び／若しくはアクティビティの検出時に映像データを記録する多数のビデオカメラを含む。これらのビデオカメラは、常時動作しビデオカメラの面積よりも広い面積をカバーする１つ以上のセンサによって、オブジェクト及び／又はアクティビティの検出時に起動することができる。したがって、ビデオカメラによる記録は、有利にはオブジェクト及び／又はアクティビティがビデオカメラの対象領域に現れた時に作動し、残りの時間に停止することができる。このような動作方法は、映像シーケンスの記録を潜在的に重要なイベントに制限し、映像監視システムを動作させるために必要な記憶容量を制限することを可能にする。

記録された映像シーケンスは一般に、１つ以上の記録サーバに格納され、関心のあるオブジェクト又はアクティビティの映像シーケンスを引き出すことを望むオペレータ又はユーザによってアクセスされ得る。オペレータは一般に、映像分析ソフトウェアによって生成されたメタデータに依拠し、関連する映像シーケンスを見つけるために、１つ以上の検索プラグインを用いてメタデータを照会する。この１つ以上の検索プラグインは、有利には外部及び／又は互いに独立し得る（若しくは情報を共有する自然な方法を有さない）、異なるデータベース内のメタデータを照会することができる。そのようなデータベースは、有利には異なる関係者（例えば、パートナー又は第三者）によって作成されてもよい。これらの異なるデータベースは、有利には同じ映像シーケンスに関連するメタデータを含んでもよく、例えば、１つのデータベースは車両の色に関連するメタデータを含んでもよく、別のデータベースは、１つ以上のビデオカメラによって検出される車両の形式及び／又はモデルに関連するメタデータを含んでもよく。１つのデータベースはまた、それが関連する映像シーケンス内の気象に関連するメタデータを含んでもよい。

メタデータはまた、ウェブリソースを介したオンデマンドクエリを介して、又は任意の他の適切な方法でアクセスされてもよい。メタデータは、有利には仮想（又は仮想化）管理ソフトウェア（ＶＭＳ）内のメタデータストリームの形で供給することもできる。

したがって、通常、異なるソースからのメタデータを、単一のビデオカメラに由来する、又は異なるビデオカメラに由来する映像シーケンスに添付する（又は結合する若しくは関連付ける）ことが可能である。言い換えれば、場合によっては、１つのメタデータとビデオカメラとの間に１対１の関係を設ける必要がない。

映像監視データを分析し、特定のオブジェクト又はアクティビティを検出することができる多くの映像分析ソフトウェアモジュールが利用可能である。これらは、典型的には検出されたオブジェクト又はアクティビティの性質を記述するデータと共に、オブジェクト又はアクティビティが検出されたフレーム内の時間及び位置を示すメタデータをビデオストリームに添付するだろう。検出可能なオブジェクトの種類の例は、人、車、ライセンスプレートなどである。いくつかのオブジェクト認識アルゴリズムは年齢及び性別によって人々を分類するのに十分に洗練されており、メタデータは、色、車両の種類、又は人の年齢若しくは人の性別などの検出されたオブジェクトの特性を示すことができる。いくつかの映像分析モジュールはまた、徘徊などの行動のパターンのようなアクティビティを検出することができ、これらはまた、映像監視データに含まれ映像データに関連付けられたメタデータによって示すことができる。メタデータが映像監視データに含まれたとき、特定のオブジェクト、アクティビティ、又はイベントの検索を実行するためにメタデータを使用することができる。例えば、黒のＳＵＶ、若しくは特定の年齢、性別及び髪の色の人物、又は特定のライセンスプレートを有する車両について、検索を実行することができる。

メタデータを生成する映像分析ソフトウェアは、様々な場所で実行することができる。分析ソフトウェアは、ビデオカメラ、分析サーバ、記録サーバー、又はクライアントデバイスで実行することができる。クラウドベースのシステムでは、映像分析がクラウドで実行されてもよい。

オペレータ又はユーザが特定の期間中に２つ以上の検索条件に一致する対象領域の映像シーケンスを引き出すことを望むとき、いくつかの問題が現れる。

第１に、ユーザの検索の結果として、ユーザは検索に使用された各検索プラグインからの映像シーケンスを提示されてもよく、すなわち、各検索プラグインは、検索する条件が何であれ検索結果を、たとえこれらの検索結果が別の検索プラグインからの検索結果と重複していても提供するだろう。例えば、第１の検索プラグインは特定の髪色を有する男性を含む映像シーケンスを提供し、第２の検索プラグインは特定の年齢グループの男性を含む映像シーケンスを提供し、第３の検索プラグインは特定の色の車を含む映像シーケンスを提供するだろう。これらの条件を探していることをユーザが指定した場合、同じシーンを同時に示す３つの映像シーケンスを提示されることはユーザにとって必ずしも有用ではない。この問題は、１つ以上の検索プラグインが複数の検索結果を提供する場合に悪化する。さらにユーザは、これらの映像シーケンスが検索条件にどのように一致するかについての首尾一貫した理解を作成するために、関連付けられたメタデータによって提供されるこれらの映像シーケンスの全てを組み合わせ、閲覧し、処理することができない。要約すると、ユーザは、全ての映像シーケンスについて時間のかかる分析を伴う過度に多くの検索結果を提示される。

第２に、ユーザは、検索結果が検索条件にどの程度一致するべきかを指定することができない。例えば、ユーザは、各プラグインが追加の検索結果を提供するであろうことから、より多くの検索プラグイン（例えば条件）を追加することで検索結果の数を絞り込むことができない。したがって、多くのビデオカメラが多くの記録された映像シーケンスを生成する環境（例えば、ショッピングモール内）では、関連する検索結果を生成するためにより多くの検索条件を追加することと、検索条件の個数を制限することで検索結果の個数を妥当な個数に制限することとの間に、ユーザのトレードオフが存在する。さらに、ユーザは、例えばユーザが１つの条件（例えば、自分が探している車が青色であるか黒色であるか）について自信がないときに、検索条件のいくつかにのみ一致する検索結果を提示することを選択することができない。要約すると、検索結果として提示される映像シーケンスのコンテンツは、ユーザの検索リクエストと適切に一致しない場合がある。したがって、検索結果の関連性を改善することによって、そのようなユーザの検索リクエストにより良く対処することが一般的に必要とされている。

さらに、ユーザによって検索された、関心のある２つのオブジェクト又はアクティビティを示す、より関連するサムネイルを定義することによって、検索結果のユーザへの提示（又は表示）され方を改善する必要もある。

より詳細には、ユーザにより実行された検索の結果として提示されるべき映像シーケンスが、特定のオブジェクト及び／若しくはアクティビティの検出時に別個に記録された２つの映像シーケンスから作成されたシーケンス（又はクリップ）である場合、このクリップのサムネイルを定義する必要がある。

本開示及び添付の特許請求の範囲において提示される技術的解決策は、上記の問題のうちの少なくとも１つに対処することを目的とする。

本発明は、映像処理のコンピュータ実装方法であって、第１の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第１の映像シーケンスを取得することと、第２の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第２の映像シーケンスを取得することと、第１の映像シーケンスの記録期間と第２の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、第１及び第２の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも重複の期間からの第１及び／又は第２の映像シーケンスのフレームを使用して少なくとも１つの第１の映像クリップを定義することと、を含む方法を提供する。

本発明は、映像シーケンスからサムネイルを生成する方法であって、第１の関心のあるオブジェクト又はアクティビティを含む映像シーケンスの第１のフレームを識別することと、第２の関心のあるオブジェクト又はアクティビティを含む映像シーケンスの第２のフレームを識別することと、 映像シーケンスの、第１のフレームの少なくとも一部と第２のフレームの少なくとも一部とを使用してサムネイルを生成することであって、このサムネイルは、第１及び第２の所定のオブジェクト又はアクティビティを含む、生成することと、を含む方法も提供する。この映像シーケンスは、有利には上述した第１の映像クリップであり、第１及び第２のオブジェクト又はアクティビティはそれぞれ、上述した第１の所定の関心のあるオブジェクト若しくはアクティビティ並びに第２の所定の関心のあるオブジェクト若しくはアクティビティである。

この発明の好ましい特徴は、請求項１から１９において記載される。

本発明は、請求項２０に記載の映像処理のためのコンピュータプログラムも提供する。

本発明は、請求項２１又は２２に記載の映像処理装置も提供する。

本発明はまた、請求項２３乃至２５のいずれか一項に記載の映像監視システムを提供する。

ここで、本発明の実施形態は、単なる例として、添付の図面を参照して説明される。

本発明を実装することができる映像監視システムを概略的に示す図。 ２つの異なる検索プラグインのグラフィカルユーザインタフェースを示す図 本発明による映像処理のコンピュータ実装方法のフローチャート。 、 、 、 、 、 、 、 、 、 、 、 、及び 本発明による映像処理のコンピュータ実装方法によって返され得る異なる検索結果を概略的に示す図。 本発明による映像シーケンスからサムネイルを生成するコンピュータ実装方法のフローチャート。 、 、 、 、 、及び 本発明による映像シーケンスからサムネイルを生成するコンピュータ実装方法によって返され得る異なるサムネイルを示す図。

図１は、本発明の実施形態を実装することができる映像監視システム１００の一例を示す。システム１００は、クライアント装置１２０、管理サーバ１３０、映像処理装置１４０、サムネイル生成装置１５０、索引付けサーバ１６０、及び複数のビデオカメラ１１０ａ、１１０ｂ、１１０ｃに接続された記録サーバ１７０を備える。本発明がこの構成に限定されるものではないことに留意されたい。前述のサーバ又は装置のうちの１つ以上は、単一の装置又はサーバに組み合わされてもよい。例えば、クライアント装置１２０、映像処理装置１４０及びサムネイル生成装置１５０の機能は、単一の装置、例えばクライアント装置１２０によって実行することができる。同様に、管理サーバ１３０、索引付けサーバ１６０、及び記録サーバ１７０の機能は、単一のサーバ、例えば記録サーバ１７０によって実行されてもよい。本発明はこの構成に限定されない。他のサーバ又は装置が、システム１００内に存在してもよい。例えば、記録サーバ１７０から即座にアクセスする必要はないが、ユーザが永久に削除することを望んではいない、記録サーバ１７０に格納された古いデータをアーカイブするために、アーカイブサーバ（不図示）が設けられてもよい。なお、主記録サーバに障害が発生した場合には、フェイルオーバ記録サーバ（図示せず）が設けられてもよい。分析サーバは、動き又はオブジェクト検出、顔認識、イベント検出などの画像解析のための分析ソフトウェアを実行することもできる。これらの装置又はサーバのうちのいくつかの機能はまた、異なる装置又はサーバにわたって分散されてもよい。例えば、サムネイル生成装置１５０の機能は、クライアント装置１２０及び記録サーバ１７０にわたって分散されてもよい。

複数の映像監視カメラ１１０ａ、１１０ｂ、１１０ｃは、記録サーバ１７０に映像データを送信する。クライアント装置１２０は例えば、オペレータが、ビデオカメラ１１０ａ、１１０ｂ、１１０ｃから映像データライブを、又は記録サーバ１７０から記録された映像データを閲覧できるインタフェースを提供する固定端末である。

ビデオカメラ１１０ａ、１１０ｂ、１１０ｃは画像データを撮像し、これを複数の映像データストリームとして記録サーバ１７０に送信する。

記録サーバ１７０は、ビデオカメラ１１０ａ、１１０ｂ、１１０ｃによって撮像された映像データストリームを格納する。映像データは、視聴するオペレータによってどのライブストリーム又は記録ストリームが選択されるかに応じて、記録サーバ１７０からクライアント装置１２０にストリーミングされる。

クライアント装置１２０は、第１のネットワーク／バス１２１を介して、管理サーバ１３０、映像処理装置１４０、サムネイル生成装置１５０、索引付けサーバ１６０、及び記録サーバ１７０と通信するように構成される。記録サーバ１７０は、第２のネットワーク／バス１２２を介してカメラ１１０ａ、１１０ｂ、１１０ｃと通信する。本発明はこれらの特定のネットワーク／バス１２１、１２２に限定されず、上述の装置及びサーバは異なる方法で接続されてもよいことに留意されたい。例えば、クライアント装置１２０、映像処理装置１４０、サムネイル生成装置１５０、索引付けサーバ１６０、及び記録サーバ１７０は、管理サーバ１３０に直接接続され、それらの間のインタフェースとして機能してもよい。あるいは、管理サーバ１３０、映像処理装置１４０、サムネイル生成装置１５０、索引付けサーバ１６０、及び記録サーバ１７０は、クライアント装置１２０に直接接続され、それらの間のインタフェースとして機能してもよい。

管理サーバ１３０は、アラームの条件、取り付けられている周辺機器（ハードウェア）の詳細、どの記録サーバにどのデータストリームが記録されているかなど、監視／モニタリングシステム１００の構成に関する情報を管理する管理ソフトウェアを含む。管理サーバ１３０は、オペレータ権限等のユーザ情報も管理する。クライアント装置１２０がシステムに接続されているとき、又はユーザがログインするとき、管理サーバ１３０は、ユーザが映像データを閲覧する権限を与えられているかどうかを判定する。管理サーバ１３０はまた、管理サーバ１３０が構成データをクライアント装置１２０に送信する初期化又はセットアップ処置を開始する。この構成データは、システム内のビデオカメラを定義し、各カメラが接続されている記録サーバを（複数の記録サーバがある場合）定義する。そして、クライアント装置１２０は、構成データをキャッシュに格納する。この構成データは、クライアント装置１２０がビデオカメラを識別し、ビデオカメラ及び／又は記録サーバからデータを取得するために必要な情報を含む。なお、本発明はこの特定の例に限定されるものではなく、構成データが映像監視システムの他の装置やサーバに格納されていてもよいことに留意されたい。

オブジェクト検出／認識は、オブジェクト認識ソフトウェアによって映像データに適用することができる。このオブジェクト認識ソフトウェアは、ビデオストリームに関連付けられ、フレーム内のどこでオブジェクトが検出されたかを定義するメタデータ（又はコンテンツメタデータ）を生成する。このコンテンツメタデータはまた、どの種類のオブジェクト又はアクティビティが検出されたか、例えば、人、車、犬、自転車、アラーム、動きを定義してもよい。他の種類の映像分析ソフトウェアも、挙動検出（例えば、徘徊検出）、ライセンスプレート認識、又は顔認識などのコンテンツメタデータを生成することができる。

メタデータを生成するオブジェクト検出／認識ソフトウェア、若しくは任意の映像分析ソフトウェアは、クライアント装置１２０上で若しくは分析サーバ上で、又は記録サーバ１７０上で若しくはビデオカメラ自体上で実行されてもよい。メタデータが生成されることは、本発明に必須ではない。メタデータは、映像監視データと共に記録サーバに格納され、それに関連付けられる映像データを有していてもいなくても、クライアント装置にストリーミングされてもよい。

図１の映像監視システムは、本発明が実装され得るシステムの一例である。しかしながら、他の構成が可能である。例えば、図１のシステムは「オンプレミス」システムであるが、本発明はクラウドベースのシステムに実装することもできる。クラウドベースのシステムでは、ビデオカメラはデータをクラウドにストリーミングし、少なくとも記録サーバ１７０がクラウド内にある。さらに、映像分析がクラウドにおいて実行されてもよい。クライアント装置は、クラウドからユーザが視聴する映像データを要求する。

クライアント装置１２０は例えば、索引付けサーバ１６０又は記録サーバ１７０からメタデータを取得することができる。あるいは、クライアント装置１２０によって取得された映像データが、他の場所（例えば、分析サーバ、記録サーバ、又はビデオカメラ）で実行される映像分析によって生成されたメタデータを含んでもよい。

本発明を実装することができるさらに別の方法もある。例えば、映像シーケンスの検索は索引付けサーバ１６０又は記録サーバ１７０で実行することができ、検索クエリは、クライアント装置１２０から送信される。

本例では、記録サーバ１７０が専用の分析サーバを必要とせずに分析ソフトウェアを実行し、生成されたメタデータは例えば、図２に示されるものなどのグラフィカルユーザインタフェース（ＧＵＩ）を介して、クライアント装置１２０を介してユーザによって照会され得る索引付けサーバ１６０上で、編成された手法で索引付けされる。

図２のＧＵＩは２つの検索プラグイン（ＳＰ）２００、２１０を備え、記録サーバ１７０に格納された映像シーケンス内の特定の種類のコンテンツを検索し、異なる検索クエリに一致する検索結果として特定の映像シーケンスを返すことができる。本例では、第１の検索プラグイン２００が特定の色及び種類の車両を検索することができ、第２の検索プラグイン２１０は特定の姿勢の、又は特定の動きをしている人を検索することができる。しかしながら本発明は、この例に限定されず、３つ以上の検索プラグインを含むことができる。本発明は例えば、分析ソフトウェアによって生成され、インデックス付けサーバ１６０においてインデックス付けされたメタデータを検索するように構成された１つ以上の検索プラグインを用いて実行することもできる。

ユーザは、ユーザが少なくとも２つの異なる検索条件を定義していれば、同じ種類の、又はそれらの組合せの、関心のある異なるオブジェクト又はアクティビティを検索してもよい。例えば、ユーザは、青い車及び赤い車を検索してもよい。あるいは、ユーザは、青い車及びその音が映像シーケンスに記録されているアラームなどの、異なる種類の関心のあるオブジェクト又はアクティビティを検索してもよい。ユーザは、関心のある２つのオブジェクト、関心のある２つのアクティビティ、又は関心のある１つ以上のオブジェクト及び１つ以上のアクティビティの組合せを検索してもよい。オブジェクトの例としては車両、ナンバープレート、人、動物、標識（矢印など）、又は幾何学的形成が挙げられるが、これらに限定されない。関心のあるアクティビティの例としては、アラーム、音、人、車両、若しくは動物による所定の領域（例えば、フェンスの周囲若しくは後ろの領域など）へのアクセス、又はアクセス制御システム（例えば、バッジシステムによって制御されるドアの後ろの廊下）によって制御若しくはモニタリングされる場所、若しくは資源へのアクセスが挙げられる（ただし、これらに限定されない）。

有利には、映像シーケンスに関連付けられ、映像シーケンス内の関心のあるオブジェクト又はアクティビティに関連するコンテンツメタデータは、アクセス制御に関連する追加のメタデータ（例えば、対象領域を備える建物内のアラームの非アクティブ化に関連するデータなど）で増加されてもよい。次いで、前述のプラグインのうちの１つ以上を、この追加のメタデータを検索するように構成することができる。この追加のメタデータは、当業者に知られている任意の適切なソフトウェアによって生成することができる。

図３は、本質的に４つの工程を含む、本発明による映像処理のコンピュータ実装方法のフローチャートを示す。第１の工程Ｓ３００においてコンピュータは、第１の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第１の映像シーケンスを取得し、第２の工程Ｓ３１０においてコンピュータは、第２の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第２の映像シーケンスを取得するだろう。工程Ｓ３００と工程Ｓ３１０とを同時に実行できることは留意されたい。工程Ｓ３００及びＳ３１０は上述のように、ユーザが２つの検索プラグインに１つ以上の検索条件を入力することによって実行することができる。このようにして、関心のあるオブジェクト及び／又はアクティビティは、ユーザによって事前に決定される。次の工程Ｓ３２０においてコンピュータは、第１及び第２の映像シーケンスの記録期間が時間的に重複するかどうかを判定するだろう。「時間的に重複する」とは、映像シーケンスが少なくとも部分的に同時に記録されていたことを意味する。例えば、２０２０年１０月１日の４時から４時１５分の間に、対象領域内の青い車（第１の所定のオブジェクト）が検出されて消滅したときに、第１の映像シーケンスが記録され、同日の４時１２から４時１７分の間に、同じ対象領域内の走行者（第２の所定のオブジェクト）が検出されたときに、第２の映像シーケンスが記録された。この第１及び第２の映像シーケンスが重複するので、少なくとも２つのオブジェクトを同時に示す重複期間から、第１及び／又は第２の映像シーケンスのフレームを使用して第１のクリップを定義することが可能である。上記の例では、重複の期間である午後４時１２分～４時１５分の期間からの第１及び／又は第２の映像シーケンスからのフレームを使用して、クリップが定義され得る。また、重複期間の前及び／又は後のより多くのフレームを含むより長い映像クリップを定義することも可能である。上記の例では、例えば、午後４時００分から４時１７分の間の記録期間に対応するクリップを定義するために、第１の映像シーケンスからの全てのフレームと第２の映像シーケンスからの全てのフレームとを含むより長い映像クリップを定義することが可能である。あるいは、１つ以上の中間クリップ、例えば、第２の映像シーケンスからの重複期間からの第１及び第２の映像シーケンスからの全てのフレームと、第２の映像シーケンスからの他のどのフレームもない第１の映像シーケンスからの他の全てのフレームと、を含むクリップ、すなわち午後４時００分から４時１５分の間の記録期間に対応するクリップ、又はその重複期間からのからの第１及び第２の映像シーケンスからの全てのフレームと、第１の映像シーケンスからの他のどのフレームもない第２の映像シーケンスからの他の全てのフレームと、を含むクリップ、すなわち午後４時１２分から４時１７分の間の記録期間に対応するクリップを定義することも可能である。

好ましくは、このクリップは、時間的に重複する第１及び第２の映像シーケンスからの全てのフレーム、すなわち、第１及び第２の映像シーケンス間の重複期間からの第１及び第２の映像シーケンスの全てのフレーム、並びに前記重複期間外に存在する第１及び第２の映像シーケンスの全てのフレーム（以下、「ＯＲ」シナリオと称する）、又は重複期間からの第１及び／又は第２の映像シーケンスからの全てのフレームを含むべきであり、これらはあり得る最長の期間の間、全てのユーザの検索調査条件と一致するシーケンスに対応する（以下、「ＡＮＤ」シナリオと称する）。この「ＯＲ」及び「ＡＮＤ」シナリオに対応するクリップは、関心のある２つのオブジェクト及び／若しくはアクティビティを、それらが単独であろうと一緒であろうと対象領域に現れた時間全てにおいて示すクリップ（「ＯＲ」シナリオ又は「ＯＲ」結果）を、又は関心のある２つのオブジェクト及び／若しくはアクティビティのみを、それらが同じ対象領域に一緒に存在した時間全てにおいて示すクリップ（「ＡＮＤ」シナリオ又は「ＡＮＤ」結果）を、ユーザがそれぞれ見ることを可能にするため、ユーザにとって最も有意義となるだろう。

「ＡＮＤ」シナリオに対応するクリップは例えば、ランナーが青い車をカージャックしようとしたかどうかをオペレータが迅速にチェックすることを可能にし、「ＯＲ」シナリオに対応するクリップは例えば、オペレータが青い車が出発した後にランナーをより容易に識別することを可能にする。

明らかに、「ＯＲ」及び「ＡＮＤ」シナリオに対応するクリップは、ユーザの検索条件に基づいて自動化された基準で定義することができる。

このシステムは、「ＯＲ」及び「ＡＮＤ」のいずれかの結果に対応するクリップのみをユーザに提示するように構成されてもよいことは留意されたい。

さらに、「ＯＲ」シナリオに従ってクリップを定義することが可能である場合、「ＡＮＤ」シナリオに従ってクリップを定義することが可能であり、逆もまた同様である。「ＯＲ」及び「ＡＮＤ」シナリオによるクリップは、異なる検索プラグインからの重複検索結果の記録期間が同一である場合にも同一であってもよい。しかしながら、以下でより詳細に説明されるように、そのようなクリップがユーザの検索条件の全てを満たさないとき、例えば、３つの所定の関心のあるオブジェクト及び／又はアクティビティ（又は使用した３つの異なる検索プラグイン）をユーザが検索し、２つの検索プラグインのみから取得された検索結果が時間的に重複するとき、「ＡＮＤ」シナリオに従ってクリップを表示しないことが有利であってもよい。このようにして、ユーザは、ユーザの検索条件全てを同時に示すクリップが存在し得ないということに気が付く。

第１及び第２の映像シーケンスは、同じ対象領域をカバーするように記録される。このようにして、重複期間中に記録された第１及び第２の映像シーケンスからのフレームは同一であり、少なくとも重複期間からの２つの映像シーケンスのいずれかからのフレーム、又は両方の映像シーケンスからのフレームを使用して第１のクリップを定義することが可能である。本発明の文脈では、異なる映像シーケンスのフレームは、それらが互いのコピーである場合、それらに添付されたメタデータを考慮することなく、同一であると見なされる。この目的は、映像シーケンスが同じビデオカメラに由来し、ビデオカメラの単一の視野に対応する場合に、さらに容易に達成される。このビデオカメラは、１８０度を超える、例えば３６０度の視野を提供することができる。しかしながら、対象領域は、複数のビデオカメラによって観察される領域、例えば、異なるビデオカメラの視野を組み合わせることによって得られるパノラマの視野に対応する領域にも対応することができる。

この方法はまた、第１及び／又は第２の映像シーケンスとの重複期間中に少なくとも部分的に記録されており、関心のある別のオブジェクト及び／又はアクティビティを備える対象領域の、任意の追加の映像シーケンスを取得することを含んでもよい。このようにして、第１及び追加の映像シーケンスの間、又は第２及び追加の映像シーケンスの間の重複期間に対応する少なくとも１つの第２のクリップを定義することが可能である。２つ以上のそのような追加の映像シーケンスがある場合、第２のクリップは、（第１、第２、及び追加の映像シーケンスのうちの）取得された映像シーケンスのうちの少なくとも２つの間、例えば２つの追加の映像シーケンスの間の重複期間に対応することができる。「第１の」又は「第２の」クリップという表現は、前述の「ＡＮＤ」及び「ＯＲ」シナリオによる複数の第１若しくは第２の映像クリップの存在を妨げないことに留意されたい。

本発明によれば、第１並びに第２の映像クリップの各々は、前述の「ＡＮＤ」及び「ＯＲ」シナリオに従って、少なくとも２つの映像シーケンスに由来する。クリップは、ある期間中に３つ以上の映像シーケンスが重複する場合、前記３つ以上の映像シーケンスに由来し得ることに留意されたい。

次に、上述の方法を、「ＡＮＤ」及び「ＯＲ」シナリオによる検索結果の組合せを示す図４～図１７の例を用いて説明する。

本開示では、「検索結果」又は「個々の検索結果」という用語は、別段の指定がない限り、「検索プラグイン」から取得される、上述の第１、第２、若しくは追加の映像シーケンスなどの映像シーケンス（又は個々の映像シーケンス）を意味すると理解されなければならない。「検索プラグイン」という語は、任意のそのような映像シーケンスを少なくとも１つの検索条件に基づいて検索するための、例えば、検索可能な所定の関心のあるオブジェクト又はアクティビティの一覧を備えるスクロールダウンメニューを有する検索エンジンを、又は、前記少なくとも１つの検索条件に対応する文章をオペレータが入力することができる検索フィールドなどの手段を指定する。本発明は、検索プラグインがソフトウェア又はコーディングの観点から互いに独立している場合には限定されない。

これらの図では、以下のキーが使用されている。
－ＳＰｘ－Ｒｙ：検索プラグイン「ｘ」で検索された入力検索結果「ｙ」。
－ＯＲ：「ＯＲ」シナリオの出力結果。
－ＡＮＤ：「ＡＮＤ」シナリオの出力結果。
－｛ｚ｝：「ＯＲ」又は「ＡＮＤ」の結果を構成する入力検索結果のコンマ区切りリスト。
－[------|------]：開始括弧及び終了括弧で定義される「タイムライン」上の検索結果のスパン並びにトリガ時間。「－」は映像シーケンスのフレームを示す。「｜」はトリガ時間を示す。「！」は、以下でさらに説明するように、作られたトリガ時間を示す。

映像シーケンスに関連付けられたメタデータは、有利には以下の要素のうちの１つ以上を備えることができる。
「ＢｅｇｉｎＴｉｍｅ」：検索結果の開始時間又はスタート時間。
「ＥｎｄＴｉｍｅ」：検索結果の終了時間。
「ＴｒｉｇｇｅｒＴｉｍｅ」：映像シーケンス内のオブジェクト及び／若しくはアクティビティが可視又は認識可能である、ＢｅｇｉｎＴｉｍｅ並びにＥｎｄＴｉｍｅタイムスパン内のタイムスタンプ。

本発明は、前述の定義に与えられた特定の名称に限定されないことに留意されたい。有利には、トリガ時間は、映像シーケンス内の所定のオブジェクト及び／若しくはアクティビティが最も明らかである又は認識可能である映像シーケンス内の時間に対応する。言い換えれば、トリガ時間は好ましくは、映像シーケンス内の「最も重要である」フレーム、例えば映像シーケンスが歩いて過ぎる疑わしい人を含む場合に対応し、次いでトリガ時間は、その人の顔が最も認識可能であるフレームを指すことができる。

図４は、第１の検索プラグイン（ＳＰ１）及び第２の検索プラグイン（ＳＰ２）がそれぞれ、前述のように、オペレータの２つの検索クエリ（又は条件）のうちの１つにそれぞれ対応する第１の（ＳＰ１－Ｒ０１）及び第２（ＳＰ２－Ｒ０１）の映像シーケンスを返す例を示す。ここで、第１の映像シーケンスが記録されている間に、第２の映像シーケンスが完全に記録されたことが分かる。したがって、第１及び第２の映像シーケンスの記録期間は時間的に重複し、第１及び第２の映像シーケンスの両方の組合せに対応する第１のクリップ（「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）並びに／又は第１及び第２の映像シーケンス間の重複の時間期間からのフレームのみを含む第１のクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）を定義することが可能である。前述のように、オペレータは「ＡＮＤ」及び「ＯＲ」シナリオの両方から、又はそれらのうちの１つだけからクリップを見ることを選択してもよい。あるいは、コンピュータは、両方のシナリオからの、又は１つのシナリオのみからの結果を表示するように構成されてもよい。この例では、第１の映像シーケンス（ＳＰ１－Ｒ０１）のトリガ時間が第１の映像シーケンスと第２の映像シーケンスとの間の重複時間内に入らないことも分かる。しかしながら、第２の映像シーケンス（ＳＰ２－Ｒ０１）のトリガ時間は重複期間内にある。したがって、このトリガ時間に対応する第１及び／若しくは第２の映像シーケンスからのフレームを使用して、第１の映像シーケンスからの第１の所定の関心のあるオブジェクト又はアクティビティを含むサムネイルを、第２の映像シーケンスからの関心のある第２のオブジェクト又はアクティビティとともに生成することが有利である。したがって、このサムネイルは、「ＡＮＤ」及び「ＯＲ」結果におけるオブジェクト又はアクティビティの両方を表す。

図５は、第１（ＳＰ１－Ｒ０１）及び第２（ＳＰ１－Ｒ０２）の映像シーケンスの記録期間が重ならない、すなわち、第１及び第２の映像シーケンスが同時に記録されていなかった例を示す。さらに、同じ検索プラグインに由来する検索結果は、それらの検索結果が同じ所定の関心のあるオブジェクト又はアクティビティを含み、ユーザが検索している、第２の又は追加の所定の関心のあるオブジェクト又はアクティビティを含まないことから、クリップを定義するために使用されない。したがって、これらの２つの理由から、「ＡＮＤ」及び「ＯＲ」シナリオに従ってクリップを定義することは不可能であり、そのようなクリップを表す共通サムネイルはなおさらである。この場合、検索結果は例えば、４つの個々の検索結果（「ＯＲ」結果：｛ＳＰ１－Ｒ０１｝及び｛ＳＰ１－Ｒ０２｝、並びに「ＡＮＤ」結果：｛ＳＰ１－Ｒ０１｝及び｛ＳＰ１－Ｒ０２｝）としてオペレータに提示することができ、あるいは全く提示しないこともできる。

図６は、第１（ＳＰ１－Ｒ０１）及び第２（ＳＰ１－Ｒ０２）の映像シーケンスの記録期間が重複するが、映像シーケンスが（図５の例のように）同じ検索プラグイン（ＳＰ１）に由来する例を示す。例えば、第１（｛ＳＰ１－Ｒ０１｝）及び第２（｛ＳＰ１－Ｒ０２｝）映像シーケンスはそれぞれ、青い車、すなわち、ユーザの検索リクエストと同じ所定の関心のあるオブジェクトを含む。このため、ここでも、「ＡＮＤ」及び「ＯＲ」シナリオに従って任意のクリップを定義することは不可能であり、そのような任意のクリップを表す共通サムネイルはなおさらである。この場合、検索結果は、４つの個々の検索結果（「ＯＲ」結果:｛ＳＰ１－Ｒ０１｝及び｛ＳＰ１－Ｒ０２｝、並びに「ＡＮＤ」結果:｛ＳＰ１－Ｒ０１｝及び｛ＳＰ１－Ｒ０２｝）としてオペレータに提示することもでき、あるいは全く提示しないこともできる。

図７は図５と同様の例を示すが、第１（ＳＰ１－Ｒ０１）及び第２（ＳＰ２－Ｒ０１）の映像シーケンスは２つの異なる検索プラグイン（ＳＰ１及びＳＰ２）に由来する。異なる検索プラグインの検索結果が時間的に重複しないような場合、「ＡＮＤ」シナリオのために、いかなる検索結果もオペレータに提示しないことが有利であり得る。このようにして、オペレータは、オペレータの検索クエリに対応する２つの所定の関心のあるオブジェクト及び／又はアクティビティを含むクリップを定義することが、これらの２つの所定の関心のあるオブジェクト及び／又はアクティビティが決して対象領域に同時に現れないことから、不可能であることに気が付く。

図８は、２つの異なる検索プラグインからの検索結果が時間的に重複するが、第１（ＳＰ１－Ｒ０１）及び第２の映像シーケンス（ＳＰ２－Ｒ０１）のいずれも、第１及び第２の映像シーケンスの他方の記録期間中に完全には記録されなかった例を示す。この場合、第１及び第２の映像シーケンスの全てのフレームを含むクリップ（「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）並びに／又は重複の全期間からの第１及び第２の映像シーケンスからの全てのフレームを含むクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）を定義することが可能である。この例では、第１及び第２の映像シーケンスのトリガ時間のいずれも、重複の期間内に収まらないことが分かる。異なる検索プラグインからの２つの検索結果のみが互いに重複するような場合、最も早いトリガ時間を有する第１又は第２の映像シーケンスからのフレームを使用して、「ＯＲ」シナリオに対応するクリップを表すサムネイルを生成することと、「ＯＲ」シナリオに対応するクリップの第１のフレームを使用して、このクリップを表すサムネイルを生成することが提案される。サムネイルを生成するために使用される「ＡＮＤ」シナリオに対応するクリップの最初のフレームは、このフレームに対応するトリガ時間が個々の検索結果に存在しなかったため、「作られたトリガ時間」を有するものとして定義することができる。

不図示の例によれば、２つの異なる検索プラグインからの検索結果が時間的に重複するが、第１及び第２の映像シーケンスのうちの他方の記録期間中に第１及び第２の映像シーケンスのいずれも完全に記録されなかった場合には、「ＯＲ」シナリオに対応するクリップを表すサムネイルを生成するために、「ＡＮＤ」シナリオのために作られたトリガ時間に対応するフレームを使用することも可能である。この場合、「ＯＲ」シナリオのサムネイルは、図８の例とは対照的に、第１及び第２の所定の関心のあるオブジェクト又はアクティビティの両方を示すであろうし、第１の所定の関心のあるオブジェクト又はアクティビティのみが、「ＯＲ」シナリオに対応するクリップを表すサムネイルに存在する。

関心のある異なるオブジェクト及び／若しくはアクティビティを示すフレームが映像シーケンス又はクリップのサムネイルとして選択されるとき、オペレータによる識別を容易にするために、前記関心のあるオブジェクト及び／又はアクティビティをバウンディングボックス内に囲むことが有利であり得ることに留意されたい。

図９は、第１の検索プラグイン（ＳＰ１）が単一の検索結果（ＳＰ１－Ｒ０１）を返し、第２の検索プラグイン（ＳＰ２）が２つの検索結果（ＳＰ２－Ｒ０１及びＳＰ２－Ｒ０２）を返しており、２つの検索プラグインからの第１の結果のみが時間的に重複する（ＳＰ１－Ｒ０１及びＳＰ２－Ｒ０１）別の例を示す。この場合、時間的に重複する映像シーケンスの全てのフレームを含む第１のクリップ（「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）及び／又は時間的に重複する映像シーケンス間の重複期間からのフレームのみを含む第１のクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）を定義することが可能である。前述のように、異なる検索プラグインからの２つの検索結果のみが互いに重複するような場合には、時間的に重複する映像シーケンスのトリガ時間の中で最も早いトリガ時間を使用して、「ＯＲ」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。任意の他の映像シーケンスと時間的に重複しない映像シーケンスは「ＯＲ」シナリオ（本例ではシーケンス｛ＳＰ２－Ｒ０２｝など）における個々の検索結果として提示することができ、あるいは全く提示しないこともできる。

図１０は、３つ以上の検索プラグイン、より具体的には３つの検索プラグインを含む例を示す。ここで、第１の検索プラグイン（ＳＰ１）は単一の検索結果（ＳＰ１－Ｒ０１）を返し、第２の検索プラグイン（ＳＰ２）は単一の検索結果（ＳＰ２－Ｒ０１）を返し、第３の検索プラグイン（ＳＰ３）は２つの検索結果（ＳＰ３－Ｒ０１及びＳＰ３－Ｒ０２）を返している。第３のプラグインからの２つの検索結果は、前述のように「追加の映像シーケンス」と見なすことができる。この例では、第３の検索プラグイン（ＳＰ３）からの第１の検索結果（ＳＰ３－Ｒ０１）が第１の検索プラグイン（ＳＰ１）からの第１の検索結果（ＳＰ１－Ｒ０１）と重複し、第３の検索プラグイン（ＳＰ３）からの第２の検索結果（ＳＰ３－Ｒ０２）は第２の検索プラグイン（ＳＰ２）からの第１の検索結果（ＳＰ２－Ｒ０２）と重複する。この場合、時間的に重複する異なるプラグインからの映像シーケンスの全てのフレームをそれぞれ含む２つの第１のクリップ（「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ３－Ｒ０１｝及び｛ＳＰ２－Ｒ０１，ＳＰ３－Ｒ０２｝）を定義することが可能である。前述のように、異なる検索プラグインからの２つの検索結果のみが互いに重複するような場合には、時間的に重複する映像シーケンスのトリガ時間の中で最も早いトリガ時間を使用して、「ＯＲ」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。しかしながら、時間的に同時に重複する全ての異なる検索プラグインからの映像シーケンスが存在しないので、「ＡＮＤ」シナリオのために、いかなる検索結果もオペレータに提示しないことが有利であり得る。したがって、「ＡＮＤ」シナリオに対応するクリップ｛ＳＰ１－Ｒ０１，ＳＰ３－Ｒ０１｝及び｛ＳＰ２－Ｒ０１，ＳＰ３－Ｒ０２｝は、好ましくはユーザに提示されないか、又は除去／削除される。「ＮＯＮＥ」という単語は例えば、「ＡＮＤ」結果の一覧に表示することができる。このようにして、オペレータは、オペレータの検索クエリに対応する３つの所定の関心のあるオブジェクト及び／又はアクティビティを含むクリップを定義することが、これらの３つの所定の関心のあるオブジェクト及び／又はアクティビティが決して対象領域に同時に現れないことから、不可能であることに気が付く。あるいは、任意のそのようなクリップを定義することができなかったことを、ユーザに示すことができない。

図１１は２つの検索プラグインを含む例を示しており、第１の検索プラグイン（ＳＰ１）は３つの検索結果（ＳＰ１－Ｒ０１、ＳＰ１－Ｒ０２、ＳＰ１－Ｒ０３）を返し、第２の検索プラグイン（ＳＰ２）は２つの検索結果（ＳＰ２－Ｒ０１、ＳＰ２－Ｒ０２）を返している。この例では、第１の検索プラグイン（ＳＰ１）の第１の検索結果（ＳＰ１－Ｒ０１）が、第２の検索プラグイン（ＳＰ２）の第１の検索結果（ＳＰ２－Ｒ０１）及び第２の検索結果（ＳＰ２－Ｒ０２）と重複する。また、第１の検索プラグイン（ＳＰ１）の第２の検索結果（ＳＰ１－Ｒ０２）は、第２の検索プラグイン（ＳＰ２）の第２の検索結果（ＳＰ２－Ｒ０２）と重複する。前述のように（例えば、図６の例においてなど）、同じ検索プラグインに由来する検索結果は、それらの検索結果が同じ所定の関心のあるオブジェクト又はアクティビティを含み、ユーザが検索している、第２の又は追加の所定の関心のあるオブジェクト又はアクティビティを含まないことから、クリップを定義するために使用されない。本例では、時間的に重複する異なる検索プラグインからの映像シーケンスの全てのフレームを含む３つのクリップ（「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝、｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０２｝及び｛ＳＰ１－Ｒ０２，ＳＰ２－Ｒ０２｝）、異なる検索プラグインからの映像シーケンス間の重複時間のフレームのみを含む２つのクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝及び｛ＳＰ１－Ｒ０２，ＳＰ２－Ｒ０２｝）、並びに／又は１つのフレームだけ重複する異なる検索プラグインからの映像シーケンス間の重複時間の単一のフレームを含む１つのクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０２｝）を定義することが可能である。他の映像シーケンスと重複しない個々の検索結果は、これらの結果がユーザの検索リクエストの検索条件の少なくとも１つを満たすため、「ＯＲ」シナリオにおいてそのように提示することができる。図１０の例と同様に、異なる検索プラグインからの２つの検索結果のみが互いに重複するような場合には、時間的に重複する異なる検索プラグインからの映像シーケンスのトリガ時間の中で最も早いトリガ時間を使用して、「ＯＲ」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。（「ＡＮＤ」結果 ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝などの）「ＡＮＤ」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義するために、時間的に重複する異なる検索プラグインからの映像シーケンスの重複期間内に収まるトリガ時間のうちの最も早いトリガ時間を使用することができる。図８の例と同様に、互いに時間的に重複する異なる検索プラグインからの映像シーケンスの重複期間内にトリガ時間が収まらない場合、「ＡＮＤ」シナリオで定義された対応するクリップの第１のフレームを使用して、このクリップを表すサムネイルを生成することが可能である。サムネイルを生成するために使用される「ＡＮＤ」シナリオに対応する各クリップの最初のフレームは、図８を参照して以前に説明したように、作られたトリガ時間を有するものとして定義することができる（この例では、「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０２｝及び｛ＳＰ１－Ｒ０２，ＳＰ２－Ｒ０２｝を参照）。

図１２は、３つの検索プラグインを含む例を示している。ここでは、異なる検索プラグインからの３つの映像シーケンスが時間的に重複している（検索結果ＳＰ１～Ｒ０１、ＳＰ２～Ｒ０１、ＳＰ３～Ｒ０２）。したがって、時間的に重複する異なるプラグインからの全ての映像シーケンスの全てのフレームを使用するクリップ（「ＯＲ」シナリオ（｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１，ＳＰ３－Ｒ０２｝）及び／又は時間的に重複する異なるプラグインからの全ての映像シーケンスの重複時間のフレームのみを使用するクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１，ＳＰ３－Ｒ０２｝）を定義することが可能である。異なる検索プラグインからの３つ以上の検索結果が互いに重複するような場合、時間的に重複する異なる検索プラグインからの映像シーケンスのトリガ時間の中で最も早い検索結果と重なり合う最も早いトリガ時間を使用して、「ＯＲ」シナリオに対応する任意のこのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。さらに、図１０の例と同様に、時間的に重複する異なる検索プラグインからの映像シーケンスの重複期間に収まるトリガ時間のうちの最も早いトリガ時間を使用して、「ＡＮＤ」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる（ここで、ＳＰ１－Ｒ０１のトリガ時間は検索結果ＳＰ１－Ｒ０１、ＳＰ２－Ｒ０１、及びＳＰ３－Ｒ０２の重複期間に収まる唯一のトリガ時間であり、したがって、「ＡＮＤ」シナリオ｛ＳＰ１－Ｒ０１、ＳＰ２－Ｒ０１、ＳＰ３－Ｒ０２｝に対応するクリップを表すサムネイルを生成するために使用されるフレームを定義するために使用される）。この例では、映像シーケンスＳＰ２－Ｒ０１及びＳＰ３－Ｒ０１、個々の検索結果ＳＰ３－Ｒ０３、並びにそれらのサムネイル（「ＯＲ」シナリオでは）に由来するクリップが以前の例で説明したように取得される。

図１３～図１６は、個々の検索結果のうちの少なくとも１つが、映像シーケンスの開始時の予備シーケンスと、前記映像シーケンスの終了時の少なくとも１つの閉鎖シーケンスとを含む、追加の例を示す。この予備シーケンス及び閉鎖シーケンスは、個々に、パディングシーケンス、すなわち、映像シーケンスの所定のオブジェクト若しくはアクティビティが必ずしも現れないシーケンスと、及び／又は映像品質が映像シーケンスの残りのものよりも低いシーケンスと呼ばれる。映像シーケンスの取得の条件が正規化される前に変化するので、例えば、対象領域が暗い部屋であり、光がオンにされ、したがって、光がまだその完全な明るさに達しておらず、映像シーケンスの記録の品質が結果的に低いパディングシーケンスを作成するので、そのようなパディングシーケンスが存在する可能性がある。ビデオカメラが対象領域より広い領域をカバーするセンサによって起動されると記録をスタートし、映像シーケンスの記録のスタート後に所定の関心のあるオブジェクト又はアクティビティが対象領域に収まることからも、このパディングシーケンスは存在し得る。

そのようなパディングシーケンスが存在するときは必ず、映像シーケンスの記録期間が互いに時間的に重複するかどうかを判定するために、そのようなパディングシーケンスを考慮に入れないことが好ましい。しかしながら、「ＡＮＤ」及び「ＯＲ」シナリオに従って定義されたクリップに任意のそのようなパディングシーケンスを含めることが有利である可能性がある。

図１３～図１６では、任意のパディングシーケンスが細線によって提示され、任意の非パディングシーケンスが太線によって提示される。映像シーケンスの個々のフレームは、簡略化のためにもはや示されていない。

映像シーケンスに関連付けられたメタデータは、有利には以下の要素のうちの１つ以上を備えることができる。
「ＢｅｇｉｎＴｉｍｅ」：パディングを含まない検索結果の開始時間又はスタート時間。
「ＢｅｇｉｎＴｉｍｅＷｉｔｈＰａｄｄｉｎｇ」：パディングを含む検索結果の開始時間又はスタート時間。
「ＥｎｄＴｉｍｅ」：パディングを含まない検索結果の終了時間。
「ＥｎｄＴｉｍｅＷｉｔｈＰａｄｄｉｎｇ」：パディングを含む検索結果の終了時間。
「ＴｒｉｇｇｅｒＴｉｍｅ」：映像シーケンス内のオブジェクト及び／若しくはアクティビティが可視又は認識可能である、ＢｅｇｉｎＴｉｍｅ並びにＥｎｄＴｉｍｅタイムスパン内のタイムスタンプ。

本発明は、前述の定義に与えられた特定の名称に限定されないことに留意されたい。

前述のように、トリガ時間は、映像シーケンス内の所定のオブジェクト及び／若しくはアクティビティが最も明らかである又は認識可能である映像シーケンス内の時間に対応する。

図１３は、第１の検索プラグイン（ＳＰ１）の第１の検索結果（ＳＰ１－Ｒ０１）が２つのパディングシーケンス、すなわち、予備及び閉鎖シーケンスを含み、一方で第２の検索プラグインの第１の検索結果がパディングシーケンスを含まない例を示す。この例では、第１の検索プラグイン（ＳＰ１）の第１の検索結果（ＳＰ１－Ｒ０１）の閉鎖シーケンスが第２の検索プラグイン（ＳＰ２）の第１の検索結果（ＳＰ２－Ｒ０１）と重複しているため、これら２つのプラグインからの検索結果が互いに重複しているだけであることがわかる。映像シーケンスが重複するかどうかの判定についてはこのパディングシーケンスは考慮されないため、２つの検索結果は重複しないと考えられ、したがってここでは、「ＡＮＤ」及び「ＯＲ」シナリオに従って、第１及び／又は第２の映像シーケンスのフレームを使用してクリップを定義することは不可能である。しかしながら、個々の検索結果は、「ＯＲ」シナリオの下で、２つの個々の検索結果（｛ＳＰ１－Ｒ０１｝及び｛ＳＰ２－Ｒ０１｝）として依然としてオペレータに提示することができる。さらに、図１０を参照して説明したように、「ＡＮＤ」シナリオに対応するクリップがないことから、「ＮＯＮＥ」という単語は例えば、「ＡＮＤ」結果のリストに表示することができる。

図１４は図１３の１つと同様の例を示すが、第１の検索プラグイン（ＳＰ１）の第１の検索結果（ＳＰ１－Ｒ０１）が、第１の検索プラグイン（ＳＰ１）の第１の検索結果（ＳＰ１－Ｒ０１）のパディングシーケンスを考慮することなく、第２の検索プラグイン（ＳＰ２）の第１の検索結果（ＳＰ２－Ｒ０１）と重複する。この場合、第１及び第２の映像シーケンスの全てのフレームを含むクリップ（「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）並びに／又は重複の全期間からの第１及び第２の映像シーケンスからの全てのフレームを含むクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）を定義することが可能である。映像シーケンスが重複するかどうかの判定についてはこのパディングシーケンスは考慮されないが、時間的に重複する異なる検索プラグインからの映像シーケンスからのパディングシーケンスのフレームは「ＯＲ」シナリオの下で定義されるクリップに依然として含まれる可能性がある。しかしながら、別の検索プラグインからの別の映像シーケンスと時間的に重複する映像シーケンスからのパディングシーケンスのフレームは、パディングシーケンスが前記別の映像シーケンスのパディング又は非パディングシーケンスと重複もする程度まで、「ＡＮＤ」シナリオの下で定義されるクリップに含まれるのみであろう。好ましくは、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームが、「ＯＲ」シナリオにおける非パディングシーケンス（例えば、「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝において非パディングシーケンスとして提示される検索結果ＳＰ１－Ｒ０１の閉鎖シーケンス）からのフレームとして提示されるだろう。一方で、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームが、好ましくは、「ＡＮＤ」シナリオにおけるパディングシーケンス（例えば、「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝においてパディングシーケンスとして提示される検索結果ＳＰ１－Ｒ０１の閉鎖シーケンス）からのフレームとして提示されるだろう。「ＡＮＤ」及び「ＯＲ」シナリオに従って定義されたクリップのサムネイルは、前述の例と同様に定義される。

図１５は図１４の例と同様の例を示しており、第１の検索プラグイン（ＳＰ１）の第１の結果（ＳＰ１－Ｒ０１）が記録される間に第２の検索プラグイン（ＳＰ２）の第１の検索結果（ＳＰ２－Ｒ０１）が完全に記録されたとう差と、第１の検索プラグインの第１の検索結果の閉鎖シーケンスが第２の検索プラグインの第１の検索結果と重複しないという差とを有している。図１４に関して述べた規則によれば、第１の検索プラグインの第１の検索結果のパディングシーケンスのフレームは、重複する映像シーケンスの全てのフレームを含むクリップ（「ＯＲ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）に含まれており、第２の検索プラグインの第１の検索結果と重複しないことから好ましくはパディングシーケンスからのフレームとして提示される。また、第１の検索プラグインの第１の検索結果のパディングシーケンスのフレームは、第１の検索プラグインの第１の検索結果のパディングシーケンスが第２の検索プラグインの第１の検索結果と時間的に重複しないので、時間的に重複する全期間からの映像シーケンスからの全てのフレームを含むクリップ（「ＡＮＤ」シナリオ ｛ＳＰ１－Ｒ０１，ＳＰ２－Ｒ０１｝）に含まれない。「ＡＮＤ」及び「ＯＲ」シナリオに従って定義されたクリップのサムネイルは、ここでも前述の例と同様に定義される。

図１６は図１５に示された例に基づく映像処理の方法の最終例を示すが、第２の検索プラグイン（ＳＰ２）からの第１の検索結果（ＳＰ２－Ｒ０１）が予備及び閉鎖パディングシーケンスも含むという差を有している。この場合、第２の検索プラグインの第１の検索結果の予備シーケンスは、第１の検索プラグインの第１の検索結果の予備シーケンスと部分的に重複し、第１の検索プラグインの第１の検索結果の非パディング部分と部分的に重複することが分かる。図１４に関して上記で説明したように、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームは、好ましくは「ＯＲ」シナリオにおいて非パディングシーケンスからのフレームとして提示され、異なる検索プラグインからの別のパディングシーケンスと重複する任意のパディングシーケンスのフレームは、好ましくは「ＯＲ」シナリオにおいてパディングシーケンスからのフレームとして提示されるだろう。一方で、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームが、好ましくは、パディングシーケンスのフレームがパディング又は非パディングシーケンスと重複するかに関わらず、「ＡＮＤ」シナリオにおけるパディングシーケンスからのフレームとして提示される。

図１７は、本質的に３つの工程を含む、本発明による映像シーケンスからサムネイルを生成するコンピュータ実装方法のフローチャートを示す。第１の工程Ｓ４００においてコンピュータは、関心のある第１のオブジェクト又はアクティビティを含む映像シーケンス内の第１のフレームを識別し、第２の工程Ｓ４１０においてコンピュータは、関心のある第２のオブジェクト又はアクティビティを含む映像シーケンス内の第２のフレームを識別するだろう。あるいは、工程Ｓ４００及びＳ４１０は同時に実行できる。第１及び第２のフレームは、好ましくは前述の映像処理のコンピュータ実装方法に従って、２つの映像シーケンスから生じるクリップにおいて識別される。次の工程Ｓ４２０においてコンピュータは、映像シーケンス又はクリップの第１のフレームの少なくとも一部及び第２のフレームの少なくとも一部を使用してサムネイルを生成し、サムネイルは、第１及び第２のオブジェクト又はアクティビティを含むだろう。

この方法は例えば、映像シーケンスの第１及び第２のフレームが、サムネイルを生成するために映像シーケンスから抽出又はコピーされる工程を含むことができる。言い換えれば、このフレームは、サムネイルを生成するために使用される前に映像シーケンス又はクリップからコピーされ得る。

図１８は、通常、ランナー及び車を探しているオペレータに提示されるであろうサムネイルを示す。この例では、サムネイル５００のグリッドビューにおいて提示される各サムネイルが、オペレータの検索条件のうちの少なくとも１つに対応する個々の検索結果に対応する。車結果１、６、８、及び１０は第１の検索プラグインに由来し、ランナー結果２、３、４、５、７、９、１１、及び１２は第２の検索プラグインに由来する。ユーザによって検索された関心のあるオブジェクト及び／又はアクティビティは、オペレータによるそれらの識別を容易にするために、好ましくは各サムネイル上のバウンディングボックス内に表示される。この例及び以下の例では、サムネイルは、サムネイルが対応する映像シーケンスを開くためにクリック可能である。本発明は、上述したグリッドビュー表示に限定されるものではないことに留意されたい。サムネイルの上の数字も、本発明の本質的な特徴ではない。

しかしながら、この例から明らかなように、２つの検索プラグイン又は条件からの全ての結果を単純に個々に示すことは、オペレータにとってそれらを処理することを非常に困難にする可能性がある。しばしば多くの結果が存在するであろうし、オペレータは、結果サムネイルに示される車及びランナーが互いに合理的に時間的に近接しているかどうかを容易に判定することができない。表示されるサムネイルは、他の検索プラグインについては何も知らず、検索プラグインが独自に検索結果を選択したトリガ時間に基づいている。

前述の映像処理のコンピュータ実装方法によれば、オペレータが検索している関心のある第１及び第２のオブジェクト又はアクティビティの両方を含む少なくとも１つのクリップを定義することが可能であり、映像シーケンスからサムネイルを生成する前述のコンピュータ実装方法によれば、関心のある第１及び第２のオブジェクト又はアクティビティを含むサムネイルを定義することがさらに可能である。

図１９は、映像処理及びサムネイル生成の両方の方法が使用される例を示す。この例では、結合映像シーケンス又はクリップに結果５＋６、７＋８、及び１０＋１１が併合されていることを観測することができ、次いでオペレータは、これらのクリップにおいて車及びランナーが同時に出現したことを知る。

オペレータは、例えばユーザが３つの所定の関心のあるオブジェクト及び／又はアクティビティを検索した（又は３つの異なる検索プラグインを使用した）が、２つの検索プラグインのみから得られた検索結果が時間的に重複するとき、ユーザの検索条件全てに一致するクリップではない個々の検索結果を取り除くことを選択することができる。このようにして、ユーザは、ユーザの検索条件全てを同時に示すクリップが存在し得ないということに気が付く。

これを図１８の例に適用すると、次にオペレータは、車及びランナーが同時に現れた３つの結合映像シーケンスを見るのみで、図２０に示されるサムネイル６１０ａ、６２０ａ、６３０ａを与える。これは関連する映像データのはるかに良好な概略を与えるが、オペレータは依然として、検索されている正確な車及び人をどれが含むかを識別するために３つのクリップを検査する必要がある。

図２１は、本発明によるサムネイルを生成する方法に従って得ることができるサムネイル６１０ｂ、６２０ｂ、６３０ｂの３つの追加の例を示す。検索結果５＋６に対応するサムネイル６１０ｂの例によれば、コンピュータは２つの個々の映像シーケンスについてのトリガ時間に一致するフレームの一部を取り、個々のサムネイルを単に１つにスティッチングすることによって単一の結合サムネイルを生成する。「スティッチング境界」は、個々の検索結果に関連する、関心のあるオブジェクト及び／又はアクティビティの位置に基づいて、コンピュータによって選択される。検索結果７＋８に対応するサムネイル６２０ｂの例によれば、コンピュータは第１の例のように処理を行うが、第１及び第２のフレーム又はその一部を分離するためにいかなる境界も追加しない。検索結果１０＋１１に対応するサムネイル６３０ｂの例によれば、コンピュータは、個々の映像シーケンスのうちの１つについてのトリガ時間に一致するフレームを選択し、それを基本サムネイルとして使用する。他の個々の映像シーケンスのトリガ時間に一致するフレームから、コンピュータは、関連する関心のあるオブジェクト若しくはアクティビティを抽出し、結合映像シーケンス又はクリップを表すためにそれを前記基本サムネイルと重ねる。

図２２（ａ）及び図２２（ｂ）は、本発明によるサムネイルを生成する方法に従って得ることができるサムネイルの追加の例を示す。検索結果５＋６に対応するサムネイル６１０ｃの例によれば、２つの個々の検索結果のトリガ時間に一致するフレームから、コンピュータは、関連する関心のあるオブジェクト及び／又はアクティビティを抽出し、それらを拡大し、そして結合映像シーケンス又はクリップを表すサムネイルを生成する。このサムネイルは、図２１を参照して前述したように好ましくは境界を含む。検索結果７＋８に対応するサムネイル６２０ｃの例によれば、コンピュータは、所定の背景（ニュートラル参照フレームなど）を基本サムネイルとして使用する。ニュートラルフレームは、有利には関心のある第１及び第２のオブジェクト若しくはアクティビティなしで、又はその中にオブジェクト若しくはアクティビティがないことなく撮像された対象領域のピクチャであってもよい。

２つの個々の検索結果のトリガ時間に一致するフレームから、コンピュータは、関連するオブジェクトを抽出し、それらを、結合映像シーケンス又はクリップを表す所定の背景と重ねる。検索結果１０＋１１に対応するサムネイル６３０ｃ、６３０ｄの例によれば、コンピュータは、２つの個々の映像シーケンスについてのトリガ時間に一致するフレームを取得し、それらを「ページ付け制御」におけるサムネイルとして１つずつ示す。このサムネイル間の切り替えは、様々な方法で、例えば、オペレータがサムネイルの２つのフレーム間で切り替えることを可能にするボタンを手動でクリックすることによって、行うことができる。あるいは、コンピュータは、２つの個々の映像シーケンスについてのトリガ時間に一致するフレームを表示し、サムネイルとして所定の時間にわたってそれらを１つずつ示してもよい。

図１９～２２（ｂ）に示される例は、関心のある２つのオブジェクト又はアクティビティのみを含むクリップに関連するが、本発明は（「追加の映像シーケンス」に関連する前述の例と同様に）３つ以上のオブジェクトが検索される場合もカバーし、したがって、対応する生成されたサムネイルは３つ以上のオブジェクト又はアクティビティを含むであろう。

本発明は様々な実施例を参照して説明されてきたが、本発明は開示された実施例に限定されないことを理解されたい。本発明は、特許請求の範囲に定義されるような本発明の主な特徴から逸脱することなく、様々な形態で実施することができる。

以下の番号付けされた記述は、本発明に関する追加の情報を提供する。特許請求の範囲は、この番号付けされた記述の後に提供される。

［記述１］
映像処理のコンピュータ実装方法であって、
第１の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第１の映像シーケンスを取得することと、
第２の所定の関心のあるオブジェクト又はアクティビティを含む前記対象領域の第２の映像シーケンスを取得することと、
前記第１の映像シーケンスの記録期間と前記第２の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、
前記第１及び第２の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも前記重複の期間からの前記第１及び／又は第２の映像シーケンスのフレームを使用して少なくとも１つの第１の映像クリップを定義することと、
を含む、方法。

［記述２］
前記対象領域の少なくとも１つの追加の映像シーケンスを取得することであって、各追加の映像シーケンスは前記対象領域内の所定の関心のあるオブジェクト又はアクティビティを含み、記録期間を有する、取得することと、
各追加の映像シーケンスの前記記録期間が、任意の他の追加の映像シーケンスの記録期間、並びに／又は前記第１及び／若しくは第２の映像シーケンスの記録期間と、ある期間にわたって重複するかどうかを判定することと、
前記第１、第２及び他の追加の映像シーケンスのうちの任意の他の映像シーケンスの記録期間と前記追加の映像シーケンスの記録期間とがある期間にわたって重複する場合、前記重複の期間からの前記追加の及び／又は前記他の映像シーケンスのフレームを使用して少なくとも第２の映像クリップを定義することと、
をさらに含む、記述１に記載されるような方法。

［記述３］
全ての前記映像シーケンスは、記録サーバに格納された映像データを検索することによって得られ、前記記録サーバは、そこに格納される複数のビデオカメラからの映像データを記憶する、記述１又は２に記載されるような方法。

［記述４］
全ての前記所定の関心のあるオブジェクト又はアクティビティに関するメタデータを生成することをさらに含む、記述１乃至３のいずれか１つに記載されるような方法。

［記述５］
全ての前記映像シーケンスは、単一のビデオカメラに由来する、記述１乃至４のいずれか１つに記載されるような方法。

［記述６］
前記対象領域は、単一のビデオカメラの視野に対応する、記述１乃至５のいずれか１つに記載されるような方法。

［記述７］
全ての前記所定のオブジェクトは、車両、ナンバープレート、人間、及び動物からなるオブジェクトのグループから選択された種類のオブジェクトである、記述１乃至６のいずれか１つに記載されるような方法。

［記述８］
全ての前記所定のオブジェクトが、前記オブジェクトのグループ内の異なる種類のオブジェクトに対応する、記述７に記載されるような方法。

［記述９］
映像データを検索することは、ユーザが少なくとも２つの検索プラグインに１つ以上の検索条件を入力することによって行われる、記述３にと組み合わせる前述の方法。

［記述１０］
各検索プラグインが、前記映像シーケンスの全てにおいて、前記関心のあるオブジェクトのグループ内の１つのオブジェクト又は１つのアクティビティを識別するように構成された検索エンジンである、記述７又は８と組み合わせる前述の方法。

［記述１１］
全ての前記映像シーケンスが、前記ユーザからの少なくとも２つのクエリの検索結果として取得され、各クエリは、前記所定の関心のあるオブジェクト又はアクティビティのうちの、異なる所定の関心のあるオブジェクト若しくはアクティビティに関連する、記述１乃至１０のいずれか１つに記載されるような方法。

［記述１２］
各前記映像シーケンスは、前記映像シーケンスの所定の関心のあるオブジェクト又はアクティビティに関するコンテンツメタデータを含む、記述１乃至１１のいずれか１つに記載されるような方法。

［記述１３］
前記コンテンツメタデータは、前記記録サーバ上の分析プラグインによって生成される、記述３に記載されるような方法。

［記述１４］
全ての前記映像シーケンスを取得することは、異なる映像シーケンスのコンテンツメタデータを検索することによって行われる、記述１乃至１３のいずれか１つに記載されるような方法。

［記述１５］
全ての前記映像シーケンスの少なくとも１つの映像シーケンスが、前記映像シーケンスの開始時の少なくとも１つの予備シーケンス及び／又は前記映像シーケンスの終了時の少なくとも１つの閉鎖シーケンスを含み、前記予備及び／若しくは閉鎖映像シーケンスは、個々に、前記映像シーケンスの前記所定の関心のあるオブジェクト又はアクティビティが現れない、並びに／又は映像品質が前記映像シーケンスの残りのものよりも低い、パディングシーケンスと呼ばれる、記述１乃至１４のいずれか１つに記載されるような方法。

［記述１６］
少なくとも１つの前記パディングシーケンスは、全ての前記映像シーケンスが前記ある期間の間互いに重複するかどうかを判定するオブジェクトで考慮されない、記述１５に記載されるような方法。

［記述１７］
少なくとも前記第１の映像クリップは、前記重複の期間からの前記第１又は第２の映像シーケンスの全てのフレームを含む、記述１乃至１６のいずれか１つに記載されるような方法。

［記述１８］
少なくとも前記第１の映像クリップは、前記重複の期間の前後からの前記第１及び／又は第２の映像シーケンスの全てのフレームをさらに含む、記述６に記載されるような方法。

［記述１９］
前記少なくとも１つのデータベースに問い合わせるときに３つ以上の検索プラグインが使用される場合、及び前記第１及び／又は第２の映像クリップが使用される３つ以上の検索プラグインの全てからの結果を含まないときに、前記第１及び／又は第２の映像クリップの定義をキャンセルすることをさらに含む、記述２及び９又は２及び１０と組み合わせる前述の方法。

［記述２０］
前記第１の映像クリップ又は前記第１の映像クリップのサムネイルを、前記第１の映像クリップが定義された前記第１及び第２の映像シーケンスを表示することなく、ユーザに表示することをさらに含む、記述１乃至１９のいずれか１つに記載されるような方法。

［記述２１］
前記第１の所定の関心のあるオブジェクト又はアクティビティを含む前記第１の映像クリップの第１のフレームを識別することと、
前記第２の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第２のフレームを識別することと、
前記第１の映像クリップの、前記第１のフレームの少なくとも一部と前記第２のフレームの少なくとも一部とを使用してサムネイルを生成することであって、前記サムネイルは、前記第１及び第２の所定のオブジェクト又はアクティビティを含む、生成することと、
をさらに含む、記述１乃至１９のいずれか１つに記載されるような方法。

［記述２２］
前記サムネイルを生成するために、前記第１の映像クリップから前記第１のフレーム及び前記第２のフレームを抽出することを含む、記述１乃至２１のいずれか１つに記載されるような方法。

［記述２３］
２つのフレームのうちの１つのフレームから前記第１又は第２の所定のオブジェクト若しくはアクティビティを抽出することと、
抽出された前記第１又は第２の所定のオブジェクト若しくはアクティビティを前記２つのフレームのうちの他方と重ねることと、
により前記サムネイルを生成することをさらに含む、記述２１又は２２に記載されるような方法。

［記述２４］
前記第１及び第２の所定のオブジェクト又はアクティビティを前記２つのフレームから抽出することと、
抽出された前記第１及び第２の所定のオブジェクト又はアクティビティを所定の背景と重ねることと、
により前記サムネイルを生成することをさらに含む、記述２１又は２２に記載されるような方法。

［記述２５］
前記第１及び第２の所定のオブジェクト又はアクティビティは、前記所定の背景上で拡大される、記述１乃至２４のいずれか１つに記載されるような方法。

［記述２６］
前記サムネイルとして、２つのフレームそれぞれを次々に表示することをさらに含む、記述２１又は２２に記載されるような方法。

［記述２７］
前記サムネイルの各フレームは、所定の時間の間順番に表示される、記述１乃至２６のいずれか１つに記載されるような方法。

［記述２８］
前記サムネイルは、ユーザが前記サムネイルの前記２つのフレーム間で切り替えることを可能にする少なくとも１つのクリック可能なボタンを備える、記述２６に記載されるような方法。

［記述２９］
前記第１及び第２の所定のオブジェクト又はアクティビティはそれぞれ、前記サムネイル上のバウンディングボックス内に含まれる、記述２１乃至２８のいずれか一つに記載されるような方法。

［記述３０］
前記第１及び／又は第２の所定のオブジェクトは、車両、ナンバープレート、人間及び動物からなるオブジェクトのグループから選択される種類のオブジェクトである、記述２１乃至２９のいずれか一つに記載されるような方法。

［記述３１］
前記第１及び／又は第２の所定のオブジェクトが、前記オブジェクトのグループ内の異なる種類のオブジェクトに対応する、記述１乃至３０のいずれか１つに記載されるような方法。

［記述３２］
前記第１の映像クリップが、前記第１の映像クリップのスタート時間及び終了時間を定義するメタデータを含む、記述２１乃至３１のいずれか一つに記載されるような方法。

［記述３３］
１つの前記サムネイルを表示することをさらに含む、記述２１乃至３２のいずれか１つに記載されるような方法。

［記述３４］
前記第１及び第２のフレームを識別する前に前記第１及び第２の所定の関心のあるオブジェクト若しくはアクティビティを識別するように、前記第１の映像クリップ内に存在するオブジェクト若しくは顔認識、動き、若しくはバウンディングボックスに基づいて、前記第１の映像クリップを検索すること、又は前記第１の映像クリップに関連付けられたコンテンツメタデータを検索することと、を含む、記述２１乃至３３のいずれか一つに記載されるような方法。

［記述３５］
コンテンツメタデータを検索することが、前記コンテンツメタデータを格納するインデックス付けサーバに検索リクエストを送信することと、検索条件に一致する映像フレームを示す検索結果を前記インデックス付けサーバから受信することとを含む、記述１乃至３４のいずれか１つに記載されるような方法。

［記述３６］
前記コンテンツメタデータは、前記第１及び第２の所定のオブジェクト又はアクティビティを含む前記フレームに対応するトリガ時間を含む、記述１乃至３５のいずれか１つに記載されるような方法。

［記述３７］
前記トリガ時間が前記第１の映像クリップのフレームに対応し、前記第１及び第２の所定のオブジェクト又はアクティビティは、前記第１の映像クリップにおいて最も明らかである又は認識可能である、記述１乃至３６のいずれか１つに記載されるような方法。

［記述３８］
前記サムネイルは、２つのフレームのうちの１つのフレーム又はその一部を、２つのフレーム若しくはその他方の一部から切り離す内部の境界を含み、前記境界は、前記第１及び第２の所定のオブジェクト又はアクティビティを隠さないように配置される、記述２１乃至３７のいずれか１つに記載されるような方法。

［記述３９］
コンピュータ上で実行されると、前記コンピュータに、記述１乃至３８のいずれか一つに記載されるような方法を実行させるコンピュータプログラム。

［記述４０］
ユーザから、第１の所定の関心のあるオブジェクト又はアクティビティに関連する第１のクエリと、第２の所定の関心のあるオブジェクト又はアクティビティに関連する第２のクエリとを受信し、
少なくとも１つのデータベースから、第１の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第１の映像シーケンスと、第２の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第２の映像シーケンスとを取得し、
前記第１の映像シーケンスの記録期間と前記第２の映像シーケンスの記録期間とが、ある期間にわたって重複するかどうかを判定し、
前記第１及び第２の映像シーケンスの記録期間がある期間にわたって重複する場合に、前記重複の期間からの前記第１及び／又は第２の映像シーケンスのフレームを使用して少なくとも１つの第１の映像クリップを定義する
ように構成される少なくとも１つのプロセッサを備える、映像処理装置。

［記述４１］
前記少なくとも１つのプロセッサは、
前記第１の所定の関心のあるオブジェクト又はアクティビティを含む前記第１の映像クリップの第１のフレームを識別し、
前記第２の所定の関心のあるオブジェクト又はアクティビティを含む前記第１の映像クリップの第２のフレームを識別し、
前記第１のフレームの少なくとも一部と、前記第１の映像クリップの前記第２のフレームの少なくとも一部とを使用して、前記第１及び第２の所定のオブジェクト又はアクティビティを含むサムネイルを生成する
ようにさらに構成される、記述４０に記載されるような映像処理装置。

［記述４２］
記述４１又は４２に記載されるような映像処理装置と、ディスプレイを備えるクライアント装置とを備える映像監視システムであって、前記クライアント装置は、少なくとも前記第１の映像クリップ又は前記第１の映像クリップのサムネイルを表示するように構成される少なくとも１つのプロセッサを備える、映像監視システム。

［記述４３］
前記クライアント装置は、前記第１の映像クリップが定義された前記第１及び第２の映像シーケンスを表示することなく、前記第１の映像クリップ又は前記第１の映像クリップのサムネイルを表示するようにさらに構成される、記述４２に記載されるような映像監視システム。

［記述４４］
記述４１又は４２に記載されるような映像監視システムであって、ビデオカメラ及び記録サーバをさらに備え、前記記録サーバは、
映像シーケンスの記録を記憶媒体内のデータベース内のビデオカメラから撮像させ、
前記クライアント装置から検索クエリを受信し、
前記検索クエリに従って前記データベースから映像シーケンスを抽出し、
１つの前記第１の映像クリップを定義し、前記クライアント装置に送信する
ように構成されるプロセッサを備える、映像監視システム。

Claims (25)

1. 映像処理のコンピュータ実装方法であって、
   第１の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第１の映像シーケンスを取得することと、
   第２の所定の関心のあるオブジェクト又はアクティビティを含む前記対象領域の第２の映像シーケンスを取得することと、
   前記第１の映像シーケンスの記録期間と前記第２の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、
   前記第１及び第２の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも前記重複の期間からの前記第１及び／又は第２の映像シーケンスのフレームを使用して少なくとも１つの第１の映像クリップを定義することと、
   を含む、方法。
2. 前記対象領域の少なくとも１つの追加の映像シーケンスを取得することであって、各追加の映像シーケンスは前記対象領域内の所定の関心のあるオブジェクト又はアクティビティを含み、記録期間を有する、取得することと、
   各追加の映像シーケンスの前記記録期間が、任意の他の追加の映像シーケンスの記録期間、並びに／又は前記第１及び／若しくは第２の映像シーケンスの記録期間と、ある期間にわたって重複するかどうかを判定することと、
   前記第１、第２及び他の追加の映像シーケンスのうちの任意の他の映像シーケンスの記録期間と前記追加の映像シーケンスの記録期間とがある期間にわたって重複する場合、前記重複の期間からの前記追加の及び／又は前記他の映像シーケンスのフレームを使用して少なくとも第２の映像クリップを定義することと、
   をさらに含む、請求項１に記載の方法。
3. 全ての前記映像シーケンスは、単一のビデオカメラに由来する、請求項１乃至２のいずれか一項に記載の方法。
4. 前記対象領域は、単一のビデオカメラの視野に対応する、請求項１乃至３のいずれか一項に記載の方法。
5. 全ての前記所定のオブジェクトは、車両、ナンバープレート、人間、及び動物からなるオブジェクトのグループから選択された種類のオブジェクトである、請求項１乃至４のいずれか一項に記載の方法。
6. 少なくとも前記第１の映像クリップは、前記重複の期間からの前記第１又は第２の映像シーケンスの全てのフレームを含む、請求項１乃至５のいずれか一項に記載の方法。
7. 少なくとも前記第１の映像クリップは、前記重複の期間の前後からの前記第１及び／又は第２の映像シーケンスの全てのフレームをさらに含む、請求項６に記載の方法。
8. 前記第１の所定の関心のあるオブジェクト又はアクティビティを含む前記第１の映像クリップの第１のフレームを識別することと、
   前記第２の所定の関心のあるオブジェクト又はアクティビティを含む前記第１の映像クリップの第２のフレームを識別することと、
   前記第１の映像クリップの、前記第１のフレームの少なくとも一部と前記第２のフレームの少なくとも一部とを使用してサムネイルを生成することであって、前記サムネイルは、前記第１及び第２の所定のオブジェクト又はアクティビティを含む、生成することと、
   をさらに含む、請求項１乃至７のいずれか一項に記載の方法。
9. ２つのフレームのうちの１つのフレームから前記第１又は第２の所定のオブジェクト若しくはアクティビティを抽出することと、
   抽出された前記第１又は第２の所定のオブジェクト若しくはアクティビティを前記２つのフレームのうちの他方と重ねることと、
   により前記サムネイルを生成することをさらに含む、請求項８に記載の方法。
10. 前記第１及び第２の所定のオブジェクト又はアクティビティを前記２つのフレームから抽出することと、
    抽出された前記第１及び第２の所定のオブジェクト又はアクティビティを所定の背景と重ねることと、
    により前記サムネイルを生成することをさらに含む、請求項８に記載の方法。
11. 前記第１及び第２の所定のオブジェクト又はアクティビティは、前記所定の背景上で拡大される、請求項１０に記載の方法。
12. 前記サムネイルとして、２つのフレームそれぞれを次々に表示することをさらに含む、請求項８に記載の方法。
13. 前記第１及び第２の所定のオブジェクト又はアクティビティはそれぞれ、前記サムネイル上のバウンディングボックス内に含まれる、請求項８乃至１２のいずれか一項に記載の方法。
14. 前記第１及び／又は第２の所定のオブジェクトは、車両、ナンバープレート、人間及び動物からなるオブジェクトのグループから選択される種類のオブジェクトである、請求項８乃至１３のいずれか一項に記載の方法。
15. 前記第１の映像クリップが、前記第１の映像クリップのスタート時間及び終了時間を定義するメタデータを含む、請求項８乃至１４のいずれか一項に記載の方法。
16. 前記第１及び第２のフレームを識別する前に前記第１及び第２の所定の関心のあるオブジェクト若しくはアクティビティを識別するように、前記第１の映像クリップ内に存在するオブジェクト若しくは顔認識、動き、若しくはバウンディングボックスに基づいて、前記第１の映像クリップを検索すること、又は前記第１の映像クリップに関連付けられたコンテンツメタデータを検索することと、を含む、請求項８乃至１５のいずれか一項に記載の方法。
17. コンテンツメタデータを検索することが、前記コンテンツメタデータを格納するインデックス付けサーバに検索リクエストを送信することと、検索条件に一致する映像フレームを示す検索結果を前記インデックス付けサーバから受信することとを含む、請求項１６に記載の方法。
18. 前記コンテンツメタデータは、前記第１及び第２の所定のオブジェクト又はアクティビティを含む前記フレームに対応するトリガ時間を含む、請求項１７に記載の方法。
19. 前記サムネイルは、２つのフレームのうちの１つのフレーム又はその一部を、２つのフレーム若しくはその他方の一部から切り離す内部の境界を含み、前記境界は、前記第１及び第２の所定のオブジェクト又はアクティビティを隠さないように配置される、請求項８乃至１８のいずれか一項に記載の方法。
20. コンピュータ上で実行されると、前記コンピュータに、請求項１乃至１９のいずれか一項に記載の方法を実行させるコンピュータプログラム。
21. ユーザから、第１の所定の関心のあるオブジェクト又はアクティビティに関連する第１のクエリと、第２の所定の関心のあるオブジェクト又はアクティビティに関連する第２のクエリとを受信し、
    少なくとも１つのデータベースから、第１の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第１の映像シーケンスと、第２の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第２の映像シーケンスとを取得し、
    前記第１の映像シーケンスの記録期間と前記第２の映像シーケンスの記録期間とが、ある期間にわたって重複するかどうかを判定し、
    前記第１及び第２の映像シーケンスの記録期間がある期間にわたって重複する場合に、前記重複の期間からの前記第１及び／又は第２の映像シーケンスのフレームを使用して少なくとも１つの第１の映像クリップを定義する
    ように構成される少なくとも１つのプロセッサを備える、映像処理装置。
22. 前記少なくとも１つのプロセッサは、
    前記第１の所定の関心のあるオブジェクト又はアクティビティを含む前記第１の映像クリップの第１のフレームを識別し、
    前記第２の所定の関心のあるオブジェクト又はアクティビティを含む前記第１の映像クリップの第２のフレームを識別し、
    前記第１のフレームの少なくとも一部と、前記第１の映像クリップの前記第２のフレームの少なくとも一部とを使用して、前記第１及び第２の所定のオブジェクト又はアクティビティを含むサムネイルを生成する
    ようにさらに構成される、請求項２１に記載の映像処理装置。
23. 請求項２２に記載の映像処理装置と、ディスプレイを備えるクライアント装置とを備える映像監視システムであって、前記クライアント装置は、少なくとも前記第１の映像クリップ又は前記第１の映像クリップのサムネイルを表示するように構成される少なくとも１つのプロセッサを備える、映像監視システム。
24. 前記クライアント装置は、前記第１の映像クリップが定義された前記第１及び第２の映像シーケンスを表示することなく、前記第１の映像クリップ又は前記第１の映像クリップのサムネイルを表示するようにさらに構成される、請求項２３に記載の映像監視システム。
25. 請求項２３又は２４に記載の映像監視システムであって、ビデオカメラ及び記録サーバをさらに備え、前記記録サーバは、
    映像シーケンスの記録を記憶媒体内のデータベース内のビデオカメラから撮像させ、
    前記クライアント装置から検索クエリを受信し、
    前記検索クエリに従って前記データベースから映像シーケンスを抽出し、
    １つの前記第１の映像クリップを定義し、前記クライアント装置に送信する
    ように構成されるプロセッサを備える、映像監視システム。

Images