JP7441732B2 - 画像またはビデオ内の関心対象物をハイライトする方法 - Google Patents

Description

本発明は、ビデオ処理の分野に関し、特に、画像の関心対象物を、他の対象物をマスクしながらハイライトするための、ビデオを処理する方法に関する。

公共の場所におけるカメラ監視は、犯罪防止に高い安全効果を有し、市民に安全感（ａ ｓｅｎｓｅ ｏｆ ｓｅｃｕｒｉｔｙ）を提供する。しかしながら、監視を、全ての人についてのインテグリティに対する権利(ｒｉｇｈｔ ｔｏ ｉｎｔｅｇｒｉｔｙ)とバランスをとることが望ましい。規制をこのために使用することができる。そのような規制の例は、ＥＵについて有効であるＧＤＰＲ（：Ｇｅｎｅｒａｌ Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｒｅｇｕｌａｔｉｏｎ、一般データ保護規則）である。ＧＤＰＲによれば、人は、例えば、会社が保持するビデオデータであって、その人についての識別子を含む、ビデオデータなどの全てのデータを受け取る権利を有する。ビデオの場合、人識別子は、顔または他の身体部分とするが、ナンバープレート番号などのその人に関連付けることができる対象物とすることもできる。

ビデオを、そのビデオを要求する人に配布する場合、しかしながら、問題が存在する。ビデオシーケンスにおいて、目に見えかつおそらく識別可能な他の人のアイデンティティを暴露しないために、これらの他の人は、除去、隠蔽、またはマスクされる必要がある。このため、ビデオは、関心のある対象の人以外の全ての人をマスクするために再検討される必要がある場合がある。対象物認識は、プロセスを加速することができる。しかしながら、群衆、聴衆、カートラフィックなどの多数の対象物を含む画像シーケンスにおいて、画像内の全ての対象物のマスキングを保証するプライバシーマスキング（ｐｒｉｖａｃｙ ｍａｓｋｉｎｇ）は計算的に非常に重い可能性がある。画像内の対象の人以外の全ての人がマスクされることが保証される必要があるＧＤＰＲの厳しい要求を付加すると、対象物が抜けていないことを保証するために、プライバシーマスキングの検証が付加される必要がある。

ＧＤＰＲおよび同様の規制（将来の規制を含む）によって、迅速で、信頼性があり、資源効率的な方式で、マスクされたビデオシーケンスを提供できる必要性の高まりが存在する。

本発明の目標は、人間などの関心対象物をハイライトするために１つまたは複数のデジタル画像を、デジタル画像（複数可）内で識別可能である他の人のインテグリティを損なうことなく、その分野の知られている技法に比べて、資源効率的で、信頼性があり、迅速な方式で、処理する方法を提供することである。

第１の態様によれば、これらのまた他の目的は、画像内の関心対象物をハイライトする方法によって、完全にまたは少なくとも部分的に達成され、方法は、
・ デジタル画像を設けること、
・ 人識別子を有する関心対象物をカバーするデジタル画像内の関心領域を決定すること、
・ 周囲エリア内のデジタル画像内の全ての画像データを関心領域に対してマスクすること、
・ 検出された関心領域内で、別の人識別子を有する排除対象物をカバーするデジタル画像内の排除領域を決定すること、および、
・ 関心領域のデジタル画像からの画像データであって、画像データの排除領域がマスクされる、画像データを含み、また、周囲エリアのマスクされた画像データを含む出力画像を形成することを含む。

提供されるデジタル画像は、ビデオを形成する画像シーケンス（シーケンス）の一部とすることができる。

方法は、デジタル画像を入力として採取し、関心対象物、例えば、人間がそこでハイライトされる出力画像を提供する。関心対象物をハイライトすることによって、この文脈において、関心対象物が目に見え、一方、画像の他の部分が、マスキング、隠蔽、またはさらに除去によって認識不能にされることが意味される。方法は、マスクされた画像を提供するためのツールであって、ＧＤＰＲなどの規制を遵守するために使用することができる、ツールを提供する。すなわち、モニタリングカメラを有する食品ストアなどの、ビデオ監視を実施する組織に、人が、彼または彼女を含むビデオ素材を要求する場合、この方法は、画像またはビデオ内で目に見える他の人のインテグリティを脅かすことなく、配布のために、そのような画像またはビデオコンテンツを提供するために使用することができる。

本発明のアプローチは、出力画像に含まれる周囲エリア内の全ての画像データをマスクすることによって、（排除対象物を含む）排除領域の決定が、検出された関心領域内で実施されることを要求されるだけであるという本発明者等の認識を含む。したがって、画像内の各対象物が、決定され、評価され、マスク／隠蔽／除去される必要がある知られている技法と比較して、迅速で、信頼性があり、資源効率的な方法が提供される。同様に、結果として得られる出力画像は、検証するのが容易であり、なぜならば、目に見える画像データが大幅に減少するからである。

周囲エリアは、決定された関心領域の外のデジタル画像全体をカバーすることができる。このフィーチャーによって、周囲エリアは、構成または決定される必要がなく、したがって、方法を更に一層資源効率的にする。

方法は、完全自動化方式、または、方法を実施するために設計されるソフトウェアのマニュアル使用による半自動的な方式で実施することができる。ソフトウェアは、ビデオ管理システムに統合することができ、それにより、取り込まれる画像およびビデオは、画像またはビデオを外部ハードウェアまたはソフトウェアに送信するための必要性なしで、ハイライトされた関心対象物を有する出力画像を提供するために使用することができる。

本明細書で使用するとき、「マスクされた（ｍａｓｋｅｄ）」は、画像コンテンツを識別することが可能でないような、操作された画像データまたは隠蔽された画像データを意味する。操作の非制限的な例は画像データのぼかし（ｂｌｕｒｒｉｎｇ）およびピクセル化（ｐｉｘｅｌｉｚａｔｉｏｎ）である。画像データは、代替的に、画像データをカラーと交換することによって、例えば、全てのピクセル値をゼロ（画像が表示されるときのブラックカラーに対応する）に設定することによって、隠蔽することができる。適用されるマスキングは、可逆的または非可逆的とすることができる。

「関心領域」および「排除領域」における「領域（ｒｅｇｉｏｎ）」はデジタル画像内のエリアを意味される。領域はデジタル画像の画像データを閉囲する。領域は、座標、例えば、画像座標系の直交領域のための頂点座標(ｃｏｒｎｅｒ ｃｏｏｒｄｉｎａｔｅ)によって規定することができる。

関心対象物、例えば、人間は人識別子を有する。「人識別子（ｐｅｒｓｏｎ ｉｄｅｎｔｉｆｉｅｒ）」によって、人アイデンティティを、そこから一意に識別することができる、フィーチャー（ｆｅａｔｕｒｅ）、特徴（ｃｈａｒａｃｔｅｒｉｓｔｉｃ）、または対象物が意味される。人識別子の非制限的な例は、顔（または顔の一部）、指紋、ナンバープレート、および、ネームタグなどのｉｄタグである。

関心領域および／または排除領域は、画像を示すコンピュータスクリーン上でのマニュアル選択によって決定することができる。代替的に、関心領域および／または排除領域のより自動化された決定は、対象物検出または対象物分類アルゴリズムの使用によって実装することができる。対象物がそのようなアルゴリズムによって検出されると、対象物の人識別子が解析されて、対象物が関心対象物であるか否かを結論付ける。はいの場合、関心領域は、関心対象物をカバー（すなわち、閉囲）するように決定することができる。いいえである場合、排除領域は、代わりに、排除される対象物をそれにより形成する対象物をカバーするように決定することができる。排除領域および関心領域が、排除対象物および関心対象物全体をカバーすることは必要でない。

対象物を検出または分類するために使用できるアルゴリズムの非制限的な例は、例えば、重要ポイントまたは関心ポイントを決定することによる身体部分検出アルゴリズム、顔検出アルゴリズム、および動作検出アルゴリズムである。

方法は、人間のアイデンティティを受信すること、および、人間の受信されたアイデンティティに基づいて関心領域を決定することをさらに含むことができる。受信されるアイデンティティは、ビデオ／画像素材を要求した人の顔に対応する画像データの形態とすることができる。代替的に、受信されるアイデンティティは、自動車登録番号の形態とすることができ、その場合、関心領域は、対応するナンバープレート番号を有するナンバープレートである関心対象物をカバーすることができる。したがって、関心領域は、方法のマニュアル実装態様でまたは自動化実装態様において、受信されるアイデンティティに基づいて決定されるべきである。例えば、ナンバープレート番号の形態の受信されるアイデンティティの場合、関心領域は、検出される対象物が文字または数字を含むという、または、それが人間対象物でないという条件で決定することができる。

複数の画像に適用されるときの方法をより詳細に述べると、方法は、
・ デジタル画像を含むビデオシーケンスを設けること、
・ ビデオシーケンスからのデジタル画像の選択物の各画像について、単一デジタル画像に適用できる任意の実施形態による方法を適用すること、および、
・ 出力画像を含む出力ビデオシーケンスを形成することを含むことができる。

換言すれば、ビデオシーケンスは、出力ビデオシーケンスを作成するために処理され、出力ビデオシーケンスにおいて、関心対象物、例えば、人間はハイライトされ、一方、他の対象物、および、関心領域に対する周囲画像エリアはマスクされる。画像の選択は、１０番目ごとの画像フレームなど、所定の選択基準に基づいて行うことができる。選択は、ビデオシーケンス内の全ての画像を含むことができる。デジタル画像の選択が、ビデオシーケンスからのデジタル画像の数の制限を形成すると、出力ビデオシーケンスを形成するために少ない画像が処理される必要があり、それは、次に、少ない量の処理資源を要求する。

この方法の１つの実施形態において、出力ビデオシーケンスは、中間出力画像も含み、中間出力画像は、ビデオシーケンス内の、第１の選択した画像と第２の選択した画像との間に位置する一時的に中間の画像に対して方法を実施することによって形成される。中間画像について、方法は、第１の選択した画像内の決定された第１の関心領域と、第２の選択した画像内の決定された第２の関心領域との間の補間によって関心領域を決定することを含む。第２の関心領域が第１の関心領域と空間的に異なって位置する限り、補間は、中間フレームによってカバーされる期間にわたって関心領域の直線運動を仮定することによって実施することができる。例えば、運動パターン、速度、または運動予測が考慮される他のより洗練された補間法を使用することができる。このために使用できる補間法の異なる変形は、よく知られており、当業者にとって容易に利用可能である。

排除領域は、関心領域が補間の使用によって決定されると、各画像について決定することができる。

ビデオシーケンスに適用される第１の態様による方法の１つの実施形態において、方法は、周囲エリア内でさらなる排除領域を決定することを含む。さらなる排除領域は、検出される関心領域内で決定される第１の排除領域と同じ方法でマスクされる。本発明に従って処理されるビデオシーケンスの後続の画像において、決定されたさらなる排除領域は、関心領域がさらなる排除領域にオーバーラップする場合であっても、それらの画像のための出力画像において、決定されたさらなる排除領域がマスクされることによって維持される。換言すれば、ビデオシーケンスの処理された画像内の決定された排除領域と決定された関心領域との間のいずれの交差部も、排除領域を形成し、その結果、出力画像においてマスクされる。排除領域は、排除領域の座標がコンピュータメモリに記憶されることによって維持することができる。

さらなる排除領域の決定は、１０または２０画像フレームごとに、あるいは、ｎ（ｎは所定の値である）秒ごとに１回など、所定のスケジュールに従って、選択された画像において実施することができる。決定されたさらなる排除領域は、次の選択された画像が処理されるまで維持される。

１つの実施形態において、関心領域の決定は、関心領域のための境界ボックスを選択することによって実施される。境界ボックスは、通常、動作検出器によって解析されるビデオシーケンス内の検出された各移動対象物について決定される。境界ボックスは、ビデオシーケンスの画像上で実行される動作検出アルゴリズムからの出力として受信することができる。境界ボックスは、画像座標系のためのその頂点座標によって規定することができ、画像解析のよく知られているコンポーネントである。

第２の態様によれば、上記で述べたまた他の目的は、コンピュータ可読記憶媒体を備えるコンピュータプログラム製品によって達成され、コンピュータ可読記憶媒体は、処理能力を有するデバイスによって実行されると、第１の態様の任意の実施形態の方法を実施するように適合される命令を有する。

第３の態様によれば、上記で述べたまた他の目的は、ビデオ管理システム（ＶＭＳ：ｖｉｄｅｏ ｍａｎａｇｅｍｅｎｔ ｓｙｓｔｅｍ）内の第１の態様の任意の実施形態の方法の使用によって達成される。

第４の態様によれば、上記のまた他の目的は、画像内の関心領域をハイライトするために配置されるデバイスによって達成される。デバイスは、人識別子を有する関心対象物を含むデジタル画像内の関心領域を決定し、検出された関心領域内で、別の人識別子を有するデジタル画像内の排除対象物をカバーする排除領域を決定するために配置される検出器を備える。デバイスは、周囲エリア内のデジタル画像内の全ての画像データを関心領域に対してマスクし、関心領域のデジタル画像からの画像データであって、画像データの排除領域がマスクされる、画像データを含み、また、周囲エリアのマスクされた画像データを含む出力画像を形成するために配置されるプロセッサをさらに備える。

第４の態様のデバイスは、概して、付随する利点を有する第１の態様の方法と同じ方法で具現化することができる。デバイスは、ＶＭＳ内のビデオカードの一部として配置することができる。

本発明の適用可能性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ与えられることが理解されるべきであり、なぜならば、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになることになるからである。

したがって、そのようなデバイスおよび方法が変動する場合があるため、述べるデバイスの特定のコンポーネント部品または述べる方法のステップに本発明が限定されないことが理解される。本明細書で使用される用語が、特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求項で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別途文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなげればならない。そのため、例えば、「１つの対象物（ａ ｏｂｊｅｃｔ）」または「その対象物（ｔｈｅ ｏｂｊｅｃｔ）」に対する言及は、幾つかの対象物または同様なものを含むことができる。さらに、語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、他の要素またはステップを排除しない。

本発明は、ここで、例としてより詳細に、かつ、添付概略的な図面を参照して述べられる。

１つの実施形態による方法についてのフローチャートである。 実施形態による方法によって形成されるデジタル画像および出力画像を示す図である。 実施形態による方法によって形成されるデジタル画像および出力画像を示す図である。 画像シーケンスについて、補間された関心領域を示す図である。 １つの実施形態による方法によって形成される、ビデオシーケンスのデジタル画像および出力画像を示す図である。 １つの実施形態による方法について関心領域および排除領域を示す図であり、関心領域および排除領域は、境界ボックスおよび方法によって形成される出力画像に基づいて決定される。

図２ａで始めて、画像１００は、例えば、監視のために、シーンをモニターするカメラによって取り込まれる。画像をビデオシーケンスとして取り込むことができる。画像またはビデオは、後で再検討および／または解析するため、データ記憶のために従来のメモリに記憶することができる。監視のため、ビデオ記録物が、所定の期間、例えば２か月、サーバー上に記憶され、その後、ストレージから永久的に除去されることが多い。

論じたように、ＧＰＲＤなどの一部の規制は、ビデオ／画像素材であって、記録されており、かつ、その中でその人が識別可能である、ビデオ／画像素材を受け取る権利を人に与える。このため、画像は、関係人を示すために、しかしながら、他の人のインテグリティを損なうことなく編集される必要がある。

図２ａの画像１００はそのような画像の例を提供する。この画像１００において、幾人かの人１２、１４、１６、１８は、目に見え、彼らを識別できると仮定できる。提供される例において、ハイライトされるのは、以降で関心人１２と呼ぶ、人１２であり、他の人１４、１６、１８のアイデンティティは、人１４、１６、１８を識別可能にする人１４、１６、１８の少なくとも一部をマスクすることによって隠される(hide)べきである。人または対象物に属するそのような部分は、本明細書で人識別子と呼ばれる。人識別子は、顔などの人間身体のフィーチャー、または、ナンバープレート番号またはネームタグなどの対象物のフィーチャーとすることができる。

画像１００内の関心人１２をハイライトするため、図１に示すＳ０２～Ｓ０８のステップを含む方法が適用される。ステップＳ０２にて、画像１００内の関心領域１３が決定される。これは、関心対象物１２を含む関心領域１３をユーザーが（コンピュータを介して）選択またはマーク付けすることによって半自動で行うことができる。画像１００内の関心領域１３は、関心対象物１２の少なくとも一部に対応する画像データを有する画像エリアをカバーする。関心対象物１２の人識別子を含む、身体全体または身体の一部を選択／マーク付けすることができる。

決定に対するより自動的なアプローチを、代わりに適用することができる。例えば、対象物検出アルゴリズムは、存在する任意の対象物を検出するため、画像１００に対して実施することができる。これは、理想的に、撮像された全ての人１２、１４、１６、１８の検出をもたらすことになり、検出は、画像１００を、各人を囲むボックスに重ね合わせることによってユーザーのために（ディスプレイ上で）可視化することができる。その結果から、ボックス付き画像エリアは、マニュアル入力によって関心領域１３として選択することができる。さらに一層自動的な実装態様において、関心領域１３は、検出された対象物の画像データと、顔の画像データあるいは名前または自動車登録番号のテキストデータなどの人識別子の入力データとの間の比較を実施することによって決定することができる。肯定的な比較結果によって、比較され検出された対象物を、関心対象物１２に設定することができ、関心対象物１２または関心対象物１２の一部をカバーするエリアは、関心領域１３として自動的に規定され設定される。入力データを、前もって受信する、または、マニュアルで入力することができる。方法を実装するシステムは、そのようなデータを入力するようユーザーに促すことができる。

次に、方法によれば、関心領域１３に対する周囲画像エリア１７がマスクされるＳ０４。特に、周囲画像エリア１７内の全ての画像データがマスクされ、周囲画像エリア１７内に位置するいずれの人識別子もマスクされることになることを意味する。換言すれば、周囲エリア１７内の画像１００の画像データは、画像データの全てのピクセル値を、例えば、ゼロなどの所定の値に交換することによって隠蔽される、または、周囲エリア１７のマスキングを作成するように操作される。

次に、排除領域１５が決定されるＳ０６。排除領域１５は、周囲エリア１７がマスクされるため、関心領域１３内でのみ決定される必要がある。これは、周囲エリア１７、おそらくは画像１００全体を同様に走査することに比較して、排除領域１５を決定する資源効率的な方法である。排除領域１５は、関心対象物１２についての人識別子と同じでない人識別子を有する排除対象物１４をカバーする（部分的にカバーする、を含む）領域である。人識別子が関心領域１３内に部分的に位置しかつ部分的に外部に（周囲エリア１７内に）あるとき、人識別子が、必ずしも、排除領域１５によってカバーされないことが留意される。人識別子は、全体として見られる、排除対象物１４の一部である。例えば、人の顔は、図２ａの場合のように、関心領域によって少なくとも部分的にカバーされるだけである人識別子を形成することができる。必ずしも、関心領域１３によってカバーされる顔部分によって排除対象物１４を識別することが可能である訳ではない、しかしながら、本発明は、余分の検証についての必要性を低減するため、とにかく顔をマスクし、信頼性のあるマスキングを提供することになる。さらに、関心領域の外に位置する画像データと組み合わせて、関心領域によってカバーされる画像データに基づいて人識別子を決定することができることが留意される。例えば、図２ａの画像１００を見ると、人１４の顔の形態の人識別子は、関心領域１３内に位置するデジタル画像１００の画像データおよび周囲領域１７内に位置するデジタル画像１００の画像データを解析することによって人識別子として規定することができる。

関心領域１３と同様に、排除領域１５は、異なるアルゴリズムを多かれ少なかれ使用することによって、マニュアルで、半自動的に、またはより自動的な方式で決定することができる。例えば、排除領域１５は、関心領域１３によってカバーされる画像データ上で実施される対象物分類アルゴリズムの使用によって決定することができる。顔またはナンバープレートなどの人識別子が、検出され、関心対象物１２の人識別子と同じ対象物クラスでない、または、同じ場所にない場合、別の人識別子が検出され、この別の人をカバーする排除領域１５を規定することができることを仮定することができる。

出力画像１０１が、その後形成されるＳ０８。出力画像１０１は、関心領域１３からの画像データを含む、しかしながら、出力画像１０１内で排除領域１５によってカバーされる画像データはマスクされる。これは、排除領域１５の画像データが出力画像１０１に含まれないこと、または、画像データの操作されたバージョンが含まれることを意味する。とにかく、排除領域１５によってカバーされるマスクされた画像データは、人１４を識別するために使用できない。さらに、周囲エリア１７のマスクされた画像データ、この例では、デジタル画像１００の残りは、出力画像１０１に含まれる。関心領域１３と、排除領域１５と、周囲エリア１７との間の空間的関係は、出力画像１０１において維持される。この例の場合、出力画像１０１は、デジタル画像１００と同じディメンション、例えば、１９２０×１０８０ピクセルを有する。

見られるように、この例において、ブラックカラーに対応するゼロにピクセル値を設定する形態でのマスキングは、排除領域１５および周囲領域１７のために使用される。画像の異なるエリアについて、または、シーケンスの異なる出力画像内の同じエリアについて同じマスキング法を使用することは必要でない。

図２ｂにおいて、デジタル（入力）画像２００および対応する出力画像２０１の別の例が示される。ここで、撮像される対象物は、ナンバープレート２４を有する自動車（カメラから離れて運転する）の背後に通りを横切る人２２を含む。ナンバープレート２４は、自動車登録番号に対応し、自動車所有者についての人識別子を形成するナンバープレート番号「ＡＢＣ １２３」を含む。

論じた方法による画像２００の解析中に、関心領域２３が、最初に決定される。上記の例の場合と同様に、これは、多かれ少なかれ自動的な方式で達成することができる。周囲エリア２７内の全ての画像データは、その後、画像データを所定のピクセル値で置換することによってマスクされる。図２ａの例と対照的に、周囲領域２７は、関心領域２３の周りの制限された画像エリアをカバーする。周囲領域２７の拡張は、ターゲット出力画像サイズによって決定することができる。例えば、周囲領域２７は、画像ごとに決定されて、決定された関心領域とターゲット出力画像サイズとの間のエリアを埋めることができる。代替的に、周囲領域２７は、関心領域２３の外に所定の拡張部を有することができる。周囲領域２７が関心領域２３を完全に閉囲する必要がないことが留意される。さらに、周囲エリア２７は、関心領域２３によってカバーされる画像エリアに隣接する画像エリアをカバーする。

関心領域２３内で、排除領域２５が決定される。ここで、免許登録番号の形態の人識別子は、関心領域２３内の識別子であり、排除領域２５は、この人識別子を含む画像エリアの周りに形成される。

関心領域２３の入力画像２００からの画像データを含む出力画像２０１が形成される。しかしながら、排除領域２５内の画像データは、識別不能な程度にピクセル化されることによってマスクされ、ナンバープレート番号を出力画像２０１において認識できないことを意味する。この例において、関心対象物２２に対応する画像データは、排除領域２５に含まれるため、部分的にマスクされる。出力画像２０１は、周囲エリア２７のマスクされた画像データも含む。

識別不能な程度までの画像データのマスキングについて、異なる検討を行うことができる。第１に、識別不能であると考えられるものは、例えば、識別可能という用語が、特定の適用分野内でどのように規定されるか、または、出力画像が満たすべきであるのがどの規制かに依存する異なる実装態様において異なるとすることができる。第２に、識別不能な程度までのマスキングは、画像エリアがどれほど大きいか、または、排除領域２５によってカバーされる画像エリアが有するのがどれほど多くのピクセルかなどのさらなるパラメーター（画像２００の解析からまたは外部ソースから取得される）に基づいて実施することができる。

論じる方法は、画像シーケンスの画像に適用されるように拡張することができる。本質的に、これは、方法が、ビデオを共に形成することができる画像の選択物または画像のシーケンスの全ての画像に対して実施される。入力ビデオを処理し、ハイライトされた関心対象物を有する出力ビデオを形成することに関する目的は、例えば、ビデオモニタリングを実施する当事者(party)から人が彼または彼女の記録された全てのビデオ素材を要求するときに生じる可能性がある。図１を参照すると、Ｎ個の画像を含むビデオシーケンスが、最初に設けられるＳ０１。例えば、ｎ＝１から始めて、ステップＳ０２～Ｓ０８の方法は、上記で論じたように実施される。ｎがＮに等しいか否かが、ステップＳ１０にてチェックされる。等しくない場合、ｎは、１だけ増加されＳ０９、方法Ｓ０２～Ｓ０８は、画像ｎに対して実施される。下位方法Ｓ０２～Ｓ０８は、ｎがＮに達するまで、すなわち、全ての画像１～Ｎが処理されるまで反復される。その後、出力画像が形成されＳ１２、出力画像は、好ましくは、オリジナルの画像シーケンスの場合と同様に、対応する時間的順序で、全ての形成された出力画像を含む。

方法は変動する場合がある。例えば、画像シーケンス内の各画像は解析される必要がない。１つの実施形態において、画像の選択物は、ステップＳ０２～Ｓ０８によって処理されて、ステップＳ１２にて形成される出力ビデオに含まれる出力画像を形成する。そのような実施形態において、ｎは、各反復において１より大きい数だけ増加されて、画像シーケンスの幾つかの中間画像についての処理をスキップすることができる。代替的に、方法は、画像シーケンスから複数の画像を選択するステップを含むことができ、複数の画像を選択するステップは、次に、各画像がそれについて処理される画像サブシーケンスを形成する。画像の選択物の出力画像によって形成される出力ビデオは、好ましくは、オリジナルのビデオシーケンスに対応する発生順に形成される。

関心領域を決定するステップＳ０２は、画像シーケンスの画像を処理する場合、上記で論じまた例示された方法のうちの任意の方法に従って行うことができる。しかしながら、各画像内で関心領域を決定する代替の方法は、図３に示される。ここで、関心領域１、１．１、１．２、２は、より容易な理解のために、画像シーケンス内の全ての画像を示す同じ画像３００内に示される。この例において、第１の選択した画像の第１の関心領域１が決定され、第２の選択した画像の第２の関心領域２が決定される。これらの関心領域１、２は、上記で論じた方法で、例えば、マニュアル選択によってあるいは対象物識別または分類によって決定することができる。しかしながら、画像シーケンス内の第１の選択した画像と第２の選択した画像との間に位置する中間画像についての関心領域１．１、１．２は、こうして決定されない。代わりに、第１の関心領域１と第２の関心領域２との間の補間が使用される。この例において、第１の関心領域１内の第１の参照ポイント３２および第２の関心領域２内の第２の参照ポイント３８が分かっている。参照ポイント３２、３８は、検出されておりかつそれぞれの関心領域１、２を規定する、検出された関心対象物を示すことができる。中間参照ポイント３４、３６は、第１の参照ポイント３２と第２の参照ポイント３８との間の補間によって生成される。知られており適切な任意の補間法を、生成のために使用することができ、用途に応じて選択することができる。

補間を使用することによって、関心対象物は、中間画像において認識され決定される必要はなく、したがって、より迅速でかつ資源要求が厳しくない方法を達成することができる。画像のシーケンスを通して、全ての１０番目のフレームなどの画像の一部が、選択され、第１および第２の画像を対で形成することができ、第１および第２の画像について、中間画像が、補間の使用によって処理される。出力画像および出力画像の出力ビデオは、上記で論じた実施形態に従って形成することができ、図３に示されない。

図４は、画像シーケンスについて永久的な排除領域４５、４７が決定される実施形態を示す。画像シーケンスの２つの画像４００、４０２が示される。第１の画像４００において、関心対象物４２が存在し、関心領域４３が規定される。この実施形態に特有であることには、さらなる関心領域４５、４７が決定される。これらは、関心領域４３の外に位置する。さらなる関心領域４５、４７はそれぞれ、人識別子をおそらくは含む対象物をカバーする。その対象物は、好ましくは、画像シーケンス全体を通して、決定されたさらなる排除領域内に維持される可能性がある、キャッシャーまたは駐車した自動車などの静的対象物あるいは運動が少ないまたは運動が全くない対象物として識別される。この例において、第１の駐車した車４４は第１のさらなる関心領域４５を規定し、第２の駐車した車４６は第２のさらなる関心領域４７を規定する。

決定された関心領域４３内で、排除領域を決定することができる、しかしながら、この例では、それは該当しない、なぜならば、関心領域内に他の対象物が存在しないからである。さらなる関心領域４５、４７を含む、画像の残り、すなわち、関心領域４３に対する周囲エリアはマスクされる。出力画像４０１は、上記で論じた実施形態に従って形成される。

第２の画像４０２において、関心対象物４２、したがって、関心領域４３が移動した。関心領域４３は、ここで、第１さらなる排除領域４５と第２さらなる排除領域４７の両方に交差する。関心領域４３と、第１および第２のさらなる排除領域４５、４７のそれぞれとの間に、オーバーラップ領域が形成される。関心対象物４２をハイライトする方法のさらなるステップとして、オーバーラップ領域がマスクされる。関心領域４３の画像データであって、そのいずれの排除領域もマスクされる、画像データを有する出力画像４０３が形成される。これは、決定された排除領域（この例では該当しない）と、さらなる排除領域４５、４７に対するオーバーラップ領域の両方のマスキングを含む。この実施形態によって、シーンの対象物は、画像シーケンス全体について有効である状態で１つまたは少数の画像において容易でかつ効率的な方式で規定／マーク付けすることができる。さらなる排除領域は、ビデオシーケンスの一定間隔で、例えば、１０番目の記録分ごとに(ｅｖｅｒｙ １０ｔｈ ｒｅｃｏｒｄｉｎｇ ｍｉｎｕｔｅ)規定することができる。さらなる排除領域の座標をデジタルメモリに記憶することができる。

関心領域を決定する代替法は、ここで、図５を参照して開示される。ここで、関心領域ａ．１、ａ．２、ａ．３は、境界ボックスの選択物として決定され、画像シーケンス内の異なる画像を示す同じ画像５００内に示される。境界ボックスは、画像シーケンスの解析に基づく従来の対象物追跡アルゴリズムによって、本方法から出力し、本方法に入力することができる。ユーザーは、ビデオシーケンス内の画像に対するオーバレイとして幾つかの境界ボックスを提示される場合がある。ユーザーは、各画像内の関心対象物であって、例えば、関心対象物の人識別子を通してユーザーによって識別される、関心対象物を囲む境界ボックスを選択することによって、関心領域ａ．１、ａ．２、ａ．３を決定することができる。代替的に、ユーザーは、第１の画像内の境界ボックスａ．１を選択することができ、その境界ボックストラックａとの関連付けが、画像シーケンス全体を通した選択を維持するために作成される。その場合、ユーザーは、関心対象物について１つだけの選択を行う必要がある。ビデオシーケンスの残りであって、その残りについて、境界ボックスａ．２、ａ．３が決定され、ビデオシーケンス全体を通して位置を変更することになる、ビデオシーケンスの残りの間、関心領域は既に選択されている。関心領域が選択されると、トラックｂに関連付けられた、他の境界ボックスｂ．１、ｂ．２、ｂ．３またはそれらの選択された部分は、さらなる排除領域であると判定することができる。上記で論じたように、関心対象物をハイライトする方法は、関心領域が画像シーケンスの任意の画像内でさらなる排除領域に交差する場合、形成されたオーバーラップ５１が排除領域を構成し、その結果、出力画像においてマスクされることになることを含むことができる。

関心領域に関連付けられるのがどの境界ボックスかの選択は、異なる境界ボックスの画像データを解析して、人識別子を識別し、それを、ハイライトされるのがどの関心対象物であるかを示す前もって受信した人識別子と比較することによって、自動的な方式で実施することができる。

一連の出力画像５０１、５０３、５０５は、上記の開示に従って形成される。すなわち、関心領域５４、５６、５８の画像データが含まれる、しかしながら、排除領域５５はマスクされる。周囲エリア５７は全ての出力画像５０１、５０３、５０５に含まれる。

関心領域および／または（さらなる）排除領域が、知られている追跡法の使用によって決定される代替の実施形態も可能である。再識別アルゴリズム、カーネルベース追跡、または輪郭追跡などの追跡法を実装することができる。これらのアルゴリズムからの出力は、関心対象物をハイライトする論じた方法に給送され、関心領域を決定するために使用することができる。

関心対象物をハイライトする方法は、ハードウェア実装態様としてまたはソフトウェア実装態様として実装することができる。実装態様は、ビデオ管理システム（ＶＭＳ）内に位置することができ、それにより、ハイライトされた関心対象物を有する出力ビデオは、ライブビデオシーケンスおよび記録されたビデオシーケンスを観察(view)するために使用されるのと同じデバイスから形成することができる。そのため、ビデオシーケンスは、所望の出力ビデオを提供するようにビデオシーケンスを処理するために、別のハードウェアまたはソフトウェアに転送される必要はない。

ハードウェア実装態様において、方法のステップを実施するように適合される検出器およびプロセッサは、所望の機能を提供するように専用でかつ特別に設計される回路要素（ｃｉｒｃｕｉｔｒｙ）として設けることができる。回路要素は、１つまたは複数の特定用途向け集積回路あるいは１つまたは複数のフィールドプログラマブルゲートアレーなどの、１つまたは複数の集積回路の形態とすることができる。

ソフトウェア実装態様において、回路要素は、代わりに、マイクロプロセッサなどのプロセッサの形態とすることができ、マイクロプロセッサは、不揮発性メモリなどの（非一時的）コンピュータ可読媒体上に記憶されたコンピュータコード命令と連携して、本明細書で開示した任意の方法（その一部）を実施する。不揮発性メモリの例は、読み出し専用メモリ、フラッシュメモリ、強誘電体ＲＡＭ、磁気コンピュータ記憶デバイス、光ディスク、および同様なものを含む。そのため、ソフトウェアの場合、検出器およびプロセッサはそれぞれ、コンポーネントの機能を実施する、コンピュータ可読媒体上に記憶されたコンピュータコード命令の一部分に対応することができる。

ハードウェア実装態様とソフトウェア実装態様の組み合わせを有することも可能であることが理解される。

本発明が、上述した好ましい実施形態に決して限定されないことを当業者は認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。

Claims (12)

1. 画像内の関心対象物をハイライトする方法であって、
   デジタル画像を設けること、
   前記デジタル画像の対象物について決定される１つ又は複数の境界ボックスを示すデータを受信すること、
   人識別子を有する関心対象物をカバーする前記デジタル画像の内部の関心領域を、前記１つ又は複数の境界ボックスのうちの１つを選択することによって決定することであって、前記人識別子は、人アイデンティティを、そこから一意に識別することができる、フィーチャー、特徴、または対象物である、関心領域を決定すること、
   周囲エリア内の前記デジタル画像内の全ての画像データを前記関心領域に対してマスクすること、
   前記関心領域内で、別の人識別子を有する前記デジタル画像内の排除対象物をカバーする排除領域を決定すること、および、
   前記排除領域がマスクされ、前記関心対象物からの画像データが前記排除領域に含まれる場合にはその一部がマスクされた、前記関心領域からの画像データを含み、且つ、前記周囲エリアの前記マスクされた画像データを含む出力画像を形成すること
   を含む、方法。
2. 前記周囲エリアは前記デジタル画像の残りに対応する、請求項１に記載の方法。
3. 前記画像データは、前記デジタル画像からの画像データの操作によってマスクされる、請求項１または２に記載の方法。
4. 前記関心対象物は人間である、請求項１から３のいずれか一項に記載の方法。
5. 人間のアイデンティティを受信することをさらに含み、前記関心領域を決定する行為は、受信された前記アイデンティティに基づいて実施される、請求項４に記載の方法。
6. 関心領域を決定するまたは排除領域を決定する行為は、前記デジタル画像に対して対象物検出アルゴリズムを実行することを含む、請求項１から５のいずれか一項に記載の方法。
7. 前記人識別子は、顔、ナンバープレート、またはｉｄタグを含む、請求項１から６のいずれか一項に記載の方法。
8. ビデオシーケンス内の関心対象物をハイライトする方法であって、
   デジタル画像を含むビデオシーケンスを設けること、
   前記ビデオシーケンスからのデジタル画像の選択物の各画像について、請求項１から７のいずれか一項による方法を適用すること、および、
   前記出力画像を含む出力ビデオシーケンスを形成すること
   を含む、方法。
9. ビデオシーケンス内の関心対象物をハイライトする方法であって、
   デジタル画像を含むビデオシーケンスを設けること、
   前記ビデオシーケンスからの第１の画像について、前記第１の画像の対象物について決定される１つ又は複数の境界ボックスを示すデータを受信すること、および、人識別子を有する関心対象物をカバーする前記第１の画像の内部の第１の関心領域を、前記１つ又は複数の境界ボックスのうちの１つを選択することによって決定することであって、前記人識別子は、人アイデンティティを、そこから一意に識別することができる、フィーチャー、特徴、または対象物である、第１の関心領域を決定すること、
   前記ビデオシーケンスからの第２の画像について、前記第２の画像の対象物について決定される１つ又は複数の境界ボックスを示すデータを受信すること、および、関心対象物をカバーする前記第２の画像の内部の第２の関心領域を、前記１つ又は複数の境界ボックスのうちの１つを選択することによって決定すること、
   前記ビデオシーケンス内の、第１の画像と第２の画像との間に一時的に介在する画像について、前記第１の画像内の前記第１の関心領域と、前記第２の画像内の前記第２の関心領域との間の補間によってそれぞれの関心領域を決定すること、
   前記第１の画像、前記第２の画像、および前記一時的に介在する画像の各画像について、
   周囲エリア内の前記デジタル画像内の全ての画像データを前記デジタル画像のそれぞれの関心領域に対してマスクすること、
   前記それぞれの関心領域内で、別の人識別子を有する前記デジタル画像内の排除対象物をカバーする排除領域を決定すること、および、
   前記排除領域がマスクされ、前記関心対象物からの画像データが前記排除領域に含まれる場合にはその一部がマスクされた、前記それぞれの関心領域からの画像データを含み、且つ、前記周囲エリアの前記マスクされた画像データを含む、出力画像を形成すること、並びに
   前記出力画像を含む出力ビデオシーケンスを形成すること
   を含む、方法。
10. 非一時的なコンピュータ可読記憶媒体であって、処理能力を有するデバイスによって実行されると、請求項１から９のいずれか一項による方法を実施するように適合される命令を有する、非一時的なコンピュータ可読記憶媒体。
11. デジタル画像内の関心対象物をハイライトするために配置されるデバイスであって、
    検出器と、
    プロセッサと
    を備え、
    前記検出器は、
    前記デジタル画像の対象物について決定される１つ又は複数の境界ボックスを示すデータを受信し、
    人識別子を有する関心対象物（１２，２２，４２）をカバーする前記デジタル画像（１００，２００，４００）の内部の関心領域（１３，２３，４３）を、前記１つ又は複数の境界ボックスのうちの１つを選択することによって決定し、ここで前記人識別子は、人アイデンティティを、そこから一意に識別することができる、フィーチャー、特徴、または対象物であり、および
    検出した前記関心領域内で、別の人識別子を有する前記デジタル画像内の排除対象物（１４，２４）をカバーする排除領域（１５，２５）を決定する
    ように構成され、
    前記プロセッサは、
    周囲エリア（１７，２７）内の前記デジタル画像内の全ての画像データを前記関心領域に対してマスクし、且つ、
    前記排除領域がマスクされ、前記関心対象物からの画像データが前記排除領域に含まれる場合にはその一部がマスクされた、前記関心領域の前記デジタル画像からの画像データを含み、且つ、前記周囲エリアの前記マスクされた画像データを含む出力画像（１０１，２０１）を形成する
    ように構成される、デバイス。
12. ビデオ管理システムのビデオカード内に配置される、請求項１１に記載のデバイス。

Images