JP7012880B2 - ターゲット検出方法及び装置、機器並びに記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年０４月３０日に提出された出願番号２０１９１０３６４５６５．０の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本発明は、コンピュータビジョン技術分野に関するが、これに限定されず、特に、ターゲット検出方法及び装置、機器並びにコンピュータ記憶媒体に関する。

コンピュータビジョン技術は一般的には、画像収集に関わる。続いて、収集された画像に対する分析により、ターゲットの追跡又はターゲットの行為の分析を実現させる。幾つかのシーンにおいて、コンピュータビジョン技術は更に、行為分析及び／又は不正行為の追跡及び早期警告等の操作に関わる。

コンピュータビジョン技術において、一般的には、深層学習モデルを利用してターゲット検出を行うが、ターゲットを見失うか又はターゲットを誤追跡するという問題が存在することがある。

これに鑑み、本発明の実施例は、ターゲット検出方法及び装置、機器並びにコンピュータ記憶媒体を提供することが望ましい。

本発明の実施例で提供されるターゲット検出方法は、
ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得することであって、前記ｎ個の異なるターゲット検出器は、同一の画像から、ｎ種類の異なる画像特徴を抽出することができ、ｎは２以上の正整数である、ことと、
前記ｎ種類の検出枠に基づいて、統合された検出枠を得ることと、
前記ｎ個の異なるターゲット検出器のうちの各ターゲット検出器が、前記統合された検出枠に基づいて、入力画像から画像特徴を抽出し、ｎ種類の画像特徴を得ることと、
ｎ種類の画像特徴に基づいて、画像特徴最適化を行い、最適化された画像特徴を得ることと、
前記最適化された画像特徴に基づいて、最適化された検出枠を得て、ターゲットを検出することと、を含む。

本発明の実施例は、ターゲット検出装置を更に提供する。前記装置は、
ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得するように構成される取得モジュールであって、前記ｎ個の異なるターゲット検出器は、同一の画像から、ｎ種類の異なる画像特徴を抽出することができ、ｎは２以上の正整数である、取得モジュールと、
前記ｎ種類の検出枠に基づいて、統合された検出枠を得るように構成される統合モジュールと、
前記ｎ個の異なるターゲット検出器のうちの各ターゲット検出器が、前記統合された検出枠に基づいて、入力画像から画像特徴を抽出し、ｎ種類の画像特徴を得るように構成される抽出モジュールと、
ｎ種類の画像特徴に基づいて、画像特徴最適化を行い、最適化された画像特徴を得るように構成される第１最適化モジュールと、
前記最適化された画像特徴に基づいて、最適化された検出枠を得て、ターゲットを検出するように構成される第２最適化モジュールと、を備える。

本発明の実施例は、ターゲット検出機器を更に提供する。前記ターゲット検出機器は、
コンピュータによる実行可能な命令を記憶するように構成されるメモリと、
前記メモリに接続され、前記コンピュータによる実行可能な命令を実行することで、前記いずれか１つの技術的解決手段により提供されるターゲット検出方法を実現させるように構成されるプロセッサと、を備える。

コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には、コンピュータによる実行可能な命令が記憶されており、前記コンピュータによる実行可能な命令がプロセッサにより実行された後、前記いずれか１つの技術的解決手段により提供されるターゲット検出方法を実現させることができる。

コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ命令を含み、前記コンピュータ命令を呼び出すことで、コンピュータ装置に、前記いずれか１つの技術的解決手段により提供されるターゲット検出方法を実行させる。

本発明の実施例により提供されるターゲット検出方法によれば、様々なターゲット検出器を利用して別々に検出枠を得る。まず、検出枠の統合により、様々なターゲット検出器の検出枠を統合された検出枠を得る。単一のターゲット検出器の検出枠により特徴対象物の追跡を直接的に行うことに比べて、漏れ及び誤りを低減させる。続いて、少なくとも２種のターゲット検出器を利用して、統合された検出枠に基づいて、別々に少なくとも２種類の画像特徴を抽出し、少なくとも２種類の画像特徴に基づいて画像特徴の最適化を行うことで、画像特徴の漏れ及び誤りを低減させる。最後に、最適化された画像特徴により、最適化された検出枠を逆算する。該最適化された検出枠に基づいて、ターゲット追跡又はターゲット追跡に基づいたターゲット分析を行う。任意の単一のターゲット検出器に比べて、漏れ及び誤りを低減させることができる。

本発明の実施例によるターゲット検出方法を示すフローチャートである。 本発明の実施例による第２種類の画像特徴を利用して第１種類の画像特徴を最適化することを示す概略図である。 本発明の実施例による第１種類の画像特徴を利用して第２種類の画像特徴を最適化することを示す概略図である。 本発明の実施例による反復最適化を示す概略図である。 本発明の実施例による接続により形成された動作パイプラインを示す概略図である。 本発明の実施例によるターゲット検出装置の構造を示す概略図である。 本発明の実施例によるターゲット検出機器の構造を示す概略図である。

以下、明細書の図面及び具体的な実施例を参照しながら、本発明の技術的解決手段を更に詳しく説明する。
図１に示すように、本発明の実施例は、ターゲット検出方法を提供する。前記方法は、以下を含む。
ステップＳ１１０において、ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得し、前記ｎ個の異なるターゲット検出器は、同一の画像から、ｎ種類の異なる画像特徴を抽出することができ、ｎは２以上の正整数である。
ステップＳ１２０において、前記ｎ種類の検出枠に基づいて、統合された検出枠を得る。
ステップＳ１３０において、前記ｎ個の異なるターゲット検出器のうちの各ターゲット検出器が、前記統合された検出枠に基づいて、入力画像から画像特徴を抽出し、ｎ種類の画像特徴を得る。
ステップＳ１４０において、ｎ種類の画像特徴に基づいて、画像特徴最適化を行い、最適化された画像特徴を得る。
ステップＳ１５０において、前記最適化された画像特徴に基づいて、最適化された検出枠を得て、ターゲットを検出する。

本発明の実施例で提供されるターゲット検出方法は、同一の画像から異なる画像特徴を抽出できる２つの異なるターゲット検出器を実行している機器に適用可能である。

該ターゲット検出方法は、ターゲット追跡に用いられる。例えば、移動可能なロボットは、該ターゲット検出方法を実行することで、追跡される人間を決定し、続いて、例えば、案内サービスなどのような種々のサービスを人間に提供する。また例えば、貨物運搬ロボットは、貨物及び人間を予定地に運搬する。幾つかの実施例において、道路上の歩行者の運動を追跡し、追跡により得られた運動軌跡に基づいて防犯を行うために用いられてもよい。

各ターゲット検出器は、１つの入力画像から１種類の画像特徴を抽出することができる。抽出された画像特徴を利用してターゲットを検出する場合、位置決めターゲットに関連する１種類の検出枠を得ることができる。

前記ターゲット検出器は、同一の画像から、様々な画像特徴を抽出できる深層学習モデル又は機械学習モデルである。
ｎ個の前記ターゲット検出器におけるｎは、２以上の正整数であってもよく、ｎの具体的な数値は、２、３又は４などであってもよい。
前記ｎ種類の異なるターゲット検出器は、下記いずれか１つの点で相違する。
ｎ種類の異なるターゲット検出器に対応するニューラルネットワークのネットワーク構造が異なる。
ｎ種類の異なるターゲット検出器に対応するニューラルネットワークのネットワークパラメータが異なる。
ｎ種類の異なるターゲット検出器が準拠するモデルアルゴリズムが異なる。
ｎ種類の異なるターゲット検出器による検出枠抽出の方式が異なる。
ｎ種類の異なるターゲット検出器による画像特徴抽出の方式が異なる。

要するに、本実施例において、ｎ種類のターゲット検出器は、同一の入力画像について、同一のタイプの結果を得る必要があっても、ターゲット検出器自体の属性及び／又はパラメータが異なることにより、異なるターゲット検出器は、画像の様々な特徴に基づいて処理する必要があることを引き起こす可能性がある。従って、１つのターゲット検出器の利点は、他のターゲット検出器の欠点を補い、最終的なターゲット検出結果を最適化することができる。

単一のターゲット検出器は、入力画像から、ターゲット位置決め及び／又はターゲット分析を行う場合に発生した精度が不十分ではないという問題を解決するために、本実施例において、ｎ個のターゲット検出器を同時に利用して別々に対応する検出枠を取得する。
前記ｎ個のターゲット検出器により検出された検出枠はいずれも矩形枠であってもよく、それぞれ、ｎ個のターゲット検出器により直接的又は間接的に決定された、入力画像におけるターゲットを含むと認められた領域である。

本実施例において、１つの前記ターゲット検出器は、入力画像から１種類の画像特徴を抽出することができる。

本実施例において、ｎ種類のターゲット検出器は、異なる検出機能を有してもよい。例えば、タイプの異なる画像特徴を抽出することができる。

前記ターゲットは、タイプに応じて分類すると、種々の移動対象を含んでもよい。該移動対象は、生体又は非生体を含むが、これらに限定されない。典型的な生体は、人間及び／又は動物を含むが、これらに限定されない。非生体は、様々な乗り物及び／又は自走可能なロボットなどを含んでもよい。

ステップＳ１２０において、ｎ個のターゲット検出器の検出枠に基づいて、統合を行う。ここで、統合は、異なるターゲット検出器の検出枠の併合などを含むが、これらに限定されない。従って、統合された検出枠は、単一のターゲット検出器に検出漏れが発生してターゲットを見失うという現象を低減させることができる。一方で、単一のターゲット検出器による位置決めにエラーが発生して入力画像におけるターゲットを含む領域が検出枠で囲まれず、ターゲットを見失うという現象を低減させることができる。

具体的に、前記ステップＳ１２０は、
前記ｎ個のターゲット検出器から出力された検出枠の和集合を求め、前記統合された検出枠を得ることと、
対応する第１確率値が降順に応じてソートされる場合に上位Ｍ１％位になる１つのターゲット検出器の検出枠と他のターゲット検出器の検出枠の和集合を求め、前記統合された検出枠を得ることと、を含んでもよいが、これらに限定されない。
前記Ｍ１は、１００未満の正整数であり、例えば、Ｍ１の値は、いずれも５０又は６０等の値であってもよい。

ステップＳ１３０において特徴検出を行う場合、各ターゲット検出器は、自体により得られた検出枠に基づいて直接的に画像特徴を抽出することなく、統合された検出枠に基づいて、検出画像から、それぞれ対応する画像特徴を抽出する。

例えば、ｎが２であると仮定する場合、ｎ個のターゲット検出器は、第１ターゲット検出器及び第２ターゲット検出器を含む。第１ターゲット検出器は、第１種類の検出枠を出力する。第２ターゲット検出器は、第２種類の検出枠を出力する。更に、第１種類の検出枠の数は、Ｓ１個であり、第２種類の検出枠の数は、Ｓ２個であり、第１種類の検出枠と第２種類の検出枠に対して併合等の処理を行った後、Ｓ３個の統合された検出枠を得ると仮定する。
Ｓ３は、Ｓ１とＳ２の和以下であり、且つ、Ｓ３は、Ｓ１以上であるか、又は、Ｓ３は、Ｓ２以上である。

ステップＳ１３０において、第１ターゲット検出器は、入力画像での、Ｓ３個の統合された検出枠の位置に基づいて、統合された検出枠で囲まれた画像領域内の第１種類の画像特徴をそれぞれ抽出し、第２ターゲット検出器は、Ｓ３個の統合された検出枠基づいて、統合された検出枠で囲まれた画像領域内の第２種類の画像特徴をそれぞれ抽出する。
本実施例において、前記第１種類の画像特徴と第２種類の画像特徴は、タイプの異なる特徴である。それらは、
異なるモデルにより抽出された特徴の点で相違する。

画像特徴の特徴値は、画像の様々な属性に対応する。例えば、ある画像特徴は、色分布状況を記述し、ある画像特徴は、輝度分布状況を記述する。また例えば、ある画像特徴は、１つの画像対象の外観情報を記述し、ある画像特徴は、１つの画像対象の構造情報を記述する。
要するに、前記第１種類の画像特徴と前記第２種類の画像特徴は、タイプの異なる画像特徴である。

本実施例において、第１種類の画像特徴及び第２種類の画像特徴を得た後、該２種類の画像特徴を更に結合し、最適化された画像特徴を得る。ここで、最適化された画像特徴は、２種類の画像特徴の特徴値を導入することができ、及び／又は、単一の画像特徴によるターゲットに対する記述は不十分であるか又は誤ったという現象を少なくとも減少させることができる。

本実施例において、前記ステップＳ１４０は、ｎ個のターゲット検出器により、統合された検出枠に基づいて得られたそれぞれの画像特徴を融合することを含んでもよい。
前記融合は、線形融合及び非線形融合を含む。

線形融合は、線形関数に変換可能な融合アルゴリズムを利用して、前記ｎ種類の画像特徴を融合して、前記線形最適化された画像特徴を得ることである。典型的な線形関数は、等割合関数等を含むが、これらに限定されない。

非線形融合は、線形関数に変換不可能な融合アルゴリズムを利用して、前記ｎ種類の画像特徴を融合して前記線形最適化された画像特徴を得ることである。典型的な非線形関数は、
区分関数及び／又は畳み込み演算が含まれる畳み込み関数を含んでもよい。

例えば、前記実施例に続き、ｎが２であることを例として説明する。第１ターゲット検出器から出力された第１種類の画像特徴と第２ターゲット検出器から出力された第２種類の画像特徴の融合は、以下の通りであってもよい。
前記第１種類の画像特徴と前記第２種類の画像特徴に対して線形融合を行い、線形最適化された画像特徴を得る。
前記第１種類の画像特徴と前記第２種類の画像特徴に対して非線形融合を行い、非線形最適化された画像特徴を得る。

前記第１種類の画像特徴と第２種類の画像特徴をスプライシングし、第１種類のスプライシング特徴を得る。スプライシング過程において、例えば、第１種類の画像特徴は、Ｗ１＊Ｈ１＊Ｃ１の画像特徴であり、第２種類の画像特徴は、Ｗ２＊Ｈ１＊Ｃ１である。該第１種類のスプライシング特徴は、（Ｗ１＋Ｗ２）＊Ｈ１＊Ｃ１の画像特徴であってもよい。
第１種類の画像特徴を更に処理した後、第２種類の画像特徴とスプライシングされる可能な画像特徴に変換して、第２種類のスプライシング特徴を得る。

また幾つかの実施例において、前記ステップＳ１４０は、
第１種類の画像特徴におけるｍ番目の位置での特徴値の第１信頼度と、第２種類の画像特徴におけるｍ番目の位置での特徴値の第２信頼度と、を比較することと、
前記第１信頼度が第２信頼度より大きいと、第１種類の画像特徴におけるｍ番目の位置での特徴値を、最適化された画像特徴のｍ番目の位置での特徴値とすることと、
及び／又は、
第２信頼度が第１信頼度以上であると、第２種類の画像特徴におけるｍ番目の位置での特徴値を、最適化された画像特徴のｍ番目の位置での特徴値とすることと、を更に含んでもよい。
幾つかの実施例において、前記ステップＳ１３０は、関数

により、前記最適化された画像特徴を得ることができる。ただし、

は、ｍ回目の最適化が実行された第１種類の画像特徴である。

は、ｍ回の最適化が実行される前の、第１ターゲット検出器により抽出された第１種類の画像特徴である。

は、ｍ回の最適化が実行された、第２ターゲット検出器により抽出された第２種類の画像特徴である。

は、第１最適化関数である。
又は、
前記ステップＳ１３０は、関数

により、前記最適化された画像特徴を得ることができる。ただし、

は、ｍ回目の最適化が実行された第２種類の画像特徴である。

は、ｍ回の最適化が実行される前の、第２ターゲット検出器により抽出された第２種類の画像特徴である。

は、ｍ回の最適化が実行された、第１ターゲット検出器により抽出された第１種類の画像特徴である。

は、第２最適化関数である。

上記は、単に、第１種類の画像特徴及び第２種類の画像特徴に基づいて、最適化された画像特徴を得る例に過ぎず、具体的な実現形態は、多種であり、ここで、一々列挙しない。

要するに、最適化された画像特徴は、２種の異なる画像特徴に基づいて得られたものであるため、単一のターゲット検出器で特徴を抽出することにより引き起こされるターゲットの特徴が失うか又は誤るという現象を低減させ、ターゲットの見失い又はターゲット追跡の誤りの現象を減少させ、ターゲット追跡及び／又はターゲット分析の精度を向上させる。

幾つかの実施例において、前記最適化された画像特徴を得た後、最適化された画像特徴に基づいて検出枠を逆算し、つまり、前記最適化された検出枠を得る。

例えば、前記最適化された画像特徴を回帰器の入力として、回帰器から出力された検出枠の情報を得る。この時に得られた検出枠は、前記最適化された検出枠である。該最適化された検出枠は、第１ターゲット検出器を利用して直接的に抽出された第１種類の検出枠及び／又は第２ターゲット検出器を利用して直接的に抽出された第２種類の検出枠に比べて、追跡されるべきターゲットを含む確率が大幅に向上した。本実施例で提供されるターゲット検出方法を用いる場合、追跡されるターゲットが部分的に遮蔽されたか及び／又は高速運動している場合でも、正確に追跡を行うことができる。従って、追跡の成功率が高いという特徴を有し、ターゲット検出の精度及びロバスト性を向上させる。

幾つかの実施例において、前記ステップＳ１４０は、
前記方法をｍ回目に実行するときに、前記ｎ種類の画像特徴のうちのｎ－１種類の画像特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得ることを含んでもよく、
ここで、第ｐ種類の画像特徴は、前記ｎ種類の画像特徴のうちの、前記ｎ－１種類の画像特徴以外の１種類の画像特徴であり、ｍは、０より大きい整数であり、ｐは、０より大きくてｎ以下の整数である。

本発明の実施例において、前記ステップＳ１１０からステップＳ１５０を一回実行することで、ターゲット追跡の成功率の向上を実現させることができる。しかしながら、本実施例において、追跡効果を更に向上させるために、本実施例に記載の方法は、複数回実行され、複数回の最適化を実現させる。

従って、本実施例において、前記ｍは、正整数であってもよい。画像特徴最適化を行うたびに、ｎ個のターゲット検出器から１つのターゲット検出器をランダムに選択して、該ターゲット検出器により抽出された画像特徴又は該ターゲット検出器に対応する最適化さあれた画像特徴に対して最適化を行うことができる。

最適化効果を実現させるために、例えば、ｐ＝ｍｏｄ（ｍ／ｎ）＋１という順番のような所定の順番に応じて、各種類の画像特徴を１つずつ最適化し、対応する種類の最適化された画像特徴を得ることができる。

例えば、ｎが２である場合、１回目の最適化において、第２種類の画像特徴を利用して、第１ターゲット検出器により抽出された第１種類の画像特徴に対して最適化を行い、最適化された画像特徴を得る。２回目の最適化において、最適化された画像特徴を利用して、第２ターゲット検出器により抽出された第２種類の画像特徴に対して最適化を行う。

ｎが３である場合、２回又は３回以上の最適化を行うことができる。１回目の最適化において、第２種類の画像特徴（第２ターゲット検出器により抽出された）及び第３種類の画像特徴（第３ターゲット検出器により抽出された）を利用して、第１ターゲット検出器により抽出された第１種類の画像特徴に対して最適化を行い、最適化された画像特徴を得る。２回目の最適化において、１回目の最適化が実行された画像特徴及び第３種類の画像特徴を利用して、第２ターゲット検出器により抽出された第２種類の画像特徴に対して最適化を行い、２回目の最適化が実行された画像特徴を得る。幾つかの実施例において、三回目の最適化を行う必要がある場合、１回目の最適化が実行された画像特徴及び２回目の最適化が実行された画像特徴を利用して、第３種類の画像特徴に対して最適化を行う。

幾つかの実施例において、前記ステップＳ１４０は
前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得ることと、
前記畳み込み特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得ることと、を更に含んでもよい。

本実施例において、畳み込みのような非線形計算により、ｎ種類の画像特徴を抽出して相補を行い、画像特徴の最適化を実行する。線形計算による特徴融合に比べて、効果がより高いという特徴を有する。
具体的な畳み込み処理は、異なるターゲット検出器の畳み込みチャネルを接続することで実現することができる。

幾つかの実施例において、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得ることは、具体的には、
前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して第１畳み込み処理を行い、ｎ－１種類の第１畳み込み特徴を得ることと、
前記ｎ－１種類の第１畳み込み特徴のうちの各種類の第１畳み込み特徴に対して活性化処理を行い、ｎ－１種類の活性化特徴を得ることと、
前記ｎ－１種類の活性化特徴のうちの各種類の活性化特徴に対して第２畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得ることと、を含んでもよい。

つまり、ｎ－１種類の画像特徴のうちの各種類の画像特徴に対してまず一回の畳み込み処理を行い、続いて、畳み込み処理の結果を活性化処理し、更に、活性化処理の結果に対して一回の畳み込み処理を行う。

本実施例において、前記第１畳み込み処理及び第２畳み込み処理は、同一の畳み込み処理又は異なる畳み込み処理であってもよい。

例えば、ｎが２であることを例として説明すると、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得て、前記畳み込み特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得ることは、
畳み込み伝送チャネルを利用して、前記第１種類の画像特徴に対して畳み込み処理を行い、第１種類の畳み込み特徴を得て、前記第１種類の畳み込み特徴を利用して、前記第２種類の画像特徴を最適化し、最適化された第２種類の画像特徴を得ること、
又は、
畳み込み伝送チャネルを利用して、前記第２種類の画像特徴に対して畳み込み処理を行い、第２種類の畳み込み特徴を得て、前記第２種類の畳み込み特徴を利用して、前記第１種類の画像特徴を最適化し、最適化された第１種類の画像特徴を得ること、を含んでもよい。

本実施例において、第１種類の画像特徴と第２種類の画像特徴を融合処理して前記最適化された画像特徴を得る場合、畳み込み伝送チャネルを用いて畳み込み処理を行うことが好ましい。これにより、第１種類の画像と第２種類の画像の非線形融合を実現させる。

本実施例において、前記畳み込み伝送チャネルは、畳み込み操作を含む伝送チャネルである。画像特徴が畳み込み伝送チャネルにより伝送されると、該畳み込み伝送チャネルに入った画像特徴を、少なくとも１回の畳み込み操作を実行した後に出力する。

本実施例において、畳み込み伝送チャネルを利用して第１種類の画像特徴に対して畳み込み処理を行った後に、第１種類の畳み込み特徴を得る。第１種類の畳み込み特徴を利用して第２種類の画像特徴を最適化し、前記最適化された画像特徴を得る。今回最適化された画像特徴は、最適化された第２種類の画像特徴である。

本実施例において、前記畳み込み伝送チャネルは、前記第１種類の画像特徴に対して１回又は複数回の畳み込み処理を行い、第１種類の畳み込み特徴を得ることができる。
同様に、前記畳み込み伝送チャネルは、第２種類の画像特徴に対して１回又は複数回の畳み込み処理を行い、第２種類の畳み込み特徴を得ることもできる。

幾つかの実施例において、第１種類の画像特徴と第２種類の画像特徴に対して、同一の畳み込み伝送チャネルを利用して畳み込み処理を行うことができる。従って、第１種類の画像特徴と第２種類の画像特徴は、同一の畳み込み伝送チャネルを共有することができる。これにより、深層学習モデル又は機械学習モデルのモデル構造を簡略化することができる。

本実施例において、畳み込みのような非線形計算により、２種類の画像特徴を抽出して情報相補を行い、画像特徴の最適化を実行する。線形計算による特徴融合に比べて、効果がより高いという特徴を有する。

上記実施例における畳み込みチャネルは、
入力された画像特徴に対して一次畳み込み処理を行い、一次畳み込み特徴を得るように構成される第１畳み込み層であって、前記入力された画像特徴は、前記第１種類の画像特徴又は前記第２種類の画像特徴である、第１畳み込み層と、
前記第１畳み込み層に接続され、前記一次畳み込み特徴に対して活性化処理を行い、活性化特徴を得るように構成される活性化層と、
前記活性化層に接続され、前記活性化特徴に対して二次畳み込み処理を行い、前記第１種類の畳み込み特徴又は前記第２種類の畳み込み特徴を得るように構成される第２畳み込み層と、を備えてもよい。

本実施例において、前記第１畳み込み層は、入力された画像特徴に対して畳み込み処理を行う。ここで、第１畳み込み層の畳み込みカーネルは、１＊１の畳み込みカーネルであってもよい。これにより、入力された画像特徴を第１畳み込み層により処理した後に出力した一次畳み込み特徴の次元は、入力された画像特徴の次元と同じである。

前記活性化層は、各タイプの活性化関数に応じて設定されたネットワーク層であってもよい。本実施例において、前記活性化層は、正規化線形関数（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬＵ）により提供されるネットワーク層であってもよい。
正規化線形関数により前記一次畳み込み特徴に対して特徴マッピングを行い、第２畳み込み層に入力された活性化特徴を得る。

第２畳み込み層は、畳み込みカーネルが第１畳み込み層の畳み込みカーネルと同じであるか又は異なる畳み込み層であってもよい。本実施例において、前記第２畳み込み層の畳み込みカーネルは同様に、１＊１の畳み込みカーネルであってもよい。従って、第２畳み込み層により二次畳み込み処理を行うことで得られた第２種類の畳み込み特徴の次元も、第２畳み込み層に入力された入力特徴の次元と一致する。
例えば、第２畳み込み特徴の次元は、最適化を必要とする画像特徴の次元と一致することが可能である。

図２Ａは、第１種類の画像特徴及び第２種類の画像特徴に基づいて、最適化された画像特徴を得ることを示す概略図である。図２Ａにおいて、第２種類の画像特徴は、畳み込み伝送チャネルにより畳み込み処理された後、第１種類の画像特徴とスプライシングされ、最適化された画像特徴が得られ、つまり、最適化された第１種類の画像特徴が得られる。

図２Ｂは、第１種類の画像特徴及び第２種類の画像特徴に基づいて、最適化された画像特徴を得ることを示すもう１つの概略図である。図２Ｂにおいて、前記第１種類の画像特徴は、畳み込み伝送チャネルにより畳み込み処理された後、第２種類の画像特徴とスプライシングされ、最適化された画像特徴が得られ、つまり、最適化された第２種類の画像特徴が得られる。

ここで、第１ターゲット検出器は、第１検出枠を決定する。第２ターゲット検出器は、第２検出枠を決定する。第１検出枠と第２検出枠を統合された後に第３検出枠を得る。第１ターゲット検出器は、第３検出枠に基づいて、入力画像から第１種類の画像特徴を抽出する。第２ターゲット検出器は、第３検出枠に基づいて、入力画像から第２種類の画像特徴を抽出する。
該畳み込みチャネルは、ｎが３又は３以上である場合、ｎ－１種類の画像特徴に対して畳み込み処理を行うために用いられてもよい。

幾つかの実施例において、前記ステップＳ１５０は、
最適化された画像特徴に基づいて回帰処理を行い、前記最適化された検出枠を得ることを含んでもよい。
本実施例において、最適化された画像特徴と検出枠との相互依存関係を逆算する等の回帰方式により、前記最適化された検出枠を得ることができる。
本実施例において、最適化された検出枠の取得方式は多種であり、ここで、実現しやすい方式を提供する。具体的な実現過程は、本実施例に限定されない。

ｎが２であることを例とする場合、前記ステップＳ１５０は、最適化された第１種類の画像特徴に基づいて、最適化された第１種類の検出枠を得ること、又は、最適化された第２種類の画像特徴に基づいて、最適化された第２種類の検出枠を得ること、を含んでもよい。

本実施例において、ステップＳ１４０において、第２種類の画像特徴を利用して第１種類の画像特徴を最適化（補強）し、最適化された第１種類の画像特徴を得ると、ステップＳ１５０において、最適化された第１種類の検出枠を得る。ステップＳ１５０において、第１種類の画像特徴を利用して第２種類の画像特徴を最適化（補強）し、最適化された第２種類の画像特徴を得ると、ステップＳ１５０において、最適化された第２種類の検出枠を得る。
従って、本実施例において、最適化された検出枠は、最適化された第１種類の検出枠及び最適化された第２種類の検出枠という２種に分けられてもよい。
ここで、第１種類の検出枠は、第１ターゲット検出器により決定され、第２種類の検出枠は、第２ターゲット検出器により決定される。

幾つかの実施例において、前記ステップＳ１２０は、前記ｎ種類の検出枠のうちの各種類の検出枠のうちの確率値が確率閾値以上である検出枠を併合し、統合された検出枠を得ることを更に含んでもよい。
従って、該確率値は、該種類の検出枠でターゲットを正確に囲む確率であり、信頼度の値である。

本実施例において、確率閾値と比較し、確率値が確率閾値より低い検出枠をフィルタリングした後に併合を行うことで、確率値の低い枠が、統合された検出枠に追加されることを減少させ、ステップＳ１４０における統合された検出枠に基づいた不必要な画像特徴検出を減少させ、不必要な計算量を減少させることができる。

幾つかの実施例において、異なるターゲット検出器から出力された検出枠の確率閾値は、同じであっても異なってもよい。例えば、ｎが２であることを例とする場合、該２つのターゲット検出器からそれぞれ出力された検出枠に対応する同じ確率閾値は、０．５又は０．６等であってもよい。１つの閾値は、０．５であって、もう１つの閾値は、０．６であってもよい。続いて、ｎ＝２であることを例として説明すると、前記ステップＳ１２０は具体的には、
第２種類の検出枠と第１確率値が第１確率閾値より大きい第１種類の検出枠を併合し、前記統合された検出枠を得ることであって、前記第１確率値は、前記第１種類の検出枠に前記ターゲットが含まれる確率値である、こと、
又は、
前記第１種類の検出枠と第２確率値が第２確率閾値より大きい第２種類の検出枠を併合し、前記統合された検出枠を得ることであって、前記第２確率値は、前記第２種類の検出枠に前記ターゲットが含まれる確率値である、こと、を含んでもよい。

本実施例において、前記第１確率値は、前記第１ターゲット検出器が前記第１種類の検出枠を出力した時に同期して出力されたものである。前記第２確率値は、前記第２ターゲット検出器が前記第２種類の検出枠を出力した時に同期して出力されたものである。

本実施例において、不必要な併合を減少させるために、第２種類の検出枠のうちの確率値が高いものを第１種類の検出枠と併合する。ここで、併合は、和集合を求めて、前記統合された検出枠を得ることを含むが、これに限定されない。従って、第１確率値と第１確率閾値を比較することで、第１種類の検出枠のうちの、ターゲットを含む確率が低いものを除去する。該除去は、第２種類の検出枠の補強に悪影響又は大きな悪影響を与えることがない。一方で、統合された検出枠の数を減少させる。従って、後続のステップＳ１４０における画像特徴抽出過程において、不必要な計算量を減少させ、計算効率を向上させ、計算リソースを節約することができる。同様に、統合された検出枠は、第１確率値が第１確率閾値より大きい第１種類の検出枠により得られたものである場合、同様に上記特徴を有する。

幾つかの実施例において、ステップＳ１２０において、第１種類の検出枠及び第２種類の検出枠に基づいて前記統合された検出枠を得る場合、非最大値抑制（Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ：ＮＭＳ）アルゴリズムを利用して、スライドウィンドウにより、入力画像の様々な画像領域における確率値が極大値である検出枠を抽出し、もう１つのターゲット検出器により抽出された検出枠と併合し、前記統合された検出枠を得ることができる。例えば、ＮＭＳアルゴリズムを利用して、一部の第１種類の検出枠を選択して、全ての第２種類の検出枠と併合し、前記統合された検出枠を得る。又は、ＮＭＳアルゴリズムを利用して、一部の第２種類の検出枠を選択して、全ての第１種類の検出枠と併合し、前記統合された検出枠を得る。

要するに、ステップＳ１２０において、第１種類の検出枠及び第２種類の検出枠に基づいて前記統合された検出枠を得る方式は、一種以上であり、具体的な実現は、上記例に限定されない。

幾つかの実施例において、２つのターゲット検出器における相互補強した操作により、一回実行する場合でも、単一のターゲット検出器に比べて、ターゲット追跡又はターゲット分析の精度を向上させることを実現させることもできる。

別の幾つかの実施例において、ターゲット追跡又はターゲット分析の精度及びロバスト性を更に向上させるために、第１ターゲット検出器及び第１ターゲット検出器における相互補強した複数回の反復を行う。つまり、本発明の実施例で提供される方法を複数回実行する。ここで、反復は複数回に分けて実行されてもよく、各回の実行は、第１種類の検出枠と第２種類の検出枠を併合し、統合された検出枠を得ることと、統合された検出枠に基づいて２種類の画像特徴を抽出し、最適化した画像を得て、最適化された検出枠を決定することと、を含んでもよい。

従って、ｎが２であることを例として、本発明の実施例で提供される方法を複数回実行する場合、前記ステップＳ１１０は、
本発明の実施例で提供される方法を初回実行する場合、前記第１ターゲット検出器を利用して、前記入力画像においてターゲットを検出し、前記第１種類の検出枠を得て、前記第２ターゲット検出器を利用して、前記入力画像においてターゲットを検出し、前記第２種類の検出枠を得ることを含んでもよい。

本発明の実施例で提供される方法を初回実行する場合、第１種類の検出枠は、第１ターゲット検出器により入力画像から検出されたものであり、第２種類の検出枠は、第２ターゲット検出器により入力画像から検出されたものである。
従って、初回実行過程における第１種類の検出枠及び第２種類の検出枠はいずれも、最適化されていない検出枠である。

なお、ステップＳ１２０において、第１ターゲット検出器及び第２ターゲット検出器から別々に出力されたタイプの異なる検出枠を直接的に併合するか、又は確率値と確率閾値を比較し、比較結果に基づいて、２種の検出枠を併合し、前記統合された検出枠を得る。

幾つかの実施例において、例えば、前記第１ターゲット検出器と第２ターゲット検出器は、高速Ｒ－ＣＮＮネットワークにおける異なる処理分岐であってもよい。前記Ｒ－ＣＮＮは、領域畳み込みニューラルネットワークであってもよい。第１ターゲット検出器に対応する第１分岐により検出された提案領域（Ｐｒｏｐｏｓａｌ Ｒｅｇｉｏｎ）は、前記第１種類の検出枠である。第２ターゲット検出器に対応する第２分岐により検出された提案領域は、前記第２種類の検出枠である。

ｎが１より大きい整数である場合、前記方法が初回実行され、ステップＳ１１０は、
ｎ個の異なるターゲット検出器をそれぞれ利用して前記入力画像においてターゲットを検出し、位置決めターゲットに関連するｎ種類の検出枠を得ることを含んでもよい。
この場合、最適化される検出枠はいずれも、ターゲット検出器により検出されたものである。

幾つかの実施例において、前記方法がｋ回目に実行され、ｋは１より大きい整数であり、前記ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得することは、
ｎ個の異なるターゲット検出器のうちの各ターゲット検出器に対して、前記方法をｋ－１回目に実行するときに該ターゲット検出器により決定された検出枠又は該ターゲット検出器に対応する最適化された検出枠を取得することを含む。

ｋ回目の実行は、初回実行ではない場合、少なくとも１つのターゲット検出器の検出枠は、前回の実行で得られた最適化された検出枠である。

引き続き、ｎ＝２を例として、本実施例において、反復最適化を利用して複数回反復最適化された検出枠を得るため、幾つかの実施例において、前記ステップＳ１１０は、
現在の実行がｎ回目の実行である場合、前記第１ターゲット検出器がｎ－１回目の検出又は最適化を実行した後に得た第１種類の検出枠を取得し、第２ターゲット検出器がｎ－１回目の検出又は最適化を実行した後に得た第２種類の検出枠を取得することであって、前記ｎは、２以上の正整数である、ことを含んでもよい。

例えば、現在の実行が２回目の実行である場合、ステップＳ１１０において取得された第１種類の検出枠は、本願の実施例で提供される方法を初回実行するときに検出された検出枠又は最適化された検出枠であり、取得された第２種類の検出枠は、初回実行するときに最適化された検出枠又は検出された検出枠である。具体的には、初回実行するときに得られた最適化された検出枠は、最適化された第１種類の検出枠であると、２回目に実行するときにステップＳ１１０において取得された第１種類の検出枠は、初回実行するときに得られた最適化された第１種類の検出枠であるが、２回目に実行するときにステップＳ１１０において取得された第２種類の検出枠は依然として、初回実行するときに第２ターゲット検出器により直接的に入力画像から検出された第２種類の検出枠である。初回実行するときに得られた最適化された検出枠は、最適化された第２種類の検出枠であると、２回目に実行するときにステップＳ１１０において取得された第２種類の検出枠は、初回実行するときに得られた最適化された第２種類の検出枠であるが、２回目に実行するときにステップＳ１１０において取得された第１種類の検出枠は依然として、初回実行するときに第１ターゲット検出器により直接的に入力画像から検出された第１種類の検出枠である。

また例えば、現在、本願の実施例で提供される方法をｋ（ｋが２より大きい）回目に実行する場合、ステップＳ１１０において取得された第１種類の検出枠は、ｋ－１回目に実行するときに検出された検出枠又は最適化された検出枠であり、取得された第２種類の検出枠は、ｋ－１回目に実行するときに検出された検出枠又は最適化された検出枠である。具体的には、３回目に実行するときにステップＳ１１０において取得された第１種類の検出枠は、初回実行するときに得られた最適化された第１種類の検出枠であり、取得された第２種類の検出枠は、２回目に実行するときに得られた最適化された第２種類の検出枠である。又は、３回目に実行するときにステップＳ１１０において取得された第１種類の検出枠は、２回目に実行するときに得られた最適化された第１種類の検出枠であり、取得された第２種類の検出枠は、初回実行するときに得られた最適化された第２種類の検出枠である。
従って、本願の実施例で提供されるターゲット検出方法を複数回実行することで、検出枠を段階的に最適化することを実現させることができる。

幾つかの実施例において、実行回数は、少なくとも２回であってもよく、具体的には、偶数回であってもよい。従って、複数回の実行において、第１種類の検出枠と第２種類の検出枠の反復クロスオーバー最適化を実現させ、検出枠の最適化効果を再び向上させる。

幾つかの実施例において、現在の第１種類の検出枠と第２種類の検出枠はいずれも前回の実行で最適化された検出枠であると、ステップＳ１２０において、第１種類の検出枠と第２種類の検出枠の和集合を直接的に求め、最適化された統合された検出枠を得る。

幾つかの実施例において、前記ステップＳ１３０は、前回の実行において前記第１種類の画像特徴を利用して前記第２種類の画像特徴を最適化すると、今回の実行において前記第２種類の画像特徴を利用して前記第１種類の画像特徴を最適化することを含んでもよい。

本実施例において、様々なモデルの反復クロスオーバー補強を実現させるために、前回の実行において第１種類の画像特徴を利用して第２種類の画像特徴を最適化すると、今回の実行において第２種類の画像特徴を利用して第１種類の画像特徴を最適化する。複数回の実行において１つのターゲット検出器によりもう１つのターゲット検出器を補強するため、複数回の処理を行った後に、幾つかの画像特徴の失いを引き起こしやすいという現象を減少させ、画像特徴及び検出枠の反復最適化効果を更に向上させる。

例えば、２＊ｐ－１回目の実行において第１種類の画像特徴を利用して第２種類の画像特徴を補強（最適化）すると、２＊ｐ回目の実行において第２種類の画像特徴を利用して第１種類の画像特徴を補強（最適化）する。ここで、ｐは正整数である。これにより、様々なモデルの画像特徴の反復クロスオーバー最適化を実現させる。
様々なモデルの画像特徴の反復クロスオーバー最適化により、様々なモデルの検出枠の反復クロスオーバー最適化を実現させることができる。

幾つかの実施例において、前記第１種類の画像特徴は、色画像特徴であり、前記第２種類の画像特徴は、オプティカルフロー画像特徴である。又は、前記第１種類の画像特徴は、オプティカルフロー画像特徴であり、前記第２種類の画像特徴は、色画像特徴である。

別の幾つかの実施例において、色画像特徴、オプティカルフロー画像特徴、深度画像特徴、画像分割特徴のうちの少なくとも２つを利用して反復クロスオーバー最適化を行うこともできる。

具体的には、前記色画像特徴は、ＲＧＢ特徴又はＹＵＶ特徴であってもよく、ここの色画像特徴は、ＲＧＢ又はＹＵＶの色ヒストグラム等であってもよい。ターゲットの外観情報が保留された。例えば、結像された人体の顔立ち情報が保留された。

前記オプティカルフロー画像特徴は、オプティカルフロー（Ｏｐｔｉｃａｌ ｆｌｏｗ）アルゴリズムにより画像から抽出されたオプティカルフロー画像特徴である。ここのオプティカルフロー画像特徴は、短期間内で不変のまま保持したか及び／又は隣接領域内において速度ベクトル場が不変のまま保持した運動対象の特性に基づいて抽出されたターゲット表面及び／又は縁の運動状況の運動特徴である。

本実施例において、色画像特徴とオプティカルフロー画像特徴を互いに補強することで、ターゲット追跡又はターゲット追跡のターゲット分析において単一の色画像特徴又は或オプティカルフロー画像特徴により引き起こされる誤差を減少させ、ターゲット追跡及び／又はターゲット分析の精度を向上させる。

図３に示すように、前記反復は、４回の実行を含んでもよく、各回の実行はいずれも、検出枠を併合し、併合した検出枠に基づいて画像特徴最適化を行い、最適化された画像特徴に基づいて最適化された検出枠を得ることを含む。

検出枠の併合を初回実行する場合、関数

を用いる。ここで、等式の右側の

は、第１ターゲット検出器により入力画像から抽出された第１種類の検出枠であり、

は、第２ターゲット検出器により入力画像から抽出された第２種類の検出枠である。等式の左側の

は、初回の実行で得られた統合された検出枠である。統合された検出枠に基づいて２種類の画像特徴をそれぞれ得た後に特徴最適化を行い、最適化された第１種類の画像特徴

を得る。続いて、最適化された第１種類の画像特徴

に基づいて回帰処理を行うことにより、幾つかの実施において、初回の実行で最適化された第１種類の検出枠

を得る。

検出枠の併合を２回目に実行する場合、関数

を用いる。ここで、

は、初回の実行で得られた最適化した第１種類の検出枠である。

は、第２ターゲット検出器により入力画像から抽出された第２種類の検出枠である。

は、２回目の実行で得られた統合された検出枠である。統合された検出枠

に基づいて２種類の画像特徴をそれぞれ得た後に特徴最適化を行い、最適化された第２種類の画像特徴

を得る。続いて、最適化された第２種類の画像特徴

に基づいて回帰処理を行うことにより、幾つかの実施において、２回目の実行で最適化された第２種類の検出枠

を得る。

検出枠の併合を３回目に実行する場合、関数

を用いる。ここで、

は、２回目の実行で得られた最適化した第２種類の検出枠である。

は、最初の実行で得られた最適化した第１種類の検出枠である。

は、３回目の実行で得られた統合された検出枠である。統合された検出枠に基づいて２種類の画像特徴をそれぞれ得た後に特徴最適化を行い、最適化された第１種類の画像特徴

を得る。続いて、最適化された第１種類の画像特徴

に基づいて回帰処理を行うことにより、幾つかの実施において、３回目の実行で最適化された第１種類の検出枠

を得る。

検出枠の併合を４回目に実行する場合、関数

を用いる。ここで、

は、３回目の実行で得られた最適化した第１種類の検出枠である。

は、２回目の実行で得られた最適化した第２種類の検出枠である。

は、４回目の実行で得られた統合された検出枠である。統合された検出枠に基づいて２種類の画像特徴をそれぞれ得た後に特徴最適化を行い、最適化された第２種類の画像特徴

を得る。続いて、最適化された第２種類の画像特徴

に基づいて回帰処理を行うことにより、幾つかの実施において、４回目の実行で最適化された第２種類の検出枠

を得る。

幾つかの実施例において、前記方法は、
ビデオにおける複数個フレームの画像の前記最適化された検出枠を接続し、同一のターゲットの動作パイプラインを形成することと、
前記動作パイプラインに基づいて前記ターゲット追跡を行うことと、を更に含む。
本実施例において、前記動作パイプラインは、時系列に基づいてソートされて形成されたパイプラインであってもよい。

例えば、ビデオは、Ｔ個フレームを含む。第１フレームから第Ｔフレームまでの順番に応じて、同一のターゲットに対応する最適化された検出枠をソートし、動作パイプラインを得る。

これにより、動作パイプラインに基づいて、第１フレームから第Ｔフレームにおいて、必要な画像特徴を抽出してターゲット追跡を行う。又は、動作パイプラインにおいて入力画像での、同一のターゲットの画像特徴及び／又は占有した画像面積に基づいて直接的に計算し、前記ターゲット追跡を実現させる。

例えば、静止したカメラについて、カメラの被写界深度が不変のまま保持した場合、ターゲットが該カメラに近いほど、対応する画像フレームで占有した画像面積が大きくなる。ターゲットが該カメラに遠いほど、対応する画像フレームで占有した画像面積が小さくなる。前記最適化された検出枠の表現方式は、多種であり、以下、２つの任意選択的な方式を提供する。
画像座標系での、最適化された検出枠の４つの頂点の座標で表される。
画像座標系での、最適化された検出枠の中心点の座標、最適化された検出枠の長さ及び最適化された検出枠の幅で表される。
最適化された検出枠の面積は、画像でのターゲットの占有面積に正比例する。
従って、画像面積により、カメラとターゲットとの距離の変動を推算することで、ターゲットの移動速度等を決定し、更に、ターゲット追跡を実現させることができる。

別の幾つかの実施例において、動作パイプラインにおける最適化された検出枠は、対応する画像フレームでの、ターゲットの位置を位置決めしたため、ターゲットの行為を分析する時、最適化された検出枠に基づいて、対応する画像フレームから画像特徴を抽出してターゲットの行為の分析を行うことができる。

例えば、道路交通分野において、このような方式で、道路上の歩行者の行為の分析、道路上の車両の行為の分析を行うことで、歩行者又は車両が不正行為を行っているかどうかをモニタリングすることができる。

幾つかの実施例において、図４に示すように、ビデオにおける複数個フレームの画像の前記最適化された検出枠を接続し、同一のターゲットの動作パイプラインを形成することは、以下を含む。
ステップＳ２１０において、ｑ番目の画像フレームの前記最適化された検出枠に基づいて、再検出された画像特徴を得て、ｑは正整数である。
ステップＳ２２０において、前記再検出された画像特徴に基づいて、動作タイプの認識を行い、対応するタイプの動作と決定されることを示す確率値を得る。
ステップＳ２３０において、前記確率値に基づいて、前記最適化された検出枠に対して平滑化フィルタリングを行い、平滑化フィルタリングされた最適化された検出枠を得る。
ステップＳ２４０において、時間領域内において、平滑化フィルタリングされた最適化された検出枠を関連付け、前記動作パイプラインを得る。

本実施例において、前記再検出された画像特徴は、前記ｎ種類の画像特徴とことなってもよく、前記ｎ種類の画像特徴のうちの１つ又は複数と同じであってもよい。例えば、前記再検出された画像特徴は、同様に、オプティカルフロー画像特徴又は色画像特徴であってもよい。

具体的には、ステップＳ２２０において、二次分類器を利用して、動作分類により、ターゲットが、対応する画像フレームにおいて所定の動作を実行しているかを判定する。交通道路分野において、車両が信号無視又は道路上の実線からのはみ出しのような不正動作を行っているかどうかを認識することができる。動作タイプの認識は、不正動作及び正当動作の判別を含んでもよい。

また、具体的には、ステップＳ２２０において、マルチ分類器を利用して多種の動作を認識することができる。マルチ分類器を利用して正当動作及び不正動作を認識し、不正動作のタイプを細分化する。例えば、不正動作の類別は、交通信号の違反行為、交通線の違反行為、交通事故惹起に関わる不正動作を含むが、これらに限定されない。

本実施例において分類器を利用して動作タイプを認識した後、認識の確率値を更に得る。

本実施例において、平滑化フィルタリングにより画像騒音をフィルタリングし、ターゲットを含む確率が低い最適化された検出枠を除去し、再最適化された検出枠を得ることができる。

具体的には、前記ステップＳ２３０は、前記複数個フレームの画像における確率値が前記平滑化確率より小さい最適化された検出枠をフィルタリングし、除去されていない最適化された検出枠を得ることを含んでもよいが、これに限定されない。ステップＳ２４０は、時間領域において、除去されていない最適化された検出枠を接続して前記動作パイプラインを得ることを含んでもよい。幾つかの実施例において、該平滑化フィルタリングは、上記確率値の平均値を含むが、これに限定されない。ここで、上記確率値に基づいて、最適化された検出枠に対して平滑化フィルタリングを行う例を挙げる。具体的な実現は、上記例に限定されない。

図５に示すように、本実施例は、ターゲット検出装置を提供する。前記装置は、
ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得するように構成される取得モジュールであって、前記ｎ個の異なるターゲット検出器は、同一の画像から、ｎ種類の異なる画像特徴を抽出することができ、ｎは２以上の正整数である、取得モジュール１１０と、
前記ｎ種類の検出枠に基づいて、統合された検出枠を得るように構成される統合モジュール１２０と、
前記ｎ個の異なるターゲット検出器のうちの各ターゲット検出器が、前記統合された検出枠に基づいて、入力画像から画像特徴を抽出し、ｎ種類の画像特徴を得るように構成される抽出モジュール１３０と、
ｎ種類の画像特徴に基づいて、画像特徴最適化を行い、最適化された画像特徴を得るように構成される第１最適化モジュール１４０と、
前記最適化された画像特徴に基づいて、最適化された検出枠を得て、ターゲットを検出するように構成される第２最適化モジュール１５０と、を備える。

幾つかの実施例において、前記取得モジュール１１０、統合モジュール１２０、抽出モジュール１３０、第１最適化モジュール１４０及び第２最適化モジュール１５０は、いずれもプログラムモジュールであってもよい。該プログラムモジュールがプロセッサにより実行された後、該モジュールに対応する前記機能を実現させることができる。

別の幾つかの実施例において、前記取得モジュール１１０、統合モジュール１２０、抽出モジュール１３０、第１最適化モジュール１４０及び第２最適化モジュール１５０はいずれもソフトウェアとハードウェアを組み合わせたモジュールであってもよい。該ソフトウェアとハードウェアを組み合わせたモジュールは、種々のプログラマブルアレイを含んでもよい。該プログラマブルアレイは、フィールドプログラマブルアレイ又は複合プログラマブルアレイを含んでもよいが、これらに限定されない。

また幾つかの実施例において、前記取得モジュール１１０、統合モジュール１２０、抽出モジュール１３０、第１最適化モジュール１４０及び第２最適化モジュール１５０はいずれも単純なハードウェアモジュールであってもよい。該単純なハードウェアモジュールは、特定用途向け集積回路を含んでもよいが、これに限定されない。

幾つかの実施例において、前記第１最適化モジュール１４０は、画像特徴最適化をｍ回目に実行するときに、前記ｎ種類の画像特徴のうちのｎ－１種類の画像特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得るように構成され、ここで、第ｐ種類の画像特徴は、前記ｎ種類の画像特徴のうちの、前記ｎ－１種類の画像特徴以外の１種類の画像特徴であり、ｍは、０より大きい整数であり、ｐは、０より大きくてｎ以下の整数である。

幾つかの実施例において、ｐ＝ｍｏｄ（ｍ／ｎ）＋１である。

幾つかの実施例において、前記第１最適化モジュール１４０は具体的には、画像特徴最適化をｍ回目に実行するときに、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得て、前記畳み込み特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得るように構成される。

幾つかの実施例において、前記第１最適化モジュール１４０は具体的には、画像特徴最適化をｍ回目に実行するときに、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して第１畳み込み処理を行い、ｎ－１種類の第１畳み込み特徴を得て、前記ｎ－１種類の第１畳み込み特徴のうちの各種類の第１畳み込み特徴に対して活性化処理を行い、ｎ－１種類の活性化特徴を得て、前記ｎ－１種類の活性化特徴のうちの各種類の活性化特徴に対して第２畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得て、得られた前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を利用して前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得るように構成される。

幾つかの実施例において、前記第２最適化モジュール１５０は、最適化された画像特徴に基づいて回帰処理を行い、前記最適化された検出枠を得るように構成される。

幾つかの実施例において、前記統合モジュール１２０は、前記ｎ種類の検出枠のうちの各種類の検出枠のうちの確率値が確率閾値以上である検出枠を併合し、統合された検出枠を得るように構成される。

幾つかの実施例において、前記取得モジュール１１０は、ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠の取得を初回実行する場合、ｎ個の異なるターゲット検出器をそれぞれ利用して前記入力画像においてターゲットを検出し、位置決めターゲットに関連するｎ種類の検出枠を得るように構成される。

幾つかの実施例において、前記取得モジュール１１０は、ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠の取得をｋ回目に実行する場合、具体的には、ｎ個の異なるターゲット検出器のうちの各ターゲット検出器に対して、ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠の取得をｋ－１回目に実行する場合、該ターゲット検出器により決定された検出枠又は該ターゲット検出器に対応する最適化された検出枠を取得するように構成され、ｋは１より大きい整数である。

幾つかの実施例において、前記装置は、
ビデオにおける複数個フレームの画像の前記最適化された検出枠を接続し、同一のターゲットの動作パイプラインを形成するように構成される接続モジュールと、
前記動作パイプラインに基づいて前記ターゲット追跡を行うように構成される追跡モジュールと、を更に備える。

幾つかの実施例において、前記接続モジュールは、ｑ番目の画像フレームの前記最適化された検出枠に基づいて、再検出された画像特徴を得るように構成され、ｑは正整数であり、前記接続モジュールは、前記再検出された画像特徴に基づいて、動作タイプの認識を行い、対応するタイプの動作と決定されることを示す確率値を得て、前記確率値に基づいて、前記最適化された検出枠に対して平滑化フィルタリングを行い、平滑化フィルタリングされた最適化された検出枠を得て、時間領域内において、平滑化フィルタリングされた最適化された検出枠を関連付け、前記動作パイプラインを得るように構成される。

以下、上記実施例を参照しながら、具体的な例を提供する。
例１：
該例で提供されるターゲット検出方法において、情報伝達方法によれば、有用な情報を１つのモデル（１つのニューラルネットワークであってもよい）からもう１つのモデル（もう１つのニューラルネットワークであってもよい）に伝達することで、様々なモデルにより抽出された特徴同士の相補性を利用してモデルの特徴抽出能力を向上させることができる。１つのモデルで発生した位置決め用の候補者（前記検出枠）により、もう１つのモデルが画像におけるターゲットの位置決めをより正確に実現させるのを補助する。

上記２つの方法により、特徴及び位置決め用の候補者の発生のレベルで、様々なモデル同士の相補情報を十分に利用する。
該例で提供されるターゲット検出方法は、深層学習フレームワークの動作位置決めモデルに基づいて、複数の動作ターゲットに対して位置決めを行うことができる。

具体的には、本願の実施例で提供される方法でビデオにおける動作に対して位置決めを行うことは、下記ステップを含む。
まず、Ｆａｓｔｅｒ－ＲＣＮＮアルゴリズムを利用して、ビデオの現在フレームのＲＧＢ画像及びオプティカルフロー画像に対して、動作位置決め用の候補者を生成し、対応する特徴を抽出する。ここで、ＲＧＢ画像に対して、第１種類の画像特徴を抽出する。オプティカルフロー画像に対して、第２種類の画像特徴を抽出する。
続いて、情報伝達方法を利用して、相補情報を１つのモデルの特徴からもう１つのモデルに伝達すると共に、様々なモデルで生成された動作位置決め用の候補者を融合し、相補した候補者を得る。ここで、相補情報は、畳み込み伝送チャネルを利用して１つの画像特徴に対して畳み込み処理を行った後に得られた、もう１つの画像特徴を補強するための画像特徴であってもよい。
続いて、もう１つの画像特徴を補強するための画像特徴である新規生成した特徴及び動作位置決め用候補者を利用して現在フレームに対して動作分類及び位置決めを行う。
最後に、接続ポリシーを利用して各フレームの動作位置決めを直列接続することで、動作開始時点及び終了時点並びに各フレームでの動作の空間的位置などの情報のような動作位置決め結果を得る。

上記ステップにおける様々なモデルの情報を、特徴と操作位置決め用候補者との相補過程において複数回反復し、最終的な生成結果の正確性を向上させることができる。
該例は、動作検出及び時系列的接続を含む。

動作検出のための動作検出モデルの入力は、ビデオの現在フレームのＲＧＢ画像及びオプティカルフロー画像であってもよい。該動作検出モデルの出力は、ビデオの現在フレームにおける動作が発生する可能性がある検出枠及び対応する動作類別である。

具体的な処理過程は、下記ステップを含む。
Ｆａｓｔｅｒ－ＲＣＮＮアルゴリズムを利用して、ＲＧＢ画像及びオプティカルフロー画像に対して、対応する検出枠及び動作類別をそれぞれ決定する。
２つの異なるモデルで発生した検出枠を集め、各検出枠を利用して、対応する位置のＲＧＢ及びオプティカルフロー特徴をそれぞれ抽出する。１つのモデルで抽出された特徴（例えば、オプティカルフロー）に対して、二層の１ｘ１の畳み込み（情報伝達）を行うことで、もう１つのモデルで抽出された特徴（例えば、ＲＧＢ）に付加し、より強い特徴を得る。
前記ステップで得られた検出枠集合及び改良した特徴に基づいて、分類器と回帰器を利用して、更なる分類及び回帰を行い、より正確な検出枠を得る。
複数回の反復（例えば、４回又は４回以上の反復）を行うことで、最終的に発生した検出枠の正確性を向上させる。
前記時系列的接続ステップの入力は、全てのフレームで生成された検出枠及び対応する動作類別である。前記時系列的接続ステップの出力は、検出枠を接続した動作パイプラインである。
最後に、動作パイプラインに基づいて、ターゲット追跡又はターゲットの行為の分析を行う。

動作パイプラインの接続は、
接続ポリシーを利用して、ビデオを、動作検出モデルで発生した検出枠により時間領域で接続することで、動作パイプラインを生成することを含んでもよい。

動作パイプラインにおける各検出枠を利用して、対応する位置での特徴を抽出する。続いて、二次分類により、該検出枠の範囲内で動作を発生しているかどうかを判定し、動作発生確率を生成する。

メディアンフィルタを利用して、動作パイプラインにおける各検出枠の動作発生確率を平滑化フィルタリングする。動作発生確率が閾値より低い検出枠を除去し、最終的な動作パイプラインを得る。

図６に示すように、本出願の実施例は、ターゲット検出機器を提供する。前記ターゲット検出機器は、
コンピュータによる実行可能な命令を記憶するように構成されるメモリと、
ディスプレイ及び前記メモリにそれぞれ接続され、前記メモリに記憶されているコンピュータによる実行可能な命令を実行することで、前記１つ又は複数の技術的解決手段で提供されるターゲット検出方法を実現させ、例えば図１及び図４に示したターゲット検出方法のうちの少なくとも１つを実現させるように構成されるプロセッサと、を備える。

該メモリは、ランダムメモリ、読出し専用メモリ、フラッシュのような様々なメモリであってもよい。前記メモリは、情報記憶に用いられ、例えば、コンピュータによる実行可能な命令などの記憶に用いられる。前記コンピュータによる実行可能な命令は、ターゲットプログラム命令及び／又はソースプログラム命令などのような様々なプログラム命令であってもよい。

前記プロセッサは、中央演算処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像処理装置などのような様々なプロセッサであってもよい。

前記プロセッサは、バスを経由して前記メモリに接続される。前記バスは、集積回路バスなどであってもよい。
幾つかの実施例において、前記端末装置は通信インタフェースを更に備えてもよい。該通信インタフェースは、ローカルエリアネットワーク、送受信アンテナなどのようなネットワークインタフェースであってもよい。前記通信インタフェースも、前記プロセッサに接続され、情報送受信に用いられる。

幾つかの実施例において、前記端末装置は、ヒューマンインタラクティブインタフェースを更に備える。例えば、前記ヒューマンインタラクティブインタフェースは、キーボード、タッチパネルなどのような様々な入力出力装置を含んでもよい。

幾つかの実施例において、前記ターゲット検出機器は、ディスプレイを更に備える。該ディスプレイは、様々なリマインド情報、収集された顔画像及び様々なインタフェースを表示することができる。

本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体には、コンピュータによる実行可能な命令が記憶されており、前記コンピュータによる実行可能な命令が実行されてから、前記１つ又は複数の技術的解決手段で提供されるターゲット検出方法を実現させ、例えば図１及び図４に示したターゲット検出方法のうちの少なくとも１つを実現させる。

本願の実施例は、コンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータ命令を含み、前記コンピュータ命令を呼び出すことで、コンピュータ装置に、前記１つ又は複数の技術的解決手段で提供されるターゲット検出方法を実行させ、例えば図１及び図４に示したターゲット検出方法のうちの少なくとも１つを実行させる。

本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。

また、本発明の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとを組み合わせて実現してもよい。

上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶され、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、読出し専用メモリ（ＲＯＭ：Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者であれば理解されるべきである。

以上は本発明の具体的な実施形態に過ぎず、本発明の保護の範囲はそれらに制限されるものではなく、当業者が本発明に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

１１０ 取得モジュール
１２０ 統合モジュール
１３０ 抽出モジュール
１４０ 第１最適化モジュール
１５０ 第２最適化モジュール

Claims (13)

1. ターゲット検出方法であって、
   ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得することであって、前記ｎ個の異なるターゲット検出器は、同一の画像から、ｎ種類の異なる画像特徴を抽出することができ、ｎは２以上の正整数である、ことと、
   前記ｎ種類の検出枠に基づいて、統合された検出枠を得ることと、
   前記ｎ個の異なるターゲット検出器のうちの各ターゲット検出器が、前記統合された検出枠に基づいて、入力画像から画像特徴を抽出し、ｎ種類の画像特徴を得ることと、
   ｎ種類の画像特徴に基づいて、画像特徴最適化を行い、最適化された画像特徴を得ることと、
   前記最適化された画像特徴に基づいて、最適化された検出枠を得て、ターゲットを検出することと、を含む、方法。
2. 前記ｎ種類の画像特徴に基づいて、画像特徴最適化を行い、最適化された画像特徴を得ることは、
   前記方法をｍ回目に実行するときに、前記ｎ種類の画像特徴のうちのｎ－１種類の画像特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得ることを含み、
   ここで、第ｐ種類の画像特徴は、前記ｎ種類の画像特徴のうちの、前記ｎ－１種類の画像特徴以外の１種類の画像特徴であり、ｍは、０より大きい整数であり、ｐは、０より大きくてｎ以下の整数であることを特徴とする
   請求項１に記載の方法。
3. 前記ｎ種類の画像特徴のうちのｎ－１種類の画像特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得ることは、
   前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得ることと、
   前記畳み込み特徴を利用して、前記ｎ種類の画像特徴のうちの第ｐ種類の画像特徴を最適化し、前記最適化された画像特徴を得ることと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得ることは、
   前記ｎ－１種類の画像特徴のうちの各種類の画像特徴に対して第１畳み込み処理を行い、ｎ－１種類の第１畳み込み特徴を得ることと、
   前記ｎ－１種類の第１畳み込み特徴のうちの各種類の第１畳み込み特徴に対して活性化処理を行い、ｎ－１種類の活性化特徴を得ることと、
   前記ｎ－１種類の活性化特徴のうちの各種類の活性化特徴に対して第２畳み込み処理を行い、前記ｎ－１種類の画像特徴のうちの各種類の画像特徴の畳み込み特徴を得ることと、を含むことを特徴とする
   請求項３に記載の方法。
5. 前記最適化された画像特徴に基づいて、最適化された検出枠を得ることは、
   最適化された画像特徴に基づいて回帰処理を行い、前記最適化された検出枠を得ることを含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
6. 前記ｎ種類の検出枠に基づいて、統合された検出枠を得ることは、
   前記ｎ種類の検出枠のうちの各種類の検出枠のうちの確率値が確率閾値以上である検出枠を併合し、統合された検出枠を得ることを更に含むことを特徴とする
   請求項１から５のうちいずれか一項に記載の方法。
7. 前記方法が初回実行され、前記ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得することは、
   ｎ個の異なるターゲット検出器をそれぞれ利用して前記入力画像においてターゲットを検出し、位置決めターゲットに関連するｎ種類の検出枠を得ることを含み、
   前記方法がｋ回目に実行され、ｋは１より大きい整数であり、前記ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得することは、
   ｎ個の異なるターゲット検出器のうちの各ターゲット検出器に対して、前記方法をｋ－１回目に実行するときに該ターゲット検出器により決定された検出枠又は該ターゲット検出器に対応する最適化された検出枠を取得することを含むことを特徴とする
   請求項１から６のうちいずれか一項に記載の方法。
8. 前記方法は、
   ビデオにおける複数個フレームの画像の前記最適化された検出枠を接続し、同一のターゲットの動作パイプラインを形成することと、
   前記動作パイプラインに基づいてターゲット追跡を行うことと、を更に含むことを特徴とする
   請求項１から６のうちいずれか一項に記載の方法。
9. 前記ビデオにおける複数個フレームの画像の前記最適化された検出枠を接続し、同一のターゲットの動作パイプラインを形成することは、
   ｑ番目の画像フレームの前記最適化された検出枠に基づいて、再検出された画像特徴を得ることであって、ｑは正整数である、ことと、
   前記再検出された画像特徴に基づいて、動作タイプの認識を行い、対応するタイプの動作と決定されることを示す確率値を得ることと、
   前記確率値に基づいて、前記最適化された検出枠に対して平滑化フィルタリングを行い、平滑化フィルタリングされた最適化された検出枠を得ることと、
   時間領域内において、平滑化フィルタリングされた最適化された検出枠を関連付け、前記動作パイプラインを得ることと、を含むことを特徴とする
   請求項８に記載の方法。
10. ターゲット検出装置であって、
    ｎ個の異なるターゲット検出器により決定された、位置決めターゲットに関連するｎ種類の検出枠を取得するように構成される取得モジュールであって、前記ｎ個の異なるターゲット検出器は、同一の画像から、ｎ種類の異なる画像特徴を抽出することができ、ｎは２以上の正整数である、取得モジュールと、
    前記ｎ種類の検出枠に基づいて、統合された検出枠を得るように構成される統合モジュールと、
    前記ｎ個の異なるターゲット検出器のうちの各ターゲット検出器が、前記統合された検出枠に基づいて、入力画像から画像特徴を抽出し、ｎ種類の画像特徴を得るように構成される抽出モジュールと、
    ｎ種類の画像特徴に基づいて、画像特徴最適化を行い、最適化された画像特徴を得るように構成される第１最適化モジュールと、
    前記最適化された画像特徴に基づいて、最適化された検出枠を得て、ターゲットを検出するように構成される第２最適化モジュールと、を備える、装置。
11. ターゲット検出機器であって、
    コンピュータによる実行可能な命令を記憶するように構成されるメモリと、
    前記メモリに接続され、前記コンピュータによる実行可能な命令を実行することで、請求項１から９のうちいずれか一項で提供される方法を実現させるように構成されるプロセッサと、を備える、前記ターゲット検出機器。
12. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には、コンピュータによる実行可能な命令が記憶されており、前記コンピュータによる実行可能な命令がプロセッサにより実行された後、請求項１から９のうちいずれか一項で提供される方法を実現させる、前記コンピュータ記憶媒体。
13. コンピュータに、請求項１から９のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。

Images