JP6883710B2 - ターゲットのマッチング方法及び装置、電子機器並びに記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１８年６月１５日に中国特許局に提出された、出願番号が２０１８１０６２１９５９．５であり、出願の名称が「ターゲットのマッチング方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本開示は、コンピュータビジョン技術に関し、特に、ターゲットのマッチング方法及び装置、電子機器並びに記憶媒体に関する。

ターゲットのマッチングとは、検索映像又は検索画像と同じターゲットを有するデータベース内の映像又は画像を返すことを指す。ターゲットのマッチング技術は、空港、駅、学校及びスーパーマーケット等の場所のセキュリティ監視システムに広く用いられている。関連技術において、ターゲットのマッチングの正確性が低い。

本開示は、ターゲットのマッチングの技術的手段を提供する。

本開示の一態様によれば、
マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップと、
前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを決定するステップと、
前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含むターゲットのマッチング方法を提供する。

可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップには、
第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップを含む。

可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの後に、前記方法は、
第１のサブニューラルネットワークの第１の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するステップを更に含む。

可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、
前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含む。

可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
前記第２のサブニューラルネットワークの第２の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記検索画像シーケンスの全体的特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含む。

可能な一実施形態では、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップには、
前記第２のサブニューラルネットワークの第２の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記候補画像シーケンスの全体的特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含む。

可能な一実施形態では、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
前記検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。

可能な一実施形態では、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
前記候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。

可能な一実施形態では、前記第１の相関重みは、前記第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。

可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップには、
前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。

可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
前記第３のサブニューラルネットワークの第３の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含み、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
前記第３のサブニューラルネットワークの第３の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。

可能な一実施形態では、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。

可能な一実施形態では、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。

可能な一実施形態では、前記第２の相関重みは、前記第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。

可能な一実施形態では、前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するステップと、
前記候補画像シーケンスの自己表現特徴ベクトルと前記検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するステップと、
前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップと、を含む。

可能な一実施形態では、前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
前記第１の差分ベクトルと前記第２の差分ベクトルの和を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するか、又は、
前記第１の差分ベクトルと前記第２の差分ベクトルとの対応位置の要素の積を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップを含む。

可能な一実施形態では、前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップには、
前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップと、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含む。

可能な一実施形態では、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップの後に、前記方法は、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するステップを更に含む。

可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの前に、前記方法は、
検索映像を複数の検索画像シーケンスに分割するステップと、
候補映像を複数の候補画像シーケンスに分割するステップと、を更に含み、
前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップの後に、前記方法は、
前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップを更に含む。

可能な一実施形態では、検索映像を複数の検索画像シーケンスに分割するステップには、
所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するステップを含み、前記検索画像シーケンス長が前記所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しく、
候補映像を複数の候補画像シーケンスに分割するステップには、
所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するステップを含み、前記候補画像シーケンス長が前記所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しい。

可能な一実施形態では、前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップには、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアを決定するステップと、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、前記検索映像と前記候補映像のマッチングスコアを取得し、Ｎが正整数であるステップと、
前記検索映像と前記候補映像のマッチングスコアに基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップと、を含む。

本開示の一態様によれば、
マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するための抽出モジュールと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定モジュールと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するための第２の決定モジュールと、
前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを決定するための第３の決定モジュールと、
前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するための第４の決定モジュールと、を含むターゲットのマッチング装置を提供する。

可能な一実施形態では、前記抽出モジュールは、
第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するために用いられる。

可能な一実施形態では、前記装置は、
第１のサブニューラルネットワークの第１の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するための次元削減モジュールを更に含む。

可能な一実施形態では、前記第１の決定モジュールは、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定サブモジュールと、
前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定サブモジュールと、を含む。

可能な一実施形態では、前記第１の決定サブモジュールは、
前記第２のサブニューラルネットワークの第２の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第１の次元削減ユニットと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記検索画像シーケンスの全体的特徴ベクトルを取得するための第１の平均プーリングユニットと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定ユニットと、を含む。

可能な一実施形態では、前記第２の決定サブモジュールは、
前記第２のサブニューラルネットワークの第２の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第２の次元削減ユニットと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記候補画像シーケンスの全体的特徴ベクトルを取得するための第２の平均プーリングユニットと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定ユニットと、を含む。

可能な一実施形態では、前記第１の決定ユニットは、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第１の相関重みを取得するための第１の計算サブユニットと、
前記検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの自己表現特徴ベクトルを取得するための第１の重み付けサブユニットと、を含む。

可能な一実施形態では、前記第２の決定ユニットは、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第１の相関重みを取得するための第２の計算サブユニットと、
前記候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するための第２の重み付けサブユニットと、を含む。

可能な一実施形態では、前記第１の相関重みは、前記第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。

可能な一実施形態では、前記第２の決定モジュールは、
前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定サブモジュールと、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定サブモジュールと、を含む。

可能な一実施形態では、前記第３の決定サブモジュールは、
前記第３のサブニューラルネットワークの第３の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第３の次元削減ユニットと、
前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定ユニットと、を含み、
前記第４の決定サブモジュールは、
前記第３のサブニューラルネットワークの第３の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第４の次元削減ユニットと、
前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定ユニットと、を含む。

可能な一実施形態では、前記第３の決定ユニットは、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第２の相関重みを取得するための第３の計算サブユニットと、
前記検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の重み付けサブユニットと、を含む。

可能な一実施形態では、前記第４の決定ユニットは、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第２の相関重みを取得するための第４の計算サブユニットと、
前記候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の重み付けサブユニットと、を含む。

可能な一実施形態では、前記第２の相関重みは、前記第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。

可能な一実施形態では、前記第３の決定モジュールは、
前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するための第１の計算サブモジュールと、
前記候補画像シーケンスの自己表現特徴ベクトルと前記検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するための第２の計算サブモジュールと、
前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するための第５の決定サブモジュールと、を含む。

可能な一実施形態では、前記第５の決定サブモジュールは、
前記第１の差分ベクトルと前記第２の差分ベクトルの和を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するための第１の計算ユニット、又は、
前記第１の差分ベクトルと前記第２の差分ベクトルとの対応位置の要素の積を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するための第２の計算ユニットを含む。

可能な一実施形態では、前記第４の決定モジュールは、
前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するための第６の決定サブモジュールと、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するための第７の決定サブモジュールと、を含む。

可能な一実施形態では、前記装置は、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するための最適化モジュールを更に含む。

可能な一実施形態では、前記装置は、
検索映像を複数の検索画像シーケンスに分割するための第１の分割モジュールと、
候補映像を複数の候補画像シーケンスに分割するための第２の分割モジュールと、
前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するための第５の決定モジュールと、を更に含む。

可能な一実施形態では、前記第１の分割モジュールは、
所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するために用いられ、前記検索画像シーケンス長が前記所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しく、
前記第２の分割モジュールは、
所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するために用いられ、前記候補画像シーケンス長が前記所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しい。

可能な一実施形態では、前記第５の決定モジュールは、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアを決定するための第８の決定サブモジュールと、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、前記検索映像と前記候補映像のマッチングスコアを取得するために用いられ、Ｎが正整数である第３の計算サブモジュールと、
前記検索映像と前記候補映像のマッチングスコアに基づいて、前記検索映像と前記候補映像のマッチング結果を決定するための第９の決定サブモジュールと、を含む。

本開示の一態様によれば、
上記ターゲットのマッチング方法を実行するように構成されるプロセッサと、
プロセッサでの実行可能コマンドを記憶するためのメモリと、を含む電子機器を提供する。

本開示の一態様によれば、コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記ターゲットのマッチング方法が実現されるコンピュータ可読記憶媒体を提供する。

本開示の実施例では、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定し、類似度特徴ベクトルに基づいて検索画像シーケンスと候補画像シーケンスのマッチング結果を決定することによって、ターゲットのマッチングの正確性を高めることができる。

以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び態様は明瞭になる。

明細書に含まれ且つ明細書の一部を構成する図面は明細書と共に本開示の例示的な実施例、特徴及び態様を示し、更に本開示の原理を解釈するために用いられる。
本開示の実施例に係るターゲットのマッチング方法のフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１２の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１３の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２３の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１３の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１２の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２２の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１４の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ１５の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング方法のステップＳ２８の例示的なフローチャートを示す。 本開示の実施例に係るターゲットのマッチング装置のブロック図を示す。 本開示の実施例に係るターゲットのマッチング装置の例示的なブロック図を示す。 例示的な一実施例に基づいて示される電子機器８００のブロック図である。 例示的な一実施例に基づいて示される電子機器１９００のブロック図である。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。

ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。

図１は本開示の実施例に係るターゲットのマッチング方法のフローチャートを示す。本開示の実施例は、映像の知能的解析又はセキュリティ監視等の分野に用いることができる。例えば、本開示の実施例は、通行人検出、通行人追跡等の技術と組み合わせて、空港や駅、学校、スーパーマーケット等の場所のセキュリティ監視システムに用いることができる。図１に示すように、該方法は、ステップＳ１１〜ステップＳ１５を含む。

ステップＳ１１では、マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出する。

本開示の実施例では、検索画像シーケンスは、ターゲットのマッチングを行おうとする画像シーケンスを指してよい。候補画像シーケンスは、データベースにおける画像シーケンスを指してよい。データベースは複数の候補画像シーケンスを含んでよく、例えば、データベースは大規模の候補画像シーケンスを含んでよい。本開示の実施例では、検索画像シーケンスは１つのマッチング待ちターゲットのみを含んでもよく、複数のマッチング待ちターゲットを含んでもよい。本開示の実施例における画像シーケンスは映像、ビデオクリップ又は他の画像シーケンスであってよい。

本開示の実施例では、検索画像シーケンスと候補画像シーケンスのフレーム数は異なっていてもよく、同じであってもよい。例えば、検索画像シーケンスは、Ｔフレーム（即ち、Ｔ個の画像）を含み、候補画像シーケンスはＲフレーム（即ち、Ｒ個の画像）を含み、ここで、ＴとＲがいずれも正整数である。

本開示の実施例では、検索画像シーケンスにおける各フレームの特徴ベクトルを抽出して、

を取得し、ここで、

は検索画像シーケンスにおけるｔ番目のフレームの特徴ベクトルを表し、

であり、候補画像シーケンスにおける各フレームの特徴ベクトルを抽出して、

を取得し、ここで、

は候補画像シーケンスにおけるｒ番目のフレームの特徴ベクトルを表し、

である。

可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップには、第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップを含む。例えば、第１のサブニューラルネットワークはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）であってよい。該実施形態では、同じパラメータの畳み込みニューラルネットワークを用いて検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出することができる。

可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの後に、該方法は、第１のサブニューラルネットワークの第１の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するステップを更に含む。例えば、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルは

で表してよく、ここで、

は検索画像シーケンスにおけるｔ番目のフレームの第１の次元削減特徴ベクトルを表し、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルは

で表してよく、ここで、

は候補画像シーケンスにおけるｒ番目のフレームの第１の次元削減特徴ベクトルを表す。例えば、検索画像シーケンスにおける各フレームの特徴ベクトルの次元数が２０４８次元であり、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルの次元数が１２８次元であり、候補画像シーケンスにおける各フレームの特徴ベクトルの次元数が２０４８次元であり、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルの次元数が１２８次元である。例えば、第１の全結合層はｆｃ−０で表してよい。

ステップＳ１２では、それぞれ検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルを決定する。

本開示の実施例では、検索画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、候補画像シーケンスの自己表現特徴ベクトルを決定するようにしてよい。本開示の実施例では、検索画像シーケンスの自己表現特徴ベクトルは検索画像シーケンスの表現のみによって決定される特徴ベクトルを表してよく、即ち、検索画像シーケンスの自己表現特徴ベクトルは検索画像シーケンスの表現のみによって決定され、候補画像シーケンスの表現と無関係であり、また、候補画像シーケンスの自己表現特徴ベクトルは候補画像シーケンスの表現のみよって決定される特徴ベクトルを表してよく、即ち、候補画像シーケンスの自己表現特徴ベクトルは候補画像シーケンスの表現のみによって決定され、検索画像シーケンスの表現と無関係である。

ステップＳ１３では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを決定する。

本開示の実施例では、検索画像シーケンスの協同表現特徴ベクトルは検索画像シーケンスの表現と候補画像シーケンスの表現の両方によって決定される特徴ベクトルを表してよく、即ち、検索画像シーケンスの協同表現特徴ベクトルは検索画像シーケンスの表現と関係があるだけでなく、候補画像シーケンスの表現とも関係があり、また、候補画像シーケンスの協同表現特徴ベクトルは候補画像シーケンスの表現と検索画像シーケンスの表現の両方によって決定される特徴ベクトルを表してよく、即ち、候補画像シーケンスの協同表現特徴ベクトルは候補画像シーケンスの表現と関係があるだけでなく、検索画像シーケンスの表現とも関係がある。

ステップＳ１４では、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定する。

本開示の実施例では、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルは検索画像シーケンスと候補画像シーケンスの類似度を決定することに利用可能であり、それによって検索画像シーケンスと候補画像シーケンスがマッチング可能であるか否かを判断することに利用可能になる。

ステップＳ１５では、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定する。

本開示の実施例ではマッチング可能な２つの画像シーケンスは、異なる撮影視角で撮影された同一な人物の画像シーケンスであってもよく、同一な撮影視角で撮影された同一な人物の画像シーケンスであってもよい。

本開示の実施例は、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定し、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定することによって、ターゲットのマッチングの正確性を高めることができる。

図２は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２の例示的なフローチャートを示す。図２に示すように、ステップＳ１２にはステップＳ１２１とステップＳ１２２を含んでよい。

ステップＳ１２１では、検索画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、検索画像シーケンスの自己表現特徴ベクトルを決定する。

例えば、第２のサブニューラルネットワークはＳＡＮ（Ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ Ｓｕｂｎｅｔｗｏｒｋ、注意機構に基づく自己表現サブニューラルネットワーク）であってよい。

例えば、検索画像シーケンスにおける各フレームの特徴ベクトル

と検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル

を第２のサブニューラルネットワークに入力して、検索画像シーケンスの自己表現特徴ベクトル

を決定するようしてよい。

ステップＳ１２２では、候補画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、候補画像シーケンスの自己表現特徴ベクトルを決定する。

例えば、候補画像シーケンスにおける各フレームの特徴ベクトル

と候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル

を第２のサブニューラルネットワークに入力して、候補画像シーケンスの自己表現特徴ベクトル

を決定するようしてよい。

図３は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１の例示的なフローチャートを示す。図３に示すように、ステップＳ１２１にはステップＳ１２１１〜ステップＳ１２１３を含んでよい。

ステップＳ１２１１では、第２のサブニューラルネットワークの第２の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得する。

例えば、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルは

で表してよく、ここで、

は検索画像シーケンスにおけるｔ番目のフレームの第２の次元削減特徴ベクトルを表す。

例えば、第２の全結合層はｆｃ−１で表してよい。

例えば、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルの次元数が１２８次元である。

ステップＳ１２１２では、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、検索画像シーケンスの全体的特徴ベクトルを取得する。

例えば、検索画像シーケンスの全体的特徴ベクトルは

で表してよい。

ステップＳ１２１３では、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、検索画像シーケンスの全体的特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルを決定する。

図４は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２の例示的なフローチャートを示す。図４に示すように、ステップＳ１２２にはステップＳ１２２１〜ステップＳ１２２３を含んでよい。

ステップＳ１２２１では、第２のサブニューラルネットワークの第２の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得する。

例えば、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルの次元数が１２８次元である。

ステップＳ１２２２では、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、候補画像シーケンスの全体的特徴ベクトルを取得する。

例えば、候補画像シーケンスの全体的特徴ベクトルは

で表してよい。

ステップＳ１２２３では、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、候補画像シーケンスの全体的特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの自己表現特徴ベクトルを決定する。

図５は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１３の例示的なフローチャートを示す。図５に示すように、ステップＳ１２１３にはステップＳ１２１３１とステップＳ１２１３２を含んでよい。

ステップＳ１２１３１では、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第１の相関重みを取得する。

例えば、パラメータレス相関関数

によって検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第１の相関重み

を取得するようしてよい。

可能な一実施形態では、パラメータレス相関関数

はドット積の方式で

と

との相関度を計算することができる。

本開示の実施例は自己表現機構に基づいて、検索画像シーケンス自身の表現によって検索画像シーケンスにおける各フレームに対して相関重み付けを施す。

ステップＳ１２１３２では、検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得する。

例えば、検索画像シーケンスの自己表現特徴ベクトルは

で表してもよく、ここで、

は検索画像シーケンスにおけるｔ番目のフレームの第２の次元削減特徴ベクトルを表し、

は検索画像シーケンスの全体的特徴ベクトルを表し、

は検索画像シーケンスにおけるｔ番目のフレームの第１の次元削減特徴ベクトルを表す。

可能な一実施形態では、第１の相関重みは、第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。該実施形態では、検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得するステップには、検索画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、検索画像シーケンスにおける各フレームの第１の正規化相関重みを取得するステップと、検索画像シーケンスにおける各フレームの第１の正規化相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。該実施形態では、ｓｏｆｔｍａｘを用いて検索画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、検索画像シーケンスにおける各フレームの第１の正規化相関重みを取得するようにしてよい。

図６は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２３の例示的なフローチャートを示す。図６に示すように、ステップＳ１２２３にはステップＳ１２２３１とステップＳ１２２３２を含んでよい。

ステップＳ１２２３１では、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第１の相関重みを取得する。

例えば、パラメータレス相関関数

によって候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第１の相関重み

を取得するようにしてよい。

可能な一実施形態では、パラメータレス相関関数

はドット積の方式を用いて

と

との相関度を計算することができる。

本開示の実施例は自己表現機構に基づいて、候補画像シーケンス自身の表現によって候補画像シーケンスにおける各フレームに対して相関重み付けを施す。

ステップＳ１２２３２では、候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得する。

例えば、候補画像シーケンスの自己表現特徴ベクトルは

で表してよく、ここで、

は候補画像シーケンスにおけるｒ番目のフレームの第２の次元削減特徴ベクトルを表し、

は候補画像シーケンスの全体的特徴ベクトルを表し、

は候補画像シーケンスにおけるｒ番目のフレームの第１の次元削減特徴ベクトルを表す。

可能な一実施形態では、第１の相関重みは、第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。該実施形態では、候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得するステップには、候補画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、候補画像シーケンスにおける各フレームの第１の正規化相関重みを取得するステップと、候補画像シーケンスにおける各フレームの第１の正規化相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。該実施形態では、ｓｏｆｔｍａｘを用いて候補画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、候補画像シーケンスにおける各フレームの第１の正規化相関重みを取得するようにしてよい。

図７は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３の例示的なフローチャートを示す。図７に示すように、ステップＳ１３にはステップＳ１３１とステップＳ１３２を含んでよい。

ステップＳ１３１では、検索画像シーケンスにおける各フレームの特徴ベクトル、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、検索画像シーケンスの協同表現特徴ベクトルを取得する。

例えば、第３のサブニューラルネットワークはＣＡＮ（Ｃｏｌｌａｂｏｒａｔｉｖｅ Ａｔｔｅｎｔｉｏｎ Ｓｕｂｎｅｔｗｏｒｋ、注意機構に基づく協同表現サブニューラルネットワーク）であってよい。

例えば、検索画像シーケンスにおける各フレームの特徴ベクトル

、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル

及び候補画像シーケンスの自己表現特徴ベクトル

を第３のサブニューラルネットワークに入力して、検索画像シーケンスの協同表現特徴ベクトル

を取得するようにしてよい。

ステップＳ１３２では、候補画像シーケンスにおける各フレームの特徴ベクトル、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、候補画像シーケンスの協同表現特徴ベクトルを取得する。

例えば、候補画像シーケンスにおける各フレームの特徴ベクトル

、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル

及び検索画像シーケンスの自己表現特徴ベクトル

を第３のサブニューラルネットワークに入力して、候補画像シーケンスの協同表現特徴ベクトル

を取得するようにしてよい。

図８は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１の例示的なフローチャートを示す。図８に示すように、ステップＳ１３１にはステップＳ１３１１とステップＳ１３１２を含んでよい。

ステップＳ１３１１では、第３のサブニューラルネットワークの第３の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得する。

例えば、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルは

で表してよく、ここで、

は検索画像シーケンスにおけるｔ番目のフレームの第３の次元削減特徴ベクトルを表す。例えば、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルの次元数が１２８次元である。

例えば、第３の全結合層はｆｃ−２で表してよい。

ステップＳ１３１２では、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを取得する。

図９は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２の例示的なフローチャートを示す。図９に示すように、ステップＳ１３２にはステップＳ１３２１とステップＳ１３２２を含んでよい。

ステップＳ１３２１では、第３のサブニューラルネットワークの第３の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得する。

例えば、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルは

で表してよく、ここで、

は候補画像シーケンスにおけるｒ番目のフレームの第３の次元削減特徴ベクトルを表す。例えば、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルの次元数が１２８次元である。

ステップＳ１３２２では、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、検索画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを取得する。

図１０は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１２の例示的なフローチャートを示す。図１０に示すように、ステップＳ１３１２にはステップＳ１３１２１とステップＳ１３１２２を含んでよい。

ステップＳ１３１２１では、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第２の相関重みを取得する。

例えば、検索画像シーケンスにおけるｔ番目のフレームの第２の相関重みは

で表してよい。

本開示の実施例は協同表現機構に基づいて、候補画像シーケンスの表現と検索画像シーケンス自身の表現によって検索画像シーケンスにおける各フレームに対して相関重み付けを施す。

ステップＳ１３１２２では、検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得する。

例えば、検索画像シーケンスの協同表現特徴ベクトルは

で表してよい。

可能な一実施形態では、第２の相関重みは、第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。該実施形態では、検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、検索画像シーケンスにおける各フレームの第２の相関重みに対して正規化処理を行って、検索画像シーケンスにおける各フレームの第２の正規化相関重みを取得するステップと、検索画像シーケンスにおける各フレームの第２の正規化相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。

図１１は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２２の例示的なフローチャートを示す。図１１に示すように、ステップＳ１３２２にはステップＳ１３２２１とステップＳ１３２２２を含んでよい。

ステップＳ１３２２１では、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第２の相関重みを取得する。

例えば、候補画像シーケンスにおけるｒ番目のフレームの第２の相関重みは

で表してよい。

本開示の実施例は協同表現機構に基づいて、検索画像シーケンスの表現と候補画像シーケンス自身の表現によって候補画像シーケンスにおける各フレームに対して相関重み付けを施す。

ステップＳ１３２２２では、候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得する。

例えば、候補画像シーケンスの協同表現特徴ベクトルは

で表してよい。

可能な一実施形態では、第２の相関重みは、第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。該実施形態では、候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、候補画像シーケンスにおける各フレームの第２の相関重みに対して正規化処理を行って、候補画像シーケンスにおける各フレームの第２の正規化相関重みを取得するステップと、候補画像シーケンスにおける各フレームの第２の正規化相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。

本開示の実施例では、第２のサブニューラルネットワークと第３のサブニューラルネットワークは自己表現機構と協同表現機構に基づいて、検索画像シーケンスの表現と候補画像シーケンスの表現によって検索画像シーケンスにおける各フレームと候補画像シーケンスにおける各フレームに対して相関重み付けを施す。第２のサブニューラルネットワークと第３のサブニューラルネットワークはこのようなパラメータレス自己表現と協同表現によって、検索画像シーケンスと候補画像シーケンスのフレームを暗黙的に揃わせて、より判別的なフレームを選択して２つの画像シーケンスを表現する。第２のサブニューラルネットワークと第３のサブニューラルネットワークがパラメータレスのものであるので、検索画像シーケンスと候補画像シーケンスが異なる長さを有することが許容され、従って、本開示の実施例で提供されるターゲットのマッチング方法は、広範に活用可能である。

図１２は本開示の実施例に係るターゲットのマッチング方法のステップＳ１４の例示的なフローチャートを示す。図１２に示すように、ステップＳ１４にはステップＳ１４１〜ステップＳ１４３を含んでよい。

ステップＳ１４１では、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得する。

例えば、第１の差分ベクトルは

である。

ステップＳ１４２では、候補画像シーケンスの自己表現特徴ベクトルと検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得する。

例えば、第２の差分ベクトルは

である。

ステップＳ１４３では、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得する。

可能な一実施形態では、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップには、第１の差分ベクトルと第２の差分ベクトルの和を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップを含む。例えば、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルは

である。

別の可能な実施形態では、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップには、第１の差分ベクトルと第２の差分ベクトルとの対応位置の要素の積を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップを含む。

図１３は本開示の実施例に係るターゲットのマッチング方法のステップＳ１５の例示的なフローチャートを示す。図１３に示すように、ステップＳ１５にはステップＳ１５１とステップＳ１５２を含んでよい。

ステップＳ１５１では、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、検索画像シーケンスと候補画像シーケンスのマッチングスコアを取得する。

例えば、第４の全結合層はｆｃ−３で表してよい。

本開示の実施例では異なる全結合層のパラメータが異なってもよいことを説明する必要がある。第１の全結合層、第２の全結合層、第３の全結合層及び第４の全結合層は、説明の便宜上、「第１の」、「第２の」、「第３の」及び「第４の」として記載され、これらの４つの全結合層が異なる全結合層であってよいことを示す。「第１の」、「第２の」、「第３の」及び「第４の」は全結合層の結合順序を限定するためのものではない。

ステップＳ１５２では、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定する。

例えば、検索画像シーケンスと候補画像シーケンスのマッチングスコアがスコア閾値より大きい場合に、検索画像シーケンスと候補画像シーケンスのマッチング結果として検索画像シーケンスと候補画像シーケンスがマッチング可能であると決定することができ、検索画像シーケンスと候補画像シーケンスのマッチングスコアがスコア閾値以下である場合に、検索画像シーケンスと候補画像シーケンスのマッチング結果として検索画像シーケンスと候補画像シーケンスがマッチング不可能であると決定することができる。

可能な一実施形態では、検索画像シーケンスと候補画像シーケンスのマッチングスコアを取得するステップの後に、該方法は、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するステップを更に含む。

該実施形態の例示的な一例として、

を用いてネットワークパラメータを最適化することができる。ただし、Ｎはトレーニング集合における検索画像シーケンス候補画像シーケンスペアの数量を表し、

は

番目のペアのマッチングスコアを表し、

番目の検索画像シーケンス候補画像シーケンスペアが同一な人物に属すれば、

であり、反対に

である。

本開示の実施例では、トレーニングプロセスにおいて、トレーニング画像シーケンスを分割して、豊富な検索画像シーケンス候補画像シーケンスペアを生成することができ、それによって最適化効率を効果的に高め、更にネットワークモデルのロバスト性を高めてマッチング精度を高めることができる。

図１４は本開示の実施例に係るターゲットのマッチング方法の例示的なフローチャートを示す。図１４に示すように、該方法は、ステップＳ２１〜ステップＳ２８を含んでよい。

ステップＳ２１では、検索映像を複数の検索画像シーケンスに分割する。

可能な一実施形態では、検索映像を複数の検索画像シーケンスに分割するステップには、所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するステップを含み、ここで、検索画像シーケンス長が所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しい。

ステップＳ２２では、候補映像を複数の候補画像シーケンスに分割する。

可能な一実施形態では、候補映像を複数の候補画像シーケンスに分割するステップには、所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するステップを含み、ここで、候補画像シーケンス長が所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しい。

ステップＳ２３では、マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出する。

ここで、ステップＳ２３については、以上のステップＳ１１の説明を参照する。

ステップＳ２４では、それぞれ検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルを決定する。

ここで、ステップＳ２４については、以上のステップＳ１２の説明を参照する。

ステップＳ２５では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを決定する。

ここで、ステップＳ２５については、以上のステップＳ１３の説明を参照する。

ステップＳ２６では、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定する。

ここで、ステップＳ２６については、以上のステップＳ１４の説明を参照する。

ステップＳ２７では、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定する。

ここで、ステップＳ２７については、以上のステップＳ１５の説明を参照する。

ステップＳ２８では、検索映像の検索画像シーケンスと候補映像の候補画像シーケンスのマッチング結果に基づいて、検索映像と候補映像のマッチング結果を決定する。

図１５は本開示の実施例に係るターゲットのマッチング方法のステップＳ２８の例示的なフローチャートを示す。図１５に示すように、ステップＳ２８にはステップＳ２８１〜ステップＳ２８３を含んでよい。

ステップＳ２８１では、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアを決定する。

ステップＳ２８２では、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、検索映像と候補映像のマッチングスコアを取得し、Ｎが正整数である。

ステップＳ２８３では、検索映像と候補映像のマッチングスコアに基づいて、検索映像と候補映像のマッチング結果を決定する。

可能な一実施形態では、検索映像と候補映像のマッチングスコアがスコア閾値より大きい場合に、検索映像と候補映像のマッチング結果として検索映像と候補映像がマッチング可能であると決定することができ、検索映像と候補映像のマッチングスコアがスコア閾値以下である場合に、検索映像と候補映像のマッチング結果として検索映像と候補映像がマッチング不可能であると決定することができる。

本開示の実施例で提供されるターゲットのマッチング方法は、画像シーケンスにおける判別性がより高いキーフレームを選び出し、複数のキーフレームを用いて画像シーケンスを表現することができ、それによって判別能力を高めることができ、本開示の実施例は、より効果的な時間領域モデル化方法を提供して、連続フレームの動的変化情報を捕獲して、モデルの表現能力を高めることができ、本開示の実施例は、より効果的な距離測定方法を提供して、同じ人物の特徴表現間の距離を低減し、異なる人物の特徴表現間の距離を増大することができた。本開示の実施例で提供されるターゲットのマッチング方法は、光照射条件が悪く、遮蔽度が高く、視角が悪く、又は背景障害がひどい場合にも、正確なターゲットのマッチング結果を取得することができる。本開示の実施例を利用すれば、通行人検出及び／又は通行人追跡の効果の改善に貢献することができる。本開示の実施例を利用すれば、インテリジェントビデオ監視で特定の通行人（例えば、犯罪容疑者、迷子等）を複数のカメラにわたってより望ましく捜索したり、追跡することができる。

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。

また、本開示はターゲットのマッチング装置、電子機器、コンピュータ可読記憶媒体及びプログラムを更に提供し、それらはいずれも本開示で提供されるいずれか１種のターゲットのマッチング方法を実現するために利用可能であり、それに対応する技術手段及び説明については方法部分に対応する記載を参照してよく、ここで省略する。

図１６は本開示の実施例に係るターゲットのマッチング装置のブロック図を示す。図１６に示すように、該装置は、マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するための抽出モジュール３１と、それぞれ検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定モジュール３２と、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを決定するための第２の決定モジュール３３と、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定するための第３の決定モジュール３４と、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定するための第４の決定モジュール３５と、を含む。

可能な一実施形態では、抽出モジュール３１は、第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するために用いられる。

図１７は本開示の実施例に係るターゲットのマッチング装置の例示的なブロック図を示す。図１７に示すように、
可能な一実施形態では、該装置は、第１のサブニューラルネットワークの第１の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するための次元削減モジュール３６を更に含む。

可能な一実施形態では、第１の決定モジュール３２は、検索画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定サブモジュール３２１と、候補画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定サブモジュール３２２と、を含む。

可能な一実施形態では、第１の決定サブモジュール３２１は、第２のサブニューラルネットワークの第２の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第１の次元削減ユニットと、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、検索画像シーケンスの全体的特徴ベクトルを取得するための第１の平均プーリングユニットと、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、検索画像シーケンスの全体的特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定ユニットと、を含む。

可能な一実施形態では、第２の決定サブモジュール３２２は、第２のサブニューラルネットワークの第２の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第２の次元削減ユニットと、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、候補画像シーケンスの全体的特徴ベクトルを取得するための第２の平均プーリングユニットと、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、候補画像シーケンスの全体的特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定ユニットと、を含む。

可能な一実施形態では、第１の決定ユニットは、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第１の相関重みを取得するための第１の計算サブユニットと、検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得するための第１の重み付けサブユニットと、を含む。

可能な一実施形態では、第２の決定ユニットは、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第１の相関重みを取得するための第２の計算サブユニットと、候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得するための第２の重み付けサブユニットと、を含む。

可能な一実施形態では、第１の相関重みは、第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。

可能な一実施形態では、第２の決定モジュール３３は、検索画像シーケンスにおける各フレームの特徴ベクトル、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定サブモジュール３３１と、候補画像シーケンスにおける各フレームの特徴ベクトル、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定サブモジュール３３２と、を含む。

可能な一実施形態では、第３の決定サブモジュール３３１は、第３のサブニューラルネットワークの第３の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第３の次元削減ユニットと、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定ユニットと、を含み、第４の決定サブモジュール３３２は、第３のサブニューラルネットワークの第３の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第４の次元削減ユニットと、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、検索画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定ユニットと、を含む。

可能な一実施形態では、第３の決定ユニットは、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第２の相関重みを取得するための第３の計算サブユニットと、検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の重み付けサブユニットと、を含む。

可能な一実施形態では、第４の決定ユニットは、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第２の相関重みを取得するための第４の計算サブユニットと、候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の重み付けサブユニットと、を含む。

可能な一実施形態では、第２の相関重みは、第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。

可能な一実施形態では、第３の決定モジュール３４は、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するための第１の計算サブモジュール３４１と、候補画像シーケンスの自己表現特徴ベクトルと検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するための第２の計算サブモジュール３４２と、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するための第５の決定サブモジュール３４３と、を含む。

可能な一実施形態では、第５の決定サブモジュール３４３は、第１の差分ベクトルと第２の差分ベクトルの和を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するための第１の計算ユニット、又は、第１の差分ベクトルと第２の差分ベクトルとの対応位置の要素の積を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するための第２の計算ユニットを含む。

可能な一実施形態では、第４の決定モジュール３５は、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、検索画像シーケンスと候補画像シーケンスのマッチングスコアを取得するための第６の決定サブモジュール３５１と、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定するための第７の決定サブモジュール３５２と、を含む。

可能な一実施形態では、該装置は、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するための最適化モジュール３７を更に含む。

可能な一実施形態では、該装置は、検索映像を複数の検索画像シーケンスに分割するための第１の分割モジュール３８と、候補映像を複数の候補画像シーケンスに分割するための第２の分割モジュール３９と、検索映像の検索画像シーケンスと候補映像の候補画像シーケンスのマッチング結果に基づいて、検索映像と候補映像のマッチング結果を決定するための第５の決定モジュール３０と、を更に含む。

可能な一実施形態では、第１の分割モジュール３８は、所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するために用いられ、ここで、検索画像シーケンス長が所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しく、第２の分割モジュール３９は、所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するために用いられ、ここで、候補画像シーケンス長が所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しい。

可能な一実施形態では、第５の決定モジュール３０は、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアを決定するための第８の決定サブモジュール３０１と、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、検索映像と候補映像のマッチングスコアを取得するために用いられ、Ｎが正整数である第３の計算サブモジュール３０２と、検索映像と候補映像のマッチングスコアに基づいて、検索映像と候補映像のマッチング結果を決定するための第９の決定サブモジュール３０３と、を含む。

本開示の実施例は、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定し、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定することによって、ターゲットのマッチングの正確性を高めることができる。

本開示の実施例は、コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記方法が実現されるコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は非揮発性コンピュータ可読記憶媒体であってよい。

本開示の実施例は、上記方法を実行するように構成されるプロセッサと、プロセッサでの実行可能コマンドを記憶するためのメモリと、を含む電子機器を更に提供する。

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

図１８は例示的な一実施例に基づいて示される電子機器８００のブロック図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタント等の端末であってよい。

図１８を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェイス８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。

メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インターフェイスを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインターフェイス８１２は処理コンポーネント８０２と周辺インターフェイスモジュールとの間でインターフェイスを提供し、上記周辺インターフェイスモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。

センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳ又はＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。

通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。

図１９は一例示的実施例により示された電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供できる。図１９を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスするように構成された有線または無線ネットワークインターフェイス１９５０、および入出力（Ｉ／Ｏ）インターフェイス１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。

コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインターフェイスはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。

コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (24)

1. マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップと、
   前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、
   前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップと、
   前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを決定するステップと、
   前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含むことを特徴とするターゲットのマッチング方法。
2. 検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップには、
   第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップを含むことを特徴とする請求項１に記載の方法。
3. 検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの後に、
   第１のサブニューラルネットワークの第１の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するステップを更に含むことを特徴とする請求項１又は２に記載の方法。
4. 前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
   前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、
   前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含むことを特徴とする請求項３に記載の方法。
5. 前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
   前記第２のサブニューラルネットワークの第２の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
   前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記検索画像シーケンスの全体的特徴ベクトルを取得するステップと、
   前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含むことを特徴とする請求項４に記載の方法。
6. 前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップには、
   前記第２のサブニューラルネットワークの第２の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
   前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記候補画像シーケンスの全体的特徴ベクトルを取得するステップと、
   前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含むことを特徴とする請求項４に記載の方法。
7. 前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
   パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
   前記検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項５に記載の方法。
8. 前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
   パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
   前記候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項６に記載の方法。
9. 前記第１の相関重みは、前記第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含むことを特徴とする請求項７又は８に記載の方法。
10. 前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップには、
    前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、
    前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項３〜９のいずれか一項に記載の方法。
11. 前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
    前記第３のサブニューラルネットワークの第３の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
    前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含み、
    前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
    前記第３のサブニューラルネットワークの第３の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
    前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１０に記載の方法。
12. 前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
    パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
    前記検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１１に記載の方法。
13. 前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
    パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
    前記候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１１に記載の方法。
14. 前記第２の相関重みは、前記第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含むことを特徴とする請求項１２又は１３に記載の方法。
15. 前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
    前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するステップと、
    前記候補画像シーケンスの自己表現特徴ベクトルと前記検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するステップと、
    前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１〜１４のいずれか一項に記載の方法。
16. 前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
    前記第１の差分ベクトルと前記第２の差分ベクトルの和を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するか、又は、
    前記第１の差分ベクトルと前記第２の差分ベクトルとの対応位置の要素の積を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップを含むことを特徴とする請求項１５に記載の方法。
17. 前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップには、
    前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップと、
    前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含むことを特徴とする請求項１〜１６のいずれか一項に記載の方法。
18. 前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップの後に、
    前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するステップを更に含むことを特徴とする請求項１７に記載の方法。
19. 検索画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの前に、
    検索映像を複数の検索画像シーケンスに分割するステップと、
    候補映像を複数の候補画像シーケンスに分割するステップと、を更に含み、
    前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップの後に、
    前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップを更に含むことを特徴とする請求項１〜１８のいずれか一項に記載の方法。
20. 検索映像を複数の検索画像シーケンスに分割するステップには、
    所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するステップを含み、前記検索画像シーケンス長が前記所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しく、
    候補映像を複数の候補画像シーケンスに分割するステップには、
    所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するステップを含み、前記候補画像シーケンス長が前記所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しいことを特徴とする請求項１９に記載の方法。
21. 前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップには、
    前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアを決定するステップと、
    前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、前記検索映像と前記候補映像のマッチングスコアを取得し、Ｎが正整数であるステップと、
    前記検索映像と前記候補映像のマッチングスコアに基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップと、を含むことを特徴とする請求項１９又は２０に記載の方法。
22. ターゲットのマッチング装置であって、
    前記ターゲットのマッチング装置内のモジュールが、請求項１〜２１のいずれか一項に記載の方法を実行するように構成される、
    ことを特徴とするターゲットのマッチング装置。
23. 請求項１〜２１のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
    プロセッサでの実行可能コマンドを記憶するためのメモリと、を含むことを特徴とする電子機器。
24. コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１〜２１のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ可読記憶媒体。

Images