JP7203889B2 - 画像処理方法と画像処理システム - Google Patents

画像処理方法と画像処理システム Download PDF

Info

Publication number
JP7203889B2
JP7203889B2 JP2021071358A JP2021071358A JP7203889B2 JP 7203889 B2 JP7203889 B2 JP 7203889B2 JP 2021071358 A JP2021071358 A JP 2021071358A JP 2021071358 A JP2021071358 A JP 2021071358A JP 7203889 B2 JP7203889 B2 JP 7203889B2
Authority
JP
Japan
Prior art keywords
image
image data
training
group
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021071358A
Other languages
English (en)
Other versions
JP2021174550A (ja
Inventor
冠文 陳
柏亨 陳
昭旭 駱
翊庭 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Electronics Inc
Original Assignee
Delta Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delta Electronics Inc filed Critical Delta Electronics Inc
Publication of JP2021174550A publication Critical patent/JP2021174550A/ja
Application granted granted Critical
Publication of JP7203889B2 publication Critical patent/JP7203889B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Description

本開示内容は、画像処理方法と画像処理システムに関し、且つ特に深層学習による光線干渉防止マッチングに基づく画像処理方法と画像処理システムに関する。
特徴マッチング(Feature Match)は、画像検索、カメラポジショニング等の多くのコンピュータビジョン分野で広く使用されている。画像の特徴は、スケール、方向、視野角、及び光線に対して非変性と唯一性を保持しなければならない。
しかしながら、環境シーン類似性比較の分野において、既存の特徴マッチングシステム又は方法は光線の違いとシーンの視野の変化に対して最適化を行うことがないため、マッチング結果は期待どおりではない。
本開示内容は、画像データー処理装置により特徴抽出モデルに基づいて複数の画像データーを分析して、上記画像データーに対応する特徴ベクトル集合を生成し、ただし、画像データーが特徴ベクトル集合における少なくとも1つの第1の特徴ベクトルに関する複数の第1の画像データー、及び特徴ベクトル集合における少なくとも1つの第2の特徴ベクトルに関する複数の第2の画像データーを含む工程と、画像データー処理装置により特徴抽出モデルに基づいて第1の画像データーと第2の画像データーから対応する第1のトレーニング画像ブロックグループ及び第2のトレーニング画像ブロックグループをそれぞれ選択し、第1のトレーニング画像ブロックグループ及び第2のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも1つの損失関数値を生成する工程と、少なくとも1つの損失関数値に基づいて特徴抽出モデルを調整して、そのため、画像データー処理装置は調整された特徴抽出モデルに基づいて画像データーを分析する場合、第1の画像データーと第2の画像データーとの一致度が増加する工程と、を備える画像処理方法を提供する。
本開示内容は、複数の画像データーをキャプチャするための画像キャプチャ装置と、画像キャプチャ装置に結合され、特徴抽出モデルに基づいて画像データーにおける複数の第1の画像データーと複数の第2の画像データーとの比較操作を行い、且つ比較操作の結果により画像測位結果を出力することに用いられる画像データー処理装置と、を備え、第1の画像データーは少なくとも1つの第1の特徴に関し、第2の画像データーは少なくとも1つの第2の特徴に関し、特徴抽出モデルは第1の画像データー及び第2の画像データーに対する演算による少なくとも1つの損失関数値により調整されるものである画像処理システムを提供する。
上記画像処理方法と画像処理システムにより、屋外シーンの光線の変化が大きい場合の特徴マッチングシステムの精度を改善することができる。
いくつかの実施例による画像処理システムを示す模式図である。 いくつかの実施例による画像処理システムの動作を示すフロー図である。 いくつかの実施例による画像データーの分類模式図である。 いくつかの実施例によるサンプルスクリーニングメカニズムを示す模式図である。 いくつかの実施例によるサンプルスクリーニングメカニズムを示す模式図である。 いくつかの実施例によるグループ共有パラメーターの工程のフロー図である。
下記は、図面を参照して実施例を挙げて詳しく説明したが、説明された具体的な実施例は、本発明を解釈するためのものだけであるが、本発明を限定するためのものではなく、構造や動作についての記述も、その実行の手順を限定するためのものではなく、素子から新たに組み合わせてなる構造、その等価な効果を持つ装置であれば、いずれも本発明の範囲に含まれる。
全体の明細書と特許請求範囲に用いられる用語(terms)は、特に明記される以外、通常、用語ごとにこの分野、この開示の内容と特殊内容に使用される一般的な意味を持つ。当業者へ本開示に関する記述における規定外の案内を提供するように、本開示を記述するためのある用語について、以下又はこの明細書の別所で検討する。
図1は、いくつかの実施例による画像処理システム100を示す模式図である。図1に示すように、画像処理システム100は画像キャプチャ装置110及び画像データー処理装置120を備える。画像データー処理装置120は画像キャプチャ装置110に結合される。画像処理システム100は下記のような図3における複数の画像データー300、例えば様々な異なる写真又はパターンをキャプチャし、画像データー処理装置120にストリーミングすることに用いられる。
いくつかの実施例において、画像キャプチャ装置110は、スマートフォンのカメラレンズ、カメラレンズ、又はスクリーンショット機能を備えたプログラムソフトウェアによって実現することができる。
いくつかの実施例において、画像データー処理装置120は、ノートブックコンピュータ、デスクトップコンピュータなどのコンピュータシステムによって実現することができる。
いくつかの実施例において、画像データー処理装置120は、特徴抽出モデル130及びコマンドライブラリ140を含む。特徴抽出モデル130は画像データー処理装置120に事前構成されており、且つそのアーキテクチャがIF-Net(Illumination Neural Network)の深層学習ネットワークアーキテクチャ上に構築されている。
また、いくつかの実施例において、特徴抽出モデル130はIF-Netにより深層学習の畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)に基づいて特徴抽出モデル130によって生成された特徴記述子(descriptor)をトレーニングし、その学習やトレーニングにより適応性の高い特徴記述子を捜す。いくつかの実施例において、上記適応性の高い特徴記述子を使用して、屋外シーンの光差が大きく変化する場合の特徴マッチングエラーを解決することができる。
いくつかの実施例において、コマンドライブラリ140には、画像データー処理装置120におけるプロセッサ(未図示)によってアクセス及び実行される演算コマンドが記憶される。
図2は、いくつかの実施例による画像処理システム100の動作を示すフロー図である。図2に示すように、画像処理システム100の動作フローは、工程S210、工程S220、工程S230、工程S240、工程S250、工程S260及び工程S270を含む。明らかに説明しやすくするために、図2に示す画像処理方法200は図1を参照して説明されるが、これに限定されない。
工程S210において、画像キャプチャ装置110は、現在の環境画像をキャプチャして画像データー300(図3のように)として画像データー処理装置120に入力する。次に、工程S220において、画像データー処理装置120が特徴抽出モデル130をロードし、工程S230において環境シーンモデルをロードする。
工程S240において、それぞれ環境シーンモデルと画像データー300から環境特徴を抽出し、工程S250において画像データー処理装置120により画像データー300に対して環境特徴の類似性の比較操作を行う。次に、工程S260において、画像データー処理装置120は工程S250における比較結果により空間測位を行い、工程S270において上記空間測位により画像測位結果を出力する。
いくつかの実施例において、工程S240において、画像データー処理装置120は特徴抽出モデル130に基づいて複数の画像データー300を分析して、画像データー300に対応する特徴ベクトル集合を生成する。画像データー300は、以下の図3の、上記特徴ベクトル集合における少なくとも1つの第1の特徴ベクトルに関する複数の第1の画像データー310、及び上記特徴ベクトル集合における少なくとも1つの第2の特徴ベクトルに関する複数の第2の画像データー320を含む。以下、図3を参照して例を挙げて説明する。
図3は、いくつかの実施例による画像データー300の分類模式図である。第1の画像データー310は異なる観測距離又は観測角度での画像データーを含み、第2の画像データー320は異なる輝度又は光線で観測された画像データーを含み、ただし、暗い光線又は暗い輝度で観測された画像データーは図3の図面に斜線で塗りつぶされている。言い換えれば、いくつかの実施例において、上記少なくとも1つの第1の特徴ベクトルは画像観測角度及び画像観測距離における少なくとも1つに関し、上記少なくとも1つの第2の特徴ベクトルは画像輝度、画像ガンマ値及び画像コントラストにおける少なくとも1つに関する。
上記のように、環境特徴の類似性の比較の分野において、従来技術における特徴抽出モデル130は光線の違いとシーンの視野の変化に対する干渉抵抗が低いため、マッチング結果が期待どおりではない。したがって、本開示内容は、特徴抽出モデル130を調整してマッチング結果を向上させる画像処理方法を提供する。
いくつかの実施例において、上記画像処理方法は、画像データー処理装置120により特徴抽出モデル130に基づいて第1の画像データー310と第2の画像データー320から対応する第1のトレーニング画像ブロックグループ及び第2のトレーニング画像ブロックグループをそれぞれ選択することを含む。以下、図4を参照して例を挙げて説明する。
図4Aと図4Bは、いくつかの実施例によるサンプルスクリーニングメカニズム400を示す模式図である。図4Aを参照して、いくつかの実施例において、画像データー処理装置120はサンプルスクリーニングメカニズム400により第1の画像データー310と第2の画像データー320から第1のトレーニング画像ブロックグループ及び第2のトレーニング画像ブロックグループを選択する。
いくつかの実施例において、第1の画像データー310と第2の画像データー320においてそれぞれアンカー画像ブロック(anchor)、複数のポジティブ画像ブロック(positive)と複数のネガティブ画像ブロック(negative)を有する。ポジティブ画像ブロックとアンカー画像ブロックとの間に高いマッチング値があるため、ポジティブ画像ブロックとアンカー画像ブロックとの間に短いユークリッド距離を有する。ポジティブ画像ブロックと対照的に、ネガティブ画像ブロックとアンカー画像ブロックとの間に低いマッチング値がある。したがって、ネガティブ画像ブロックとアンカー画像ブロックとの間に長いユークリッド距離を有する。
また、いくつかの実施例において、図4Bに示すように、上記ユークリッド距離は、特徴抽出モデル130によって生成された特徴記述子を測定することに基づいて出力された画像ブロックとの間の距離である。例として、ポジティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合は、特徴記述子の空間で短いユークリッド距離L1を有するが、ネガティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合との間には、長いユークリッド距離L2を有する。
上記のように、異なる実施例において、トレーニングされた特徴抽出モデル130によって生成された特徴記述子を測定して出力された画像ブロックとの間の距離は変化する。例として、ポジティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合は、特徴記述子の空間でユークリッド距離L1よりも小さいユークリッド距離L3を有するが、ネガティブ画像ブロックの特徴ベクトル集合とアンカー画像ブロックの特徴ベクトル集合との間には、ユークリッド距離L2よりも大きいユークリッド距離L4を有する。言い換えれば、トレーニングされた特徴抽出モデル130に基づいて画像データー処理装置120によって抽出された特徴は、もとより高いマッチング程度を有する。
したがって、いくつかの実施例において、画像データー処理装置120が第1のトレーニング画像ブロックグループを選択する工程は、第1の画像データー310の複数のポジティブ画像ブロックから、第1の画像データー310のアンカー画像ブロックと一致する程度が最も低い少なくとも1つのポジティブ画像ブロックを選択して第1のトレーニング画像ブロックグループとすることと、第1の画像データー310の複数のネガティブ画像ブロックから、第1の画像データー310のアンカー画像ブロックと一致する程度が最も高い少なくとも1つのネガティブ画像ブロックを選択して第1のトレーニング画像ブロックグループとすることと、を含む。言い換えれば、第1のトレーニング画像ブロックグループは、第1の画像データー310におけるアンカー画像ブロックとのユークリッド距離が最も長いポジティブ画像ブロックと、第1の画像データー310におけるアンカー画像ブロックとのユークリッド距離が最も短いネガティブ画像ブロックと、を含む。
別の実施例において、画像データー処理装置120が第2のトレーニング画像ブロックグループを選択する工程は、第2の画像データー320の複数のポジティブ画像ブロックから、第2の画像データー320のアンカー画像ブロックと一致する程度が最も低い少なくとも1つのポジティブ画像ブロックを選択して第2のトレーニング画像ブロックグループとすることと、第2の画像データー320の複数のネガティブ画像ブロックから、第2の画像データー320のアンカー画像ブロックと一致する程度が最も高い少なくとも1つのネガティブ画像ブロックを選択して第2のトレーニング画像ブロックグループとすることと、を含む。言い換えれば、第2のトレーニング画像ブロックグループは、第2の画像データー320におけるアンカー画像ブロックとのユークリッド距離が最も長いポジティブ画像ブロックと、第2の画像データー320におけるアンカー画像ブロックとのユークリッド距離が最も短いネガティブ画像ブロックと、を含む。
上記実施例で説明された工程により、アンカー画像ブロックとネガティブ画像ブロックとの間のユークリッド距離を効果的に最大化することができ、そしてアンカー画像ブロックとポジティブ画像ブロックとの間のユークリッド距離を短縮することができ、その結果、特徴抽出モデル130は、より代表的な特徴記述子を生成することができる。
いくつかの実施例において、画像データー処理装置120は、コマンドライブラリ140における演算コマンドを実行して第1のトレーニング画像ブロックグループ及び第2のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも1つの損失関数値を生成する。上記演算を行う工程は、外れ値損失関数により第1のトレーニング画像ブロックグループ及び第2のトレーニング画像ブロックグループに対して演算を行って、少なくとも1つの損失関数値を生成することを含む。ただし、外れ値損失関数は、以下の公式で示される。
Figure 0007203889000001
(Lは損失関数値であり、nは画像ブロックの総数であり、wとwは重み値であり、d(a、p)はアンカー画像ブロックとポジティブ画像ブロックとのユークリッド距離を示し、d(a、n)はアンカー画像ブロックとネガティブ画像ブロックとのユークリッド距離を示す。)
重み値wは同じバッチ(batch)の画像データー300のポジティブ画像ブロックとアンカー画像ブロックとの間のユークリッド距離の平均であり、重み値wは同じバッチのネガティブ画像ブロックとアンカー画像ブロックとの間のユークリッド距離の平均である。以下の公式で示される。
Figure 0007203889000002
上記のように、同じバッチの演算を行うデーターグループにおいてノイズ(noise)が混入されると、上記ノイズがトレーニングデーターに対して外れ値であり、トレーニングパフォーマンスに影響を与える。したがって、いくつかの実施例において、上記損失関数値は、トレーニングプロセス中に特徴抽出モデル130をより効果的に収束する効果を達成するように、トレーニングプロセス中にIF-Netディープネットワークをトレーニングする時のノイズの影響を減らすことができる。
いくつかの実施例において、画像処理方法は、上記少なくとも1つの損失関数値により特徴抽出モデル130を調整して、これにより、調整された特徴抽出モデル130に基づいて画像データー処理装置120が画像データー300を分析する場合、第1の画像データー310と第2の画像データー320との一致度が増加することを含む。
また、いくつかの実施例において、調整特徴抽出モデル130の工程は、第1の画像データー310と第2の画像データー320を共有ディープニューラルネットワークモデルパラメーター(shared-weight)の特徴抽出モデル130に入力して、対応する異なる損失関数値をそれぞれ生成することと、第1の画像データーと第2の画像データーに対応する異なる損失関数値を記憶して特徴抽出モデル130における少なくとも1つのネットワークパラメータを更新することと、を更に含む。以下図5を参照して例を挙げて説明する。
図5は、いくつかの実施例によるグループ共有パラメーターの工程500のフロー図である。図5に示すように、いくつかの実施例において、画像データー処理装置120は、特徴抽出モデル130に基づいてコマンドライブラリ140における演算コマンドをアクセスして第1の画像データー310に対して演算を行って、第1の損失関数値を生成し、且つ第2の画像データー320に対して演算を行って、第2の損失関数値を生成する。画像データー処理装置120は、第1の損失関数値と第2の損失関数値を記憶して特徴抽出モデル130におけるネットワークパラメータを更新する。
いくつかの実施例において、第1の画像データー310と第2の画像データー320をそれぞれ共有ディープニューラルネットワークモデルパラメーター(shared-weight)のIF-Netに入力して、ネットワークパラメータを一括で更新する上記のような方法は、特徴抽出モデル130に、異なるタイプのデーターに対する処理能力をより効果的に持たせることができる。
いくつかの実施例において、画像データー処理装置120は、調整された特徴抽出モデル130に基づいて、例えば第1の画像データー310と第2の画像データー320に対して上記工程S250の比較操作を行うことと、上記のような比較操作の結果により工程S270の空間測位の操作を行うことと、空間測位の操作の結果により画像測位結果を出力することと、を含む操作における少なくとも1つを行う。
上記のように、画像データー処理装置120は、調整された特徴抽出モデル130に基づいて工程S250において、画像データー300のマッチング程度を向上させ、且つ工程S270における画像測位の結果もより正確になる。以下のような表(1)は、本開示内容における実施例によって生成されたマッチング程度のデーター比較表である。
Figure 0007203889000003
光線又はシーンの変化が大きい場合、特徴抽出モデル130が画像データー300から抽出された特徴数量比率により正確率を判断して、表(1)から明らかにわかるように、本開示内容に提出された画像処理方法とシステムは、マッチングの正確率を向上させることができる。
本開示内容は実施形態を前述の通りに開示したが、本開示内容を限定するものではなく、当業者であれば、本開示内容の精神と範囲から逸脱しない限り、多様の変更や修飾を加えることができる。従って、本開示内容の保護範囲は、下記特許請求の範囲で指定した内容を基準とするものである。
110:画像キャプチャ装置
120:画像データー処理装置
130:特徴抽出モデル
140:コマンドライブラリ
200:画像処理方法
S210、S220、S230、S240、S250、S260、S270:工程
300:画像データー
310:第1の画像データー
320:第2の画像データー
400:サンプルスクリーニングメカニズム
L1~L4:ユークリッド距離
500:グループ共有パラメーター工程

Claims (9)

  1. 画像データー処理装置により特徴抽出モデル(IF-NET)に基づいて複数の画像データーを分析して、前記画像データーに対応する特徴ベクトル集合を生成し、ただし、前記画像データーが前記特徴ベクトル集合における少なくとも1つの第1の特徴ベクトルに関する複数の第1の画像データー、及び前記特徴ベクトル集合における少なくとも1つの第2の特徴ベクトルに関する複数の第2の画像データーを含む工程と、
    前記画像データー処理装置により前記特徴抽出モデルに基づいて前記第1の画像データーと前記第2の画像データーから対応する第1のトレーニング画像ブロックグループ及び第2のトレーニング画像ブロックグループをそれぞれ選択し、前記第1のトレーニング画像ブロックグループ及び前記第2のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも1つの損失関数値を生成する工程と、
    前記少なくとも1つの損失関数値に基づいて前記特徴抽出モデルを調整する工程と、
    を備え
    前記第1のトレーニング画像ブロックグループを選択する工程は、
    前記第1の画像データーの複数のポジティブ画像ブロックから、前記第1の画像データーのアンカー画像ブロックと一致する程度が最も低い少なくとも1つのポジティブ画像ブロックを選択して、前記第1のトレーニング画像ブロックグループとすることと、
    前記第1の画像データーの複数のネガティブ画像ブロックから、前記第1の画像データーの前記アンカー画像ブロックと一致する程度が最も高い少なくとも1つのネガティブ画像ブロックを選択して、前記第1のトレーニング画像ブロックグループとすることと、
    を含む画像処理方法。
  2. 前記画像データー処理装置は調整された前記特徴抽出モデルに基づいて前記画像データーを分析する場合、前記第1の画像データーと前記第2の画像データーとの一致度が増加する請求項1に記載の画像処理方法。
  3. 前記画像データー処理装置は、調整された前記特徴抽出モデルに基づいて、
    前記第1の画像データーと前記第2の画像データーとの比較操作を行うことと、
    前記比較操作の結果により空間測位操作を行うことと、
    前記空間測位操作の結果により画像測位結果を出力することと、
    を含む操作における少なくとも1つを行う請求項1~2の何れか1項に記載の画像処理方法。
  4. 前記少なくとも1つの第1の特徴ベクトルは、画像観測角度及び画像観測距離における少なくとも1つに関し、前記少なくとも1つの第2の特徴ベクトルは、画像輝度、画像ガンマ値及び画像コントラストにおける少なくとも1つに関する請求項1~3の何れか1項に記載の画像処理方法。
  5. 前記第2のトレーニング画像ブロックグループを選択する工程は、
    前記第2の画像データーの複数のポジティブ画像ブロックから、前記第2の画像データーのアンカー画像ブロックと一致する程度が最も低い少なくとも1つのポジティブ画像ブロックを選択して、前記第2のトレーニング画像ブロックグループとすることと、
    前記第2の画像データーの複数のネガティブ画像ブロックから、前記第2の画像データーの前記アンカー画像ブロックと一致する程度が最も高い少なくとも1つのネガティブ画像ブロックを選択して、前記第2のトレーニング画像ブロックグループとすることと、
    を含む請求項1~の何れか1項に記載の画像処理方法。
  6. 前記第1のトレーニング画像ブロックグループ及び前記第2のトレーニング画像ブロックグループに対して演算を行う工程は、
    外れ値損失関数により前記第1のトレーニング画像ブロックグループ及び前記第2のトレーニング画像ブロックグループに対して演算を行って、対応する前記少なくとも1つの損失関数を生成することを含む請求項1~の何れか1項に記載の画像処理方法。
  7. 前記特徴抽出モデルを調整する工程は、
    前記第1の画像データーと前記第2の画像データーを共有ディープニューラルネットワークモデルパラメーター(shared-weight)の前記特徴抽出モデルに入力して、対応する異なる損失関数値をそれぞれ生成することと、
    前記第1の画像データーと前記第2の画像データーに対応する異なる損失関数値を記憶して前記特徴抽出モデルにおける少なくとも1つのネットワークパラメータを更新することと、
    を更に含む請求項1~の何れか1項に記載の画像処理方法。
  8. 複数の画像データーをキャプチャするための画像キャプチャ装置と、
    前記画像キャプチャ装置に結合され、特徴抽出モデルに基づいて前記画像データーを分析して、前記画像データーに対応する特徴ベクトル集合を生成する画像データー処理装置と、
    を備え、
    前記画像データーは、前記特徴ベクトル集合における少なくとも1つの第1の特徴ベクトルに関する複数の第1の画像データー、及び前記特徴ベクトル集合における少なくとも1つの第2の特徴ベクトルに関する複数の第2の画像データーを含み、
    前記画像データー処理装置は、特徴抽出モデルに基づいて
    複数の前記第1の画像データーの複数のポジティブ画像ブロックから、前記第1の画像データーのアンカー画像ブロックと一致する程度が最も低い少なくとも1つのポジティブ画像ブロックを選択して、第1のトレーニング画像ブロックグループとする工程と、
    前記第1の画像データーの複数のネガティブ画像ブロックから、前記第1の画像データーの前記アンカー画像ブロックと一致する程度が最も高い少なくとも1つのネガティブ画像ブロックを選択して、前記第1のトレーニング画像ブロックグループとする工程と、
    複数の前記第2の画像データーから対応する第2のトレーニング画像ブロックグループを選択し、前記第1のトレーニング画像ブロックグループ及び前記第2のトレーニング画像ブロックグループに対して演算を行って、対応する少なくとも1つの損失関数値を生成する工程と
    を行い、
    前記特徴抽出モデルは、前記第1の画像データー及び前記第2の画像データーに対する演算による前記少なくとも1つの損失関数値により調整されるものである画像処理システム。
  9. 前記第1の特徴ベクトルは、画像観測角度及び画像観測距離における少なくとも1つに関し、前記少なくとも1つの第2の特徴ベクトルは、画像輝度、画像ガンマ値及び画像コントラストにおける少なくとも1つに関する請求項に記載の画像処理システム。
JP2021071358A 2020-04-27 2021-04-20 画像処理方法と画像処理システム Active JP7203889B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010343996.1A CN113642593B (zh) 2020-04-27 2020-04-27 影像处理方法与影像处理系统
CN202010343996.1 2020-04-27

Publications (2)

Publication Number Publication Date
JP2021174550A JP2021174550A (ja) 2021-11-01
JP7203889B2 true JP7203889B2 (ja) 2023-01-13

Family

ID=78222382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021071358A Active JP7203889B2 (ja) 2020-04-27 2021-04-20 画像処理方法と画像処理システム

Country Status (3)

Country Link
US (1) US11715283B2 (ja)
JP (1) JP7203889B2 (ja)
CN (1) CN113642593B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642593B (zh) * 2020-04-27 2024-03-01 台达电子工业股份有限公司 影像处理方法与影像处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019083002A (ja) 2017-10-27 2019-05-30 アドビ インコーポレイテッド トリプレット損失ニューラル・ネットワーク・トレーニングを使用するフォント認識の改善
WO2019226686A2 (en) 2018-05-23 2019-11-28 Movidius Ltd. Deep learning system
US10592732B1 (en) 2017-12-14 2020-03-17 Perceive Corporation Probabilistic loss function for training network with triplets
WO2020061489A1 (en) 2018-09-20 2020-03-26 Nvidia Corporation Training neural networks for vehicle re-identification
JP2020524349A (ja) 2017-06-16 2020-08-13 マーカブル インコーポレイテッドMarkable,Inc. 画像処理システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181091B2 (en) 2014-06-20 2019-01-15 Google Llc Fine-grained image similarity
CN107423306B (zh) * 2016-05-24 2021-01-29 华为技术有限公司 一种图像检索方法及装置
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
EP3336774B1 (en) 2016-12-13 2020-11-25 Axis AB Method, computer program product and device for training a neural network
CN107133579A (zh) * 2017-04-20 2017-09-05 江南大学 基于CSGF(2D)2PCANet卷积网络的人脸识别方法
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
CN108537752B (zh) * 2018-03-30 2022-06-24 广东工业大学 基于非局部自相似性与稀疏表示的图像处理方法及装置
CN109190446A (zh) 2018-07-06 2019-01-11 西北工业大学 基于三元组聚焦损失函数的行人再识别方法
US10848791B1 (en) * 2018-10-30 2020-11-24 Amazon Technologies, Inc. Determining portions of video content based on artificial intelligence model
CN109558806B (zh) 2018-11-07 2021-09-14 北京科技大学 高分遥感图像变化的检测方法
US11126895B2 (en) * 2019-05-22 2021-09-21 Lawrence Livermore National Security, Llc Mimicking of corruption in images
US10607331B1 (en) * 2019-06-28 2020-03-31 Corning Incorporated Image segmentation into overlapping tiles
CN110647865B (zh) 2019-09-30 2023-08-08 腾讯科技(深圳)有限公司 人脸姿态的识别方法、装置、设备及存储介质
KR20210048315A (ko) * 2019-10-23 2021-05-03 삼성에스디에스 주식회사 통합 특징 벡터 생성 방법 및 장치
CN113642593B (zh) * 2020-04-27 2024-03-01 台达电子工业股份有限公司 影像处理方法与影像处理系统
US20220129708A1 (en) * 2020-10-22 2022-04-28 Applied Materials Israel Ltd. Segmenting an image using a neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020524349A (ja) 2017-06-16 2020-08-13 マーカブル インコーポレイテッドMarkable,Inc. 画像処理システム
JP2019083002A (ja) 2017-10-27 2019-05-30 アドビ インコーポレイテッド トリプレット損失ニューラル・ネットワーク・トレーニングを使用するフォント認識の改善
US10592732B1 (en) 2017-12-14 2020-03-17 Perceive Corporation Probabilistic loss function for training network with triplets
WO2019226686A2 (en) 2018-05-23 2019-11-28 Movidius Ltd. Deep learning system
WO2020061489A1 (en) 2018-09-20 2020-03-26 Nvidia Corporation Training neural networks for vehicle re-identification

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fahim Irfan Alam et al.,TRIPLET CONSTRAINED DEEP FEATURE EXTRACTION FOR HYPERSPECTRAL IMAGE CLASSIFICATION,2018 9th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHISPERS),IEEE,2018年09月23日,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8747227
Xiankai Lu et al.,See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks,2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),IEEE,2019年06月15日,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8953755

Also Published As

Publication number Publication date
CN113642593A (zh) 2021-11-12
US11715283B2 (en) 2023-08-01
JP2021174550A (ja) 2021-11-01
US20210334583A1 (en) 2021-10-28
CN113642593B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
Dodge et al. Visual saliency prediction using a mixture of deep neural networks
JP2020501238A (ja) 顔検出トレーニング方法、装置及び電子機器
US11055570B2 (en) Image processing method and apparatus for implementing image recognition, and electronic device
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN109871821B (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN111553428B (zh) 用于训练判别模型的方法、装置、设备及可读存储介质
CN107209853A (zh) 定位和地图构建方法
CN104616029B (zh) 数据分类方法及装置
WO2016206114A1 (en) Combinatorial shape regression for face alignment in images
CN113033458B (zh) 动作识别方法和装置
CN110503149B (zh) 一种图像中局部特征分类方法及系统
CN112257738A (zh) 机器学习模型的训练方法、装置和图像的分类方法、装置
JP7203889B2 (ja) 画像処理方法と画像処理システム
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
Dai Real-time and accurate object detection on edge device with TensorFlow Lite
JP2013097467A (ja) 画像処理装置及びその制御方法
CN110472588A (zh) 锚点框确定方法、装置、计算机设备和存储介质
CN104572930B (zh) 数据分类方法及装置
US11257212B2 (en) Image analysis device
CN111814820A (zh) 图像处理方法及装置
US20230161783A1 (en) Device for accelerating self-attention operation in neural networks
CN116152644A (zh) 一种基于人工合成数据和多源迁移学习的长尾物体识别方法
TWI752478B (zh) 影像處理方法與影像處理系統
CN115018884A (zh) 基于多策略融合树的可见光红外视觉跟踪方法
CN112634143A (zh) 图像色彩校正模型训练方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7203889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150