JP7177878B2 - 画像処理方法、画像処理装置、電子機器及び記憶媒体 - Google Patents

画像処理方法、画像処理装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7177878B2
JP7177878B2 JP2021049222A JP2021049222A JP7177878B2 JP 7177878 B2 JP7177878 B2 JP 7177878B2 JP 2021049222 A JP2021049222 A JP 2021049222A JP 2021049222 A JP2021049222 A JP 2021049222A JP 7177878 B2 JP7177878 B2 JP 7177878B2
Authority
JP
Japan
Prior art keywords
features
dimensional
fusion
image processing
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021049222A
Other languages
English (en)
Other versions
JP2021103558A (ja
Inventor
インイン リー，
シャオ タン，
ミンユェ ジャン，
ハオ スン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021103558A publication Critical patent/JP2021103558A/ja
Application granted granted Critical
Publication of JP7177878B2 publication Critical patent/JP7177878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Description

本出願の実施例は、概して、画像処理技術の分野に関し、より具体的には、コンピュータビジョンの分野に関する。
現在、深層学習画像分類ネットワークは、既に成熟している。従来の画像分類ネットワークは、主に畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）に基づいて画像特徴を抽出し、抽出された画像特徴に基づいて学習を行う。
しかしながら、画像特徴に基づく学習は、画像分類ネットワークに空間次元上の特徴を融合させるだけであるため、画像分類ネットワークの学習効果が低く、画像分類ネットワークの正確性の高くなく、従って画像処理の正確性が高くない。
画像分類ネットワークの学習効果を高め、画像処理の正確性を向上させるための画像処理方法、画像処理装置、電子機器及び記憶媒体を提供する。
第１の態様によれば、画像処理方法を提供し、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するステップと、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するステップと、前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うステップと、を含む。
第２の態様によれば、画像処理装置を提供し、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するための特徴生成モジュールと、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するための融合モジュールと、前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うための処理モジュールと、を備える。
第３の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されたメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが第１の態様に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。
本出願の第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記第１の態様に記載の方法を実行させる。
本出願の第５の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに上記第１の態様に記載の方法を実行させる。
本出願にて提供される画像処理方法、画像処理装置、電子機器及び記憶媒体は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、前記Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができ、従来技術において画像特徴に基づく学習は、画像分類ネットワークに空間次元上の特徴を融合させるだけで、画像分類ネットワークの学習効果が不良であり、画像分類ネットワークの正確性が高くなく、画像処理の正確性が高くないという技術的課題を解決する、という有益な効果を奏する。
なお、このセクションに記載された内容は、本出願の実施例の主要な特徴又は重要な特徴を識別することを意図したものではなく、また、本出願の範囲を限定することを意図したものでもないことを理解されたい。本出願のその他の特徴は以下の明細書によって容易に理解される。
図面は、本実施形態をより良く理解するために使用され、本出願の制限を構成するものではない。
本出願の第１の実施例に係る画像処理方法のフローチャートである。 本出願の第２の実施例に係る画像処理方法のフローチャートである。 本出願の第３の実施例に係る画像処理方法のフローチャートである。 本出願の第４の実施例に係る画像処理装置の構造概略図である。 本出願の第５の実施例に係る画像処理装置の構造概略図である。 本出願の第６の実施例に係る画像処理装置の構造概略図である。 本出願の実施例の画像処理方法を実現するための電子機器のブロック図である。
本出願の例示的な実施例は、理解を容易にするために、本出願の実施例の様々な詳細を含む添付の図面と関連して以下に説明され、それらは単に例示的なものとみなされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを認識すべきである。また、以下の説明では、説明の明確化のため、周知の機能及び構成についての記載は省略する。
本出願の画像処理方法、画像処理装置、電子機器及び記憶媒体を、図面を参照しながら以下に説明する。
従来の深度学習画像分類ネットワークは、主にＣＮＮに基づいて画像特徴を抽出し、全結合層などのコンポーネントと組み合わせて、ｓｏｆｔｍａｘ多クラス分類器と多クラスの交差エントロピー損失関数を用いて学習を行い、画像を処理するためのネットワークモデルを取得する。
しかし、既存のネットワーク構造設計のほとんどは、画像空間の特徴抽出及び融合に注目し、例えば、高解像度ネットワークＨＲＮｅｔは、空間解像度を保持する特徴融合スキームを提案し、ＥｆｆｉｃｉｅｎｔＮｅｔネットワークは、解像度の異なる画像に応じて異なるネットワーク深度と幅を設計して特徴抽出を行い、深度残差ネットワークＲｅｓＮｅｔは、ネットワークが特徴情報をより良く抽出するようにスキップ構造を提案し、深層集約ネットワークＤＬＡは、異なる畳み込みブロック、異なる深度間の特徴融合を実現するなどがある。上記ネットワーク構造設計の畳み込み操作は、いずれもネットワークが画像空間次元において特徴の抽出融合をより良く行い、異なる次元間の特徴の関係を無視するため、ネットワークの学習効果が不良であり、正確性が高くなく、画像処理の正確性が高くない。
上記問題について、本出願は、画像処理方法を開示し、Ｎ次元の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、ＭはＮ以下の正の整数であり、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。
図１は、本出願の第１の実施例に係る画像処理方法のフローチャートであり、この方法は、本出願により提供される画像処理装置で実行されてもよいし、サーバ、デスクトップ型コンピュータ、ラップトップ型コンピュータなどの端末機器などの電子機器で実行されてもよく、本出願はこれに限定されない。以下、本出願により提供される画像処理装置が本出願の画像処理方法を実行することを例に挙げて、本出願を説明する。
図１に示すように、この画像処理方法は、ステップ１０１と、ステップ１０２と、ステップ１０３と、を含む。
ステップ１０１において、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力する。
本出願では、画像に含まれる物体の分類、検出、分割などの処理操作が必要な場合、分類対象の画像を対応する特徴抽出モデルに入力することができ、例えば、画像内の物体の分類が必要な場合、画像内の物体を分類するための特徴抽出モデルに分類対象の画像を入力して、画像分類処理を行うことができる。
ここで、特徴抽出モデルは、ＨＲＮｅｔネットワーク、ＲｅｓＮｅｔネットワーク、ＥｆｆｉｃｉｅｎｔＮｅｔネットワークなど、任意の画像分類ネットワークであってもよい。
通常、各種の画像分類ネットワークは、いずれも多層の畳み込み層を有し、特徴の抽出と融合を行うように、入力された画像に対して特徴マップ上で畳み込み操作を行うためであり、各畳み込み層の出力は、入力された画像の空間的特徴である。従って、本出願の実施例では、複数の空間的特徴を生成するように、分類対象の画像を画像分類ネットワークに入力することができ、生成された空間的特徴の個数は、例えば、Ｎと記すことができ、Ｎは正の整数である。すなわち、本出願では、Ｎ次元の特徴を生成するように、分類対象の画像を画像分類ネットワークに入力することができ、Ｎの個数は、画像分類ネットワークにおける畳み込み層の層数に関連し、このＮ次元の特徴とは、分類対象の画像に対応する特徴マップの空間次元における空間的特徴を指す。
ステップ１０２において、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合する。
本実施例では、分類対象の画像のＮ個の特徴を得た後、これらＮ個の特徴からＭ個の特徴を選択して次元融合を行うことで、Ｍ次元の融合特徴を取得することができ、ここで、ＭはＮ以下の正の整数である。Ｍ個の特徴を選択する際、Ｎ個の特徴からＭ個の特徴をランダムに選択してもよく、連続的なＭ個の特徴を選択してもよく、又は、上位畳み込み層から一部の特徴を選択し、下位畳み込み層から一部の特徴を選択して、合わせてＭ個の特徴を選択してもよく、本出願はＭ個の特徴の選択方式を限定しない。
次元融合を行う際、Ｍ個の特徴の各々に対して次元融合を行い、具体的には、各特徴に対して、予め設定された畳み込みカーネルサイズと予め設定されたチャンネル数により、この特徴の次元空間上で複数回の畳み込み及び融合を行い、この特徴に対応する次元融合特徴を取得することができる。ここで、各特徴に対して畳み込み及び融合を行う回数は、畳み込みカーネルサイズに関連する。
なお、Ｍ次元の融合特徴を取得するように、Ｍ個の特徴を次元融合する詳細な過程は、後の実施例で説明し、ここでは詳しい説明を省略する。
ステップ１０３において、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行う。
本実施例では、選択されたＭ個の特徴を次元融合して、対応するＭ次元の融合特徴を得た後、分類対象の画像に対する分類、検出などの処理操作を完了させるように、残りのＮ－Ｍ個の未融合特徴と融合して得たＭ次元の融合特徴に基づいて画像処理を行うことができる。
本出願の実施例では、画像処理は、画像分類、画像分割又は画像検出などの画像処理操作のいずれかを含むが、これらに限定されない。すなわち、本出願にて提供される画像処理方法は、分類、分割、検出などの多様な画像処理タスクに適用可能であり、柔軟性が高く、適用範囲が広い。
画像処理を画像分類とした例をあげてみると、Ｎ次元の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合された次元融合特徴を取得するようにＮ個の特徴の一部又は全部を次元融合し、Ｎ個の特徴のうちの残りの特徴と生成した次元融合特徴を用いて画像分類処理を行うことで、画像分類を完了させる。次元融合特徴は、特徴の次元空間を畳み込み融合して得られたもので、特徴の異なる次元空間間の関係を考慮し、特徴マップの画像空間上で特徴の抽出と融合を単に行うだけではないため、次元融合特徴と残りの未融合特徴を用いて画像分類を行うことで、画像特徴の学習能力と学習効果を向上させ、画像分類の正確度を向上させることができる。
本実施例の画像処理方法は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。
以下、上記実施例において、融合されたＭ次元の融合特徴を取得するように、Ｎ次元の特徴のうちのＭ個の特徴を次元融合する具体的な実施過程をより明確に説明するために、図２を参照して詳細に説明する。
図２は、本出願の第２の実施例に係る画像処理方法のフローチャートである。図２に示すように、図１に示す実施例を基に、ステップ１０２は、ステップ２０１と、ステップ２０２と、を含み取得する。
ステップ２０１において、Ｎ次元の特徴の次元数に基づいて、Ｎ次元の特徴からＭ個の特徴を選択する。
本実施例では、次元融合対象のＭ個の特徴を選択する際に、Ｎ次元の特徴の次元数に基づいて選択することができる。ここで、ここでいう次元数とは、Ｎ次元の特徴を出力する畳み込み層の層数をいう。
例えば、特徴抽出モデルをＲｅｓＮｅｔネットワークとした例をあげてみると、ＲｅｓＮｅｔネットワークについて、ネットワーク全体がｃｏｎｖ１、ｃｏｎｖ２＿ｘ、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ、ｃｏｎｖ５＿ｘ及びｆｃ層（分類用）を含み、このネットワークが５つの畳み込み層を含むとすると、ＲｅｓＮｅｔネットワークにより生成されたＮ次元の特徴の次元数は５となる。
本実施例では、Ｎ次元の特徴の次元数に基づいてＭ個の特徴を選択する場合に、タスクの特徴とデータの相違に応じて、異なる方式で選択することができるが、本出願ではＭ個の特徴の選択方式を限定しない。
可能な一実現形態として、Ｎ個の特徴の上位層から選択することができ、Ｎ個の特徴からＭ個の上位層の特徴を選択することができる。通常、下位層の特徴はより詳細な情報を学習し、上位層の特徴はより意味のある情報を学習し、画像分類タスクについて、画像がどのクラスに属するかを判断するのにより意味のある情報が必要となるため、画像処理が画像分類である場合、Ｍ個の上位層の特徴を選択して次元融合を行うことができる。ＲｅｓＮｅｔネットワークを例にとると、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ及びｃｏｎｖ５＿ｘの３つの畳み込み層により出力された特徴を、最終的に選択するＭ個の特徴として選択して、Ｍ個の特徴を次元融合する際により多くの意味のある情報を学習することを保証することで、画像分類の正確性を向上させることができる。
可能な他の実現形態として、Ｎ個の特徴は、Ｎ個の特徴の次元数に基づいて、第１の次元の範囲と、第１の次元の範囲よりも大きい第２の次元の範囲に分けられ、Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、Ｍ個の特徴をそれぞれ選択することができる。すなわち、本実施形態では、Ｎ個の特徴は、下位層の特徴範囲（すなわち、第１の次元の範囲）と上位層の特徴範囲（すなわち、第２の次元の範囲）に分けられ、下位層の特徴範囲と上位層の特徴範囲からそれぞれ選択し、合わせてＭ個の特徴を選択することができる。なお、ＲｅｓＮｅｔネットワークを例にとると、ｃｏｎｖ１とｃｏｎｖ２＿ｘにより出力された特徴が下位層の特徴範囲に対応し、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ及びｃｏｎｖ５＿ｘにより出力された特徴が上位層の特徴範囲に対応すると仮定して、ｃｏｎｖ１、ｃｏｎｖ４＿ｘ及びｃｏｎｖ５＿ｘの３つの畳み込み層により出力された特徴を最終的に選択するＭ個の特徴として選択することができる。これにより、下位層の特徴と上位層の特徴の両方を選択することで、Ｍ個の特徴を次元融合する際に、上下層の情報を融合することを保証でき、細粒度識別タスクの完成を容易にし、画像詳細特徴識別の正確度を保証することができる。
ステップ２０２において、融合されたＭ次元の融合特徴を取得するように、Ｍ個の特徴を次元融合する。
本実施例では、Ｎ個の特徴からＭ個の特徴を抽出した後、対応するＭ次元の融合特徴を取得するように、Ｍ個の特徴をそれぞれ次元融合することができる。
具体的には、まず、Ｍ次元の特徴を形成するように、Ｍ個の特徴を変換し、次にＭ次元の融合特徴を取得するように、Ｍ個の次元の特徴を畳み込むことで、Ｍ個の特徴の次元融合を完了させることができる。
ここで、Ｍ個の特徴を変換することは、Ｍ個の特徴の各々について、特徴の特徴マップの次元数と、特徴マップのサイズを変換することであり、変換により得られた特徴を次元の特徴という。
ＲｅｓＮｅｔ１０１ネットワークを例にとると、ｃｏｎｖ３＿ｘの特徴出力は（５１２，２８＊２８）、ｃｏｎｖ４＿ｘの特徴出力は（１０２４，１４＊１４）、ｃｏｎｖ５＿ｘの特徴出力は（２０４８，７＊７）であり、ここで、５１２、１０２４、２０４８によって示されたのは特徴マップの次元数であり、２８＊２８、１４＊１４、７＊７によって示されたのは特徴マップサイズである。次元融合のために選択されたＭ個の特徴が（５１２，２８＊２８）、（１０２４，１４＊１４）、及び（２０４８，７＊７）であると仮定すると、選択された各特徴を変換し、それぞれ（２８＊２８，５１２）、（１４＊１４，１０２４）、及び（７＊７，２０４８）の対応する次元の特徴が得られる。
変換により、特徴マップ空間と次元空間を変換することが可能になり、その後、次元空間における畳み込み演算を行って、次元空間の特徴抽出と融合を実現するために基盤を築く。
次に、Ｍ個の特徴を変換してＭ個の次元の特徴を形成した後、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込むことができる。以下、図３を参照して、Ｍ次元の融合特徴を取得する具体的な手順について詳細に説明する。
図３は、本出願の第３の実施例に係る画像処理方法のフローチャートである。図３に示すように、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込むことは、以下のステップ３０１と、ステップ３０２と、ステップ３０３と、ステップ３０４と、ステップ３０５と、ステップ３０６と、を含み取得する。
ステップ３０１において、Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行う。
ここで、予め設定されたチャンネル及び予め設定された畳み込みカーネル値はタスクの要求に応じて設定することができ、チャンネルと畳み込みカーネル値の柔軟な設定を実現して、方法の柔軟性と適用性を向上させる。
ステップ３０２において、第ｉの融合結果（ｉ＝１）を生成するように、第１の畳み込み結果と第２の畳み込み結果を融合する。
ステップ３０３において、第ｉ＋２の畳み込み結果を形成するように、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って第ｉの融合結果を畳み込む。
ステップ３０４において、第ｉ＋１の融合結果を生成するように、第１の畳み込み結果乃至第ｉ＋２の畳み込み結果を融合する。
ステップ３０５において、ｉが（予め設定された畳み込みカーネル値－２）よりも小さい場合、ｉをｉ＝ｉ＋１に更新し、ステップ３０３～ステップ３０４に戻って実行する。
ステップ３０６において、ｉが（予め設定された畳み込みカーネル値－２）に等しい場合、第ｉ＋１の融合結果をＭ次元の融合特徴として決定する。
本実施例では、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込む場合、畳み込み操作を行う回数と融合操作を行う回数は、予め設定された畳み込みカーネル値に関連し、より良い学習効果を取得するために、予め設定された畳み込みカーネル値は３以上に設定され、次元の融合特徴を生成する際に、畳み込み操作を行う回数は、予め設定された畳み込みカーネル値と同じであり、融合操作を行う回数は、（予め設定された畳み込みカーネル値－１）回である。
（５，４＊４）畳み込みを例にとると、ここで、５はチャンネル、４＊４は畳み込みカーネルのサイズであり、Ｍ次元の特徴の各々に対して、次元の特徴（２８＊２８，５１２）を例にとると、まず、予め設定されたチャンネルと畳み込みカーネルに従って、それに対して第１回の畳み込みと第２回の畳み込みを行い、第１の畳み込み結果と第２の畳み込み結果を得て、いずれも（５，５１２）であり、得られた２つの畳み込み結果を融合し、第１の融合結果（１０，５１２）を得て、次に、予め設定されたチャンネル及び畳み込みカーネル値に従って、第１の融合結果を融合し、第３の畳み込み結果（５，５１２）を得て、３つの畳み込み結果を融合し、第２の融合結果（１５，５１２）を得て、このとき、ｉ＝１であり、ｉの値が（畳み込みカーネル値－２＝２）よりも小さい場合、ｉの値をｉ＝ｉ＋１＝２に更新し、第４の畳み込み結果を形成するように、予め設定されたチャンネル及び畳み込みカーネル値に従って、第２の融合結果を畳み込み、第４の畳み込み結果が（５，５１２）であり、第４の畳み込み結果を融合し、第３の融合結果（２０，５１２）を得て、この時、ｉ＝２であり、ｉの値が（畳み込みカーネル値－２）に等しい場合、第３の融合結果（２０，５１２）を、次元の特徴（２８＊２８，５１２）を次元融合した次元融合特徴として決定する。
なお、予め設定された畳み込みカーネル値が３以上である場合、上記実施過程を使用してＭ次元の特徴に対応するＭ次元の融合特徴を取得することができ、予め設定された畳み込みカーネル値が１である場合、融合することなく、Ｍ次元の特徴に対して１回の畳み込みを行うだけで、得られた畳み込み結果は次元の融合特徴であり、予め設定された畳み込みカーネル値が２である場合、各次元の特徴について、次元の特徴に対して２回の畳み込みを行って２つの畳み込み結果を得て、さらに２つの畳み込み結果を融合して融合結果を得て、この融合結果が次元の特徴に対応する次元融合特徴である。
予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、Ｍ次元の融合特徴を取得するように、Ｍ次元の特徴を畳み込むことで、次元の特徴を十分に抽出して融合し、次元間の関係を十分に学習し、画像処理効果を高めることに寄与する。
本実施例に係る画像処理方法は、Ｎ次元の特徴の次元数に応じて、Ｎ次元の特徴からＭ個の特徴を選択し、融合されたＭ次元の融合特徴を取得するように、Ｍ個の特徴をそれぞれ次元融合することで、実際のタスクの要求に応じて、次元融合対象の特徴を選択することに寄与し、方法の柔軟性及び適応性を向上させ、次元の融合特徴を取得するように特徴を次元融合することで、異なる次元間の関係を十分に学習することに寄与し、学習効果及び画像処理の正確性を向上させる。
実際の応用では、本出願で提供される画像処理方法をネットワークモデルの訓練に応用することができ、既存のネットワークモデルを基に、次元の特徴学習を追加して、モデルの学習能力を向上させ、モデル効果を向上させ、訓練されたモデルを利用して画像処理、例えば、画像分類、分割、検出などを行うことで、画像処理の正確度を向上させることができる。
ＲｅｓＮｅｔ１０１ネットワークを例にとると、ｃｏｎｖ３＿ｘの特徴出力は（５１２、２８＊２８）、ｃｏｎｖ４＿ｘの特徴出力は（１０２４、１４＊１４）、ｃｏｎｖ５＿ｘの特徴出力は（２０４８、７＊７）であり、これら３つの特徴を次元融合し、ｃｏｎｖ３＿ｘを例にとると、（５１２、２８＊２８）を（２８＊２８，５１２）に変換し、（４、３＊３）畳み込みを例にとると、それぞれ２回の畳み込みを行って２つの（４，５１２）の特徴を得て、得られた２つの（４，５１２）を（８，５１２）として融合し、さらに（８，５１２、）に対して１回の畳み込みを行って（４，５１２）を得て、その後、３回の畳み込みを行って得られた（４，５１２）を融合して次元の融合特徴（１２，５１２）を取得する。以下、ｃｏｎｖ３＿ｘ、ｃｏｎｖ４＿ｘ、ｃｏｎｖ５＿ｘについて、それぞれ上記手順で説明した特徴抽出と融合を行い、対応する次元の融合特徴としてそれぞれ（１２，５１２）、（１２，１０２４）、（１２，２０４８）を得た。さらに、３つの層の抽出融合で得られた次元の融合特徴をそれぞれ全結合層に送り込み、損失関数と合わせてモデルを訓練し、複数回の反復を経て、訓練されたネットワークモデルを取得する。ここで、モデル訓練プロセスは、深層学習分野の従来技術であり、ここでは詳しく説明しない。なお、予測過程では、３回の出力を単純に統合してもよく、例えば、３回の出力を加算したり、重み付けをして加算したりして最終的な処理結果を取得するようにしてもよい。
さらに、処理対象の画像を訓練されたモデルに入力すれば、正確な処理結果を取得することができる。訓練されたモデルは、画像空間特徴を抽出するだけでなく、特徴次元間の関係も十分に学習し、モデル学習効果が高いため、訓練されたモデルを用いて画像処理を行うことで、画像処理の正確率を向上させることができる。
上記実施例を実現するために、本出願は、画像処理装置をさらに提供する。
図４は、本出願の第４の実施例に係る画像処理装置の構造概略図である。図４に示すように、この画像処理装置４０は、特徴生成モジュール４１０と、融合モジュール４２０と、処理モジュール４３０と、を備える。
特徴生成モジュール４１０は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するために用いられる。
融合モジュール４２０は、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合するために用いられる。
処理モジュール４３０は、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うために用いられる。
ここで、画像処理は、画像分類、画像分割又は画像検出などの画像処理操作のいずれかを含むが、これらに限定されない。
本出願の実施例の可能な一実現形態では、図５に示すように、図４に示す実施例を基に、融合モジュール４２０は、選択ユニット４２１と、融合ユニット４２２と、を備える。
可能な一実現形態としては、選択ユニット４２１は、具体的には、Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、Ｍ個の特徴をそれぞれ選択するために用いられ、第２の次元の範囲が第１の次元の範囲よりも大きい。
第１の次元の範囲及び第２の次元の範囲から、Ｍ個の特徴を選択し、第２の次元の範囲が第１の次元の範囲よりも大きく、これにより、下位層の特徴と上位層の特徴の両方を選択することで、Ｍ個の特徴を次元融合する際に、上下層の情報を融合することを保証でき、細粒度識別タスクの完成を容易にし、画像詳細特徴識別の正確度を保証することができる。
融合ユニット４２２は、融合されたＭ次元の融合特徴を取得するように、Ｍ個の特徴をそれぞれ次元融合するために用いられる。
本出願の実施例の可能な一実現形態では、図６に示すように、図５に示す実施例を基に、融合ユニット４２２は、変換サブユニット４２２１と、処理サブユニット４２２２と、を備える。
変換サブユニット４２２１は、Ｍ次元の特徴を形成するようにＭ個の特徴を変換するために用いられる。
処理サブユニット４２２２は、Ｍ次元の融合特徴を取得するようにＭ次元の特徴を畳み込むために用いられる。
本実施例では、処理サブユニット４２２２は、具体的には、以下のＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５及びＳ６を実行するために用いられる。
Ｓ１において、Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行う。
Ｓ２において、第ｉの融合結果（ｉ＝１）を生成するように、第１の畳み込み結果と第２の畳み込み結果を融合する。
Ｓ３において、第ｉ＋２の畳み込み結果を形成するように、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って第ｉの融合結果を畳み込む。
Ｓ４において、第ｉ＋１の融合結果を生成するように、第１の畳み込み結果乃至第ｉ＋２の畳み込み結果を融合する。
Ｓ５において、ｉが（予め設定された畳み込みカーネル値－２）よりも小さい場合、ｉをｉ＝ｉ＋１に更新し、ステップＳ３～ステップＳ４に戻って実行する。
Ｓ６において、ｉが（予め設定された畳み込みカーネル値－２）に等しい場合、第ｉ＋１の融合結果をＭ次元の融合特徴として決定する。
なお、予め設定された畳み込みカーネル値が３以上である場合、処理サブユニット４２２２は、上記処理操作を実行して、Ｍ次元の特徴に対応するＭ次元の融合特徴を得てもよく、予め設定された畳み込みカーネル値が１である場合、処理サブユニット４２２２は、融合することなく、Ｍ次元の特徴に対して１回の畳み込みを行うだけで、得られた畳み込み結果は次元の融合特徴であり、予め設定された畳み込みカーネル値が２である場合、各次元の特徴について、処理サブユニット４２２２は、次元の特徴に対して２回の畳み込みを行って２つの畳み込み結果を得て、さらに、２つの畳み込み結果を融合して融合結果を得て、この融合結果は、すなわち、次元の特徴に対応する次元の融合特徴である。
予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、Ｍ次元の融合特徴を取得するように、Ｍ次元の特徴を畳み込むことで、次元の特徴を十分に抽出して融合し、次元間の関係を十分に学習し、画像処理効果を高めることに寄与する。
本実施例の画像処理装置は、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。
本出願の実施例によれば、本出願は、電子機器、及びコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供する。
本出願の実施例によれば、本出願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本出願によって提供される画像処理方法を実行させる。
図７に示すように、本出願の実施例の画像処理方法を実現するための電子機器のブロック図である。電子機器は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図される。電子機器は、さらに、例えば、携帯情報端末、携帯電話、スマートフォン、ウェアラブル機器、及び他の同様のコンピューティング装置などの様々な形態のモバイル装置を表すことができる。本明細書に示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記述及び／又は要求される本出願の実現を限定することを意図しない。
図７に示すように、この電子機器は、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インタフェースと低速インタフェースとを備える、各コンポーネントを接続するためのインタフェースとを備える。各コンポーネントは、異なるバスで接続され、共通のマザーボードに実装されてもよいし、又は必要に応じて他の方式で実装されてもよい。プロセッサは、電子機器内で実行される命令を処理することができ、前記命令は外部入力／出力装置（例えば、インタフェースに結合されたディスプレイ機器）にＧＵＩのグラフィック情報を表示させるようにメモリ内又はメモリ上に記憶された命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリと共に使用することができる。同様に、それぞれが必要な動作の一部（例えば、サーバアレイ、ブレードサーバ群、又はマルチプロセッサシステムとする）を提供する複数の電子機器を接続することができる。図７では、１つのプロセッサ７０１を例にする。
メモリ７０２は、本出願にて提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも１つのプロセッサが本出願にて提供される画像処理方法を実行するように、少なくとも１つのプロセッサによって実行可能な命令が記憶される。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、本出願にて提供される画像処理方法をコンピュータに実行させるために用いられるコンピュータ命令が記憶されている。
メモリ７０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、例えば、本出願の実施例における画像処理方法に対応するプログラム命令／モジュール（例えば、図４に示される特徴生成モジュール４１０、融合モジュール４２０及び処理モジュール４３０）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、を記憶するために用いられる。プロセッサ７０１は、メモリ７０２に記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法の実施例における画像処理方法を実現する。
メモリ７０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、画像処理方法を実行するための電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを備えることができ、非一時的なメモリをさらに備えることができ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的な固体記憶デバイスである。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔に配置されたメモリを選択的に備えることができ、これらの遠隔メモリは、ネットワークを介して画像処理方法を実行するための電子機器に接続することができる。上記ネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
画像処理方法を実行するための電子機器は、入力装置７０３と出力装置７０４とをさらに備えることができる。プロセッサ７０１、メモリ７０２、入力装置７０３、及び出力装置７０４は、バス又は他の方式で接続することができ、図７では、バスによる接続を例にする。
入力装置７０３は、入力された数字又は文字情報を受信し、画像処理方法を実行するための電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又はそれ以上のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置７０４は、表示機器、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを備えることができる。この表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを備え得るが、これらに限定されない。いくつかの実施形態では、表示機器はタッチパネルであってもよい。
本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び／又は解釈することができ、このプログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令をこの記憶システム、この少なくとも１つの入力装置、及びこの少なくとも１つの出力装置に伝送することができる。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語で実施される。本明細書で使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。
ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、このキーボード及びこのポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、このグラフィカルユーザインタフェース又はこのウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。
コンピュータシステムは、クライアント及びサーバを備えることができる。クライアント及びサーバは、一般的に、互いに離れ、通常、通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。
本出願の実施例の技術案によれば、Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力し、融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するようにＮ次元の特徴のうちのＭ個の特徴を次元融合し、Ｎ次元の特徴のうちの他の未融合特徴とＭ次元の融合特徴に基づいて画像処理を行うことにより、画像処理において画像の空間的特徴を抽出するだけでなく、異なる次元間の特徴の関係も考慮して、各空間的特徴の異なる次元間の次元融合特徴を抽出し、これにより学習効果を向上させ、画像処理の正確性を向上させることができる。
なお、上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることが理解されるであろう。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者であれば、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本出願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (9)

  1. Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するステップであって、前記Ｎ次元の特徴とは、分類対象の画像に対応する特徴マップの空間次元における空間的特徴を指すステップと、
    融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するステップと、
    前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うステップと、
    を含み、
    前記融合されたＭ次元の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するステップが、
    前記Ｎ次元の特徴の次元数に基づいて、前記Ｎ次元の特徴から前記Ｍ個の特徴を選択するステップと、
    融合されたＭ次元の融合特徴を取得するように前記Ｍ個の特徴をそれぞれ次元融合するステップと、
    を含み、
    前記融合されたＭ次元の融合特徴を取得するように前記Ｍ個の特徴をそれぞれ次元融合するステップが、
    Ｍ次元の特徴を形成するように前記Ｍ個の特徴を変換するステップと、
    前記Ｍ次元の融合特徴を取得するように前記Ｍ次元の特徴を畳み込むステップと、
    を含む画像処理方法。
  2. 前記Ｎ次元の特徴の次元数に基づいて、前記Ｎ次元の特徴から前記Ｍ個の特徴を選択するステップが、前記Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、前記Ｍ個の特徴をそれぞれ選択するステップであって、前記第２の次元の範囲が前記第１の次元の範囲よりも大きいステップを含む請求項１に記載の画像処理方法。
  3. 前記Ｍ次元の融合特徴を取得するように前記Ｍ次元の特徴を畳み込むステップが、
    前記Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行うステップＳ１と、
    第ｉの融合結果（ｉ＝１）を生成するように、前記第１の畳み込み結果と前記第２の畳み込み結果を融合するステップＳ２と、
    第ｉ＋２の畳み込み結果を形成するように、前記予め設定されたチャンネル及び前記予め設定された畳み込みカーネル値に従って前記第ｉの融合結果を畳み込むステップＳ３と、
    第ｉ＋１の融合結果を生成するように、前記第１の畳み込み結果乃至前記第ｉ＋２の畳み込み結果を融合するステップＳ４と、
    前記ｉが（前記予め設定された畳み込みカーネル値－２）よりも小さい場合、前記ｉをｉ＝ｉ＋１に更新し、ステップＳ３～Ｓ４に戻って実行するステップＳ５と、
    前記ｉが（前記予め設定された畳み込みカーネル値－２）に等しい場合、前記第ｉ＋１の融合結果を前記Ｍ次元の融合特徴として決定するステップＳ６と、
    を含む請求項１に記載の画像処理方法。
  4. Ｎ次元（Ｎは正の整数である）の特徴を生成するように分類対象の画像を特徴抽出モデルに入力するための特徴生成モジュールであって、前記Ｎ次元の特徴とは、分類対象の画像に対応する特徴マップの空間次元における空間的特徴を指す特徴生成モジュールと、
    融合されたＭ次元（ＭはＮ以下の正の整数である）の融合特徴を取得するように前記Ｎ次元の特徴のうちのＭ個の特徴を次元融合するための融合モジュールと、
    前記Ｎ次元の特徴のうちの他の未融合特徴と前記Ｍ次元の融合特徴に基づいて画像処理を行うための処理モジュールと、
    を備え、
    前記融合モジュールが、
    前記Ｎ次元の特徴の次元数に基づいて、前記Ｎ次元の特徴から前記Ｍ個の特徴を選択するための選択ユニットと、
    融合されたＭ次元の融合特徴を取得するように、前記Ｍ個の特徴をそれぞれ次元融合するための融合ユニットと、
    を備え、
    前記融合ユニットが、
    Ｍ次元の特徴を形成するように前記Ｍ個の特徴を変換するための変換サブユニットと、
    前記Ｍ次元の融合特徴を取得するように前記Ｍ次元の特徴を畳み込むための処理サブユニットと、
    を備える画像処理装置。
  5. 前記選択ユニットが、前記Ｎ次元の特徴のうちの第１の次元の範囲及び第２の次元の範囲から、前記Ｍ個の特徴をそれぞれ選択し、前記第２の次元の範囲が前記第１の次元の範囲よりも大きい請求項４に記載の画像処理装置。
  6. 前記処理サブユニットが、
    前記Ｍ次元の特徴に対して、予め設定されたチャンネル及び予め設定された畳み込みカーネル値に従って、第１の畳み込み結果及び第２の畳み込み結果を形成するように、第１の畳み込み及び第２の畳み込みを行うステップＳ１と、
    第ｉの融合結果（ｉ＝１）を生成するように、前記第１の畳み込み結果と前記第２の畳み込み結果を融合するステップＳ２と、
    第ｉ＋２の畳み込み結果を形成するように、前記予め設定されたチャンネル及び前記予め設定された畳み込みカーネル値に従って前記第ｉの融合結果を畳み込むステップＳ３と、
    第ｉ＋１の融合結果を生成するように、前記第１の畳み込み結果乃至前記第ｉ＋２の畳み込み結果を融合するステップＳ４と、
    前記ｉが（前記予め設定された畳み込みカーネル値－２）よりも小さい場合、前記ｉをｉ＝ｉ＋１に更新し、ステップＳ３～Ｓ４に戻って実行するステップＳ５と、
    前記ｉが（前記予め設定された畳み込みカーネル値－２）に等しい場合、前記第ｉ＋１の融合結果を前記Ｍ次元の融合特徴として決定するステップＳ６と、
    を実行する請求項４に記載の画像処理装置。
  7. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも１つのプロセッサが請求項１から３のいずれか一項に記載の画像処理方法を実行するように、前記少なくとも１つのプロセッサによって実行される電子機器。
  8. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令がコンピュータに請求項１から３のいずれか一項に記載の画像処理方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
  9. コンピュータに請求項１から３のいずれか一項に記載の画像処理方法を実行させるコンピュータプログラム。
JP2021049222A 2020-04-17 2021-03-23 画像処理方法、画像処理装置、電子機器及び記憶媒体 Active JP7177878B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010309211.9A CN111598131B (zh) 2020-04-17 2020-04-17 图像处理方法、装置、电子设备及存储介质
CN202010309211.9 2020-04-17

Publications (2)

Publication Number Publication Date
JP2021103558A JP2021103558A (ja) 2021-07-15
JP7177878B2 true JP7177878B2 (ja) 2022-11-24

Family

ID=72190371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021049222A Active JP7177878B2 (ja) 2020-04-17 2021-03-23 画像処理方法、画像処理装置、電子機器及び記憶媒体

Country Status (5)

Country Link
US (1) US11727676B2 (ja)
EP (1) EP3819824A3 (ja)
JP (1) JP7177878B2 (ja)
KR (1) KR102487260B1 (ja)
CN (1) CN111598131B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质
CN113033647A (zh) * 2021-03-18 2021-06-25 网易传媒科技（北京）有限公司 多模态特征融合方法、装置、计算设备以及介质
CN113239899B (zh) * 2021-06-17 2024-05-28 阿波罗智联(北京)科技有限公司 用于处理图像和生成卷积核的方法、路侧设备和云控平台
CN113724393B (zh) * 2021-08-12 2024-03-19 北京达佳互联信息技术有限公司 三维重建方法、装置、设备及存储介质
CN113989569B (zh) * 2021-10-29 2023-07-04 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114882284A (zh) * 2022-05-23 2022-08-09 重庆大学 一种彩色眼底图像分类系统、方法及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907883B1 (ko) 2017-05-10 2018-10-16 국방과학연구소 객체 검출 및 분류 방법
CN108229296B (zh) * 2017-09-30 2021-04-02 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
US10552664B2 (en) * 2017-11-24 2020-02-04 International Business Machines Corporation Image feature classification and localization using discriminative representations for robotic surgical control
CN110580482B (zh) * 2017-11-30 2022-04-08 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置
CN108229341B (zh) * 2017-12-15 2021-08-06 北京市商汤科技开发有限公司 分类方法和装置、电子设备、计算机存储介质
CN107942943B (zh) * 2017-12-25 2019-12-31 北京信息科技大学 一种基于多源信息融合的高端数控装备状态识别方法
CN108573038A (zh) * 2018-04-04 2018-09-25 北京市商汤科技开发有限公司 图像处理、身份验证方法、装置、电子设备和存储介质
CN108596154B (zh) * 2018-05-14 2021-09-24 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质
CN109359696B (zh) * 2018-10-29 2021-04-02 重庆中科云从科技有限公司 一种车款识别方法、系统及存储介质
CN110321942A (zh) * 2019-06-25 2019-10-11 华中科技大学 一种基于球形特征的细粒度图像分类方法与装置
CN110276411B (zh) 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110348537B (zh) 2019-07-18 2022-11-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US20220230282A1 (en) * 2021-01-12 2022-07-21 Samsung Electronics Co., Ltd. Image processing method, image processing apparatus, electronic device and computer-readable storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山内 良介 他，色彩と輪郭線ならびにＤＮＮ特徴量を組合せた特徴量による画家推定，第１１回データ工学と情報マネジメントに関するフォーラム （第１７回日本データベース学会年次大会） ［ｏｎｌｉｎｅ］，日本，2019年03月06日

Also Published As

Publication number Publication date
EP3819824A2 (en) 2021-05-12
CN111598131A (zh) 2020-08-28
KR102487260B1 (ko) 2023-01-10
JP2021103558A (ja) 2021-07-15
US11727676B2 (en) 2023-08-15
CN111598131B (zh) 2023-08-25
KR20210040883A (ko) 2021-04-14
EP3819824A3 (en) 2021-09-29
US20210232856A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
JP7177878B2 (ja) 画像処理方法、画像処理装置、電子機器及び記憶媒体
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US11735315B2 (en) Method, apparatus, and device for fusing features applied to small target detection, and storage medium
KR20210040326A (ko) 크로스 모달 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체
CN111259671B (zh) 文本实体的语义描述处理方法、装置及设备
EP3848897A2 (en) Image adjustment method and apparatus, electronic device and storage medium
US11995560B2 (en) Method and apparatus for generating vector representation of knowledge graph
JP2023541119A (ja) 文字認識モデルのトレーニング方法、文字認識方法、装置、電子機器、記憶媒体およびコンピュータプログラム
KR102567635B1 (ko) 시맨틱 표현 모델을 트레이닝 하는 방법, 장치, 전자 기기 및 컴퓨터 기록 매체
EP3879456B1 (en) Method and apparatus for generating target re-recognition model and re-recognizing target
US11915466B2 (en) Method and apparatus for determining target anchor, device and storage medium
US11620496B2 (en) Convolutional neural network, and processing method, processing device, processing system and medium for the same
JP7194215B2 (ja) キーポイントの特定方法及び装置、機器、記憶媒体
JP7242994B2 (ja) ビデオイベント識別方法、装置、電子デバイス及び記憶媒体
US11641446B2 (en) Method for video frame interpolation, and electronic device
CN111539897A (zh) 用于生成图像转换模型的方法和装置
CN111340905A (zh) 图像风格化方法、装置、设备和介质
US11830242B2 (en) Method for generating a license plate defacement classification model, license plate defacement classification method, electronic device and storage medium
CN112053362B (zh) 图像分割方法、装置、电子设备及存储介质
CN112488126B (zh) 特征图处理方法、装置、设备以及存储介质
JP2021111400A (ja) ビデオセグメント記述の生成方法、装置、プログラム、電子デバイス及び記憶媒体
US11508044B2 (en) Method for translating image, method for training image translation model
US11526971B2 (en) Method for translating image and method for training image translation model
CN111680623A (zh) 姿态转换方法及装置、电子设备、存储介质
CN118072322A (zh) 字符生成模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221111

R150 Certificate of patent or registration of utility model

Ref document number: 7177878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150