JP7233555B2 - 画像認識方法、認識モデルのトレーニング方法及びその装置、並びにコンピュータプログラム - Google Patents

画像認識方法、認識モデルのトレーニング方法及びその装置、並びにコンピュータプログラム Download PDF

Info

Publication number
JP7233555B2
JP7233555B2 JP2021547115A JP2021547115A JP7233555B2 JP 7233555 B2 JP7233555 B2 JP 7233555B2 JP 2021547115 A JP2021547115 A JP 2021547115A JP 2021547115 A JP2021547115 A JP 2021547115A JP 7233555 B2 JP7233555 B2 JP 7233555B2
Authority
JP
Japan
Prior art keywords
target
recognition model
image
recognition
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021547115A
Other languages
English (en)
Other versions
JP2022520390A (ja
Inventor
新瑞 庄
悦翔 李
冶▲楓▼ ▲鄭▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2022520390A publication Critical patent/JP2022520390A/ja
Application granted granted Critical
Publication of JP7233555B2 publication Critical patent/JP7233555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

本願は、２０１９年０６月２１日に中国特許局に提出された、出願番号がＣＮ２０１９１０５４４３９２．０である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願は、コンピュータ分野、特に、画像認識方法、認識モデルのトレーニング方法及びその装置、並びに記憶媒体に関するものである。
関連技術では、３Ｄ画像のタイプを認識する場合、通常、トレーニングされた３Ｄモデルを使用して３Ｄ画像のタイプを認識するために、多数の３Ｄ画像サンプルを使用して３Ｄモデルをトレーニングする必要がある。
しかしながら、上記の方法を使用すると、モデルのトレーニングに大量の時間がかかり、モデルのトレーニング効率が低下する。
本願実施例は、モデルのトレーニング効率を向上させながら、画像認識精度を向上させることができる、画像認識方法、認識モデルのトレーニング方法及びその装置、並びに記憶媒体を提供する。
本願実施例は、画像認識方法を提供し、前記画像認識方法は、
認識対象となる目標三次元画像を取得するステップと、
前記認識対象となる目標三次元画像を第一の認識モデルに入力するステップと、
前記第一の認識モデルによって出力された前記目標三次元画像のタイプを取得するステップと、を含み、
前記第一の認識モデルは、前記目標三次元画像を認識して、前記目標三次元画像の画像タイプを取得するために使用され、
前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第一の認識モデルの畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、
前記第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、
前記目標トレーニングサンプルは、三次元サンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含む。
本願実施例は、画像認識方法を提供し、前記方法は端末によって実行され、前記端末は、１つまたは複数のプロセッサと、メモリと、１つまたは複数のプログラムとを備え、ここで、前記１つまたは複数のプログラムはメモリに記憶され、前記プログラムは、それぞれが１セットの命令に対応する１つまたは複数のユニットを含み得、前記１つまたは複数のプロセッサは命令を実行するように構成され、前記方法は、
認識対象となる目標三次元画像を取得するステップと、
前記認識対象となる目標三次元画像を第一の認識モデルに入力するステップと、
前記第一の認識モデルによって出力された前記目標三次元画像のタイプを取得するステップと、を含み、
前記第一の認識モデルは、前記目標三次元画像を認識して、前記目標三次元画像の画像タイプを取得するために使用され、
前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第一の認識モデルの畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、
前記第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、
前記目標トレーニングサンプルは、三次元サンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含む。
本願実施例は、認識モデルのトレーニング方法を更に提供し、前記方法はネットワーク機器によって実行され、前記ネットワーク機器は、１つまたは複数のプロセッサと、メモリと、１つまたは複数のプログラムとを備え、ここで、前記１つまたは複数のプログラムはメモリに記憶され、前記プログラムは、それぞれが１セットの命令に対応する１つまたは複数のユニットを含み得、前記１つまたは複数のプロセッサは命令を実行するように構成され、前記方法は、
三次元サンプル画像を取得し、前記三次元サンプル画像からＮ（Ｎは１より大きい自然数である）個の目標立方体を分割するステップと、
前記Ｎ個の目標立方体を回転及びソートして、目標トレーニングサンプルを取得するステップと、
前記目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより、第二の認識モデルを取得するステップと、を含み、
ここで、前記第二の認識モデルの畳み込みブロックは、第一の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの畳み込みブロックは、前記第一の認識モデルが目標三次元画像に対して前記認識を実行して、前記目標三次元画像のタイプを取得するために使用される。
本願実施例は、認識モデルのトレーニング方法を更に提供し、前記方法は、
三次元サンプル画像を取得し、前記三次元サンプル画像からＮ（Ｎは１より大きい自然数である）個の目標立方体を分割するステップと、
前記Ｎ個の目標立方体を回転及びソートして、目標トレーニングサンプルを取得し、前記目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより、第二の認識モデルを取得するステップと、を含み、
ここで、前記第二の認識モデルの畳み込みブロックは、第一の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの畳み込みブロックは、前記第一の認識モデルが目標三次元画像に対して前記認識を実行して、前記目標三次元画像のタイプを取得するために使用される。
本願実施例は、画像認識装置を更に提供し、前記装置は、
認識対象となる目標三次元画像を取得するように構成される第一の取得ユニットと、前記目標三次元画像を第一の認識モデルに入力するように構成される第一の入力ユニットと、
前記第一の認識モデルによって出力された前記目標三次元画像のタイプを取得するように構成される第二の取得ユニットと、を備え、
前記第一の認識モデルは、前記目標三次元画像を認識して、前記目標三次元画像の画像タイプを取得するために使用され、
前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第一の認識モデルの畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、
前記第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、
前記目標トレーニングサンプルは、三次元サンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含む。
本願実施例は、モデルのトレーニング装置を更に提供し、前記装置は、
三次元サンプル画像を取得し、前記三次元サンプル画像からＮ（Ｎは１より大きい自然数である）個の目標立方体を分割するように構成される分割ユニットと、
前記Ｎ個の目標立方体を回転及びソートして、目標トレーニングサンプルを取得するように構成される処理ユニットと、
前記目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより、第二の認識モデルを取得するように構成されるトレーニングユニットと、を備え、
ここで、前記第二の認識モデルの畳み込みブロックは、第一の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの畳み込みブロックは、前記第一の認識モデルが目標三次元画像に対して前記認識を実行して、前記目標三次元画像のタイプを取得するために使用される。
本願実施例は、記憶媒体を更に提供し、当該記憶媒体にはコンピュータプログラムが記憶され、ここで、当該コンピュータプログラムは、実行されるときに、上記の画像認識方法を実行するように構成される。
本願実施例は、電子装置を更に提供し、前記電子装置は、メモリと、プロセッサと、メモリに記憶され、プロセッサによって実行されるコンピュータプログラムとを備え、ここで、上記のプロセッサは、コンピュータプログラムを実行することにより上記の画像認識方法を実行する。
本願実施例に係る画像認識方法、認識モデルのトレーニング方法及びその装置、並びに記憶媒体を適用して、第一の認識モデルを使用する前に第一の認識モデルをトレーニングすることにより、第一の認識モデルのトレーニング効率を向上させながら、画像認識精度を向上させることができる。
ここで説明する図面は本願を一層理解させるためのものであり、本願の一部を構成し、本願の例示的な実施例及びその説明は本願を解釈するもので、本願を不適切に限定するものではない。
本願実施例に係る画像認識方法の応用環境の概略図である。 本願実施例に係る画像認識方法の例示的なフローチャートである。 本願実施例に係る画像認識方法の概略図である。 本願実施例に係る別の画像認識方法の概略図である。 本願実施例に係るさらに別の画像認識方法の概略図である。 本願実施例に係るさらに別の画像認識方法の概略図である。 本願実施例に係るさらに別の画像認識方法の概略図である。 本願実施例に係るさらに別の画像認識方法の概略図である。 本願実施例に係るさらに別の画像認識方法の概略図である。 本願実施例に係る認識モデルのトレーニング方法の概略構造図である。 本願実施例に係る画像認識装置の概略構造図である。 本願実施例に係る認識モデルのトレーニング装置の概略構造図である。 本願実施例に係る電子装置の概略構造図である。 本願実施例に係る電子装置の概略構造図である。
当業者が本願の技術案を一層簡単に理解できるようにするために、以下、本願実施例の図面を結合して、本願実施例の技術案を明確且つ完全に説明し、明らかに、説明される実施例は、単に本願実施例の一部であり、実施例の全てではない。本願実施例に基づき、当業者が創造性のある労働を必要とせずに得られる他の実施例の全ては、本願の保護範囲に含まれるべきである。
本願の明細書、特許請求の範囲及び上記の添付図面中の「第一」、「第二」等の用語は、特定の順番又は前後順番を記述するために使用される必要がなく、類似する対象を区別するものである。このように使用されるデータは、本明細書で説明される本願実施例が本明細書で図示されまたは説明されるもの以外の順序で実施できるために、適切な場合に交換できることを理解されたい。また、「含む」、「有する」及びこれらの任意の変形の用語は、非排他的包含を網羅することが意図され、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又はデバイスは、明確に列挙されたそれらのステップ又はユニットに必ずしも限定されず、明確に列挙されない他のステップ又はユニット、又はこれらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットを含み得る。
磁気共鳴映像法（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎ、ＭＲＩと略称）：磁気共鳴映像法は、医用画像の一種である。
コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＣＴと略称）：コンピュータ断層撮影は、医用画像の一種であり、さまざまな病気の検査に使用できる。
畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮと略称）
マルチモーダル脳腫瘍セグメンテーション手法（Ｍｕｌｔｉｍｏｄａｌ Ｂｒａｉｎ Ｔｕｍｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ、ＢＲＡＴＳと略称）
特徴マップ（Ｆｅａｔｕｒｅ ｍａｐ）：特徴マップは、画像及びフィルタを畳み込むことにより取得されたものであり、実際の応用では、Ｆｅａｔｕｒｅ ｍａｐ及びフィルタを畳み込むことにより、新しいｆｅａｔｕｒｅ ｍａｐを生成することができる。
シャム双生児型ネットワーク（Ｓｉａｍｅｓｅネットワーク）：シャム双生児型ネットワークは、同じ構造のいくつかの畳み込みニューラルネットワークを含み、各ネットワークは、重みパラメータを共有することができる。
ハミング距離（Ｈａｍｍｉｎｇ ｄｉｓｔａｎｃｅ）：ハミング距離は、２つの文字列の対応する位置にある異なる文字の個数を測定するために使用される。
完全畳み込みネットワーク（Ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ、ＦＣＮと略称）：完全畳み込みネットワークは、画像分割技術に係る畳み込みネットワークであり、それは、完全に畳み込み層及びプーリング層で構成される。
本願実施例は画像認識方法を提供し、当該画像認識方法は、図１に示されるような環境に適用できるが、これに限定されない。
図１では、ユーザ１０２とユーザ機器１０４の間は、人間とコンピュータのインタラクションを実行することができる。ユーザ機器１０４は、インタラクションデータを記憶するように構成されるメモリ１０６と、インタラクションデータを処理するように構成されるプロセッサ１０８と、を備える。ユーザ機器１０４は、ネットワーク１１０を介してサーバ１１２とのデータインタラクションを実行することができる。サーバ１１２は、インタラクションデータを記憶するように構成されるデータベース１１４と、インタラクションデータを処理するように構成される処理エンジン１１６と、を備える。ユーザ機器１０４は、第一の認識モデルを含み、ユーザ機器１０４は、認識対象となる目標３Ｄ画像１０４－２を取得し、目標３Ｄ画像１０４－２を認識して、目標３Ｄ画像１０４－２の画像タイプ１０４－４を出力することができる。
いくつかの実施例において、上記の画像認識方法は、携帯電話、タブレットコンピュータ、ラップトップ、ＰＣなどの、データを計算できる端末に適用することができ、上記のネットワークは、無線ネットワーク又は有線ネットワークを含み得るが、これらに限定されない。ここで、当該無線ネットワークは、ｂｌｕｔｏｏｔｈ、ＷＩＦＩ及び無線通信を実現する他のネットワークを含む。上記の有線ネットワークは、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワークを含み得るが、これらに限定されない。上記のサーバは、計算を実行できる任意のハードウェア機器を含んでもよいが、これらに限定されない。例えば、前記サーバは、独立した物理サーバであってもよいし、複数の物理サーバで構成されるサーバクラスタまたは分散型システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウド記憶、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、及びビッグデータ及び人工知能プラットフォームなどの基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
いくつかの実施例において、図２に示されたように、上記の画像認識方法は、次のステップを含む。
ステップＳ２０２において、認識対象となる目標３Ｄ画像を取得する。
ステップＳ２０４において、前記認識対象となる目標３Ｄ画像を第一の認識モデルに入力する。
ここで、前記第一の認識モデルは、前記認識対象となる目標３Ｄ画像を認識して、前記認識対象となる目標３Ｄ画像の画像タイプを取得するために使用され、
第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第一の認識モデルの畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、
第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、目標トレーニングサンプルは、３Ｄサンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含む。
ステップＳ２０６において、第一の認識モデルによって出力された目標３Ｄ画像の第一のタイプを取得する。
いくつかの実施例において、上記の画像認識方法は、画像認識分野に適用できるが、これに限定されない。例えば、上記の方法は、３Ｄ画像のタイプを認識するプロセス（例えば、３Ｄ疾患画像で疾患の種類を認識するプロセスなど）に適用できる。例えば、脳出血の種類を認識する場合、３Ｄ疾患画像（３Ｄ疾患画像は、ＭＲＩ画像またはＣＴ画像であり得る）を取得した後に、３Ｄ疾患画像を第一の認識モデルに入力し、第一のモデルを使用して３Ｄ疾患画像を認識して３Ｄ疾患画像の第一のタイプを出力する。例えば、第一のタイプは、健康、または動脈瘤、動静脈奇形、もやもや病、高血圧などであり得る。
上記の方法において、３Ｄ画像から抽出された立方体を使用して第二の認識モデルを事前にトレーニングすることにより、第二の認識モデルのトレーニング効率を向上させ、第二の認識モデルの畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、第一の認識モデルを使用して３Ｄ画像を認識することにより、第一の認識モデルのトレーニング効率を大幅に向上させる効果を達成する。
いくつかの実施例において、目標３Ｄ画像を取得する前に、先ず、第二の認識モデルをトレーニングする必要がある。トレーニングするときに、先ず、３Ｄサンプル画像を取得する必要がある。３Ｄサンプル画像は、ラベルのない画像である。３Ｄサンプル画像を取得した後に、３Ｄサンプル画像から元の立方体を抽出し、元の立方体をＮ個の目標立方体に分割する必要がある。
いくつかの実施例において、元の立方体を抽出するとき、先ず、３Ｄサンプル画像の幾何学的中心を決定することができる。幾何学的中心を決定した後、当該幾何学的中心を上記の元の立方体の幾何学的中心として使用し、元の立方体を決定する。上記の元の立方体の辺長さは、３Ｄサンプル画像の最小の辺長さより小さい。
例えば、図３に示されたように、３Ｄサンプル画像３０２の場合、先ず、３Ｄサンプル画像３０２の幾何学的中心３０４を決定し、その後、幾何学的中心３０４を幾何学的中心とした元の立方体３０６を決定する。
いくつかの実施例において、３Ｄサンプル画像の幾何学的中心を決定した後、半径ｒも決定でき、その後、３Ｄサンプル画像の幾何学的中心を中心とし、半径ｒを半径とする球を作成し、球から任意の点を上記の元の立方体の幾何学的中心として選択して、上記の元の立方体を決定する。決定された元の立方体は、３Ｄサンプル画像内にあり且つ３Ｄサンプル画像の範囲を超えないことに留意されたい。
いくつかの実施例において、元の立方体を決定した後、元の立方体を分割して、Ｎ個の目標立方体を取得する必要がある。分割するときに、元の立方体からＮ個の目標立方体をランダムに掘り出したり、元の立方体の一部を分割してＮ個の目標立方体を取得したりするなどの任意の方法を使用することができる。または、元の立方体をＮ（Ｎは、正の整数の３乗である）個の目標立方体に分割することができる。例として、Ｎが８である場合、図４に示されたように、１つの元の立方体４０４を４０２－１、４０２－２、４０２－３の矢印が指す方向に分割して、８つの目標立方体を取得する（図４における分割方法は一例に過ぎない）。または、分割するときに、隣接する２つの立方体の間にＭボクセルの間隔がある。例えば、Ｍが２である場合、図５に示されたように、元の立方体５０２を８つの目標立方体５０４に分割することができる。元の立方体５０２の辺長さが１０ボクセルである場合、目標立方体５０４の辺長さは４つのボクセルである。
いくつかの実施例において、Ｎ個の目標立方体を取得した後に、Ｎ個の目標立方体のうちの第一の目標立方体を第一の角度回転（例えば、９０度回転、１８０度回転）することもできる。第一の目標立方体は、１つまたは複数であってもよく、各第一の目標立方体の回転角度は、同じでも異なってもよい。回転された第一の目標立方体及び回転されていない残りの回転目標立方体をソートし、ソートはランダムソートであり得、ソートした後に、目標トレーニングサンプルを取得する。
目標トレーニングサンプルを取得した後に、目標トレーニングサンプルを使用して元の認識モデルをトレーニングし、元の認識モデルにより、目標トレーニングサンプル内の目標立方体の回転及びソート順の確率を出力する。上記の確率は、第一の目標関数に満たす場合もあるし、第一の目標関数に満たさない場合もある。第一の目標関数は損失関数であり得る。上記の確率が第一の目標関数を満たす場合、元の認識モデルの認識結果が正解であることを表す。上記の確率が第一の目標関数を満たさない場合、元の認識モデルの認識結果が不正解であることを表す。前記認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを前記第二の認識モデルとして決定する。これは、第二の認識モデルの精度が第一の閾値よりも大きい（例えば、精度が９９．９５％以上である）ことを示す。
上記のトレーニング方法を使用することにより、第二の認識モデルのトレーニング効率を大幅に向上させることができる。
いくつかの実施例において、トレーニングにより第二の認識モデルを取得した後に、第二の認識モデルにおける畳み込みブロックを取得し、畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、第一のトレーニングサンプルを使用して第一の認識モデルをトレーニングすることができる。第一のトレーニングサンプルは、画像タイプを含む３Ｄ画像である。第一の認識モデルの認識精度が第二の閾値よりも大きい場合、第一の認識モデルを使用することができる。例えば、第一の認識モデルを使用して３Ｄ画像の病症タイプを認識することができる。図６に示されたように、端末の表示インターフェース６０２には、選択ボタン６０２－１が表示され、ユーザは、認識対象となる目標３Ｄ画像６０４を選択することができ、端末は、認識対象となる目標３Ｄ画像６０４を認識し、認識対象となる目標３Ｄ画像の第一のタイプ６０６を出力する。
例えば、脳疾患を認識する場合、開示されているＢＲＡＴＳ－２０１８脳神経膠腫セグメンテーションデータセットと及び提携病院から収集した脳出血分類データセットを取得し、上記のデータを実験データとして使用する。
ＢＲＡＴＳ－２０１８データセットは、２８５人の患者のＭＲＩ影像を含み、各患者のＭＲＩ影像は、４つの異なるモーダル、それぞれ、Ｔ１、Ｔ１Ｇｄ、Ｔ２、ＦＬＡＩＲを含み、異なるモーダルのデータはすべて、まとめて登録（レジストレーション）されており、各画像のサイズは２４０ｘ２４０ｘ１５５である。
脳出血データセットは、１４８６個の脳出血の脳ＣＴスキャン画像を含み、脳出血の種類は、動脈瘤、動静脈奇形、モヤモヤ病、高血圧である。各ＣＴ画像のサイズはすべて２３０ｘ２７０ｘ３０である。
上記の画像を第二の認識モデルのトレーニングに使用する。図７に示されたように、１枚の画像において、画像から元の立方体を抽出し、元の立方体を目標立方体に分割する。元の立方体を選択する具体的な方法については、上記の例を参照することができ、ここでは繰り返して説明しない。元の立方体を選択した後、ルービックキューブ復元のエージェントタスクを通じて、低レベルの画素分布の統計特徴情報ではなく、高レベルのセマンティック特徴情報をネットワークに学習させる。元の立方体を分割して目標立方体を取得するとき、隣接する２つの目標立方体の間に１０ボクセル以内のランダムな間隔が予約され、その後、各目標立方体内のボクセルを［－１，１］に正規化する。目標トレーニングサンプルを取得する。
目標トレーニングサンプルを取得した後に、第二の認識モデルをトレーニングする必要がある。図７に示されたように、シャム双生児型ネットワーク（Ｓｉａｍｅｓｅネットワーク）は、互いに重みを共有するＸ個のサブネットワークを含み、ここで、Ｘは、目標立方体の数を表す。実験では８つの目標立方体を入力とした８－ｉｎ－１のＳｉａｍｅｓｅネットワークを使用し、各サブネットワークは、同じネットワーク構造を有し、互いに重みを共有する。各サブネットワークのバックボーン構造は、現在存在するさまざまなタイプの３Ｄ ＣＮＮを使用することができ、実験では３Ｄ ＶＧＧネットワークを使用する。すべてのサブネットワークの最後の全結合層の出力である特徴マップｆｅａｔｕｒｅ ｍａｐを重ね合した後、異なるブランチに入力し、それらはそれぞれ目標立方体の空間再配置タスクと目標立方体の回転を判断するタスクに使用される。上記のｆｅａｔｕｒｅ ｍａｐは、畳み込みモデルのうちのいずれか１つのネットワークによって出力されたコンテンツである。
１、目標立方体の再配置
本技術案で提案されるルービックキューブ復元タスクにおいて、その最初のステップは、目標立方体を再配置することである。２次ルービックキューブを例にとると、図７に示されたように、合計２ｘ２ｘ２＝８つの目標立方体があり、まず、８つの目標立方体のすべての順列と組み合わせのシーケンスＰ＝（Ｐ１，Ｐ２，…，Ｐ８！）を生成し、これらの順列シーケンスは、ルービックキューブ復元タスクの複雑さを制御する。２つの順列シーケンスが互に類似しすぎると、ネットワークの学習プロセスが非常に単純になり、複雑な特徴情報を学習することが困難になる。学習の有効性を保証するために、測定指標としてＨａｍｍｉｎｇ ｄｉｓｔａｎｃｅを使用し、互いに異なるＫ個のシーケンスを順次に選択する。毎回ルービックキューブによって復元されたトレーニング入力データについて、Ｋ個のシーケンスからランダムに１つを選択し、例えば、（２，５，８，４，１，７，３，６）を選択し、当該シーケンスの順序に従って、トリミングした８つの目標立方体を再配置する。その後、再配置された目標立方体をネットワークに順次に入力し、ネットワークの最終的な学習する目標は、入力シーケンスが当該Ｋ個のシーケンスのどれに属するかを判断することである。したがって、目標立方体の再配置の損失関数は、次の通りである。

Figure 0007233555000001
上記式で、ｌｊは、シーケンスの真のラベルｏｎｅ－ｈｏｔラベルを表し、表ｐｊは、ネットワークによって出力される各シーケンスの予測確率を表す。
２、目標立方体の回転
３Ｄルービックキューブ復元タスクに新たな操作、即ち、目標立方体の回転を追加し、当該操作により、ネットワークは３Ｄ画像ブロックの回転不変特徴を学習することができる。
目標立方体は通常立方体構造であり、目標立方体が空間内で自由に回転する場合、３（回転軸、ｘ，ｙ，ｚ軸）ｘ２（回転方向、時計回り、反時計回り）ｘ４（回転角度、０°，９０°，１８０°，２７０°）＝２４個の異なる可能性がある。タスクの複雑さを軽減するために、目標立方体の回転オプションを制限し、目標立方体が水平方向または垂直方向に１８０°しか回転できるように規定する。図７に示されたように、ルービックキューブブロック３と４は水平方向に１８０°回転し、ルービックキューブブロック５と７は垂直方向１８０°回転し、回転後のルービックキューブブロックがネットワークに入力された後、ネットワークは、各目標立方体がどのような回転を行ったかを判断する必要がある。したがって、ルービックキューブブロックの回転タスクの損失関数は、次の通りである。

Figure 0007233555000002
上記式のＭは、目標立方体の数を表し、ｇｉ ｈｏｒは、目標立方体の垂直方向回転のｏｎｅ－ｈｏｔラベルを表し、ｇｉ ｖｅｒは、目標立方体の水平方向回転のｏｎｅ－ｈｏｔラベルを表し、ｒｉ ｈｏｒとｒｉ ｖｅｒは、それぞれ垂直方向及び水平方向におけるネットワークの予測出力確率を表す。
上記の定義によると、モデルの目標関数は、配置損失関数及び回転損失関数の線形重み付けであり、モデルの全体的な損失関数は、次の通りである。

Figure 0007233555000003
ここで、ａ及びｂは、それぞれ２つの損失関数の重みであり、２つのサブタスク間の相互影響の程度を制御し、実験では、２つの重み値を０．５に設定すると、事前トレーニングの効果を改善することができる。
上記のトレーニングにより、第二の認識モデルを取得することができる。第二の認識モデルの精度は、第一の閾値よりも大きい。
この場合、第二の認識モデルの畳み込みブロックを抽出して、微調整後に他の目標タスクに使用することができる。
例えば、第二の認識モデルの畳み込みブロックを抽出し、当該第二の認識モデルの畳み込みブロックは、第一の認識モデルの３Ｄ画像のタイプの認識に使用される。分類タスクの場合、ＣＮＮネットワークの後の全結合層のみを再トレーニングすればよく、全結合層の前の畳み込み層は、より小さな学習率で微調整できる。
または、上記の第二の認識モデルの畳み込みブロックは、分割タスクに使用される。分割タスクの場合、図８に示されたように、事前トレーニングネットワークは、画像分割タスクで一般的に使用される完全畳み込みニューラルネットワーク（ＦＣＮ）（例えば、３Ｄ Ｕ－Ｎｅｔ構造）に使用されることができる。しかし、以前のルービックキューブ復元の事前トレーニングは、Ｕ－Ｎｅｔのダウンサンプリング段階でのみ使用できるため、Ｕ－Ｎｅｔのアップサンプリング段階のネットワークパラメータは、トレーニングするときに依然としてランダム初期化する必要がある。大量のパラメータの初期化による事前トレーニング効果への影響を回避するために、元の置換畳み込みの代わりに、高密度アップサンプリング畳み込み（Ｄｅｎｓｅ Ｕｐｓａｍｐｌｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎ、ＤＵＣと略称）モジュールを使用して、特徴マップをアップリンクすることにより、画像の元の入力サイズに復元し、ＤＵＣモジュールの構造は図９に示す。ここで、Ｃは、チャネルの数を表し、ｄは拡大倍数を表す。Ｈは、特徴マップの長さであり、Ｗは、特徴マップの幅である。
本願の上記の実施例によれば、３Ｄ画像から抽出された立方体を使用して第二の認識モデルを事前にトレーニングすることにより、第二の認識モデルのトレーニング効率を向上させ、第二の認識モデルの畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、第一の認識モデルを使用して３Ｄ画像を認識することにより、第一の認識モデルのトレーニング効率を大幅に向上させる効果を達成する。
いくつかの実施例において、前記認識対象となる目標３Ｄ画像を取得する前に、前記方法は、次のステップを更に含み得る。
ステップＳ１において、前記３Ｄサンプル画像を取得する。
ステップＳ２において、前記３Ｄサンプル画像から元の立方体を決定する。
ステップＳ３において、前記元の立方体を前記Ｎ個の目標立方体に分割する。
いくつかの実施例において、３Ｄサンプル画像と目標３Ｄ画像は、同じ画像であり得る。即ち、３Ｄサンプル画像を使用して第二の認識モデルをトレーニングした後、第二の畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、３Ｄサンプル画像を第一の認識モデルに入力し、第一の認識モデルにより３Ｄサンプル画像のタイプを認識する。３Ｄサンプル画像を第二の認識モデルに入力する場合、３Ｄサンプル画像のタイプを入力する必要はない。
本願の上記の実施例を適用すると、第一の認識モデルを使用する前に、Ｎ個の目標立方体を取得して第二の認識モデルをトレーニングすることにより、第二の認識モデルのトレーニング効率を向上させ、第一の認識モデルのトレーニング効率を向上させることができる。
いくつかの実施例において、前記Ｎは、１より大きい正の整数の３乗であり、前記元の立方体を前記Ｎ個の目標立方体に分割する前記ステップは、次のステップを含む。
ステップＳ１において、隣接する２つの前記目標立方体の間の間隔がＭ（Ｍは、０より大きい且つＪ－１より小さい正の整数である）ボクセルになるように維持し、前記元の立方体から前記Ｎ個の目標立方体を分割し、前記Ｊは、前記目標立方体の辺長さである。
いくつかの実施例において、Ｎ個の目標立方体を決定した場合、隣接する２つの目標立方体の間にＭボクセルの間隔があるため、第二の認識モデルは、低レベルの画素分布の統計特徴情報ではなく、高レベルのセマンティック特徴情報を学習することができ、これにより、第二の認識モデルのトレーニング効率を向上させながら、第一の認識モデルのトレーニング効率を向上させることができる。
いくつかの実施例において、在前記認識対象となる目標３Ｄ画像を取得する前に、前記方法は、次のステップを更に含み得る。
ステップＳ１において、前記Ｎ個の目標立方体から第一の目標立方体を決定する。
ステップＳ２において、前記第一の目標立方体を第一の角度回転する。
ステップＳ３において、前記第一の角度回転した後の第一の目標立方体、及び前記Ｎ個の目標立方体のうちの他の目標立方体をソートして、前記目標トレーニングサンプルを取得する。
いくつかの実施例において、上記のソートは、Ｎ個の目標立方体をランダムにソートすることであり得る。上記の回転は、Ｎ個の目標立方体のうちの複数の第一の目標立方体を回転することであり得、任意の角度に回転することができる。
本願の上記の実施例を適用すると、第一の認識モデルを使用する前に、Ｎ個の目標立方体を取得した後、Ｎ個の目標立方体のうちの第一の目標立方体を回転することにより、第二の認識モデルのトレーニング効率を向上させ、第一の認識モデルのトレーニング効率を向上させる。
いくつかの実施例において、前記第一の角度回転した後の第一の目標立方体、及び前記Ｎ個の目標立方体のうちの他の目標立方体をソートして、前記目標トレーニングサンプルを取得した後、前記方法は、
前記目標トレーニングサンプルを前記元の認識モデルに入力して、前記元の認識モデルをトレーニングすることにより、前記第二の認識モデルを取得することを更に含み得る。
本願の上記の実施例を適用すると、第二の認識モデルのトレーニング効率を向上させることができる。
いくつかの実施例において、在認識対象となる目標３Ｄ画像を取得する之前、前記方法は、次のステップを更に含み得る。
ステップＳ１において、前記元の認識モデルが前記目標トレーニングサンプルを認識した後に出力した認識結果を取得し、ここで、前記認識結果は、前記目標トレーニングサンプル内の前記目標立方体のさまざまなソート順と、前記目標立方体のそれぞれの回転角度の確率とを含む。
ステップＳ２において、前記認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを前記第二の認識モデルとして決定する。
いくつかの実施例において、第二の認識モデルの認識精度が特定の精度値より大きい場合、第二の認識モデルが要求を満たしていると見なされ、第二の認識モデルのトレーニングを停止する。
ここで、スキップ条件を設定することにより、第二の認識モデルのトレーニングを停止することで、第二の認識モデルのトレーニング効率を向上させる。
いくつかの実施例において、認識対象となる目標３Ｄ画像を取得する前に、前記方法は、次のステップを更に含み得る。
ステップＳ１において、前記第二の認識モデルの畳み込みブロックを前記第一の認識モデルの畳み込みブロックとして決定する。
ステップＳ２において、前記第一の認識モデルの精度が第二の閾値よりも大きくなるまで、第一のトレーニングサンプルを使用して前記第一の認識モデルをトレーニングし、ここで、前記第一のトレーニングサンプルは、第一の３Ｄ画像及び前記第一の３Ｄ画像のタイプを含む。
いくつかの実施例において、第一の認識モデルをトレーニングときに、ラベル付きの第一のサンプル画像を入力することができる。その後、第一の認識モデルの認識精度が第二の閾値より大きくなるまで、第一の認識モデルをトレーニングして、第一の認識モデルを使用することができる。
本願の上記の実施例を適用すると、第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであるため、上記の目標トレーニングサンプルは、三次元サンプル画像から取得されたＮ個の目標立方体を回転及びソートすることにより取得された立方体を含み、三次元画像から抽出された立方体を使用して第二の認識モデルを事前にトレーニングすることにより、第二の認識モデルのトレーニング効率を向上させながら、三次元画像の認識精度を向上させることができる。
第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、即ち、第二の認識モデルによってトレーニングされた畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用することにより、第一の認識モデルのトレーニング効率を向上させることができる。
第一の認識モデルにおいて、第二の認識モデルと同じの畳み込みブロックを使用して、目標三次元画像を認識することにより、認識精度を向上させ、第一の認識モデルを使用する前に第一の認識モデルをトレーニングすることにより、第一の認識モデルのトレーニング効率を向上させることができる。
留意されたいのは、上述した各方法の実施例について、説明を簡単にするために、全て一連の動作の組み合わせに表現したが、本願によれば、特定のステップは他の順番で、または同時に実行できるため、当業者なら自明であることとして、本願は記述された動作の順番に限定されない。次に、当業者なら自明であることとして、明細書で説明された実施例はすべては好ましい実施例であり、関係する動作やモジュールは、必ずしも本願に必要不可欠なものとは限らない。
本願実施例は、認識モデルのトレーニング方法を更に提供する。図１０に示されたように、当該方法は、次のステップを含む。
ステップＳ１００２において、３Ｄサンプル画像を取得し、３Ｄサンプル画像からＮ個の目標立方体を分割する。
ここで、Ｎは１より大きい自然数である。
ステップＳ１００４において、Ｎ個の目標立方体に対して所定操作を実行して、目標トレーニングサンプルを取得し、ここで、所定操作は、Ｎ個の目標立方体を回転及びソートすることを含む。
ステップＳ１００６において、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより、第二の認識モデルを取得する。
ここで、元の認識モデルは、目標トレーニングサンプルの認識結果を出力するために使用され、認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、元の認識モデルを第二の認識モデルとして決定する。
第二の認識モデルの畳み込みブロックは、第一の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの畳み込みブロックは、前記第一の認識モデルが目標三次元画像に対して前記認識を実行して、前記目標三次元画像のタイプを取得するために使用される。
いくつかの実施例において、上記の方法は、モデルのトレーニングプロセスに適用されることができるが、これに限定されない。元の認識モデルをトレーニングする場合、１枚の３Ｄサンプル画像からＮ個の目標立方体を抽出し、Ｎ個の目標立方体を回転及びソートした後、Ｎ個の立方体を目標トレーニングサンプルとして取得して元の認識モデルに入力する。抽出、回転、ソート方法は、上記の実施例における方法を参照することができ、本実施例では繰り返して説明しない。元の認識モデルをトレーニングする場合、元の認識モデルにより、目標トレーニングサンプル内の目標立方体の回転及びソート順の確率を出力する。上記の確率は、第一の目標関数に満たす場合もあるし、第一の目標関数に満たさない場合もある。第一の目標関数は損失関数であり得る。上記の確率が第一の目標関数を満たす場合、元の認識モデルの認識結果が正解であることを表す。上記の確率が第一の目標関数を満たさない場合、元の認識モデルの認識結果が不正解であることを表す。前記認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、現在の元の認識モデルは、十分にトレーニングされたモデルであると決定される。
上記の方法により、元の認識モデルのトレーニング効率を大幅に向上させることができる。
いくつかの実施例において、十分にトレーニングされた元の認識モデルを取得した後、元の認識モデルの畳み込みブロックを抽出して、新しい全結合層に追加することにより、新しい認識モデルを形成することができ、新しい認識モデルを使用して他の人物を認識することができる。新しい認識モデルは、少数のサンプルでトレーニングするだけで、高い認識精度を持つことができる。例えば、３Ｄ画像のタイプを認識するプロセスに新しい認識モデルを適用したり、３Ｄ画像の分割などのタスクに新しい認識モデルを適用したりすることができるが、ここでは詳細な説明を省略する。
本願実施例は、上記の画像認識方法を実施するための画像認識装置を更に提供する。図１１に示されたように、当該装置は、
認識対象となる目標３Ｄ画像を取得するように構成される第一の取得ユニット１１０２と、
前記認識対象となる目標３Ｄ画像を第一の認識モデルに入力するように構成される第一の入力ユニット１１０４であって、
前記第一の認識モデルは、前記認識対象となる目標３Ｄ画像を認識して、前記認識対象となる目標３Ｄ画像の画像タイプを取得するために使用され、
前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第一の認識モデルの畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、
前記第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、
前記目標トレーニングサンプルは、３Ｄサンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含む、第一の入力ユニットと、
前記第一の認識モデルによって出力された前記認識対象となる目標３Ｄ画像の第一のタイプを取得するように構成される第二の取得ユニット１１０６と、を備える。
いくつかの実施例において、上記の画像認識装置は、画像認識分野に適用できるが、これに限定されない。例えば、上記の方法は、３Ｄ画像のタイプを認識するプロセス（例えば、３Ｄ疾患画像で疾患の種類を認識するプロセスなど）に適用できる。例えば、脳出血の種類を認識する場合、３Ｄ疾患画像を取得した後に、３Ｄ疾患画像を第一の認識モデルに入力し、第一のモデルを使用して３Ｄ疾患画像を認識して３Ｄ疾患画像の第一のタイプを出力する。例えば、第一のタイプは、健康、または動脈瘤、動静脈奇形、モヤモヤ病、高血圧などであり得る。
上記の方法において、３Ｄ画像から抽出された立方体を使用して第二の認識モデルを事前にトレーニングすることにより、第二の認識モデルのトレーニング効率を向上させ、第二の認識モデルの畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、第一の認識モデルを使用して３Ｄ画像を認識することにより、第一の認識モデルのトレーニング効率を大幅に向上させる効果を達成する。
いくつかの実施例において、目標３Ｄ画像を取得する前に、先ず、第二の認識モデルをトレーニングする必要がある。トレーニングするときに、先ず、３Ｄサンプル画像を取得する必要がある。３Ｄサンプル画像は、ラベルのない画像である。３Ｄサンプル画像を取得した後に、３Ｄサンプル画像から元の立方体を抽出し、元の立方体をＮ個の目標立方体に分割する必要がある。
いくつかの実施例において、元の立方体を抽出するとき、先ず、３Ｄサンプル画像の幾何学的中心を決定することができる。幾何学的中心を決定した後、当該幾何学的中心を上記の元の立方体の幾何学的中心として使用し、元の立方体を決定する。上記の元の立方体の辺長さは、３Ｄサンプル画像の最小の辺長さより小さい。
例えば、図３に示されたように、３Ｄサンプル画像３０２の場合、先ず、３Ｄサンプル画像３０２の幾何学的中心３０４を決定し、その後、幾何学的中心３０４を幾何学的中心とした元の立方体３０６を決定する。
いくつかの実施例において、３Ｄサンプル画像の幾何学的中心を決定した後、半径ｒも決定でき、その後、３Ｄサンプル画像の幾何学的中心を中心とし、半径ｒを半径とする球を作成し、球から任意の点を上記の元の立方体の幾何学的中心として選択して、上記の元の立方体を決定する。決定された元の立方体は、３Ｄサンプル画像内にあり且つ３Ｄサンプル画像の範囲を超えないことに留意されたい。
いくつかの実施例において、元の立方体を決定した後、元の立方体を分割して、Ｎ個の目標立方体を取得する必要がある。分割するときに、元の立方体からＮ個の目標立方体をランダムに掘り出したり、元の立方体の一部を分割してＮ個の目標立方体を取得したりするなどの任意の方法を使用することができる。または、元の立方体をＮ（Ｎは、正の整数の３乗である）個の目標立方体に分割することができる。例として、Ｎが８である場合、図４に示されたように、１つの元の立方体４０４を４０２－１、４０２－２、４０２－３の矢印が指す方向に分割して、８つの目標立方体を取得する（図４における分割方法は一例に過ぎない）。または、分割するときに、隣接する２つの立方体の間にＭボクセルの間隔がある。例えば、Ｍが２である場合、図５に示されたように、元の立方体５０２を８つの目標立方体５０４に分割することができる。元の立方体５０２の辺長さが１０ボクセルである場合、目標立方体５０４の辺長さは４ボクセルである。
いくつかの実施例において、Ｎ個の目標立方体を取得した後に、Ｎ個の目標立方体のうちの第一の目標立方体を第一の角度回転（例えば、９０度回転、１８０度回転）することもできる。第一の目標立方体は、１つまたは複数であってもよく、各第一の目標立方体の回転角度は、同じでも異なってもよい。回転された第一の目標立方体及び回転されていない残りの回転目標立方体をソートし、ソートはランダムソートであり得、ソートした後に、目標トレーニングサンプルを取得する。
目標トレーニングサンプルを取得した後に、目標トレーニングサンプルを使用して元の認識モデルをトレーニングし、元の認識モデルにより、目標トレーニングサンプル内の目標立方体の回転及びソート順の確率を出力する。上記の確率は、第一の目標関数に満たす場合もあるし、第一の目標関数に満たさない場合もある。第一の目標関数は損失関数であり得る。上記の確率が第一の目標関数を満たす場合、元の認識モデルの認識結果が正解であることを表す。上記の確率が第一の目標関数を満たさない場合、元の認識モデルの認識結果が不正解であることを表す。前記認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを前記第二の認識モデルとして決定する。これは、第二の認識モデルの精度が第一の閾値よりも大きい（例えば、精度が９９．９５％以上である）ことを示す。
上記のトレーニング方法を使用することにより、第二の認識モデルのトレーニング効率を大幅に向上させることができる。
いくつかの実施例において、トレーニングにより第二の認識モデルを取得した後に、第二の認識モデルにおける畳み込みブロックを取得し、畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、第一のトレーニングサンプルを使用して第一の認識モデルをトレーニングすることができる。第一のトレーニングサンプルは、画像タイプを含む３Ｄ画像である。第一の認識モデルの認識精度が第二の閾値よりも大きい場合、第一の認識モデルを使用することができる。例えば、第一の認識モデルを使用して３Ｄ画像の病症タイプを認識することができる。図６に示されたように、端末の表示インターフェース６０２には、選択ボタン６０２－１が表示され、ユーザは、認識対象となる目標３Ｄ画像６０４を選択することができ、端末は、認識対象となる目標３Ｄ画像６０４を認識し、認識対象となる目標３Ｄ画像の第一のタイプ６０６を出力する。
本願の上記の実施例を適用すると、３Ｄ画像から抽出された立方体を使用して第二の認識モデルを事前にトレーニングしたため、第二の認識モデルのトレーニング効率を向上させ、第二の認識モデルの畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、第一の認識モデルを使用して３Ｄ画像を認識することにより、第一の認識モデルのトレーニング効率を大幅に向上させる効果を達成する。
いくつかの実施例において、前記装置は更に、
前記認識対象となる目標３Ｄ画像を取得する前に、前記目標３Ｄサンプル画像を取得するように構成される第三の取得ユニットと、
前記３Ｄサンプル画像から元の立方体を決定するように構成される第一の決定ユニットと、
前記元の立方体を前記Ｎ個の目標立方体に分割するように構成される分割ユニットと、を備える。
いくつかの実施例において、３Ｄサンプル画像と目標３Ｄ画像は、同じ画像であり得る。即ち、３Ｄサンプル画像を使用して第二の認識モデルをトレーニングした後、第二の畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用し、３Ｄサンプル画像を第一の認識モデルに入力し、第一の認識モデルを介して３Ｄサンプル画像のタイプを認識する。３Ｄサンプル画像は、第二の認識モデルを入力するときに、３Ｄサンプル画像のタイプを入力する必要がない。
本願の上記の実施例を適用すると、第一の認識モデルを使用する前に、Ｎ個の目標立方体を取得して第二の認識モデルをトレーニングすることにより、第二の認識モデルのトレーニング効率を向上させ、第一の認識モデルのトレーニング効率を向上させることができる。
いくつかの実施例において、前記Ｎは、１より大きい正の整数の３乗であり、前記分割ユニットは、
隣接する２つの前記目標立方体の間の間隔がＭ（Ｍは、０より大きい且つＪ－１より小さい正の整数である）ボクセルになるように維持し、前記元の立方体から前記Ｎ個の目標立方体を分割するように構成される分割モジュールを備え、前記Ｊは、前記目標立方体の辺長さである。
いくつかの実施例において、Ｎ個の目標立方体を決定した場合、隣接する２つの目標立方体の間にＭボクセルの間隔があるため、第二の認識モデルは、低レベルの画素分布の統計特徴情報ではなく、高レベルのセマンティック特徴情報を学習することができ、これにより、第二の認識モデルのトレーニング効率を向上させながら、第一の認識モデルのトレーニング効率を向上させることができる。
いくつかの実施例において、前記装置は更に、
前記認識対象となる目標３Ｄ画像を取得する前に、前記Ｎ個の目標立方体から第一の目標立方体を決定するように構成される第二の決定ユニットと、
前記第一の目標立方体を第一の角度回転するように構成される回転ユニットと、
前記Ｎ個の目標立方体のうち、前記第一の角度回転した後の前記第一の目標サンプル立方体及び他の目標立方体をソートして、前記目標トレーニングサンプルを取得するように構成されるソートユニットと、を備える。
いくつかの実施例において、上記のソートは、Ｎ個の目標立方体をランダムにソートすることであり得る。上記の回転は、Ｎ個の目標立方体のうちの複数の第一の目標立方体を回転することであり得、任意の角度に回転することができる。
本願の上記の実施例を適用すると、第一の認識モデルを使用する前に、Ｎ個の目標立方体を取得した後、Ｎ個の目標立方体のうちの第一の目標立方体を回転することにより、第二の認識モデルのトレーニング効率を向上させ、第一の認識モデルのトレーニング効率を向上させる。
いくつかの実施例において、前記装置は更に、
前記将前記Ｎ個の目標立方体のうち、前記第一の角度回転した後の前記第一の目標サンプル立方体及び他の目標立方体をソートして、前記目標トレーニングサンプルを取得した後、前記目標トレーニングサンプルを前記元の認識モデルに入力して、前記元の認識モデルをトレーニングすることにより、前記第二の認識モデルを取得するように構成される第二の入力ユニットを備える。
いくつかの実施例において、前記装置は更に、
前記認識対象となる目標３Ｄ画像を取得する前に、前記元の認識モデルが前記目標トレーニングサンプルを認識した後に出力した認識結果を取得するように構成される第四の取得ユニットであって、前記認識結果は、前記目標トレーニングサンプル内の前記目標立方体のさまざまなソート順と、前記目標立方体のそれぞれの回転角度の確率とを含む、第四の取得ユニットと、
前記認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを前記第二の認識モデルとして決定するように構成される第三の決定ユニットと、を備える。
いくつかの実施例において、前記装置は更に、
前記認識対象となる目標３Ｄ画像を取得する前に、前記第二の認識モデルの畳み込みブロックを前記第一の認識モデルの畳み込みブロックとして決定するように構成される第四の決定ユニットと、
前記第一の認識モデルの精度が第二の閾値よりも大きくなるまで、第一のトレーニングサンプルを使用して前記第一の認識モデルをトレーニングするように構成されるトレーニングユニットであって、前記第一のトレーニングサンプルは、第一の３Ｄ画像及び前記第一の３Ｄ画像のタイプを含む、トレーニングユニットと、を備える。
いくつかの実施例において、第一の認識モデルをトレーニングときに、ラベル付きの第一のサンプル画像を入力することができる。その後、第一の認識モデルの認識精度が第二の閾値より大きくなるまで、第一の認識モデルをトレーニングして、第一の認識モデルを使用することができる。
第一の認識モデルを使用する前に第一の認識モデルをトレーニングすることにより、第一の認識モデルのトレーニング効率を向上させることができる。
本願実施例は、上記の認識モデルのトレーニング方法を実施するための認識モデルのトレーニング装置を更に提供する。図１２に示されたように、当該装置は、
３Ｄサンプル画像を取得し、３Ｄサンプル画像からＮ個の目標立方体を分割するように構成される分割ユニット１２０２と、
Ｎ個の目標立方体に対して所定操作を実行して、目標トレーニングサンプルを取得するように構成される処理ユニット１２０４であって、所定操作は、Ｎ個の目標立方体を回転及びソートすることを含む、処理ユニット１２０４と、
目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより、第二の認識モデルを取得するように構成されるトレーニングユニット１２０６であって、元の認識モデルは、目標トレーニングサンプルの認識結果を出力するために使用され、認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、元の認識モデルを第二の認識モデルとして決定する、トレーニングユニット１２０６と、を備える。
いくつかの実施例において、上記の装置は、モデルのトレーニングプロセスに適用されることができるが、これに限定されない。元の認識モデルをトレーニングする場合、１枚の３Ｄサンプル画像からＮ個の目標立方体を抽出し、Ｎ個の目標立方体を回転及びソートした後、Ｎ個の立方体を目標トレーニングサンプルとして取得して元の認識モデルに入力する。具体的な抽出、回転、ソート方法は、上記の実施例における方法を参照することができ、本実施例は繰り返して説明しない。元の認識モデルをトレーニングする場合、元の認識モデルを介して、目標トレーニングサンプル内の目標立方体の回転及びソート順の確率を出力する。上記の確率は、第一の目標関数に満たす場合もあるし、第一の目標関数に満たさない場合もある。第一の目標関数は損失関数であり得る。上記の確率が第一の目標関数に満たす場合、元の認識モデルの認識結果が正解であることを表す。上記の確率が第一の目標関数に満たさない場合、元の認識モデルの認識結果が不正解であることを表す。前記認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、現在の元の認識モデルは、十分にトレーニングされたモデルとして決定される。
いくつかの実施例において、十分にトレーニングされた元の認識モデルを取得した後、元の認識モデルの畳み込みブロックを抽出して、新しい全結合層に追加することにより、新しい認識モデルを形成することができ、新しい認識モデルを使用して他の人物を認識することができる。新しい認識モデルは、少数のサンプルでトレーニングするだけで、高い認識精度を持つことができる。例えば、３Ｄ画像のタイプを認識するプロセスに新しい認識モデルを適用したり、３Ｄ画像の分割などのタスクに新しい認識モデルを適用したりすることができるが、ここでは詳細な説明を省略する。
本願実施例は、上記の画像認識方法を実施するための電子装置を更に提供し、図１３に示されたように、当該電子装置は、メモリ１３０２及びプロセッサ１３０４を備え、当該メモリ１３０２には、コンピュータプログラムが記憶され、当該プロセッサ１３０４は、コンピュータプログラムを実行することにより、本願実施例による画像認識方法を実行するように構成される。
いくつかの実施例において、上記の電子装置は、コンピュータネットワークの複数のネットワーク機器のうちの少なくとも１つのネットワーク機器に配置されることができる。
いくつかの実施例において、上記のプロセッサは、コンピュータプログラムを実行することにより、次のステップを実行するように構成されることができる。
ステップＳ１において、認識対象となる目標３Ｄ画像を取得する。
ステップＳ２において、前記認識対象となる目標３Ｄ画像を第一の認識モデルに入力し、ここで、前記第一の認識モデルは、前記認識対象となる目標３Ｄ画像を認識して前記認識対象となる目標３Ｄ画像の画像タイプを取得するために使用され、前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、前記目標トレーニングサンプルは、３Ｄサンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含む。
ステップＳ３において、前記第一の認識モデルによって出力された前記認識対象となる目標３Ｄ画像の第一のタイプを取得する。
当業者なら自明であるが、いくつかの実施例において、図１３に示される構造は例示的なものに過ぎず、電子装置は、スマートフォン（例えば、Ａｎｄｒｏｒｉｄ携帯電話、ｉｏｓ携帯電話等）、タブレットＰＣ、ハンドヘルドコンピュータ及びモバイルインターネットデバイス（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅｓ、ＭＩＤと略称）、ＰＡＤ等の端末機器であってもよく、図１３は、上記の電子装置を限定するものではない。例えば、端末は、図１３に示されるものよりも多いまたはより少ないコンポーネント（ネットワークインタフェースなど）を含んでもよいし、図１３に示されたものとは異なる構成を有してもよい。
ここで、メモリ１３０２は、本願実施例における画像認識方法及びその装置に対応するプログラム命令／モジュールなどのソフトウェアプログラムおよびモジュールを記憶するように構成されることができ、プロセッサ１３０４は、メモリ１３０２に記憶されたソフトウェアプログラムおよびモジュールを実行することにより、様々な機能アプリケーションおよびデータ処理を実行し、即ち、上記の画像認識方法を実現する。メモリ１３０２は、高速ランダムアクセスメモリを含んでもよいし、一つ以上の磁気記憶装置、フラッシュメモリ、又は他の不揮発性固体メモリ等の不揮発性メモリも含んでもよい。いくつかの例では、メモリ１３０２は、プロセッサ１３０４に対して遠隔に設置されたメモリを含んでもよく、これらの遠隔メモリはネットワークを介して端末に接続することができる。上記のネットワークは、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。ここで、メモリ１３０２は、具体的に、認識対象となる目標３Ｄ画像などの情報を記憶するように構成されてもよいが、これに限定されない。一例として、図１３に示されたように、上記のメモリ１３０２は、上記の画像認識装置における第一の取得ユニット１１０２、第一の入力ユニット１１０４及び第二の取得ユニット１１０６を含み得るが、これらに限定されない。また、上記のメモリ１３０２は更に、上記の画像認識装置の他のモジュール及びユニットを含み得るが、これらに限定されない。この例では繰り返して説明しない。
いくつかの実施例において、上記の伝送装置１３０６は、１つのネットワークを介してデータを送受信するように構成される。上述のネットワークの特定の例は、有線ネットワーク及び無線ネットワークを含んでもよい。一例では、伝送装置１３０６は、１つのネットワークアダプタ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣと略称）を含み、これにより、伝送装置１３０６は、ネットワークケーブルを介して、他のネットワークデバイス及びルータに接続して、インターネット又はローカルエリアネットワークとの通信を行うことができる。一例では、伝送装置１３０６は、無線方式でインターネットと通信するように構成される無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）モジュールであり得る。
さらに、上記の電子装置は更に、認識対象となる３Ｄ画像の第一のタイプを表示するように構成されるディスプレイ１３０８と、上記の電子装置の各モジュール構成要素を接続するように構成される接続バス１３１０と、を備える。
本願実施例は、上記の認識モジュールのトレーニング方法を実施するための電子装置を更に提供し、図１４に示されたように、当該電子装置は、メモリ１４０２及びプロセッサ１４０４を備え、当該メモリ１４０２には、コンピュータプログラムが記憶され、当該プロセッサ１４０４は、コンピュータプログラムを実行することにより、本願実施例による認識モジュールのトレーニング方法を実行するように構成される。
いくつかの実施例において、上記の電子装置は、コンピュータネットワークの複数のネットワーク機器のうちの少なくとも１つのネットワーク機器に配置されることができる。
いくつかの実施例において、上記のプロセッサは、コンピュータプログラムを実行することにより、次のステップを実行するように構成されることができる。
ステップＳ１において、３Ｄサンプル画像を取得し、３Ｄサンプル画像からＮ個の目標立方体を分割する。
ステップＳ２において、Ｎ個の目標立方体に対して所定操作を実行して、目標トレーニングサンプルを取得し、ここで、所定操作は、Ｎ個の目標立方体を回転及びソートすることを含む。
ステップＳ３において、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより、第二の認識モデルを取得し、ここで、元の認識モデルは、目標トレーニングサンプルの認識結果を出力するために使用され、認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、元の認識モデルを第二の認識モデルとして決定する。
当業者なら自明であるが、いくつかの実施例において、図１４に示される構造は例示的なものに過ぎず、電子装置は、スマートフォン（例えば、Ａｎｄｒｏｒｉｄ携帯電話、ｉｏｓ携帯電話等）、タブレットＰＣ、ハンドヘルドコンピュータ及びモバイルインターネットデバイス（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅｓ、ＭＩＤと略称）、ＰＡＤ等の端末機器であってもよく、図１４は、上記の電子装置を限定するものではない。例えば、端末は、図１４に示されるものよりも多いまたは少ないコンポーネント（ネットワークインタフェースなど）を更に含んでもよいし、図１４に示されたものとは異なる構成を有してもよい。
ここで、メモリ１４０２は、本願実施例における認識モデルのトレーニング方法及びその装置に対応するプログラム命令／モジュールなどのソフトウェアプログラムおよびモジュールを記憶するように構成されることができ、プロセッサ１３０４は、メモリ１３０２に記憶されたソフトウェアプログラムおよびモジュールを実行することにより、様々な機能アプリケーションおよびデータ処理を実行し、即ち、上記の認識モデルのトレーニング方法を実現する。メモリ１４０２は、高速ランダムアクセスメモリを含んでもよいし、一つ以上の磁気記憶装置、フラッシュメモリ、又は他の不揮発性固体メモリ等の不揮発性メモリも含んでもよい。いくつかの例では、メモリ１４０２は、プロセッサ１４０４に対して遠隔に設置されたメモリを含んでもよく、これらの遠隔メモリはネットワークを介して端末に接続することができる。上記のネットワークは、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。ここで、メモリ１４０２は、具体的に、３Ｄ画像などの情報を記憶するように構成されてもよいが、これに限定されない。一例として、図１４に示されたように、上記のメモリ１４０２は、上記の認識モデルのトレーニング装置における分割ユニット１２０２、処理ユニット１２０４及びトレーニングユニット１２０６を含み得るが、これらに限定されない。また、上記のメモリ１３０２は更に、上記の認識モデルのトレーニング装置の他のモジュール及びユニットを含み得るが、これらに限定されない。この例では繰り返して説明しない。
いくつかの実施例において、上記の伝送装置１４０６は、１つのネットワークを介してデータを送受信するように構成される。上述のネットワークの特定の例は、有線ネットワーク及び無線ネットワークを含んでもよい。一例では、伝送装置１４０６は、１つのネットワークアダプタ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣと略称）を含み、これにより、伝送装置１４０６は、ネットワークケーブルを介して、他のネットワークデバイス及びルータに接続して、インターネット又はローカルエリアネットワークとの通信を行うことができる。一例では、伝送装置１４０６は、無線方式でインターネットと通信するように構成される無線周波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）モジュールであり得る。
さらに、上記の電子装置は更に、元の認識モデルのトレーニング精度を表示するように構成されるディスプレイ１４０８と、上記の電子装置の各モジュール構成要素を接続するように構成される接続バス１４１０と、を備える。
本願実施例は、記憶媒体を更に提供し、当該記憶媒体にはコンピュータプログラムが記憶され、ここで、当該コンピュータプログラムは、実行されるときに、本願実施例による認識モデルのトレーニング方法を実行するように構成される。
いくつかの実施例において、上記の記憶媒体は、次のステップを実行するためのコンピュータプログラムを記憶するように構成されることができる。
ステップＳ１において、認識対象となる目標３Ｄ画像を取得する。
ステップＳ２において、前記認識対象となる目標３Ｄ画像を第一の認識モデルに入力し、ここで、前記第一の認識モデル用于前記認識対象となる目標３Ｄ画像を認識して前記認識対象となる目標３Ｄ画像の画像タイプを取得し、前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記目標三次元画像に対して前記認識を実行するために使用され、
前期第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、前期目標トレーニングサンプルは、３Ｄサンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含む。
ステップＳ３において、前記第一の認識モデルによって出力された、前記認識対象となる目標３Ｄ画像の第一のタイプを取得する。
または、いくつかの実施例において、記憶媒体は、次のステップを実行するためのコンピュータプログラムを記憶するように構成されることができる。
ステップＳ１において、３Ｄサンプル画像を取得し、３Ｄサンプル画像からＮ個の目標立方体を分割する。
ステップＳ２において、Ｎ個の目標立方体に対して所定操作を実行して、目標トレーニングサンプルを取得し、ここで、所定操作は、Ｎ個の目標立方体を回転及びソートすることを含む。
ステップＳ３において、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより、第二の認識モデルを取得し、ここで、元の認識モデルは、目標トレーニングサンプルの認識結果を出力するために使用され、認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、元の認識モデルを第二の認識モデルとして決定する。
当業者なら自明であるが、いくつかの実施例において、上述の実施例における各方法の全部又は一部のステップが、プログラムによって、端末機器の関連ハードウェアに命令することにより実行することができる。当該プログラムは、１つのコンピュータ可読記憶媒体に記憶されてもよい。記憶媒体は、フラッシュディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称）、磁気ディスクまたは光ディスクなどであってもよい。
上述の本願実施例の番号は、説明の便宜を図るためだけのものであり、実施例の優劣を表すものではない。
上述の実施例における統合されたユニットがソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売または使用される場合、上述のコンピュータ読み取り可能な記憶媒体に記憶されることができる。このような理解に基づいて、本願の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の全てまたは一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、１つ又は複数のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る）に、本願の各実施例に記載の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。
本願の上述の実施例では、各実施例の説明は、それぞれの重み付けがあるため、ある実施例で詳しく説明していない部分は、他の実施例の関連部分の説明を参照してもよい。
本願実施例に係るクライアントが、他の形態でも代替することができることを理解されたい。ここで、上記で説明された装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、複数のユニット又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視したり、又は実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、電気的又は他の形態の一部のインターフェース、ユニット又はモジュールを介した間接的な結合又は通信接続であり得る。
前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の必要に応じて、その中のユニットの一部又は全部を選択して本実施例の技術案の目的を実現することができる。
また、本願の各実施例における各機能ユニットを１つの処理ユニットに統合してもよいし、各ユニットを別々に１つのユニットとして使用してもよく、あるいは、２つ以上のユニットを１つのユニットに統合してもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよいし、ソフトウェア機能ユニットの形で実装されてもよい。
以上に述べたのは、本願における好ましい実施例に過ぎず、当業者にとって、本願の原理から逸脱することなく、いくつかの改善又は修正を加えることもでき、これらの改善及び修正も本願の保護範囲と見なされるべきであることに留意されたい。
本願実施例では、認識対象となる目標三次元画像を取得し、前記認識対象となる目標三次元画像を第一の認識モデルに入力し、ここで、前記第一の認識モデルは、前記目標三次元画像を認識して、前記目標三次元画像の画像タイプを取得するために使用され、前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第一の認識モデルの畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、前記第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、ここで、前記目標トレーニングサンプルは、三次元サンプル画像から取得されたＮ（Ｎは１より大きい自然数である）個の目標立方体を回転及びソートすることにより取得された立方体を含み、前記第一の認識モデルによって出力された前記目標三次元画像のタイプを取得する。このように、第二の認識モデルは、目標トレーニングサンプルを使用して元の認識モデルをトレーニングすることにより取得されたモデルであり、上記の目標トレーニングサンプルは、三次元サンプル画像から取得されたＮ個の目標立方体を回転及びソートすることにより取得された立方体を含み、三次元画像から抽出された立方体を使用して第二の認識モデルを事前にトレーニングすることにより、第二の認識モデルのトレーニング効率を向上させながら、三次元画像の認識精度を向上させることができる。第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、即ち、第二の認識モデルによってトレーニングされた畳み込みブロックを第一の認識モデルの畳み込みブロックとして使用することにより、第一の認識モデルのトレーニング効率を向上させる。第一の認識モデルにおいて、第二の認識モデルと同じの畳み込みブロックを使用して、目標三次元画像を認識することにより、認識精度を向上させることができる。
104 ユーザ機器
106 メモリ
108 プロセッサ
110 ネットワーク
112 サーバ
114 データベース
116 処理エンジン
1102 第一の取得ユニット
1104 第一の入力ユニット
1106 第二の取得ユニット
1202 分割ユニット
1204 処理ユニット
1206 トレーニングユニット
1302 メモリ
1304 プロセッサ
1306 伝送装置
1308 ディスプレイ
1402 メモリ
1404 プロセッサ
1406 伝送装置
1408 ディスプレイ

Claims (17)

  1. 端末が実行する画像認識方法であって、
    認識対象となる目標三次元画像を取得するステップと、
    前記認識対象となる目標三次元画像を第一の認識モデルに入力するステップと、
    前記第一の認識モデルによって出力された前記目標三次元画像のタイプを取得するステップと、を含み、
    前記第一の認識モデルは、前記目標三次元画像を認識して、前記目標三次元画像の画像タイプを取得するために使用され、
    前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの前記畳み込みブロックは、前記第一の認識モデルの前記畳み込みブロックとして使用されるために取得され、前記第一の認識モデルは、画像タイプを含む三次元画像である第一のトレーニングサンプルを使用してトレーニングされ、前記第一の認識モデルの前記畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、
    前記第二の認識モデルは、ラベルのない画像である三次元サンプル画像を取得した後に、前記三次元サンプル画像から元の立方体を抽出し、前記元の立方体をＮ（Ｎは１より大きい自然数である）個の目標立方体に分割し、前記Ｎ個の目標立方体のうちの回転された第一の目標立方体及び回転されていない残りの目標立方体をランダムソートすることにより目標トレーニングサンプルを取得し、前記目標トレーニングサンプルを使用して元の認識モデルをトレーニングし、前記元の認識モデルにより、前記目標トレーニングサンプル内の前記目標立方体の回転及びソート順の確率を出力し、前記元の認識モデルの認識結果が損失関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを前記第二の認識モデルとして決定することにより取得されたモデルである、前記画像認識方法。
  2. 前記認識対象となる目標三次元画像を取得する前に、前記画像認識方法は、
    前記三次元サンプル画像を取得するステップと、
    前記三次元サンプル画像から元の立方体を決定するステップと、
    前記元の立方体を前記Ｎ個の目標立方体に分割するステップと、を更に含む、
    請求項１に記載の画像認識方法。
  3. 前記Ｎの値は、１より大きい正の整数の３乗であり、前記元の立方体を前記Ｎ個の目標立方体に分割する前記ステップは、
    隣接する２つの前記目標立方体の間の間隔がＭ（Ｍは、０より大きい且つＪ－１より小さい正の整数である）ボクセルになるように維持し、前記元の立方体から前記Ｎ個の目標立方体を分割するステップを含み、
    前記Ｊは、前記目標立方体の辺長さである、
    請求項２に記載の画像認識方法。
  4. 前記認識対象となる目標三次元画像を取得する前に、前記画像認識方法は、
    前記Ｎ個の目標立方体から第一の目標立方体を決定するステップと、
    前記第一の目標立方体を第一の角度回転するステップと、
    前記第一の角度回転した後の第一の目標立方体、及び前記Ｎ個の目標立方体のうちの他の目標立方体をソートして、前記目標トレーニングサンプルを取得するステップと、を更に含む、
    請求項１に記載の画像認識方法。
  5. 前記目標トレーニングサンプルを取得した後、前記画像認識方法は、
    前記目標トレーニングサンプルを前記元の認識モデルに入力して、前記元の認識モデルをトレーニングすることにより、前記第二の認識モデルを取得するステップを更に含む、
    請求項４に記載の画像認識方法。
  6. 前記認識対象となる目標三次元画像を取得する前に、前記画像認識方法は、
    前記元の認識モデルが前記目標トレーニングサンプルを認識した後に出力した認識結果を取得するステップであって、前記認識結果は、前記目標トレーニングサンプル内の前記目標立方体のさまざまなソート順と、前記目標立方体のそれぞれの回転角度の確率とを含む、ステップと、
    前記認識結果が第一の目標関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを前記第二の認識モデルとして決定するステップと、を更に含む、
    請求項１に記載の画像認識方法。
  7. 前記認識対象となる目標三次元画像を取得する前に、前記画像認識方法は、
    前記第二の認識モデルの畳み込みブロックを前記第一の認識モデルの畳み込みブロックとして決定するステップと、
    前記第一の認識モデルの精度が第二の閾値よりも大きくなるまで、第一のトレーニングサンプルを使用して前記第一の認識モデルをトレーニングするステップであって、前記第一のトレーニングサンプルは、第一の三次元画像及び前記第一の三次元画像のタイプを含む、ステップと、を更に含む、
    請求項１に記載の画像認識方法。
  8. 端末が実行する、認識モデルのトレーニング方法であって、
    ラベルのない画像である三次元サンプル画像を取得し、前記三次元サンプル画像から元の立方体を抽出し、前記元の立方体からＮ（Ｎは１より大きい自然数である）個の目標立方体を分割するステップと、
    前記Ｎ個の目標立方体のうちの回転された第一の目標立方体及び回転されていない残りの目標立方体をランダムソートすることにより、目標トレーニングサンプルを取得するステップと、
    前記目標トレーニングサンプルを使用して元の認識モデルをトレーニングし、前記元の認識モデルにより、前記目標トレーニングサンプル内の前記目標立方体の回転及びソート順の確率を出力し、前記元の認識モデルの認識結果が損失関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを第二の認識モデルとして決定することにより、前記第二の認識モデルを取得するステップと、を含み、
    前記第二の認識モデルの畳み込みブロックは、第一の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの畳み込みブロックは、前記第一の認識モデルの前記畳み込みブロックとして使用されるために取得され、前記第一の認識モデルが目標三次元画像に対して前記認識を実行して、前記目標三次元画像のタイプを取得するために使用され、前記第一の認識モデルは、画像タイプを含む三次元画像である第一のトレーニングサンプルを使用してトレーニングされる、前記認識モデルのトレーニング方法。
  9. 画像認識装置であって、
    認識対象となる目標三次元画像を取得するように構成される第一の取得ユニットと、
    前記目標三次元画像を第一の認識モデルに入力するように構成される第一の入力ユニットと、
    前記第一の認識モデルによって出力された前記目標三次元画像のタイプを取得するように構成される第二の取得ユニットと、を備え、
    前記第一の認識モデルは、前記目標三次元画像を認識して、前記目標三次元画像の画像タイプを取得するために使用され、
    前記第一の認識モデルの畳み込みブロックは、第二の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの前記畳み込みブロックは、前記第一の認識モデルの前記畳み込みブロックとして使用されるために取得され、前記第一の認識モデルは、画像タイプを含む三次元画像である第一のトレーニングサンプルを使用してトレーニングされ、前記第一の認識モデルの前記畳み込みブロックは、前記目標三次元画像に対して前記認識を実行するために使用され、
    前記第二の認識モデルは、ラベルのない画像である三次元サンプル画像を取得した後に、前記三次元サンプル画像から元の立方体を抽出し、前記元の立方体をＮ（Ｎは１より大きい自然数である）個の目標立方体に分割し、前記Ｎ個の目標立方体のうちの回転された第一の目標立方体及び回転されていない残りの目標立方体をランダムソートすることにより目標トレーニングサンプルを取得し、前記目標トレーニングサンプルを使用して元の認識モデルをトレーニングし、前記元の認識モデルにより、前記目標トレーニングサンプル内の前記目標立方体の回転及びソート順の確率を出力し、前記元の認識モデルの認識結果が損失関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを前記第二の認識モデルとして決定することにより取得されたモデルである、前記画像認識装置。
  10. 前記画像認識装置は更に、
    前記認識対象となる目標三次元画像を取得する前に、前記三次元サンプル画像を取得するように構成される第三の取得ユニットと、
    前記三次元サンプル画像から元の立方体を決定するように構成される第一の決定ユニットと、
    前記元の立方体を前記Ｎ個の目標立方体に分割するように構成される分割ユニットと、を備える、
    請求項９に記載の画像認識装置。
  11. 前記画像認識装置は更に、
    前記認識対象となる目標三次元画像を取得する前に、前記Ｎ個の目標立方体から第一の目標立方体を決定するように構成される第二の決定ユニットと、
    前記第一の目標立方体を第一の角度回転するように構成される回転ユニットと、
    前記第一の角度回転した後の第一の目標立方体、及び前記Ｎ個の目標立方体のうちの他の目標立方体をソートして、前記目標トレーニングサンプルを取得するように構成されるソートユニットと、を備える、
    請求項１０に記載の画像認識装置。
  12. 前記画像認識装置は更に、
    ソートされた前記目標トレーニングサンプルを前記元の認識モデルに入力して、前記元の認識モデルをトレーニングすることにより、前記第二の認識モデルを取得するように構成される第二の入力ユニットを備える、
    請求項１１に記載の画像認識装置。
  13. 認識モデルのトレーニング装置であって、
    ラベルのない画像である三次元サンプル画像を取得し、前記三次元サンプル画像から元の立方体を抽出し、前記元の立方体からＮ（Ｎは１より大きい自然数である）個の目標立方体を分割するように構成される分割ユニットと、
    前記Ｎ個の目標立方体のうちの回転された第一の目標立方体及び回転されていない残りの目標立方体をランダムソートすることにより、目標トレーニングサンプルを取得するように構成される処理ユニットと、
    前記目標トレーニングサンプルを使用して元の認識モデルをトレーニングし、前記元の認識モデルにより、前記目標トレーニングサンプル内の前記目標立方体の回転及びソート順の確率を出力し、前記元の認識モデルの認識結果が損失関数を満たす確率が第一の閾値より大きい場合、前記元の認識モデルを第二の認識モデルとして決定することにより、前記第二の認識モデルを取得するように構成されるトレーニングユニットと、を備え、
    前記第二の認識モデルの畳み込みブロックは、第一の認識モデルの畳み込みブロックと同じであり、前記第二の認識モデルの畳み込みブロックは、前記第一の認識モデルの前記畳み込みブロックとして使用されるために取得され、前記第一の認識モデルが目標三次元画像に対して前記認識を実行して、前記目標三次元画像のタイプを取得するために使用され、前記第一の認識モデルは、画像タイプを含む三次元画像である第一のトレーニングサンプルを使用してトレーニングされる、前記認識モデルのトレーニング装置。
  14. コンピュータに、請求項１ないし７のいずれか一項に記載の画像認識方法を実行させるように構成される、コンピュータプログラム。
  15. コンピュータに、請求項８に記載の認識モデルのトレーニング方法を実行させるように構成される、コンピュータプログラム。
  16. 電子装置であって、
    メモリ及びプロセッサを備え、前記メモリには、コンピュータプログラムが記憶され、前記プロセッサは、前記コンピュータプログラムを実行するときに、請求項１ないし７のいずれか一項に記載の画像認識方法を実行するように構成される、前記電子装置。
  17. 電子装置であって、
    メモリ及びプロセッサを備え、前記メモリには、コンピュータプログラムが記憶され、前記プロセッサは、前記コンピュータプログラムを実行するときに、請求項８に記載の認識モデルのトレーニング方法を実行するように構成される、前記電子装置。
JP2021547115A 2019-06-21 2020-06-20 画像認識方法、認識モデルのトレーニング方法及びその装置、並びにコンピュータプログラム Active JP7233555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910544392.0 2019-06-21
CN201910544392.0A CN110263724A (zh) 2019-06-21 2019-06-21 图片识别方法、识别模型训练方法、装置及存储介质
PCT/CN2020/097273 WO2020253852A1 (zh) 2019-06-21 2020-06-20 图片识别方法、识别模型训练方法、装置及存储介质

Publications (2)

Publication Number Publication Date
JP2022520390A JP2022520390A (ja) 2022-03-30
JP7233555B2 true JP7233555B2 (ja) 2023-03-06

Family

ID=67920476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547115A Active JP7233555B2 (ja) 2019-06-21 2020-06-20 画像認識方法、認識モデルのトレーニング方法及びその装置、並びにコンピュータプログラム

Country Status (6)

Country Link
US (1) US20210374475A1 (ja)
EP (1) EP3989109A4 (ja)
JP (1) JP7233555B2 (ja)
KR (1) KR102645533B1 (ja)
CN (2) CN110263724A (ja)
WO (1) WO2020253852A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263724A (zh) * 2019-06-21 2019-09-20 腾讯科技（深圳）有限公司 图片识别方法、识别模型训练方法、装置及存储介质
CN110710986B (zh) * 2019-10-25 2021-01-22 华院数据技术(上海)有限公司 一种基于ct图像的脑部动静脉畸形检测方法及检测系统
CN111166070A (zh) * 2019-12-17 2020-05-19 五邑大学 一种基于指静脉认证的医疗储物柜及其管理方法
CN111242952B (zh) * 2020-01-15 2023-06-30 腾讯科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置及计算设备
CN111353580B (zh) * 2020-02-03 2023-06-20 中国人民解放军国防科技大学 目标检测网络的训练方法、电子设备及存储介质
CN111723868B (zh) * 2020-06-22 2023-07-21 海尔优家智能科技（北京）有限公司 用于去除同源图片的方法、装置及服务器
CN112241764B (zh) * 2020-10-23 2023-08-08 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN112686898B (zh) * 2021-03-15 2021-08-13 四川大学 一种基于自监督学习的放疗靶区自动分割方法
CN112949583A (zh) * 2021-03-30 2021-06-11 京科互联科技(山东)有限公司 复杂城市场景的目标检测方法、系统、设备及存储介质
CN113362313B (zh) * 2021-06-18 2024-03-15 四川启睿克科技有限公司 一种基于自监督学习的缺陷检测方法及系统
CN114549904B (zh) * 2022-02-25 2023-07-07 北京百度网讯科技有限公司 视觉处理及模型训练方法、设备、存储介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089530A1 (en) 2015-05-11 2018-03-29 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
CN109886933A (zh) 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025642B (zh) * 2016-01-27 2018-06-22 百度在线网络技术（北京）有限公司 基于点云数据的车辆轮廓检测方法和装置
CN106960219B (zh) * 2017-03-10 2021-04-16 百度在线网络技术（北京）有限公司 图片识别方法及装置、计算机设备及计算机可读介质
CN107154043B (zh) * 2017-06-05 2020-03-24 杭州健培科技有限公司 一种基于3dcnn的肺结节假阳性样本抑制方法
US10935773B2 (en) * 2017-08-09 2021-03-02 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
CN107977963A (zh) * 2017-11-30 2018-05-01 北京青燕祥云科技有限公司 肺结节的判定方法、装置和实现装置
CN108389201B (zh) * 2018-03-16 2020-06-30 北京推想科技有限公司 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN109308495B (zh) * 2018-07-05 2021-07-02 科亚医疗科技股份有限公司 从患者的医学图像自动预测生理状况的装置和系统
CN109063753B (zh) * 2018-07-18 2021-09-14 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN110263724A (zh) * 2019-06-21 2019-09-20 腾讯科技（深圳）有限公司 图片识别方法、识别模型训练方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089530A1 (en) 2015-05-11 2018-03-29 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
CN109886933A (zh) 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质

Also Published As

Publication number Publication date
US20210374475A1 (en) 2021-12-02
EP3989109A1 (en) 2022-04-27
EP3989109A4 (en) 2022-07-20
CN111046855A (zh) 2020-04-21
JP2022520390A (ja) 2022-03-30
KR102645533B1 (ko) 2024-03-07
KR20210119539A (ko) 2021-10-05
CN110263724A (zh) 2019-09-20
WO2020253852A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
JP7233555B2 (ja) 画像認識方法、認識モデルのトレーニング方法及びその装置、並びにコンピュータプログラム
US10970520B1 (en) Apparatus and method for image analysis using virtual three-dimensional deep neural network
JP6993371B2 (ja) ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN110008971B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
DE112019002589T5 (de) Tiefenlernsystem
WO2020125498A1 (zh) 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN110021069A (zh) 一种基于网格形变的三维模型重建方法
JP7395617B2 (ja) 三次元メッシュモデルの再構築方法およびその装置、機器、並びに記憶媒体
CN110309847A (zh) 一种模型压缩方法及装置
US20230154007A1 (en) Few-shot semantic image segmentation using dynamic convolution
CN110321761A (zh) 一种行为识别方法、终端设备及计算机可读存储介质
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN113469180A (zh) 医学图像的处理方法和系统、数据处理方法
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN112529068A (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN114365188A (zh) 基于vrds ai下腔静脉影像的分析方法及产品
CN111709473A (zh) 对象特征的聚类方法及装置
CN110232695A (zh) 基于混合模态图像的左心室图像分割方法及系统
WO2023122896A1 (zh) 一种数据处理方法和装置
CN112669450B (zh) 人体模型构建方法和个性化人体模型构建方法
CN115471807A (zh) 一种基于多模态信息进行自监督学习的处理方法和装置
CN113723519A (zh) 基于对比学习的心电数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150