JP7064050B2 - 画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 - Google Patents

画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 Download PDF

Info

Publication number
JP7064050B2
JP7064050B2 JP2021500419A JP2021500419A JP7064050B2 JP 7064050 B2 JP7064050 B2 JP 7064050B2 JP 2021500419 A JP2021500419 A JP 2021500419A JP 2021500419 A JP2021500419 A JP 2021500419A JP 7064050 B2 JP7064050 B2 JP 7064050B2
Authority
JP
Japan
Prior art keywords
image
model
value calculation
confidence value
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021500419A
Other languages
English (en)
Other versions
JP2021530780A (ja
Inventor
蘇輝 楊
鵬 高
国▲トン▼ 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2021530780A publication Critical patent/JP2021530780A/ja
Application granted granted Critical
Publication of JP7064050B2 publication Critical patent/JP7064050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

(関連出願の相互参照)
本願は、出願番号201910367767.0(出願日:2019年05月05日)の中国特許出願を基礎としてその優先権を主張するが、当該出願のすべての内容は、ここで全体的に本願に取り込まれる。
(技術分野)
本出願はコンピュータ技術分野に関し、特に画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体に関する。
病巣の判定を行う過程において、撮画機器で画像を撮るが、色の分布、明るさ、コントラスト、ノイズなどが含まれる撮られた画像のスタイルは機器によってそれぞれ異なる。一部の重要な情報は、撮られた画像から直接取得できず、病巣が存在するか否かを判断することに役に立つように、画像を、撮画機器のスタイルに一致する画像に変換しないと取得できない。従来の病巣判定方法は、画像のスタイルを変換した後に取得した画像を、期待されるスタイルに完全に一致させることができず、撮られた画像に病巣が存在するか否かを正確に判断することもできない。
本出願の実施例は、画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体を提供し、従来技術の方法において、撮られた画像に病巣が存在するか否かを判断できないという問題を解決することを旨とする。
第1の態様で、本出願の実施例は、画像変換に基づく病巣判定方法を提供し、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を含む。
第2の態様で、本出願の実施例は、画像変換に基づく病巣判定装置を提供し、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える。
第3の態様で、本出願の実施例はコンピュータ機器をさらに提供し、それはメモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備え、前記プロセッサは、前記コンピュータプログラムを実行する際、上記第1態様に記載の画像変換に基づく病巣判定方法を実現する。
第4の態様で、本出願の実施例はコンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは上記第1態様に記載の画像変換に基づく病巣判定方法を実行する。
本出願の実施例は画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体を提供し、変換して取得した目標画像とほかの撮画機器によって撮られた画像とのスタイルを完全に一致させ、画像変換の効率と品質を高める。したがって、病巣を判断する正確率を大幅に高め、実際の適用過程中における技術的効果が優れる。
本発明の実施例に係る技術的解決手段をより明確に説明するために、以下の実施例の説明で使用する図面を簡単に説明するが、以下の説明における図面は、本発明の実施例の一部であり、当業者にとって、創造的な作業を伴うことなくこれらの図面から他の図面を得ることができることは明らかである。
本出願の実施例によって提供される画像変換に基づく病巣判定方法のフローチャートである。 本出願の実施例によって提供される画像変換に基づく病巣判定方法の効果図である。 本出願の実施例によって提供される画像変換に基づく病巣判定方法のサブフローチャートである。 本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。 本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。 本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。 本出願の実施例によって提供される画像変換に基づく病巣判定装置のブロック図である。 本出願の実施例によって提供される画像変換に基づく病巣判定装置のサブユニットの示唆的なブロック図である。 本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。 本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。 図本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。 本出願の実施例によって提供されるコンピュータ機器の示唆的なブロック図である。
以下、本発明の実施例の図面とともに、本発明の実施例の技術手段を明確且つ完全的に記載する。明らかに、記載する実施例は、本発明の実施例の一部であり、全てではない。本発明の実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、いずれも本発明の保護範囲に属するものである。
本明細書及び添付の特許請求の範囲で使用される場合、用語「備える」及び「含む」は、記載された特徴、全体、ステップ、動作、要素及び/又は構成要素の存在を示すが、1つ又は複数の他の特徴、全体、ステップ、動作、要素、構成要素及び/又はそれらの集合の存在又は追加を排除するものではないことを理解されたい。
本発明の明細書で使用される用語は、特定の実施例を説明する目的のためのものにすぎず、本発明を限定することを意図していないことを更に理解されたい。本発明の明細書及び添付の特許請求の範囲で使用されるように、単数形の「一」、「1つ」、及び「該」は、文脈が明らかに他のことを示さない限り、複数形を含むことが意図される。
本発明の明細書及び添付の特許請求の範囲で使用される「及び/又は」という用語は、関連付けて列挙された要素のうちの1つ以上の任意の組み合わせ、及び全ての可能な組み合わせを指し、これらの組み合わせを含むことを更に理解されたい。
図1に示されるように、図1は、本出願の実施例によって提供される画像変換に基づく病巣判定方法のフローチャートである。該画像変換に基づく病巣判定方法はユーザ端末に適用され、該方法は、ユーザ端末の中にインストールされたアプリケーションソフトウェアを通して実行され、ユーザ端末は、卓上パソコン、ノードパソコン、タブレットパソコン又は携帯電話などが含まれる病巣を判断するように画像変換に基づく病巣判定方法を実行する端末機器である。
図1に示されるように、該方法はステップS110~S150を備える。
S110では、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる。
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築する。具体的に、前記変換テンプレートは、ステップ長さ付きのコンボリューションレイヤとデコンボリューションレイヤとからなる複数のテンプレートであり、変換テンプレート、第1撮画機器及び第2撮画機器を通して、第1画像変換モデル及び第2画像変換モデルを構築することができる。第1撮画機器及び第2撮画機器はいずれも画像を撮るための機器であり、機器によって撮られた画像のスタイルが異なり、例えば、上記スタイルは画像における色の分布、明るさ、コントラスト、ノイズなどが含まれるが、それらに限定されない。第1画像変換モデルのコンボリューションとデコンボリューション作用を通して、第1撮画機器のスタイルに一致する画像を、第2撮画機器のスタイルに一致する画像に変換し、第2画像変換モデルは第2撮画機器のスタイルに一致する画像を、第1撮画機器のスタイルに一致する画像に変換することができる。
1つの実施例において、図3に示されるように、ステップS110はサブステップS111とS112とを含む。
S111では、前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築する。第1撮画機器の第1フォーマット情報を取得し、それぞれの撮画機器により撮られた画像のスタイルはそれぞれであり、第1フォーマット情報は第1撮画機器により撮られた画像のフォーマット情報であり、即ち、画像の具体的なサイズ情報である。第1画像変換モデルは、1つのズーミング処理レイヤ、ステップ長さが2である2つのコンボリューションレイヤ及びステップ長さが0.5である2つのデコンボリューションレイヤを備え、ズーミング処理レイヤは対応する画素サイズの画像を取得するように第1フォーマット情報の画像に対してズーミング処理を行うレイヤであり、各コンボリューションレイヤに1つのコンボリューションカーネルが含まれ、コンボリューションカーネルの各素子はいずれも1つの重み係数と1つのオフセット量とに対応し、それと同じように、1つのデコンボリューションレイヤにも1つのデコンボリューションカーネルが含まれ、デコンボリューションレイヤの各素子はいずれも1つの重み係数と1つのオフセット量とに対応する。
例えば、第1機器により撮られた画像を受信した後、まず、ズーミング処理レイヤを通して該画像を画素256×256の画像に変換し、コンボリューション処理を通して画素256×256の画像を1つの多次元ベクトルに変換し、デコンボリューション処理を通して多次元ベクトルをほかの1つの画素256×256の画像に変換する。
S112では、前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築する。第2フォーマット情報は第2撮画機器により撮られた画像のフォーマット情報であり、即ち、画像の具体的なサイズ情報であり、第2画像変換モデルは、1つのズーミング処理レイヤ、ステップ長さが2である2つのコンボリューションレイヤ及びステップ長さが0.5である2つのデコンボリューションレイヤを備え、ズーミング処理レイヤは対応する画素サイズの画像を取得するように第2フォーマット情報の画像に対してズーミング処理を行うレイヤであり、各コンボリューションレイヤには1つのコンボリューションカーネルが含まれ、コンボリューションカーネルの各素子はいずれも1つの重み係数と1つのオフセット量とに対応し、それと同じように、1つのデコンボリューションレイヤにも1つのデコンボリューションカーネルが含まれ、デコンボリューションレイヤの各素子はいずれも1つの重み係数と1つのオフセット量とに対応する。
S120では、予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる。
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成する。計算テンプレートをコピーして、第1信頼値計算モデル及び第2信頼値計算モデルを取得でき、各計算モデルにいずれもステップ長さが2である2つのコンボリューションレイヤ、1つの完全接続レイヤ、1つの出力ノードが含まれ、各計算モデルはいずれも計算モデルに入力された画像を処理し、且つ該画像の信頼値を計算して取得できる。具体的に、一定の画素サイズの画像を1つの計算モデルに入力する場合、該計算モデルを通して、入力された画像に対してコンボリューション処理を行い、1つの多次元ベクトルを取得し、多次元ベクトルにおける各次元は計算モデルにおける1つの入力ノードであり、各次元のベクトル値も入力ノードに対応する入力ノード値であり、完全接続レイヤに予め設定された複数の特徴ユニットが含まれ、各特徴ユニットはいずれもすべての入力ノードと出力ノードとに関連し、特徴ユニットは多次元ベクトルと出力ノードとの関係を反映することに用いられ、特徴ユニットは完全接続レイヤにおける特徴ユニットの計算値である。
計算モデルには、すべての入力ノードからすべての特徴ユニットまでの式と、すべての特徴ユニットから出力ノードまでの式がさらに含まれ、入力ノードから特徴ユニットまでの式は入力ノード値xを入力値、特徴ユニットyを出力値とする計算式であり、例えば、y=i×x+j、i及びjはいずれも該式の中のパラメータ値であり、特徴ユニットから出力ノードまでの式は特徴ユニット値を入力値とし、出力ノード値を出力値とする計算式であり、式の具体的な形式は上記例に示されるように、計算モデルを通して入力された画像に対して計算処理を行い、該計算モデルの出力ノード値を取得でき、即ち、該画像に対応する信頼値を取得できる。信頼値の具体的な数値範囲は[0,1]であり、第1信頼値計算モデルを用いて信頼値を取得し、入力された画像と第2撮画機器により撮られた画像とのスタイルの類似度を数量化することに用いることができ、第1信頼値計算モデル入力された画像は第1撮画機器により取られ、且つ第1画像変換モデルで変換された画像である場合、第1信頼値計算モデルを通して、第1画像変換モデルにより変換された該画像と第2撮画機器により撮られた画像とのスタイルの類似度を計算し、類似度は信頼値で示される。具体的に、第1信頼値計算モデルにより計算して、信頼値の1を取得すれば、入力された画像と第2撮画機器により撮られた画像のスタイルが類似することが示され、第1信頼値計算モデルにより計算して、信頼値の0を取得すれば、入力された画像と第2撮画機器により撮られた画像とのスタイルが類似していないことが示される。第2信頼値計算モデルにより計算して得られた信頼値は、入力された画像と第1撮画機器により撮られた画像とのスタイルを数量化することに用いられ、具体的に、第2信頼値計算モデルにより計算して、信頼値の1を取得すれば、入力された画像と第1撮画機器により撮られた画像とのスタイルが類似することが示され、第2信頼値計算モデルにより計算して信頼値の0を取得すれば、入力された画像と撮画機器により撮られた画像とのスタイルが類似していないことが示される。
第1信頼値計算モデル及び第2信頼値計算モデルを構築した後、予め設定されたトレーニングデータを通して第1信頼値計算モデル及び第2信頼値計算モデルに対してトレーニングをさらに行うことにより、第1信頼値計算モデル及び第2信頼値計算モデルにおける式のパラメータ値を調整することができ、それにより、トレーニング後の第1信頼値計算モデル及び第2信頼値計算モデルは実用的な需要を満すことができる。
S130では、トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルール及び予め設定された画像ギャラリによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行う。
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行う。具体的に、画像ギャラリに第1画像集及び第2画像集が含まれ、第1画像集は、第1撮画機器によって撮られた画像からなる画像の集合であり、第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であり、第1画像集に数枚の第1画像が含まれ、第2画像集に数枚の第2画像が含まれる。モデルトレーニングルールは、第1画像変換モデル及び第2画像変換モデルに対してトレーニングを行うルール情報であり、モデルトレーニングルールに損失関数及びパラメータ調整ルールが含まれる。
1つの実施例において、図4に示されるように、ステップS130にはサブステップS131、S132及びS133が含まれる。
S131では、前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である。
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像をランダムに取得する。第1画像はaで示され、第1画像は第1撮画機器のスタイルに一致する画像であり、第2画像はbで示され、第2画像も第2撮画機器のスタイルに一致する画像である。
S132では、トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算する。
具体的に、損失関数はL=λ×(||G_X(b)-b||+||G_Y(a)-a||+||G_Y(G_X(a))-a||+||G_X(G_Y(b))-b||)+logD_X(b)+log(1-D_X(G_X(a)))+logD_Y(a)+log(1-D_Y(G_Y(b)))である。第1画像変換モデルを通して第1画像を変換した後に第1変換画像を取得することができ、第2画像変換モデルを通して第2画像を変換した後に第2変換画像を取得することができ、第2変換画像と第1撮画機器とのスタイルをもっと高く一致させ、且つ第1変換画像と第2撮画機器とのスタイルをもっと高く一致させるように、第1画像変換モデル及び第2画像変換モデルに対してトレーニングを行うことができ、トレーニングの速度を高めるように、上記損失関数を通して第1画像変換モデル及び第2画像変換モデルに対して同時にトレーニングを行うことができる。Lは計算して取得したトレーニング損失値であり、第1画像はaで示され、第2画像はbで示され、第1信頼値計算モデルはD_Xで示され、第2信頼値計算モデルはD_Yで示され、第1画像変換モデルはG_Xで示され、第2画像変換モデルはG_Yで示される。第1変換画像はG_X(a)で示され、第2変換画像はG_Y(b)で示され、λは損失関数における比重値であり、例えば、比重値λ=0.1を設定することができる。そのほか、画像a及び画像bに対してズーミング処理を行った後、第1画像変換モデルを用いて第2画像を変換して取得した画像をG_X(b)で示し、第2画像変換モデルを用いて第1画像を変換して取得した画像をG_Y(a)で示し、第1信頼値計算モデルを用いて計算して取得した第1画像の信頼値をG_X(a)で示し、計算して取得した第2画像の信頼値をD_X(b)で示し、第2信頼値計算モデルを用いて計算して取得した第1画像の信頼値をD_Y(a)で示し、計算して取得した第2画像の信頼値をD_Y(b)で示す。||G_X(b)-b||はG_X(b)と画像bとのノルムであり、ノルムの計算は具体的に、画像G_X(b)及び画像bをunit8の数値に変換し、即ち画像における各画素の画素値を取得し、画像G_X(b)の数値と画像bの数値とを減算し、ノルムを取得でき、ノルムが小さければ小さいほど、2枚の画像が類似する。
S133では、前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行う。
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行う。トレーニング損失値を計算して取得した後、パラメータ調整ルール及びトレーニング損失値によってパラメータアップデート勾配値を確定し、トレーニング損失値が大きければ大きいほど、対応するアップデート勾配値が大きくなり、トレーニング損失値が小さくなり、対応するアップデート勾配値が小さくなる。第2画像変換モデルにおけるパラメータ値は該モデルにおけるコンボリューションカーネル及びデコンボリューションカーネルに含まれる重み係数であり、パラメータ調整ルールに調整方向がさらに含まれ、調整方向及びアップデート勾配値を合わせて第2画像変換モデルに含まれる重み係数を調整することができ、即ち、第2画像変換モデルに対する一次トレーニングを完成することができる。
上記重み係数調整方法を通して、第2画像変換モデルに対して反復トレーニングを行い、反復トレーニングの回数はユーザにより設定され、反復トレーニングを行った後にトレーニング後の第2画像変換モデルを最終的に取得することができる。
S140では、ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定する。
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定する。判定対象画像は、ユーザが入力した病巣判断を行うべき画像であり、具体的に、判定対象画像に収集ソース情報が含まれ、収集ソース情報によって該判定対象画像の撮画機器が第1撮画機器であるか否かを確定でき、ここで、判定対象画像の撮画機器は第1撮画機器又は第2撮画機器であってもよい。
例えば、ユーザが入力した判定対象画像はハイデルベルク機器又はOptovue機器であり、判定対象画像の収集ソース情報が「H」である場合、該画像の撮画機器はハイデルベルク機器であり、即ち、該判定対象画像の撮画機器は第1撮画機器であり、判定対象画像の収集ソース情報が「0」である場合、該画像の撮画機器はOptovue機器であり、即ち、該判定対象画像の撮画機器は第1撮画機器ではない。
S150では、前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断する。
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断する。画像判断ルールは、判定対象画像を判断するルール情報であり、画像判断ルールに画像分割モデル及び病巣判定ルールが含まれ、画像分割処理モデルは第1撮画機器だけに適用され、ほかの撮画機器に適用されない。目標画像を取得するように、第2画像変換モデル及び画像分割モデルによって判定対象画像を処理することにより、目標画像から判定対象画像に含まれない情報を取得でき、この技術は、網膜内出血が存在するか否かという部分的な病巣への判断に最適である。
図2は本出願の実施例により提供される画像変換に基づく病巣判定方法の効果図であり、図2に示されるように、図2(a)は上記第2撮画機器により撮られた画像であり、図2(b)は画像判定ルールにおける画像分割モデルによって図2(a)に対して分割処理を行った後の画像であり、図2(c)は第2画像変換モデルによって図2(a)に対して変換を行った後に取得した画像であり、図2(d)は画像判定ルールにおける画像分割モデルによって図2(c)に対して分割処理を行った後の画像である。
1つの実施例において、図5に示されるように、ステップS150にはサブステップS151、S152及びS153が含まれる。
S151では、分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像に対して変換を行う。
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換する。トレーニング後の第2画像変換モデルを通して、第2撮画機器により撮られた判定対象画像を、第1撮画機器のスタイルに一致する分割対象画像に変換することができる。撮画機器によって撮られた画像のスタイルが異なり、上記スタイルは画像における色の分布、明るさ、コントラスト、ノイズなどが含まれるが、これらに限定されず、判定対象画像の撮画機器は第1撮画機器ではないため、判定対象画像に対して画像分割処理を直接的に行った後、図2(b)に示されるように、分割処理後の画像から一部の重要な情報を取得できない。判定対象画像における一部の重要な情報を取得するように、第2画像変換モデルを通して第2撮画機器により撮られた画像を、第1撮画機器のスタイルに一致する画像に変換することができ、図2(c)に示されるように、その後、画像分割処理モデルを通して、スタイル変換後の画像に対して分割処理を行い、目標画像を取得する。
S152では、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。画像分割処理モデルを通して、スタイル変換が行われた画像に対して分割処理を行い、目標画像を取得した後、目標画像に含まれる一部の重要な情報をその中から取得することができる。具体的に、画像分割モデルは画像に対して分割処理を行うモデルであり、図2(d)に示されるように、画像分割モデルを通して、画像における画素のコントラスト、明るさ、色の分布などの情報によって、部分的な病巣の画素情報を画像から分割することができる。
S153では、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。ここで、病巣判定ルールは、目標画像に対して判断分析を行うルールであり、病巣判定ルールによって目標画像に病巣が含まれるか否かの病巣判定結果を取得することができる。
例えば、病巣判定ルールは、画像におけるハイライトエリアが50ピクセルを超えると、画像に病巣が含まれることが示され、目標画像に対してコントラスト分析を行うことにより、目標画像におけるハイライトエリアを取得でき、ハイライトエリアが50ピクセルを超えた場合、該目標画像に病巣が含まれるという病巣判定結果を取得でき、そうではない場合、該目標画像に病巣が含まれていないという病巣判定結果を取得する。
1つの実施例において、図6に示されるように、ステップS140の後にサブステップS141とS142とが含まれる。
S141では、前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。画像分割処理モデルは第1撮画機器のみに適用され、ほかの撮画機器に適用されないため、判定対象画像の撮画機器が第1撮画機器である場合、目標画像を取得するように、画像分割モデルを通して判定対象画像を直接的に分割処理することができる。
S142では、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。病巣判定ルールによって目標画像に病巣が含まれるか否かの病巣判定結果を取得することができる。
本出願の実施例により提供される画像変換に基づく病巣判定方法において、変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、計算テンプレートによってそれぞれ第1信頼値計算モデル及び第2信頼値計算モデルを生成し、モデルトレーニングルール及び画像ギャラリ並びに第1画像変換モデルを通して第2画像変換モデルに対してトレーニングを行い、且つトレーニング後の第2画像変換モデル及び画像判定ルールによって、病巣が含まれるか否かという病巣判定結果を取得するように、ユーザが入力した判定対象画像を判断し、変換して取得した目標画像とほかの撮画機器のスタイルとを完全に一致させ、画像の変換効率と品質を高める。したがって、病巣の判断の正確率を大幅に高め、実施の適用過程中に優れた技術的効果を取得できる。
本出願の実施例は、画像変換に基づく病巣判定装置をさらに提供し、該画像変換に基づく病巣判定装置は前述画像変換に基づく病巣判定方法のいずれか1つの実施例を実行することに用いられる。具体的に、図7に示されるように、図7は、本出願の実施例によって提供される画像変換に基づく病巣判定装置の示唆的なブロック図である。画像変換に基づく病巣判定装置は卓上パソコン、ノートパソコン、タブレットパソコン又は携帯電話などのユーザ端末の中に組み立てられる。
図7に示されるように、画像変換に基づく病巣判定装置100は変換モデル構築ユニット110、計算モデル生成ユニット120、変換モデルトレーニングユニット130、撮画機器確定ユニット140及び病巣判定結果取得ユニット150を備える。
変換モデル構築ユニット110は、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる。
ほかの出願の実施例において、図8に示されるように、前記変換モデル構築ユニット110は、第1画像変換モデル構築ユニット111及び第2画像変換モデル構築ユニット112というサブユニットを備える。
第1画像変換モデル構築ユニット111は、前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築することに用いられ、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
第2画像変換モデル構築ユニット112は、前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築することに用いられ、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。
計算モデル生成ユニット120は、予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成することに用いられ、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行う。
変換モデルトレーニングユニット130は、トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことに用いられる。
ほかの出願の実施例において、図9に示されるように、前記変換モデルトレーニングユニット130は、画像取得ユニット131、トレーニング損失値計算ユニット132及びパラメータ値調整ユニット133というサブユニットを備える。
画像取得ユニット131は、前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得することに用いられ、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像集であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である。トレーニング損失値計算ユニット132は、トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することに用いられる。パラメータ値調整ユニット133は、前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことに用いられる。
撮画機器確定ユニット140は、ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することに用いられる。
病巣判定結果取得ユニット150は、前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することに用いられる。
ほかの出願の実施例において、図10に示されるように、前記病巣判定結果取得ユニット150は、画像変換ユニット151、第1分割処理ユニット152及び第1病巣判定ユニット153というサブユニットを備える。
画像変換ユニット151は、分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することに用いられる。第1分割処理ユニット152は、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことに用いられる。第1病巣判定ユニット153は、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することに用いられる。
ほかの出願の実施例において、図11に示されるように、前記画像変換に基づく病巣判定装置100は、第2分割処理ユニット141及び第2病巣判定ユニット142というサブユニットを備える。
第2分割処理ユニット141は、前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記判定対象画像に対して分割処理を行うことに用いられる。第2病巣判定ユニット142は、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することに用いられる。
本出願の実施例により提供される画像変換に基づく病巣判定装置は、上記画像変換に基づく病巣判定方法を用い、変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、計算テンプレートによってそれぞれ第1信頼値計算モデル及び第2信頼値計算モデルを生成し、モデルトレーニングルール、画像ギャラリ並びに第1画像変換モデルを通して第2画像変換モデルに対してトレーニングを行い、且つユーザが入力した判定対象画像の撮画機器を確定し、画像判定ルール及びトレーニング後の第2画像変換モデルによって、病巣判定結果を取得するように、ユーザが入力した判定対象画像を判断し、変換して取得した目標画像とほかの撮画機器のスタイルとを完全に一致させ、画像の変換効率と品質を高める。したがって、病巣の判断の正確率を大幅に高め、実施の適用過程中に優れた技術的効果を取得できる。
上記画像変換に基づく病巣判定装置はコンピュータプログラムの形式で実現され、該コンピュータプログラムは図12に示されるコンピュータ機器で実行可能である。
図12に示されるように、図12は、本出願の実施例によって提供されるコンピュータ機器の示唆的なブロック図である。
図12に示されるように、該コンピュータ機器500は、システムバス501で接続されるプロセッサ502、メモリ及びネットワークインターフェース505を備え、メモリは不揮発性記憶媒体503と内部メモリ504とを備えることができる。
該不揮発性記憶媒体503は、オペレーティングシステム5031とコンピュータプログラム5032とを記憶することができる。該コンピュータプログラム5032は実行される際、プロセッサ502が画像変換に基づく病巣判定方法を実行する。
該プロセッサ502は計算と制御能力とを提供し、コンピュータ機器500全体の実行をサポートすることに用いられる。
該内部メモリ504は不揮発性記憶媒体503におけるコンピュータプログラム5032の実行に環境を提供し、該コンピュータプログラム5032はプロセッサにより実行される際、プロセッサ502が画像変換に基づく病巣判定方法を実行する。
該ネットワークインターフェース505は、データ情報を伝送するなどのネットワーク通信を行うことに用いられる。当業者であれば、図12に示される構造は、本出願の解決手段に関連する一部の構造のブロック図のみであり、本出願の解決手段が提供されるコンピュータ機器500への限定ではなく、具体的なコンピュータ機器500は図に示される部材よりも多いか少ない部材を備えてもよく、或いは一部の部材を組み合わせ、或いは異なる部材の配置を備えてもよいことが理解される。
ここで、前記プロセッサ502は、本出願の実施例の画像変換に基づく病巣判定方法を実現するように、メモリに記憶されるコンピュータプログラム5032を実行することに用いられる。
当業者であれば、図12に示されるコンピュータ機器の実施例は、コンピュータ機器に対する具体的な限定を構成せず、ほかの実施例において、コンピュータ機器は、図に示される部材よりも多いか少ない部材を備えてもよく、或いは一部の部材を組み合わせ、或いは異なる部材の配置を備えてもよいことが理解される。例えば、一部の実施例において、コンピュータ機器はメモリ及びプロセッサのみを備えてもよく、これらの実施例において、メモリ及びプロセッサの構造並びに機能は図12に示される実施例に一致し、ここで贅言しない。
本出願の実施例において、プロセッサ502は中央処理装置(Central Processing Unit,CPU)であってもよく、該プロセッサ502はさらにほかの汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor,DSP)、特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、現場でプログラム可能なゲートアレイ(Field-Programmable Gate Array,FPGA)又はほかのプログラム可能なロジックデバイス、ディスクリートコンポーネントゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよいことが理解すべきである。ここで、汎用プロセッサはマイクロプロセッサであってもよく、該プロセッサはいずれかの一般的なプロセッサなどでもよい。
本出願のほかの実施例において、コンピュータ可読記憶媒体が提供される。該コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。該コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行される際、本出願の実施例の画像変換に基づく病巣判定方法を実現する。
前記記憶媒体は物理的、非一時的な記憶媒体であり、例えば、Uフラッシュディスク、モバイルハードディスク、読み取り専用メモリ(Read-Only Memory,ROM)、ディスク又はCDなどのようなプログラムコード記憶可能な物理的な記憶媒体であってもよい。
なお、当業者であれば、上記設備、装置及びユニットの具体的な実現過程は、前述実施例における対応する説明を参考にすることができ、説明の簡潔さのため、ここで省略することははっきり了解される。
以上は、本発明の好適な実施例であり、発明に対しあらゆる形式上の限定をしない。当業者が上記実施例に基づいて様々な同等な変更や改良を加えることができ、特許請求の範囲内に為す同等な変化や修飾は、いずれも本発明の範囲内に含まれる。
(付記)
(付記1)
画像変換に基づく病巣判定方法であって、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を備える画像変換に基づく病巣判定方法。
(付記2)
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記1に記載の画像変換に基づく病巣判定方法。
(付記3)
前記トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記1に記載の画像変換に基づく病巣判定方法。
(付記4)
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える付記1に記載の画像変換に基づく病巣判定方法。
(付記5)
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える付記4に記載の画像変換に基づく病巣判定方法。
(付記6)
前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える付記1に記載の画像変換に基づく病巣判定方法。
(付記7)
前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える付記1に記載の画像変換に基づく病巣判定方法。
(付記8)
画像変換に基づく病巣の判定装置であって、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える画像変換に基づく病巣判定装置。
(付記9)
前記変換モデル構築ユニットは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築することに用いられ、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第1画像変換モデル構築ユニットと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築することに用いられ、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第2画像変換モデル構築ユニットと、を備える付記8に記載の画像変換に基づく病巣判定装置。
(付記10)
前記変換モデルトレーニングユニットは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得することに用いられ、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像集であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である画像取得ユニットと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算するためのトレーニング損失値計算ユニットと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うためのパラメータ値調整ユニットと、を備える付記8に記載の画像変換に基づく病巣判定装置。
(付記11)
メモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは、前記コンピュータプログラムを実行する際、
予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられるステップと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられるステップと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うステップと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するステップと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するステップと、を実行する画像変換に基づくコンピュータ機器。
(付記12)
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記11に記載の画像変換に基づくコンピュータ機器。
(付記13)
前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記11に記載の画像変換に基づくコンピュータ機器。
(付記14)
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える付記11に記載の画像変換に基づくコンピュータ機器。
(付記15)
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える付記14に記載の画像変換に基づくコンピュータ機器。
(付記16)
前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える付記11に記載の画像変換に基づくコンピュータ機器。
(付記17)
前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える付記11に記載の画像変換に基づくコンピュータ機器。
(付記18)
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を実行する画像変換に基づく記憶媒体。
(付記19)
前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記18に記載の画像変換に基づく記憶媒体。
(付記20)
前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記18に記載の画像変換に基づく記憶媒体。

Claims (20)

  1. 画像変換に基づく病巣判定方法であって、
    予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
    予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
    トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
    ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
    判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を備える画像変換に基づく病巣判定方法。
  2. 前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
    前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
    前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項1に記載の画像変換に基づく病巣判定方法。
  3. 前記トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
    前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
    トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
    前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項1に記載の画像変換に基づく病巣判定方法。
  4. 病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
    分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
    目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
    病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える請求項1に記載の画像変換に基づく病巣判定方法。
  5. 前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
    前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
    病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える請求項4に記載の画像変換に基づく病巣判定方法。
  6. 前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える請求項1に記載の画像変換に基づく病巣判定方法。
  7. 前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える請求項1に記載の画像変換に基づく病巣判定方法。
  8. 画像変換に基づく病巣の判定装置であって、
    予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することに用いられ、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
    予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
    トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
    ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するための撮画機器確定ユニットと、
    前記判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える画像変換に基づく病巣判定装置。
  9. 前記変換モデル構築ユニットは、
    前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築することに用いられ、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第1画像変換モデル構築ユニットと、
    前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築することに用いられ、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第2画像変換モデル構築ユニットと、を備える請求項8に記載の画像変換に基づく病巣判定装置。
  10. 前記変換モデルトレーニングユニットは、
    前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得することに用いられ、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像集であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合である画像取得ユニットと、
    トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算するためのトレーニング損失値計算ユニットと、
    前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うためのパラメータ値調整ユニットと、を備える請求項8に記載の画像変換に基づく病巣判定装置。
  11. メモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは、前記コンピュータプログラムを実行する際、
    予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられるステップと、
    予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられるステップと、
    トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うステップと、
    ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定するステップと、
    判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するステップと、を実行する画像変換に基づくコンピュータ機器。
  12. 前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
    前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
    前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項11に記載の画像変換に基づくコンピュータ機器。
  13. 前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
    前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
    トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
    前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項11に記載の画像変換に基づくコンピュータ機器。
  14. 病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
    分割対象画像を取得するように、前記第2画像変換モデルによって前記判定対象画像を変換することと、
    目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
    病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える請求項11に記載の画像変換に基づくコンピュータ機器。
  15. 前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することは、
    前記判定対象画像の撮画機器が前記第1撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
    病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える請求項14に記載の画像変換に基づくコンピュータ機器。
  16. 前記第1画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第2画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える請求項11に記載の画像変換に基づくコンピュータ機器。
  17. 前記第1信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第2信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える請求項11に記載の画像変換に基づくコンピュータ機器。
  18. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは、予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築し、前記第1画像変換モデルは、第1撮画機器によって撮られた画像を、第2撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第2画像変換モデルは、第2撮画機器によって撮られた画像を、第1撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
    予め設定された計算テンプレートによって第1信頼値計算モデル及び第2信頼値計算モデルを生成し、前記第1信頼値計算モデルは、前記第1信頼値計算モデルに入力された画像と、前記第2撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第2信頼値計算モデルは、前記第2信頼値計算モデルに入力された画像と、前記第1撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
    トレーニング後の第2画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことと、
    ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第1撮画機器であるか否かを確定することと、
    判定対象画像の撮画機器が前記第1撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第2画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を実行する画像変換に基づく記憶媒体。
  19. 前記予め設定された変換テンプレートによってそれぞれ第1画像変換モデル及び第2画像変換モデルを構築することは、
    前記変換テンプレート及び前記第1撮画機器の第1フォーマット情報によって第1画像変換モデルを構築し、前記第1フォーマット情報は、前記第1撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
    前記変換テンプレート及び前記第2撮画機器の第2フォーマット情報によって第2画像変換モデルを構築し、前記第2フォーマット情報は、前記第2撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項18に記載の画像変換に基づく記憶媒体。
  20. 前記トレーニング後の第2画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第1信頼値計算モデル、前記第2信頼値計算モデル及び前記第1画像変換モデルを合わせて、前記第2画像変換モデルに対してトレーニングを行うことは、
    前記画像ギャラリにおける第1画像集の1枚の第1画像及び前記画像ギャラリにおける第2画像集の1枚の第2画像を取得し、前記第1画像集は、前記第1撮画機器によって撮られた画像からなる画像の集合であり、前記第2画像集は、第2撮画機器によって撮られた画像からなる画像の集合であることと、
    トレーニング損失値を取得するように、前記第1画像、前記第2画像、前記第1信頼値計算モデル、前記第2信頼値計算モデル、前記第1画像変換モデル及び前記第2画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
    前記第2画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第2画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項18に記載の画像変換に基づく記憶媒体。
JP2021500419A 2019-05-05 2019-08-29 画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体 Active JP7064050B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910367767.0 2019-05-05
CN201910367767.0A CN110232401B (zh) 2019-05-05 2019-05-05 基于图片转换的病灶判断方法、装置、计算机设备
PCT/CN2019/103337 WO2020224118A1 (zh) 2019-05-05 2019-08-29 基于图片转换的病灶判断方法、装置、计算机设备

Publications (2)

Publication Number Publication Date
JP2021530780A JP2021530780A (ja) 2021-11-11
JP7064050B2 true JP7064050B2 (ja) 2022-05-09

Family

ID=67860610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500419A Active JP7064050B2 (ja) 2019-05-05 2019-08-29 画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体

Country Status (3)

Country Link
JP (1) JP7064050B2 (ja)
CN (1) CN110232401B (ja)
WO (1) WO2020224118A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766277A (zh) * 2021-02-07 2021-05-07 普联技术有限公司 卷积神经网络模型的通道调整方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258044A (ja) 2000-03-14 2001-09-21 Matsushita Research Institute Tokyo Inc 医療用画像処理装置
JP2002159477A (ja) 2000-09-18 2002-06-04 Fuji Photo Film Co Ltd 異常陰影候補の検出方法
CN109166087A (zh) 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
JP2020533660A (ja) 2018-08-13 2020-11-19 シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd 画像スタイル変換方法および装置、機器、ならびに記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680312B2 (en) * 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
CN109389135B (zh) * 2017-08-03 2020-11-13 杭州海康威视数字技术股份有限公司 一种图像筛选方法及装置
CN107665333A (zh) * 2017-08-28 2018-02-06 平安科技(深圳)有限公司 一种基于卷积神经网络的不雅图片识别方法、终端、设备及计算机可读存储介质
CN108596180A (zh) * 2018-04-09 2018-09-28 深圳市腾讯网络信息技术有限公司 图像中的参数识别、参数识别模型的训练方法及装置
CN108564127B (zh) * 2018-04-19 2022-02-18 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质
CN109189973B (zh) * 2018-08-30 2021-07-30 清华大学 基于策略梯度的大规模图像检索方法及装置
CN109241318B (zh) * 2018-09-21 2023-06-13 平安科技(深圳)有限公司 图片推荐方法、装置、计算机设备及存储介质
CN109685102A (zh) * 2018-11-13 2019-04-26 平安科技(深圳)有限公司 胸部病灶图像分类方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258044A (ja) 2000-03-14 2001-09-21 Matsushita Research Institute Tokyo Inc 医療用画像処理装置
JP2002159477A (ja) 2000-09-18 2002-06-04 Fuji Photo Film Co Ltd 異常陰影候補の検出方法
JP2020533660A (ja) 2018-08-13 2020-11-19 シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd 画像スタイル変換方法および装置、機器、ならびに記憶媒体
CN109166087A (zh) 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质

Also Published As

Publication number Publication date
CN110232401A (zh) 2019-09-13
JP2021530780A (ja) 2021-11-11
WO2020224118A1 (zh) 2020-11-12
CN110232401B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
JP7373554B2 (ja) クロスドメイン画像変換
CN110399825B (zh) 面部表情迁移方法、装置、存储介质及计算机设备
RU2564832C2 (ru) Способ стабилизации видеоизображения для многофункциональных платформ
US9628684B2 (en) Light-field aberration correction
JP5846517B2 (ja) 画像構図変更の品質評価
CN110574077A (zh) 利用虚拟三维深层神经网络的影像分析装置及方法
WO2022206020A1 (zh) 图像场景深度的估计方法、装置、终端设备和存储介质
CN106355195B (zh) 用于测量图像清晰度值的系统及其方法
KR102053527B1 (ko) 이미지 처리 방법
US20220414821A1 (en) Systems and methods for point cloud registration
CN114925748B (zh) 模型训练及模态信息的预测方法、相关装置、设备、介质
WO2022166604A1 (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN113129425A (zh) 一种人脸图像三维重建方法、存储介质及终端设备
JP2022544665A (ja) 画像処理方法、機器、非一時的コンピュータ可読媒体
CN113039816A (zh) 信息处理装置、信息处理方法和信息处理程序
Zheng et al. Learn from unpaired data for image restoration: A variational bayes approach
JP7064050B2 (ja) 画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体
CN114638375A (zh) 视频生成模型训练方法、视频生成方法及装置
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
Chen et al. A novel face super resolution approach for noisy images using contour feature and standard deviation prior
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
WO2022233137A1 (zh) 三维网格重建方法、装置、设备及存储介质
CN112530003B (zh) 一种三维人手重建方法、装置及电子设备
CN114638748A (zh) 图像处理方法、图像修复方法、计算机设备、存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220421

R150 Certificate of patent or registration of utility model

Ref document number: 7064050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150