JP7064050B2 - Focal determination method, device, computer equipment and storage medium based on image conversion - Google Patents

Focal determination method, device, computer equipment and storage medium based on image conversion Download PDF

Info

Publication number
JP7064050B2
JP7064050B2 JP2021500419A JP2021500419A JP7064050B2 JP 7064050 B2 JP7064050 B2 JP 7064050B2 JP 2021500419 A JP2021500419 A JP 2021500419A JP 2021500419 A JP2021500419 A JP 2021500419A JP 7064050 B2 JP7064050 B2 JP 7064050B2
Authority
JP
Japan
Prior art keywords
image
model
value calculation
confidence value
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021500419A
Other languages
Japanese (ja)
Other versions
JP2021530780A (en
Inventor
蘇輝 楊
鵬 高
国▲トン▼ 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2021530780A publication Critical patent/JP2021530780A/en
Application granted granted Critical
Publication of JP7064050B2 publication Critical patent/JP7064050B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

（関連出願の相互参照）
本願は、出願番号２０１９１０３６７７６７．０（出願日：２０１９年０５月０５日）の中国特許出願を基礎としてその優先権を主張するが、当該出願のすべての内容は、ここで全体的に本願に取り込まれる。 (Mutual reference of related applications)
The present application claims its priority on the basis of the Chinese patent application of application number 20191036776.7 (filing date: May 05, 2019), but the entire contents of the application are incorporated herein by reference in its entirety. Is done.

（技術分野）
本出願はコンピュータ技術分野に関し、特に画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体に関する。 (Technical field)
The present application relates to the field of computer technology, and particularly to lesion determination methods, devices, computer equipment and storage media based on image conversion.

病巣の判定を行う過程において、撮画機器で画像を撮るが、色の分布、明るさ、コントラスト、ノイズなどが含まれる撮られた画像のスタイルは機器によってそれぞれ異なる。一部の重要な情報は、撮られた画像から直接取得できず、病巣が存在するか否かを判断することに役に立つように、画像を、撮画機器のスタイルに一致する画像に変換しないと取得できない。従来の病巣判定方法は、画像のスタイルを変換した後に取得した画像を、期待されるスタイルに完全に一致させることができず、撮られた画像に病巣が存在するか否かを正確に判断することもできない。 In the process of determining the lesion, an image is taken with an image taking device, but the style of the taken image including color distribution, brightness, contrast, noise, etc. differs depending on the device. Some important information cannot be obtained directly from the captured image and must be converted to an image that matches the style of the imaging device to help determine if a lesion is present. can not get. The conventional lesion determination method cannot completely match the image acquired after converting the style of the image with the expected style, and accurately determines whether or not a lesion is present in the captured image. I can't do that either.

本出願の実施例は、画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体を提供し、従来技術の方法において、撮られた画像に病巣が存在するか否かを判断できないという問題を解決することを旨とする。 An embodiment of the present application provides a lesion determination method, an apparatus, a computer device, and a storage medium based on image conversion, and has a problem that it is not possible to determine whether or not a lesion is present in an image taken by a conventional method. The purpose is to solve it.

第１の態様で、本出願の実施例は、画像変換に基づく病巣判定方法を提供し、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することと、
前記判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を含む。 In a first aspect, the embodiments of the present application provide a method for determining a lesion based on image transformation.
A first image conversion model and a second image conversion model are constructed by a preset conversion template, respectively, and the first image conversion model captures an image taken by the first image taking device by the second image taking device. Used to convert an image that matches the style of the image taken, the second image conversion model transforms the image taken by the second image capture device into the style of the image taken by the first image capture device. Used to convert to a matching image and
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. It is used to quantify the degree of style similarity with the image taken by the first imaging device.
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. By matching the image conversion model and training the second image conversion model,
After receiving the determination target image input by the user, it is determined by the collection source information of the determination target image whether or not the imaging device of the determination target image is the first imaging device.
When the image pickup device of the determination target image is not the first image pickup device, the determination target is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. Includes determining if the image contains lesions.

第２の態様で、本出願の実施例は、画像変換に基づく病巣判定装置を提供し、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することに用いられ、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える。 In a second aspect, the embodiments of the present application provide a lesion determination device based on image transformation.
It is used to construct a first image conversion model and a second image conversion model by a preset conversion template, respectively, and the first image conversion model is a second image taken by a first image capturing device. Used to convert an image that matches the style of the image taken by the drawing device, the second image conversion model takes an image taken by the second taking picture device by the first taking picture device. A conversion model building unit used to convert to an image that matches the style of the image, and
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. A computational model generation unit used to quantify the degree of style similarity to images taken by the first imaging device,
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. A conversion model training unit for training the second image conversion model together with the image conversion model, and
After receiving the determination target image input by the user, the imaging device for determining whether or not the imaging device for the determination target image is the first imaging device is determined by the collection source information of the determination target image. With the unit,
When the image pickup device of the determination target image is not the first image pickup device, the determination target is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. It is provided with a lesion determination result acquisition unit for determining whether or not an image contains a lesion.

第３の態様で、本出願の実施例はコンピュータ機器をさらに提供し、それはメモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備え、前記プロセッサは、前記コンピュータプログラムを実行する際、上記第１態様に記載の画像変換に基づく病巣判定方法を実現する。 In a third aspect, an embodiment of the present application further provides a computer device, which comprises a memory, a processor and a computer program stored in the memory and capable of being executed by the processor, wherein the processor comprises the computer program. At the time of execution, the lesion determination method based on the image conversion described in the first aspect is realized.

第４の態様で、本出願の実施例はコンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは上記第１態様に記載の画像変換に基づく病巣判定方法を実行する。 In a fourth aspect, the embodiments of the present application further provide a computer-readable storage medium, wherein the computer is stored in the computer-readable storage medium, and when the computer program is executed by the processor, the processor is the first. The lesion determination method based on the image conversion described in the embodiment is executed.

本出願の実施例は画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体を提供し、変換して取得した目標画像とほかの撮画機器によって撮られた画像とのスタイルを完全に一致させ、画像変換の効率と品質を高める。したがって、病巣を判断する正確率を大幅に高め、実際の適用過程中における技術的効果が優れる。 The embodiments of the present application provide a lesion determination method, an apparatus, a computer device, and a storage medium based on image conversion, and perfectly match the style of the target image obtained by the conversion with the image taken by another imaging device. And improve the efficiency and quality of image conversion. Therefore, the accuracy rate for determining the lesion is greatly increased, and the technical effect during the actual application process is excellent.

本発明の実施例に係る技術的解決手段をより明確に説明するために、以下の実施例の説明で使用する図面を簡単に説明するが、以下の説明における図面は、本発明の実施例の一部であり、当業者にとって、創造的な作業を伴うことなくこれらの図面から他の図面を得ることができることは明らかである。 In order to more clearly explain the technical solution according to the embodiment of the present invention, the drawings used in the description of the following examples will be briefly described, but the drawings in the following description are of the embodiments of the present invention. It is clear to those skilled in the art that other drawings can be obtained from these drawings without any creative work.

本出願の実施例によって提供される画像変換に基づく病巣判定方法のフローチャートである。It is a flowchart of the lesion determination method based on the image conversion provided by the Example of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定方法の効果図である。It is an effect diagram of the lesion determination method based on the image conversion provided by the Example of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定方法のサブフローチャートである。It is a sub-flow chart of the lesion determination method based on the image conversion provided by the Example of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。It is another sub-flow chart of the lesion determination method based on the image transformation provided by the Example of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。It is another sub-flow chart of the lesion determination method based on the image transformation provided by the Example of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定方法のほかのサブフローチャートである。It is another sub-flow chart of the lesion determination method based on the image transformation provided by the Example of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定装置のブロック図である。It is a block diagram of the lesion determination apparatus based on the image conversion provided by the Example of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定装置のサブユニットの示唆的なブロック図である。It is a suggestive block diagram of the subunit of the lesion determination apparatus based on the image transformation provided by the embodiment of this application. 本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。It is a suggestive block diagram of other subunits of the lesion determination device based on the image transformation provided by the embodiments of the present application. 本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。It is a suggestive block diagram of other subunits of the lesion determination device based on the image transformation provided by the embodiments of the present application. 図本出願の実施例によって提供される画像変換に基づく病巣判定装置のほかのサブユニットの示唆的なブロック図である。Figure It is a suggestive block diagram of other subunits of the lesion determination device based on the image transformation provided by the embodiments of the present application. 本出願の実施例によって提供されるコンピュータ機器の示唆的なブロック図である。It is a suggestive block diagram of the computer equipment provided by the examples of this application.

以下、本発明の実施例の図面とともに、本発明の実施例の技術手段を明確且つ完全的に記載する。明らかに、記載する実施例は、本発明の実施例の一部であり、全てではない。本発明の実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、いずれも本発明の保護範囲に属するものである。
本明細書及び添付の特許請求の範囲で使用される場合、用語「備える」及び「含む」は、記載された特徴、全体、ステップ、動作、要素及び／又は構成要素の存在を示すが、１つ又は複数の他の特徴、全体、ステップ、動作、要素、構成要素及び／又はそれらの集合の存在又は追加を排除するものではないことを理解されたい。
本発明の明細書で使用される用語は、特定の実施例を説明する目的のためのものにすぎず、本発明を限定することを意図していないことを更に理解されたい。本発明の明細書及び添付の特許請求の範囲で使用されるように、単数形の「一」、「１つ」、及び「該」は、文脈が明らかに他のことを示さない限り、複数形を含むことが意図される。
本発明の明細書及び添付の特許請求の範囲で使用される「及び／又は」という用語は、関連付けて列挙された要素のうちの１つ以上の任意の組み合わせ、及び全ての可能な組み合わせを指し、これらの組み合わせを含むことを更に理解されたい。 Hereinafter, the technical means of the embodiments of the present invention will be clearly and completely described together with the drawings of the embodiments of the present invention. Obviously, the examples described are part, but not all, of the examples of the invention. All other embodiments based on the embodiments of the present invention that can be performed by those skilled in the art without creative work are all within the scope of the invention.
As used herein and in the appended claims, the terms "provided" and "included" indicate the presence of the described features, whole, steps, actions, elements and / or components. It should be understood that it does not preclude the existence or addition of one or more other features, whole, steps, actions, elements, components and / or sets thereof.
It should be further understood that the terms used herein are for purposes of describing particular embodiments only and are not intended to limit the invention. As used in the specification of the present invention and the appended claims, the singular "one", "one", and "said" are plural unless the context clearly indicates otherwise. Intended to include shapes.
As used in the specification of the present invention and the accompanying claims, the term "and / or" refers to any combination of one or more of the elements listed in association, and all possible combinations. , It should be further understood to include these combinations.

図１に示されるように、図１は、本出願の実施例によって提供される画像変換に基づく病巣判定方法のフローチャートである。該画像変換に基づく病巣判定方法はユーザ端末に適用され、該方法は、ユーザ端末の中にインストールされたアプリケーションソフトウェアを通して実行され、ユーザ端末は、卓上パソコン、ノードパソコン、タブレットパソコン又は携帯電話などが含まれる病巣を判断するように画像変換に基づく病巣判定方法を実行する端末機器である。 As shown in FIG. 1, FIG. 1 is a flowchart of a lesion determination method based on image conversion provided by an embodiment of the present application. The lesion determination method based on the image conversion is applied to a user terminal, the method is executed through application software installed in the user terminal, and the user terminal may be a desktop personal computer, a node personal computer, a tablet personal computer, a mobile phone, or the like. It is a terminal device that executes a lesion determination method based on image conversion so as to determine the included lesions.

図１に示されるように、該方法はステップＳ１１０～Ｓ１５０を備える。 As shown in FIG. 1, the method comprises steps S110-S150.

Ｓ１１０では、予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる。 In S110, a first image conversion model and a second image conversion model are constructed by a preset conversion template, respectively, and the first image conversion model uses an image taken by a first image capturing device as a second image. Used to convert an image that matches the style of the image taken by the device, the second image conversion model is an image taken by the second imager and an image taken by the first imager. Used to convert to an image that matches the style of.

予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築する。具体的に、前記変換テンプレートは、ステップ長さ付きのコンボリューションレイヤとデコンボリューションレイヤとからなる複数のテンプレートであり、変換テンプレート、第１撮画機器及び第２撮画機器を通して、第１画像変換モデル及び第２画像変換モデルを構築することができる。第１撮画機器及び第２撮画機器はいずれも画像を撮るための機器であり、機器によって撮られた画像のスタイルが異なり、例えば、上記スタイルは画像における色の分布、明るさ、コントラスト、ノイズなどが含まれるが、それらに限定されない。第１画像変換モデルのコンボリューションとデコンボリューション作用を通して、第１撮画機器のスタイルに一致する画像を、第２撮画機器のスタイルに一致する画像に変換し、第２画像変換モデルは第２撮画機器のスタイルに一致する画像を、第１撮画機器のスタイルに一致する画像に変換することができる。 The first image conversion model and the second image conversion model are constructed by the preset conversion templates, respectively. Specifically, the conversion template is a plurality of templates including a convolution layer with a step length and a deconvolution layer, and the first image conversion is performed through the conversion template, the first image capturing device, and the second image capturing device. A model and a second image conversion model can be constructed. Both the first image-taking device and the second image-taking device are devices for taking an image, and the style of the image taken differs depending on the device. It includes, but is not limited to, noise. Through the convolution and deconvolution action of the first image conversion model, the image that matches the style of the first image capture device is converted into the image that matches the style of the second image conversion device, and the second image conversion model is the second. An image that matches the style of the imaging device can be converted into an image that matches the style of the first imaging device.

１つの実施例において、図３に示されるように、ステップＳ１１０はサブステップＳ１１１とＳ１１２とを含む。 In one embodiment, as shown in FIG. 3, step S110 includes sub-steps S111 and S112.

Ｓ１１１では、前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築し、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。 In S111, the first image conversion model is constructed by the conversion template and the first format information of the first imaging device, and the first format information features the format of the image taken by the first imaging device. Used for.

前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築する。第１撮画機器の第１フォーマット情報を取得し、それぞれの撮画機器により撮られた画像のスタイルはそれぞれであり、第１フォーマット情報は第１撮画機器により撮られた画像のフォーマット情報であり、即ち、画像の具体的なサイズ情報である。第１画像変換モデルは、１つのズーミング処理レイヤ、ステップ長さが２である２つのコンボリューションレイヤ及びステップ長さが０．５である２つのデコンボリューションレイヤを備え、ズーミング処理レイヤは対応する画素サイズの画像を取得するように第１フォーマット情報の画像に対してズーミング処理を行うレイヤであり、各コンボリューションレイヤに１つのコンボリューションカーネルが含まれ、コンボリューションカーネルの各素子はいずれも１つの重み係数と１つのオフセット量とに対応し、それと同じように、１つのデコンボリューションレイヤにも１つのデコンボリューションカーネルが含まれ、デコンボリューションレイヤの各素子はいずれも１つの重み係数と１つのオフセット量とに対応する。 The first image conversion model is constructed by the conversion template and the first format information of the first image capturing apparatus. The first format information of the first imaging device is acquired, the style of the image taken by each imaging device is different, and the first format information is the format information of the image taken by the first imaging device. Yes, that is, specific size information of the image. The first image conversion model includes one zooming processing layer, two convolution layers having a step length of 2, and two deconvolution layers having a step length of 0.5, and the zooming processing layer is a corresponding pixel. It is a layer that performs zooming processing on the image of the first format information so as to acquire an image of the size, one convolution kernel is included in each convolution layer, and each element of the convolution kernel is one. Corresponding to a weighting coefficient and one offset amount, one deconvolution layer also contains one deconvolution kernel, and each element of the deconvolution layer has one weighting coefficient and one offset. Corresponds to the quantity.

例えば、第１機器により撮られた画像を受信した後、まず、ズーミング処理レイヤを通して該画像を画素２５６×２５６の画像に変換し、コンボリューション処理を通して画素２５６×２５６の画像を１つの多次元ベクトルに変換し、デコンボリューション処理を通して多次元ベクトルをほかの１つの画素２５６×２５６の画像に変換する。 For example, after receiving an image taken by the first device, first, the image is converted into an image of pixels 256 × 256 through a zooming processing layer, and the image of pixels 256 × 256 is converted into one multidimensional vector through a convolution process. And the multidimensional vector is converted into another pixel 256 × 256 image through deconvolution processing.

Ｓ１１２では、前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築し、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。 In S112, a second image conversion model is constructed by the conversion template and the second format information of the second imaging device, and the second format information features the format of the image taken by the second imaging device. Used for.

前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築する。第２フォーマット情報は第２撮画機器により撮られた画像のフォーマット情報であり、即ち、画像の具体的なサイズ情報であり、第２画像変換モデルは、１つのズーミング処理レイヤ、ステップ長さが２である２つのコンボリューションレイヤ及びステップ長さが０．５である２つのデコンボリューションレイヤを備え、ズーミング処理レイヤは対応する画素サイズの画像を取得するように第２フォーマット情報の画像に対してズーミング処理を行うレイヤであり、各コンボリューションレイヤには１つのコンボリューションカーネルが含まれ、コンボリューションカーネルの各素子はいずれも１つの重み係数と１つのオフセット量とに対応し、それと同じように、１つのデコンボリューションレイヤにも１つのデコンボリューションカーネルが含まれ、デコンボリューションレイヤの各素子はいずれも１つの重み係数と１つのオフセット量とに対応する。 A second image conversion model is constructed by the conversion template and the second format information of the second image pickup device. The second format information is the format information of the image taken by the second image pickup device, that is, the specific size information of the image, and the second image conversion model has one zooming processing layer and a step length. It has two convolution layers with 2 and two deconvolution layers with a step length of 0.5, and the zooming processing layer is for the image of the second format information so as to acquire the image of the corresponding pixel size. It is a layer that performs zooming, and each convolution layer contains one convolution kernel, and each element of the convolution kernel corresponds to one weight coefficient and one offset amount, and so on. One deconvolution layer also contains one deconvolution kernel, and each element of the deconvolution layer corresponds to one weighting coefficient and one offset amount.

Ｓ１２０では、予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる。 In S120, the first confidence value calculation model and the second confidence value calculation model are generated by the preset calculation template, and the first confidence value calculation model is the image input to the first confidence value calculation model and the image. The second confidence value calculation model is an image input to the second confidence value calculation model, which is used to quantify the similarity of the style with the image taken by the second imaging device. And, it is used to quantify the similarity of the style with the image taken by the first imaging device.

予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成する。計算テンプレートをコピーして、第１信頼値計算モデル及び第２信頼値計算モデルを取得でき、各計算モデルにいずれもステップ長さが２である２つのコンボリューションレイヤ、１つの完全接続レイヤ、１つの出力ノードが含まれ、各計算モデルはいずれも計算モデルに入力された画像を処理し、且つ該画像の信頼値を計算して取得できる。具体的に、一定の画素サイズの画像を１つの計算モデルに入力する場合、該計算モデルを通して、入力された画像に対してコンボリューション処理を行い、１つの多次元ベクトルを取得し、多次元ベクトルにおける各次元は計算モデルにおける１つの入力ノードであり、各次元のベクトル値も入力ノードに対応する入力ノード値であり、完全接続レイヤに予め設定された複数の特徴ユニットが含まれ、各特徴ユニットはいずれもすべての入力ノードと出力ノードとに関連し、特徴ユニットは多次元ベクトルと出力ノードとの関係を反映することに用いられ、特徴ユニットは完全接続レイヤにおける特徴ユニットの計算値である。 The first confidence value calculation model and the second confidence value calculation model are generated by the preset calculation template. You can copy the calculation template to get the first confidence value calculation model and the second confidence value calculation model, and each calculation model has two convolution layers with two step lengths, one fully connected layer, and one. It includes two output nodes, each of which can process the image input to the calculation model and calculate and obtain the confidence value of the image. Specifically, when an image having a constant pixel size is input to one calculation model, the input image is subjected to a convolution process through the calculation model to obtain one multidimensional vector, and the multidimensional vector is obtained. Each dimension in is one input node in the computational model, the vector value of each dimension is also the input node value corresponding to the input node, and the fully connected layer contains a plurality of preset feature units, each feature unit. Are all related to all input and output nodes, feature units are used to reflect the relationship between multidimensional vectors and output nodes, and feature units are calculated values of feature units in the fully connected layer.

計算モデルには、すべての入力ノードからすべての特徴ユニットまでの式と、すべての特徴ユニットから出力ノードまでの式がさらに含まれ、入力ノードから特徴ユニットまでの式は入力ノード値ｘ１を入力値、特徴ユニットｙ１を出力値とする計算式であり、例えば、ｙ１＝ｉ×ｘ１＋ｊ、ｉ及びｊはいずれも該式の中のパラメータ値であり、特徴ユニットから出力ノードまでの式は特徴ユニット値を入力値とし、出力ノード値を出力値とする計算式であり、式の具体的な形式は上記例に示されるように、計算モデルを通して入力された画像に対して計算処理を行い、該計算モデルの出力ノード値を取得でき、即ち、該画像に対応する信頼値を取得できる。信頼値の具体的な数値範囲は［０，１］であり、第１信頼値計算モデルを用いて信頼値を取得し、入力された画像と第２撮画機器により撮られた画像とのスタイルの類似度を数量化することに用いることができ、第１信頼値計算モデル入力された画像は第１撮画機器により取られ、且つ第１画像変換モデルで変換された画像である場合、第１信頼値計算モデルを通して、第１画像変換モデルにより変換された該画像と第２撮画機器により撮られた画像とのスタイルの類似度を計算し、類似度は信頼値で示される。具体的に、第１信頼値計算モデルにより計算して、信頼値の１を取得すれば、入力された画像と第２撮画機器により撮られた画像のスタイルが類似することが示され、第１信頼値計算モデルにより計算して、信頼値の０を取得すれば、入力された画像と第２撮画機器により撮られた画像とのスタイルが類似していないことが示される。第２信頼値計算モデルにより計算して得られた信頼値は、入力された画像と第１撮画機器により撮られた画像とのスタイルを数量化することに用いられ、具体的に、第２信頼値計算モデルにより計算して、信頼値の１を取得すれば、入力された画像と第１撮画機器により撮られた画像とのスタイルが類似することが示され、第２信頼値計算モデルにより計算して信頼値の０を取得すれば、入力された画像と撮画機器により撮られた画像とのスタイルが類似していないことが示される。 The computational model further includes formulas from all input nodes to all feature units and formulas from all feature units to output nodes, and the formulas from input node to feature unit enter an input node value x 1 . It is a calculation formula with the value and the feature unit y 1 as the output value. For example, y 1 = i × x 1 + j, i and j are all parameter values in the formula and are from the feature unit to the output node. The formula is a calculation formula that uses the feature unit value as the input value and the output node value as the output value, and the specific format of the formula is the calculation process for the image input through the calculation model as shown in the above example. The output node value of the calculation model can be acquired, that is, the reliability value corresponding to the image can be acquired. The specific numerical range of the confidence value is [0,1], and the confidence value is acquired using the first confidence value calculation model, and the style of the input image and the image taken by the second imaging device. It can be used to quantify the similarity of the first confidence value calculation model. If the input image is an image taken by the first imaging device and converted by the first image conversion model, the first image is 1 The similarity between the styles of the image converted by the first image conversion model and the image taken by the second imaging device is calculated through the confidence value calculation model, and the similarity is indicated by the confidence value. Specifically, if the calculation is performed by the first confidence value calculation model and the confidence value of 1 is obtained, it is shown that the style of the input image and the image taken by the second imaging device are similar. If the calculation is performed by the 1 confidence value calculation model and the confidence value of 0 is acquired, it is shown that the styles of the input image and the image taken by the second imaging device are not similar. The confidence value calculated by the second confidence value calculation model is used to quantify the style of the input image and the image taken by the first imaging device, and specifically, the second confidence value is calculated. If the confidence value of 1 is obtained by calculating with the confidence value calculation model, it is shown that the styles of the input image and the image taken by the first imaging device are similar, and the second confidence value calculation model. If the confidence value of 0 is obtained by calculation by, it is shown that the styles of the input image and the image taken by the imaging device are not similar.

第１信頼値計算モデル及び第２信頼値計算モデルを構築した後、予め設定されたトレーニングデータを通して第１信頼値計算モデル及び第２信頼値計算モデルに対してトレーニングをさらに行うことにより、第１信頼値計算モデル及び第２信頼値計算モデルにおける式のパラメータ値を調整することができ、それにより、トレーニング後の第１信頼値計算モデル及び第２信頼値計算モデルは実用的な需要を満すことができる。 After constructing the first confidence value calculation model and the second confidence value calculation model, the first confidence value calculation model and the second confidence value calculation model are further trained through preset training data. The parameter values of the equations in the confidence value calculation model and the second confidence value calculation model can be adjusted, whereby the first confidence value calculation model and the second confidence value calculation model after training meet the practical demand. be able to.

Ｓ１３０では、トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルール及び予め設定された画像ギャラリによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行う。 In S130, the first confidence value calculation model, the second confidence value calculation model, and the said The first image conversion model is combined and training is performed on the second image conversion model.

トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行う。具体的に、画像ギャラリに第１画像集及び第２画像集が含まれ、第１画像集は、第１撮画機器によって撮られた画像からなる画像の集合であり、第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合であり、第１画像集に数枚の第１画像が含まれ、第２画像集に数枚の第２画像が含まれる。モデルトレーニングルールは、第１画像変換モデル及び第２画像変換モデルに対してトレーニングを行うルール情報であり、モデルトレーニングルールに損失関数及びパラメータ調整ルールが含まれる。 The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. The image conversion model is combined and training is performed on the second image conversion model. Specifically, the image gallery includes a first image collection and a second image collection, the first image collection is a set of images composed of images taken by the first imaging device, and the second image collection is. It is a set of images composed of images taken by a second image pickup device, and the first image collection includes several first images, and the second image collection includes several second images. The model training rule is rule information for training the first image conversion model and the second image conversion model, and the model training rule includes a loss function and a parameter adjustment rule.

１つの実施例において、図４に示されるように、ステップＳ１３０にはサブステップＳ１３１、Ｓ１３２及びＳ１３３が含まれる。 In one embodiment, as shown in FIG. 4, step S130 includes sub-steps S131, S132 and S133.

Ｓ１３１では、前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得し、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像の集合であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合である。 In S131, one first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are acquired, and the first image collection is the first image taken. It is a set of images composed of images taken by the device, and the second image collection is a set of images composed of images taken by the second image-taking device.

前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像をランダムに取得する。第１画像はａで示され、第１画像は第１撮画機器のスタイルに一致する画像であり、第２画像はｂで示され、第２画像も第２撮画機器のスタイルに一致する画像である。 One first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are randomly acquired. The first image is indicated by a, the first image is an image that matches the style of the first imaging device, the second image is indicated by b, and the second image also matches the style of the second imaging device. It is an image.

Ｓ１３２では、トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算する。 In S132, the first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion so as to acquire the training loss value. The model is input to the loss function in the model training rule and calculated.

具体的に、損失関数はＬ＝λ×（｜｜Ｇ＿Ｘ（ｂ）－ｂ｜｜１＋｜｜Ｇ＿Ｙ（ａ）－ａ｜｜１＋｜｜Ｇ＿Ｙ（Ｇ＿Ｘ（ａ））－ａ｜｜１＋｜｜Ｇ＿Ｘ（Ｇ＿Ｙ（ｂ））－ｂ｜｜１）＋ｌｏｇＤ＿Ｘ（ｂ）＋ｌｏｇ（１－Ｄ＿Ｘ（Ｇ＿Ｘ（ａ）））＋ｌｏｇＤ＿Ｙ（ａ）＋ｌｏｇ（１－Ｄ＿Ｙ（Ｇ＿Ｙ（ｂ）））である。第１画像変換モデルを通して第１画像を変換した後に第１変換画像を取得することができ、第２画像変換モデルを通して第２画像を変換した後に第２変換画像を取得することができ、第２変換画像と第１撮画機器とのスタイルをもっと高く一致させ、且つ第１変換画像と第２撮画機器とのスタイルをもっと高く一致させるように、第１画像変換モデル及び第２画像変換モデルに対してトレーニングを行うことができ、トレーニングの速度を高めるように、上記損失関数を通して第１画像変換モデル及び第２画像変換モデルに対して同時にトレーニングを行うことができる。Ｌは計算して取得したトレーニング損失値であり、第１画像はａで示され、第２画像はｂで示され、第１信頼値計算モデルはＤ＿Ｘで示され、第２信頼値計算モデルはＤ＿Ｙで示され、第１画像変換モデルはＧ＿Ｘで示され、第２画像変換モデルはＧ＿Ｙで示される。第１変換画像はＧ＿Ｘ（ａ）で示され、第２変換画像はＧ＿Ｙ（ｂ）で示され、λは損失関数における比重値であり、例えば、比重値λ＝０．１を設定することができる。そのほか、画像ａ及び画像ｂに対してズーミング処理を行った後、第１画像変換モデルを用いて第２画像を変換して取得した画像をＧ＿Ｘ（ｂ）で示し、第２画像変換モデルを用いて第１画像を変換して取得した画像をＧ＿Ｙ（ａ）で示し、第１信頼値計算モデルを用いて計算して取得した第１画像の信頼値をＧ＿Ｘ（ａ）で示し、計算して取得した第２画像の信頼値をＤ＿Ｘ（ｂ）で示し、第２信頼値計算モデルを用いて計算して取得した第１画像の信頼値をＤ＿Ｙ（ａ）で示し、計算して取得した第２画像の信頼値をＤ＿Ｙ（ｂ）で示す。｜｜Ｇ＿Ｘ（ｂ）－ｂ｜｜１はＧ＿Ｘ（ｂ）と画像ｂとのノルムであり、ノルムの計算は具体的に、画像Ｇ＿Ｘ（ｂ）及び画像ｂをｕｎｉｔ８の数値に変換し、即ち画像における各画素の画素値を取得し、画像Ｇ＿Ｘ（ｂ）の数値と画像ｂの数値とを減算し、ノルムを取得でき、ノルムが小さければ小さいほど、２枚の画像が類似する。 Specifically, the loss function is L = λ × (|| G_X (b) -b || 1 + || G_Y (a) -a || 1 + || G_Y (G_X (a))-a || 1 + || G_X (G_Y (b))-b || 1 ) + logD_X (b) + log (1-D_X (G_X (a))) + logD_Y (a) + log (1-D_Y (G_Y (b))) .. The first converted image can be obtained after converting the first image through the first image conversion model, the second converted image can be obtained after converting the second image through the second image conversion model, and the second. The first image conversion model and the second image conversion model so that the styles of the converted image and the first image capturing device are matched more highly, and the styles of the first converted image and the second image capturing device are matched more highly. The first image conversion model and the second image conversion model can be simultaneously trained through the loss function so as to increase the speed of training. L is the calculated and acquired training loss value, the first image is indicated by a, the second image is indicated by b, the first confidence value calculation model is indicated by D_X, and the second confidence value calculation model is. It is represented by D_Y, the first image conversion model is represented by G_X, and the second image conversion model is represented by G_Y. The first converted image is indicated by G_X (a), the second converted image is indicated by G_Y (b), and λ is a specific gravity value in the loss function. For example, the specific gravity value λ = 0.1 may be set. can. In addition, after performing zooming processing on the image a and the image b, the image obtained by converting the second image using the first image conversion model is indicated by G_X (b), and the second image conversion model is used. The image obtained by converting the first image is indicated by G_Y (a), and the reliability value of the first image calculated and acquired using the first confidence value calculation model is indicated by G_X (a) and calculated. The reliability value of the acquired second image is indicated by D_X (b), the reliability value of the first image calculated and acquired using the second confidence value calculation model is indicated by D_Y (a), and the calculated and acquired second image is shown. 2 The reliability value of the image is indicated by D_Y (b). || G_X (b) -b || 1 is the norm of G_X (b) and the image b, and the calculation of the norm specifically converts the image G_X (b) and the image b into the numerical values of unit8, that is, The pixel value of each pixel in the image can be acquired, the numerical value of the image G_X (b) and the numerical value of the image b can be subtracted to obtain the norm. The smaller the norm, the more similar the two images are.

Ｓ１３３では、前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行う。 In S133, the parameter adjustment rule in the model training rule and the training loss value are combined and adjusted with respect to the parameter value in the second image conversion model so as to complete the primary training for the second image conversion model. conduct.

前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行う。トレーニング損失値を計算して取得した後、パラメータ調整ルール及びトレーニング損失値によってパラメータアップデート勾配値を確定し、トレーニング損失値が大きければ大きいほど、対応するアップデート勾配値が大きくなり、トレーニング損失値が小さくなり、対応するアップデート勾配値が小さくなる。第２画像変換モデルにおけるパラメータ値は該モデルにおけるコンボリューションカーネル及びデコンボリューションカーネルに含まれる重み係数であり、パラメータ調整ルールに調整方向がさらに含まれ、調整方向及びアップデート勾配値を合わせて第２画像変換モデルに含まれる重み係数を調整することができ、即ち、第２画像変換モデルに対する一次トレーニングを完成することができる。 The parameter adjustment rule in the model training rule and the training loss value are combined to adjust the parameter value in the second image conversion model so as to complete the primary training for the second image conversion model. After calculating and acquiring the training loss value, the parameter update gradient value is determined by the parameter adjustment rule and the training loss value. The larger the training loss value, the larger the corresponding update gradient value and the smaller the training loss value. And the corresponding update gradient value becomes smaller. The parameter value in the second image conversion model is a weighting coefficient included in the convolution kernel and the deconvolution kernel in the model, and the parameter adjustment rule further includes the adjustment direction, and the adjustment direction and the update gradient value are combined to form the second image. The weighting factors included in the transformation model can be adjusted, i.e., the primary training for the second image transformation model can be completed.

上記重み係数調整方法を通して、第２画像変換モデルに対して反復トレーニングを行い、反復トレーニングの回数はユーザにより設定され、反復トレーニングを行った後にトレーニング後の第２画像変換モデルを最終的に取得することができる。 Through the above weighting coefficient adjusting method, the second image conversion model is repeatedly trained, the number of iterative trainings is set by the user, and after the iterative training is performed, the second image conversion model after training is finally acquired. be able to.

Ｓ１４０では、ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定する。 In S140, after receiving the determination target image input by the user, it is determined whether or not the imaging device of the determination target image is the first imaging device based on the collection source information of the determination target image.

ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定する。判定対象画像は、ユーザが入力した病巣判断を行うべき画像であり、具体的に、判定対象画像に収集ソース情報が含まれ、収集ソース情報によって該判定対象画像の撮画機器が第１撮画機器であるか否かを確定でき、ここで、判定対象画像の撮画機器は第１撮画機器又は第２撮画機器であってもよい。 After receiving the determination target image input by the user, it is determined whether or not the imaging device of the determination target image is the first imaging device based on the collection source information of the determination target image. The determination target image is an image input by the user for determining the lesion. Specifically, the determination target image includes the collection source information, and the image pickup device of the determination target image is the first image taken by the collection source information. Whether or not it is a device can be determined, and here, the image capturing device for the image to be determined may be the first image capturing device or the second image capturing device.

例えば、ユーザが入力した判定対象画像はハイデルベルク機器又はＯｐｔｏｖｕｅ機器であり、判定対象画像の収集ソース情報が「Ｈ」である場合、該画像の撮画機器はハイデルベルク機器であり、即ち、該判定対象画像の撮画機器は第１撮画機器であり、判定対象画像の収集ソース情報が「０」である場合、該画像の撮画機器はＯｐｔｏｖｕｅ機器であり、即ち、該判定対象画像の撮画機器は第１撮画機器ではない。 For example, when the determination target image input by the user is a Heidelberg device or an Optiview device and the collection source information of the determination target image is "H", the image capturing device of the image is a Heidelberg device, that is, the determination target. When the image taking device is the first image taking device and the collection source information of the determination target image is "0", the image taking device is an input device, that is, the image of the determination target image is taken. The device is not the first imaging device.

Ｓ１５０では、前記判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断する。 In S150, when the image pickup device of the determination target image is not the first image pickup device, the image determination rule set in advance and the second image conversion model after training are used so as to acquire the lesion determination result. It is determined whether or not the determination target image includes a lesion.

前記判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断する。画像判断ルールは、判定対象画像を判断するルール情報であり、画像判断ルールに画像分割モデル及び病巣判定ルールが含まれ、画像分割処理モデルは第１撮画機器だけに適用され、ほかの撮画機器に適用されない。目標画像を取得するように、第２画像変換モデル及び画像分割モデルによって判定対象画像を処理することにより、目標画像から判定対象画像に含まれない情報を取得でき、この技術は、網膜内出血が存在するか否かという部分的な病巣への判断に最適である。 When the image pickup device of the determination target image is not the first image pickup device, the determination target is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. Determine if the image contains lesions. The image judgment rule is rule information for judging the image to be judged. The image judgment rule includes an image segmentation model and a lesion judgment rule, and the image segmentation processing model is applied only to the first image capturing device, and other images are taken. Does not apply to equipment. By processing the judgment target image by the second image conversion model and the image segmentation model so as to acquire the target image, information not included in the judgment target image can be obtained from the target image, and this technique has intraretinal hemorrhage. It is ideal for determining whether or not to do a partial lesion.

図２は本出願の実施例により提供される画像変換に基づく病巣判定方法の効果図であり、図２に示されるように、図２（ａ）は上記第２撮画機器により撮られた画像であり、図２（ｂ）は画像判定ルールにおける画像分割モデルによって図２（ａ）に対して分割処理を行った後の画像であり、図２（ｃ）は第２画像変換モデルによって図２（ａ）に対して変換を行った後に取得した画像であり、図２（ｄ）は画像判定ルールにおける画像分割モデルによって図２（ｃ）に対して分割処理を行った後の画像である。 FIG. 2 is an effect diagram of the lesion determination method based on the image conversion provided by the embodiment of the present application, and as shown in FIG. 2, FIG. 2A is an image taken by the second imaging device. 2 (b) is an image after the division process is performed on FIG. 2 (a) by the image division model in the image determination rule, and FIG. 2 (c) is FIG. 2 by the second image conversion model. It is an image acquired after performing the conversion on (a), and FIG. 2 (d) is an image after performing the division processing on FIG. 2 (c) by the image division model in the image determination rule.

１つの実施例において、図５に示されるように、ステップＳ１５０にはサブステップＳ１５１、Ｓ１５２及びＳ１５３が含まれる。 In one embodiment, as shown in FIG. 5, step S150 includes sub-steps S151, S152 and S153.

Ｓ１５１では、分割対象画像を取得するように、前記第２画像変換モデルによって前記判定対象画像に対して変換を行う。 In S151, the determination target image is converted by the second image conversion model so as to acquire the division target image.

分割対象画像を取得するように、前記第２画像変換モデルによって前記判定対象画像を変換する。トレーニング後の第２画像変換モデルを通して、第２撮画機器により撮られた判定対象画像を、第１撮画機器のスタイルに一致する分割対象画像に変換することができる。撮画機器によって撮られた画像のスタイルが異なり、上記スタイルは画像における色の分布、明るさ、コントラスト、ノイズなどが含まれるが、これらに限定されず、判定対象画像の撮画機器は第１撮画機器ではないため、判定対象画像に対して画像分割処理を直接的に行った後、図２（ｂ）に示されるように、分割処理後の画像から一部の重要な情報を取得できない。判定対象画像における一部の重要な情報を取得するように、第２画像変換モデルを通して第２撮画機器により撮られた画像を、第１撮画機器のスタイルに一致する画像に変換することができ、図２（ｃ）に示されるように、その後、画像分割処理モデルを通して、スタイル変換後の画像に対して分割処理を行い、目標画像を取得する。 The determination target image is converted by the second image conversion model so as to acquire the division target image. Through the second image conversion model after training, the determination target image taken by the second imaging device can be converted into a division target image that matches the style of the first imaging device. The style of the image taken differs depending on the image-taking device, and the above style includes, but is not limited to, color distribution, brightness, contrast, noise, etc. in the image, and the image-taking device of the image to be determined is the first. Since it is not an image-taking device, it is not possible to acquire some important information from the image after the division process, as shown in FIG. 2B, after performing the image segmentation process directly on the image to be determined. .. It is possible to convert an image taken by the second image capture device through the second image conversion model into an image that matches the style of the first image capture device so as to acquire some important information in the image to be determined. Then, as shown in FIG. 2C, the image after the style conversion is subjected to the division processing through the image segmentation processing model, and the target image is acquired.

Ｓ１５２では、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。 In S152, the division target image is divided by the image segmentation model in the image determination rule so as to acquire the target image.

目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。画像分割処理モデルを通して、スタイル変換が行われた画像に対して分割処理を行い、目標画像を取得した後、目標画像に含まれる一部の重要な情報をその中から取得することができる。具体的に、画像分割モデルは画像に対して分割処理を行うモデルであり、図２（ｄ）に示されるように、画像分割モデルを通して、画像における画素のコントラスト、明るさ、色の分布などの情報によって、部分的な病巣の画素情報を画像から分割することができる。 The image segmentation target image is divided according to the image segmentation model in the image determination rule so as to acquire the target image. Through the image segmentation processing model, it is possible to perform division processing on an image that has undergone style conversion, acquire a target image, and then acquire some important information contained in the target image. Specifically, the image segmentation model is a model that performs division processing on an image, and as shown in FIG. 2D, the contrast, brightness, color distribution, etc. of pixels in the image are measured through the image segmentation model. With the information, the pixel information of the partial lesion can be segmented from the image.

Ｓ１５３では、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。 In S153, it is determined whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result.

病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。ここで、病巣判定ルールは、目標画像に対して判断分析を行うルールであり、病巣判定ルールによって目標画像に病巣が含まれるか否かの病巣判定結果を取得することができる。 It is determined whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result. Here, the lesion determination rule is a rule for performing discriminant analysis on the target image, and the lesion determination result of whether or not the target image includes a lesion can be obtained by the lesion determination rule.

例えば、病巣判定ルールは、画像におけるハイライトエリアが５０ピクセルを超えると、画像に病巣が含まれることが示され、目標画像に対してコントラスト分析を行うことにより、目標画像におけるハイライトエリアを取得でき、ハイライトエリアが５０ピクセルを超えた場合、該目標画像に病巣が含まれるという病巣判定結果を取得でき、そうではない場合、該目標画像に病巣が含まれていないという病巣判定結果を取得する。 For example, the lesion determination rule indicates that the image contains lesions when the highlight area in the image exceeds 50 pixels, and the highlight area in the target image is acquired by performing contrast analysis on the target image. If the highlight area exceeds 50 pixels, the lesion determination result that the target image contains the lesion can be obtained, and if not, the lesion determination result that the target image does not contain the lesion can be acquired. do.

１つの実施例において、図６に示されるように、ステップＳ１４０の後にサブステップＳ１４１とＳ１４２とが含まれる。 In one embodiment, as shown in FIG. 6, step S140 is followed by substeps S141 and S142.

Ｓ１４１では、前記判定対象画像の撮画機器が前記第１撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。 In S141, when the image pickup device of the determination target image is the first image capture device, the division process is performed on the division target image by the image segmentation model in the image determination rule so as to acquire the target image. conduct.

前記判定対象画像の撮画機器が前記第１撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行う。画像分割処理モデルは第１撮画機器のみに適用され、ほかの撮画機器に適用されないため、判定対象画像の撮画機器が第１撮画機器である場合、目標画像を取得するように、画像分割モデルを通して判定対象画像を直接的に分割処理することができる。 When the image capturing device of the determination target image is the first image capturing device, the image segmentation target image is divided by the image segmentation model in the image segmentation rule so as to acquire the target image. Since the image segmentation processing model is applied only to the first image capture device and not to other image capture devices, when the image capture device of the image to be determined is the first image capture device, the target image is acquired. The image to be determined can be directly divided through the image segmentation model.

Ｓ１４２では、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。 In S142, it is determined whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result.

病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断する。病巣判定ルールによって目標画像に病巣が含まれるか否かの病巣判定結果を取得することができる。 It is determined whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result. According to the lesion determination rule, it is possible to acquire the lesion determination result as to whether or not the target image includes the lesion.

本出願の実施例により提供される画像変換に基づく病巣判定方法において、変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、計算テンプレートによってそれぞれ第１信頼値計算モデル及び第２信頼値計算モデルを生成し、モデルトレーニングルール及び画像ギャラリ並びに第１画像変換モデルを通して第２画像変換モデルに対してトレーニングを行い、且つトレーニング後の第２画像変換モデル及び画像判定ルールによって、病巣が含まれるか否かという病巣判定結果を取得するように、ユーザが入力した判定対象画像を判断し、変換して取得した目標画像とほかの撮画機器のスタイルとを完全に一致させ、画像の変換効率と品質を高める。したがって、病巣の判断の正確率を大幅に高め、実施の適用過程中に優れた技術的効果を取得できる。 In the lesion determination method based on the image conversion provided by the embodiment of the present application, the first image conversion model and the second image conversion model are constructed by the conversion template, respectively, and the first confidence value calculation model and the second are obtained by the calculation template, respectively. A confidence value calculation model is generated, training is performed on the second image conversion model through the model training rule and the image gallery, and the first image conversion model, and the lesion is generated by the second image conversion model and the image judgment rule after the training. The judgment target image input by the user is judged so that the lesion judgment result of whether or not it is included is obtained, and the target image obtained by conversion is completely matched with the style of other imaging devices to obtain the image. Improve conversion efficiency and quality. Therefore, the accuracy rate of lesion determination can be significantly increased and excellent technical effects can be obtained during the application process of implementation.

本出願の実施例は、画像変換に基づく病巣判定装置をさらに提供し、該画像変換に基づく病巣判定装置は前述画像変換に基づく病巣判定方法のいずれか１つの実施例を実行することに用いられる。具体的に、図７に示されるように、図７は、本出願の実施例によって提供される画像変換に基づく病巣判定装置の示唆的なブロック図である。画像変換に基づく病巣判定装置は卓上パソコン、ノートパソコン、タブレットパソコン又は携帯電話などのユーザ端末の中に組み立てられる。 The embodiments of the present application further provide a lesion determination device based on image conversion, and the lesion determination device based on the image conversion is used to execute any one embodiment of the lesion determination method based on the image conversion described above. .. Specifically, as shown in FIG. 7, FIG. 7 is a suggestive block diagram of a lesion determination device based on image transformation provided by the embodiments of the present application. The lesion determination device based on image conversion is assembled in a user terminal such as a desktop personal computer, a laptop personal computer, a tablet personal computer, or a mobile phone.

図７に示されるように、画像変換に基づく病巣判定装置１００は変換モデル構築ユニット１１０、計算モデル生成ユニット１２０、変換モデルトレーニングユニット１３０、撮画機器確定ユニット１４０及び病巣判定結果取得ユニット１５０を備える。 As shown in FIG. 7, the lesion determination device 100 based on image conversion includes a conversion model construction unit 110, a calculation model generation unit 120, a conversion model training unit 130, an imaging device determination unit 140, and a lesion determination result acquisition unit 150. ..

変換モデル構築ユニット１１０は、予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することに用いられ、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる。 The conversion model construction unit 110 is used to construct a first image conversion model and a second image conversion model by a preset conversion template, respectively, and the first image conversion model is taken by a first image capturing device. The image is used to convert the image into an image that matches the style of the image taken by the second imaging device, and the second image conversion model converts the image taken by the second imaging device into a first image. It is used to convert an image that matches the style of the image taken by the image-taking device.

ほかの出願の実施例において、図８に示されるように、前記変換モデル構築ユニット１１０は、第１画像変換モデル構築ユニット１１１及び第２画像変換モデル構築ユニット１１２というサブユニットを備える。 In an embodiment of another application, as shown in FIG. 8, the conversion model construction unit 110 includes subunits of a first image conversion model construction unit 111 and a second image conversion model construction unit 112.

第１画像変換モデル構築ユニット１１１は、前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築することに用いられ、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。 The first image conversion model construction unit 111 is used to construct a first image conversion model based on the conversion template and the first format information of the first imaging device, and the first format information is the first image capture. It is used to characterize the format of images taken by painting equipment.

第２画像変換モデル構築ユニット１１２は、前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築することに用いられ、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる。 The second image conversion model construction unit 112 is used to construct a second image conversion model based on the conversion template and the second format information of the second image capture device, and the second format information is the second image capture. It is used to characterize the format of images taken by painting equipment.

計算モデル生成ユニット１２０は、予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成することに用いられ、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行う。 The calculation model generation unit 120 is used to generate a first confidence value calculation model and a second confidence value calculation model by a preset calculation template, and the first confidence value calculation model is the first confidence value calculation. It is used to quantify the degree of style similarity between the image input to the model and the image taken by the second imaging device, and the second confidence value calculation model is the second confidence. The degree of style similarity between the image input to the value calculation model and the image taken by the first imaging device is quantified.

変換モデルトレーニングユニット１３０は、トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことに用いられる。 The transformation model training unit 130 uses the preset model training rules and the preset image gallery to acquire the second image transformation model after training, and the first confidence value calculation model and the second confidence. It is used to train the second image conversion model by combining the value calculation model and the first image conversion model.

ほかの出願の実施例において、図９に示されるように、前記変換モデルトレーニングユニット１３０は、画像取得ユニット１３１、トレーニング損失値計算ユニット１３２及びパラメータ値調整ユニット１３３というサブユニットを備える。 In an embodiment of another application, as shown in FIG. 9, the conversion model training unit 130 includes subunits of an image acquisition unit 131, a training loss value calculation unit 132, and a parameter value adjustment unit 133.

画像取得ユニット１３１は、前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得することに用いられ、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像集であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合である。トレーニング損失値計算ユニット１３２は、トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することに用いられる。パラメータ値調整ユニット１３３は、前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うことに用いられる。 The image acquisition unit 131 is used to acquire one first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery, and the first image collection. Is an image collection consisting of images taken by the first imaging device, and the second image collection is a collection of images composed of images taken by the second imaging device. The training loss value calculation unit 132 has the first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the training loss value calculation unit 132 so as to acquire the training loss value. The second image conversion model is used to input and calculate the loss function in the model training rule. The parameter value adjustment unit 133 combines the parameter adjustment rule in the model training rule and the training loss value into the parameter value in the second image conversion model so as to complete the primary training for the second image conversion model. It is used to make adjustments.

撮画機器確定ユニット１４０は、ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することに用いられる。 After receiving the determination target image input by the user, the image capture device determination unit 140 determines whether or not the image capture device of the determination target image is the first image capture device based on the collection source information of the determination target image. Used to confirm.

病巣判定結果取得ユニット１５０は、前記判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することに用いられる。 The lesion determination result acquisition unit 150 has a preset image determination rule and the second image after training so as to acquire the lesion determination result when the image capture device for the image to be determined is not the first image capture device. The image conversion model is used to determine whether or not the determination target image contains a lesion.

ほかの出願の実施例において、図１０に示されるように、前記病巣判定結果取得ユニット１５０は、画像変換ユニット１５１、第１分割処理ユニット１５２及び第１病巣判定ユニット１５３というサブユニットを備える。 In an embodiment of another application, as shown in FIG. 10, the lesion determination result acquisition unit 150 includes subunits of an image conversion unit 151, a first division processing unit 152, and a first lesion determination unit 153.

画像変換ユニット１５１は、分割対象画像を取得するように、前記第２画像変換モデルによって前記判定対象画像を変換することに用いられる。第１分割処理ユニット１５２は、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことに用いられる。第１病巣判定ユニット１５３は、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することに用いられる。 The image conversion unit 151 is used to convert the determination target image by the second image conversion model so as to acquire the division target image. The first division processing unit 152 is used to perform division processing on the division target image by the image division model in the image determination rule so as to acquire the target image. The first lesion determination unit 153 is used to determine whether or not a lesion is included in the target image according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result.

ほかの出願の実施例において、図１１に示されるように、前記画像変換に基づく病巣判定装置１００は、第２分割処理ユニット１４１及び第２病巣判定ユニット１４２というサブユニットを備える。 In the embodiment of another application, as shown in FIG. 11, the lesion determination device 100 based on the image conversion includes subunits of the second division processing unit 141 and the second lesion determination unit 142.

第２分割処理ユニット１４１は、前記判定対象画像の撮画機器が前記第１撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記判定対象画像に対して分割処理を行うことに用いられる。第２病巣判定ユニット１４２は、病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することに用いられる。 The second division processing unit 141 uses the image segmentation model in the image determination rule to obtain the target image when the image capture device for the determination target image is the first image capture device. On the other hand, it is used to perform division processing. The second lesion determination unit 142 is used to determine whether or not a lesion is included in the target image according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result.

本出願の実施例により提供される画像変換に基づく病巣判定装置は、上記画像変換に基づく病巣判定方法を用い、変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、計算テンプレートによってそれぞれ第１信頼値計算モデル及び第２信頼値計算モデルを生成し、モデルトレーニングルール、画像ギャラリ並びに第１画像変換モデルを通して第２画像変換モデルに対してトレーニングを行い、且つユーザが入力した判定対象画像の撮画機器を確定し、画像判定ルール及びトレーニング後の第２画像変換モデルによって、病巣判定結果を取得するように、ユーザが入力した判定対象画像を判断し、変換して取得した目標画像とほかの撮画機器のスタイルとを完全に一致させ、画像の変換効率と品質を高める。したがって、病巣の判断の正確率を大幅に高め、実施の適用過程中に優れた技術的効果を取得できる。 The lesion determination device based on the image conversion provided by the embodiment of the present application uses the lesion determination method based on the above image conversion, constructs the first image conversion model and the second image conversion model by the conversion template, respectively, and calculates the calculation template. Generates a first confidence value calculation model and a second confidence value calculation model, respectively, and trains the second image conversion model through the model training rule, the image gallery, and the first image conversion model, and makes a judgment input by the user. The target image acquired by determining the image to be determined by the user so as to determine the image capturing device of the target image and acquire the lesion determination result by the image determination rule and the second image conversion model after training. Perfectly match the style of the image with the style of other imaging equipment to improve the efficiency and quality of image conversion. Therefore, the accuracy rate of lesion determination can be significantly increased and excellent technical effects can be obtained during the application process of implementation.

上記画像変換に基づく病巣判定装置はコンピュータプログラムの形式で実現され、該コンピュータプログラムは図１２に示されるコンピュータ機器で実行可能である。
図１２に示されるように、図１２は、本出願の実施例によって提供されるコンピュータ機器の示唆的なブロック図である。 The lesion determination device based on the image conversion is realized in the form of a computer program, and the computer program can be executed by the computer device shown in FIG.
As shown in FIG. 12, FIG. 12 is a suggestive block diagram of the computer equipment provided by the embodiments of the present application.

図１２に示されるように、該コンピュータ機器５００は、システムバス５０１で接続されるプロセッサ５０２、メモリ及びネットワークインターフェース５０５を備え、メモリは不揮発性記憶媒体５０３と内部メモリ５０４とを備えることができる。 As shown in FIG. 12, the computer device 500 includes a processor 502, a memory and a network interface 505 connected by a system bus 501, and the memory can include a non-volatile storage medium 503 and an internal memory 504.

該不揮発性記憶媒体５０３は、オペレーティングシステム５０３１とコンピュータプログラム５０３２とを記憶することができる。該コンピュータプログラム５０３２は実行される際、プロセッサ５０２が画像変換に基づく病巣判定方法を実行する。 The non-volatile storage medium 503 can store the operating system 5031 and the computer program 5032. When the computer program 5032 is executed, the processor 502 executes a lesion determination method based on image conversion.

該プロセッサ５０２は計算と制御能力とを提供し、コンピュータ機器５００全体の実行をサポートすることに用いられる。 The processor 502 provides computing and control capabilities and is used to support the execution of the entire computer equipment 500.

該内部メモリ５０４は不揮発性記憶媒体５０３におけるコンピュータプログラム５０３２の実行に環境を提供し、該コンピュータプログラム５０３２はプロセッサにより実行される際、プロセッサ５０２が画像変換に基づく病巣判定方法を実行する。 The internal memory 504 provides an environment for the execution of the computer program 5032 in the non-volatile storage medium 503, and when the computer program 5032 is executed by the processor, the processor 502 executes a lesion determination method based on image conversion.

該ネットワークインターフェース５０５は、データ情報を伝送するなどのネットワーク通信を行うことに用いられる。当業者であれば、図１２に示される構造は、本出願の解決手段に関連する一部の構造のブロック図のみであり、本出願の解決手段が提供されるコンピュータ機器５００への限定ではなく、具体的なコンピュータ機器５００は図に示される部材よりも多いか少ない部材を備えてもよく、或いは一部の部材を組み合わせ、或いは異なる部材の配置を備えてもよいことが理解される。 The network interface 505 is used for performing network communication such as transmitting data information. For those skilled in the art, the structure shown in FIG. 12 is only a block diagram of some of the structures related to the means of solution of the present application, and is not limited to the computer device 500 provided with the means of solution of the present application. It is understood that the specific computer device 500 may include more or less members than the members shown in the figure, or may be a combination of some members or may have different arrangements of members.

ここで、前記プロセッサ５０２は、本出願の実施例の画像変換に基づく病巣判定方法を実現するように、メモリに記憶されるコンピュータプログラム５０３２を実行することに用いられる。 Here, the processor 502 is used to execute a computer program 5032 stored in a memory so as to realize a lesion determination method based on the image conversion of the embodiment of the present application.

当業者であれば、図１２に示されるコンピュータ機器の実施例は、コンピュータ機器に対する具体的な限定を構成せず、ほかの実施例において、コンピュータ機器は、図に示される部材よりも多いか少ない部材を備えてもよく、或いは一部の部材を組み合わせ、或いは異なる部材の配置を備えてもよいことが理解される。例えば、一部の実施例において、コンピュータ機器はメモリ及びプロセッサのみを備えてもよく、これらの実施例において、メモリ及びプロセッサの構造並びに機能は図１２に示される実施例に一致し、ここで贅言しない。 For those skilled in the art, the computer device embodiment shown in FIG. 12 does not constitute a specific limitation to the computer device, and in other embodiments, the computer device is more or less than the members shown in the figure. It is understood that members may be provided, some members may be combined, or different arrangements of members may be provided. For example, in some embodiments, the computer equipment may include only the memory and processor, in which the structure and function of the memory and processor are consistent with the embodiments shown in FIG. do not.

本出願の実施例において、プロセッサ５０２は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）であってもよく、該プロセッサ５０２はさらにほかの汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、現場でプログラム可能なゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）又はほかのプログラム可能なロジックデバイス、ディスクリートコンポーネントゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよいことが理解すべきである。ここで、汎用プロセッサはマイクロプロセッサであってもよく、該プロセッサはいずれかの一般的なプロセッサなどでもよい。 In the embodiments of the present application, the processor 502 may be a central processing unit (CPU), and the processor 502 may be another general-purpose processor, a digital signal processor (DSP), or a specific application. With integrated circuits (Application Specific Integrated Circuits, ASICs), field programmable gate arrays (Field-Programbulable Gate Array, FPGA) or other programmable logic devices, discrete component gates or transistor logic devices, discrete hardware components, etc. It should be understood that it may be. Here, the general-purpose processor may be a microprocessor, and the processor may be any general processor or the like.

本出願のほかの実施例において、コンピュータ可読記憶媒体が提供される。該コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。該コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行される際、本出願の実施例の画像変換に基づく病巣判定方法を実現する。 In other embodiments of the present application, computer readable storage media are provided. The computer-readable storage medium may be a non-volatile computer-readable storage medium. When the computer program is stored in the computer-readable storage medium and the computer program is executed by the processor, a lesion determination method based on the image conversion of the embodiment of the present application is realized.

前記記憶媒体は物理的、非一時的な記憶媒体であり、例えば、Ｕフラッシュディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ディスク又はＣＤなどのようなプログラムコード記憶可能な物理的な記憶媒体であってもよい。
なお、当業者であれば、上記設備、装置及びユニットの具体的な実現過程は、前述実施例における対応する説明を参考にすることができ、説明の簡潔さのため、ここで省略することははっきり了解される。
以上は、本発明の好適な実施例であり、発明に対しあらゆる形式上の限定をしない。当業者が上記実施例に基づいて様々な同等な変更や改良を加えることができ、特許請求の範囲内に為す同等な変化や修飾は、いずれも本発明の範囲内に含まれる。 The storage medium is a physical or non-temporary storage medium, such as a U-flash disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a disk, or a physical device capable of storing a program code such as a CD. Storage medium may be used.
It should be noted that those skilled in the art can refer to the corresponding explanations in the above-described embodiments for the specific realization process of the above-mentioned equipment, appliances and units, and for the sake of brevity of the explanation, they may be omitted here. It is clearly understood.
The above is a preferred embodiment of the present invention and does not limit the invention in any form. Various equivalent changes and improvements can be made by those skilled in the art based on the above embodiments, and any equivalent changes and modifications made within the scope of the claims are included within the scope of the present invention.

（付記）
（付記１）
画像変換に基づく病巣判定方法であって、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を備える画像変換に基づく病巣判定方法。 (Additional note)
(Appendix 1)
It is a lesion determination method based on image conversion.
A first image conversion model and a second image conversion model are constructed by a preset conversion template, respectively, and the first image conversion model captures an image taken by the first image taking device by the second image taking device. Used to convert an image that matches the style of the image taken, the second image conversion model transforms the image taken by the second image capture device into the style of the image taken by the first image capture device. Used to convert to a matching image and
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. It is used to quantify the degree of style similarity with the image taken by the first imaging device.
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. By matching the image conversion model and training the second image conversion model,
After receiving the determination target image input by the user, it is determined by the collection source information of the determination target image whether or not the imaging device of the determination target image is the first imaging device.
When the image-taking device of the image to be determined is not the first image-taking device, the image to be determined is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A method for determining a lesion based on image conversion, which comprises determining whether or not a lesion is included in the image.

（付記２）
前記予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築し、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築し、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記１に記載の画像変換に基づく病巣判定方法。 (Appendix 2)
To construct the first image conversion model and the second image conversion model by the preset conversion template, respectively,
The first image conversion model is constructed by the conversion template and the first format information of the first imaging device, and the first format information is used to characterize the format of the image taken by the first imaging device. To be done
A second image conversion model is constructed from the conversion template and the second format information of the second imaging device, and the second format information is used to characterize the format of the image taken by the second imaging device. The method for determining a lesion based on the image conversion according to Appendix 1, wherein the method is to be used.

（付記３）
前記トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得し、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像の集合であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記１に記載の画像変換に基づく病巣判定方法。 (Appendix 3)
The first confidence value calculation model, the second confidence value calculation model, and the first confidence value calculation model are obtained by the preset model training rule and the preset image gallery so as to acquire the second image conversion model after the training. Training the second image conversion model by combining one image conversion model is not possible.
One first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are acquired, and the first image collection is taken by the first image capturing device. It is a set of images made up of images, and the second image collection is a set of images made up of images taken by a second imaging device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. Entering and calculating the loss function in the model training rule,
In order to complete the primary training for the second image conversion model, the parameter adjustment rule in the model training rule and the training loss value are combined to adjust the parameter value in the second image conversion model. , A method for determining a lesion based on the image conversion according to Appendix 1.

（付記４）
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第２画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える付記１に記載の画像変換に基づく病巣判定方法。 (Appendix 4)
It is not possible to determine whether or not a lesion is included in the image to be determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result.
Converting the determination target image by the second image conversion model so as to acquire the division target image, and
The image segmentation model in the image segmentation rule is used to perform segmentation processing on the image to be segmented so as to acquire the target image.
The method for determining a lesion based on the image conversion according to Appendix 1, comprising determining whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result.

（付記５）
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第１撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える付記４に記載の画像変換に基づく病巣判定方法。 (Appendix 5)
It is possible to determine whether or not the image pickup device for the determination target image is the first image capture device based on the collection source information of the determination target image described above.
When the image capturing device of the determination target image is the first image capturing device, the image segmentation target image is divided by the image segmentation model in the image segmentation rule so as to acquire the target image. ,
The lesion determination method based on the image conversion according to Appendix 4, further comprising determining whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result. ..

（付記６）
前記第１画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第２画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える付記１に記載の画像変換に基づく病巣判定方法。 (Appendix 6)
The first image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer, and the second image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer. Focal determination method.

（付記７）
前記第１信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第２信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える付記１に記載の画像変換に基づく病巣判定方法。 (Appendix 7)
The first confidence value calculation model includes a convolution layer, a fully connected layer, and an output node, and the second confidence value calculation model includes a convolution layer, a fully connected layer, and an output node. Focal determination method.

（付記８）
画像変換に基づく病巣の判定装置であって、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することに用いられ、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える画像変換に基づく病巣判定装置。 (Appendix 8)
It is a lesion determination device based on image conversion.
It is used to construct a first image conversion model and a second image conversion model by a preset conversion template, respectively, and the first image conversion model is a second image taken by a first image capturing device. Used to convert an image that matches the style of the image taken by the drawing device, the second image conversion model takes an image taken by the second taking picture device by the first taking picture device. A conversion model building unit used to convert to an image that matches the style of the image, and
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. A computational model generation unit used to quantify the degree of style similarity to images taken by the first imaging device,
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. A conversion model training unit for training the second image conversion model together with the image conversion model, and
After receiving the determination target image input by the user, the imaging device for determining whether or not the imaging device for the determination target image is the first imaging device is determined by the collection source information of the determination target image. With the unit,
When the image pickup device of the determination target image is not the first image pickup device, the determination target is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A lesion determination device based on image conversion, comprising a lesion determination result acquisition unit for determining whether or not an image contains a lesion.

（付記９）
前記変換モデル構築ユニットは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築することに用いられ、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第１画像変換モデル構築ユニットと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築することに用いられ、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第２画像変換モデル構築ユニットと、を備える付記８に記載の画像変換に基づく病巣判定装置。 (Appendix 9)
The transformation model construction unit is
It is used to construct the first image conversion model by the conversion template and the first format information of the first imaging device, and the first format information is the format of the image taken by the first imaging device. The first image conversion model building unit used for characterization and
It is used to construct a second image conversion model by the conversion template and the second format information of the second imaging device, and the second format information is the format of the image taken by the second imaging device. A lesion determination device based on the image conversion according to Appendix 8, comprising a second image conversion model construction unit used for characterizing.

（付記１０）
前記変換モデルトレーニングユニットは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得することに用いられ、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像集であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合である画像取得ユニットと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算するためのトレーニング損失値計算ユニットと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うためのパラメータ値調整ユニットと、を備える付記８に記載の画像変換に基づく病巣判定装置。 (Appendix 10)
The transformation model training unit
It is used to acquire one first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery, and the first image collection is the first image taken. It is an image collection consisting of images taken by an image device, and the second image collection is an image acquisition unit which is a collection of images composed of images taken by a second image device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. A training loss value calculation unit for inputting and calculating the loss function in the model training rule,
To adjust the parameter value in the second image conversion model by combining the parameter adjustment rule in the model training rule and the training loss value so as to complete the primary training for the second image conversion model. A lesion determination device based on the image conversion according to Appendix 8, comprising a parameter value adjusting unit.

（付記１１）
メモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは、前記コンピュータプログラムを実行する際、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられるステップと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられるステップと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うステップと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定するステップと、
判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するステップと、を実行する画像変換に基づくコンピュータ機器。 (Appendix 11)
A computer device comprising a memory, a processor, and a computer program stored in the memory and capable of being executed by the processor, wherein the processor executes the computer program.
A first image conversion model and a second image conversion model are constructed by a preset conversion template, respectively, and the first image conversion model captures an image taken by the first image taking device by the second image taking device. Used to convert an image that matches the style of the image taken, the second image conversion model transforms the image taken by the second image capture device into the style of the image taken by the first image capture device. The steps used to convert to a matching image,
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. The steps used to quantify the style similarity to the image taken by the first imaging device,
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. The step of combining the image conversion model and training the second image conversion model, and
After receiving the determination target image input by the user, a step of determining whether or not the imaging device of the determination target image is the first imaging device based on the collection source information of the determination target image, and
When the image-taking device of the image to be determined is not the first image-taking device, the image to be determined is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A computer device based on image conversion that performs steps to determine if a lesion is included in the image.

（付記１２）
前記予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築し、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築し、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記１１に記載の画像変換に基づくコンピュータ機器。 (Appendix 12)
To construct the first image conversion model and the second image conversion model by the preset conversion template, respectively,
The first image conversion model is constructed by the conversion template and the first format information of the first imaging device, and the first format information is used to characterize the format of the image taken by the first imaging device. To be done
A second image conversion model is constructed from the conversion template and the second format information of the second imaging device, and the second format information is used to characterize the format of the image taken by the second imaging device. A computer device based on the image conversion according to Appendix 11, comprising:

（付記１３）
前記トレーニング後の第２画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得し、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像の集合であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記１１に記載の画像変換に基づくコンピュータ機器。 (Appendix 13)
The first confidence value calculation model, the second confidence value calculation model, and the said by the preset model training rule and the preset image gallery so as to acquire the second image conversion model after the training. Training the second image conversion model together with the first image conversion model is not possible.
One first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are acquired, and the first image collection is taken by the first image capturing device. It is a set of images made up of images, and the second image collection is a set of images made up of images taken by a second imaging device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. Entering and calculating the loss function in the model training rule,
In order to complete the primary training for the second image conversion model, the parameter adjustment rule in the model training rule and the training loss value are combined to adjust the parameter value in the second image conversion model. , A computer device based on the image conversion according to Appendix 11.

（付記１４）
病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第２画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える付記１１に記載の画像変換に基づくコンピュータ機器。 (Appendix 14)
It is not possible to determine whether or not a lesion is included in the image to be determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result.
Converting the determination target image by the second image conversion model so as to acquire the division target image, and
The image segmentation model in the image segmentation rule is used to perform segmentation processing on the image to be segmented so as to acquire the target image.
A computer device based on the image conversion according to the appendix 11, comprising determining whether or not a lesion is included in the target image according to the lesion determination rule in the image determination rule so as to acquire a lesion determination result.

（付記１５）
前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第１撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える付記１４に記載の画像変換に基づくコンピュータ機器。 (Appendix 15)
It is possible to determine whether or not the image pickup device for the determination target image is the first image capture device based on the collection source information of the determination target image described above.
When the image capturing device of the determination target image is the first image capturing device, the image segmentation target image is divided by the image segmentation model in the image segmentation rule so as to acquire the target image. ,
The computer device based on the image conversion according to the appendix 14, further comprising determining whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result.

（付記１６）
前記第１画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第２画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える付記１１に記載の画像変換に基づくコンピュータ機器。 (Appendix 16)
The first image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer, and the second image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer. Computer equipment.

（付記１７）
前記第１信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第２信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える付記１１に記載の画像変換に基づくコンピュータ機器。 (Appendix 17)
The first confidence value calculation model includes a convolution layer, a fully connected layer, and an output node, and the second confidence value calculation model includes a convolution layer, a fully connected layer, and an output node. Computer equipment.

（付記１８）
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは、予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を実行する画像変換に基づく記憶媒体。 (Appendix 18)
A computer-readable storage medium in which a computer program is stored, and when the computer program is executed by a processor, the processor constructs a first image conversion model and a second image conversion model by a preset conversion template, respectively. However, the first image conversion model is used to convert an image taken by the first imaging device into an image that matches the style of the image taken by the second imaging device, and the second image. The conversion model is used to convert an image taken by the second imaging device into an image that matches the style of the image taken by the first imaging device.
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. It is used to quantify the degree of style similarity with the image taken by the first imaging device.
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. By matching the image conversion model and training the second image conversion model,
After receiving the determination target image input by the user, it is determined by the collection source information of the determination target image whether or not the imaging device of the determination target image is the first imaging device.
When the image-taking device of the image to be determined is not the first image-taking device, the image to be determined is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A storage medium based on image conversion to determine if a lesion is included and to perform.

（付記１９）
前記予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築し、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築し、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える付記１８に記載の画像変換に基づく記憶媒体。 (Appendix 19)
To construct the first image conversion model and the second image conversion model by the preset conversion template, respectively,
The first image conversion model is constructed by the conversion template and the first format information of the first imaging device, and the first format information is used to characterize the format of the image taken by the first imaging device. To be done
A second image conversion model is constructed from the conversion template and the second format information of the second imaging device, and the second format information is used to characterize the format of the image taken by the second imaging device. The storage medium based on the image conversion according to the appendix 18, which comprises the above.

（付記２０）
前記トレーニング後の第２画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得し、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像の集合であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える付記１８に記載の画像変換に基づく記憶媒体。 (Appendix 20)
The first confidence value calculation model, the second confidence value calculation model, and the said by the preset model training rule and the preset image gallery so as to acquire the second image conversion model after the training. Training the second image conversion model together with the first image conversion model is not possible.
One first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are acquired, and the first image collection is taken by the first image capturing device. It is a set of images made up of images, and the second image collection is a set of images made up of images taken by a second imaging device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. Entering and calculating the loss function in the model training rule,
In order to complete the primary training for the second image conversion model, the parameter adjustment rule in the model training rule and the training loss value are combined to make adjustments to the parameter values in the second image conversion model. , A storage medium based on the image conversion according to Appendix 18.

Claims (20)

画像変換に基づく病巣判定方法であって、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を備える画像変換に基づく病巣判定方法。 It is a lesion determination method based on image conversion.
A first image conversion model and a second image conversion model are constructed by a preset conversion template, respectively, and the first image conversion model captures an image taken by the first image taking device by the second image taking device. Used to convert an image that matches the style of the image taken, the second image conversion model transforms the image taken by the second image capture device into the style of the image taken by the first image capture device. Used to convert to a matching image and
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. It is used to quantify the degree of style similarity with the image taken by the first imaging device.
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. By matching the image conversion model and training the second image conversion model,
After receiving the determination target image input by the user, it is determined by the collection source information of the determination target image whether or not the imaging device of the determination target image is the first imaging device.
When the image-taking device of the image to be determined is not the first image-taking device, the image to be determined is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A method for determining a lesion based on image conversion, which comprises determining whether or not a lesion is included in the image. 前記予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築し、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築し、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項１に記載の画像変換に基づく病巣判定方法。 To construct the first image conversion model and the second image conversion model by the preset conversion template, respectively,
The first image conversion model is constructed by the conversion template and the first format information of the first imaging device, and the first format information is used to characterize the format of the image taken by the first imaging device. To be done
A second image conversion model is constructed from the conversion template and the second format information of the second imaging device, and the second format information is used to characterize the format of the image taken by the second imaging device. The method for determining a lesion based on the image conversion according to claim 1, further comprising the above. 前記トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得し、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像の集合であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項１に記載の画像変換に基づく病巣判定方法。 The first confidence value calculation model, the second confidence value calculation model, and the first confidence value calculation model are obtained by the preset model training rule and the preset image gallery so as to acquire the second image conversion model after the training. Training the second image conversion model by combining one image conversion model is not possible.
One first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are acquired, and the first image collection is taken by the first image capturing device. It is a set of images made up of images, and the second image collection is a set of images made up of images taken by a second imaging device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. Entering and calculating the loss function in the model training rule,
In order to complete the primary training for the second image conversion model, the parameter adjustment rule in the model training rule and the training loss value are combined to make adjustments to the parameter values in the second image conversion model. The method for determining a lesion based on the image conversion according to claim 1. 病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第２画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える請求項１に記載の画像変換に基づく病巣判定方法。 It is not possible to determine whether or not a lesion is included in the image to be determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result.
Converting the determination target image by the second image conversion model so as to acquire the division target image, and
The image segmentation model in the image segmentation rule is used to perform segmentation processing on the image to be segmented so as to acquire the target image.
The lesion determination method based on the image conversion according to claim 1, wherein it is determined whether or not the target image includes a lesion by the lesion determination rule in the image determination rule so as to acquire the lesion determination result. .. 前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第１撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える請求項４に記載の画像変換に基づく病巣判定方法。 It is possible to determine whether or not the image pickup device for the determination target image is the first image capture device based on the collection source information of the determination target image described above.
When the image capturing device of the determination target image is the first image capturing device, the image segmentation target image is divided by the image segmentation model in the image segmentation rule so as to acquire the target image. ,
The lesion determination based on the image conversion according to claim 4, further comprising determining whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result. Method. 前記第１画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第２画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える請求項１に記載の画像変換に基づく病巣判定方法。 The image conversion according to claim 1, wherein the first image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer, and the second image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer. Based on lesion determination method. 前記第１信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第２信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える請求項１に記載の画像変換に基づく病巣判定方法。 The image conversion according to claim 1, wherein the first confidence value calculation model includes a convolution layer, a fully connected layer, and an output node, and the second confidence value calculation model includes a convolution layer, a fully connected layer, and an output node. Based on lesion determination method. 画像変換に基づく病巣の判定装置であって、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することに用いられ、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられる変換モデル構築ユニットと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられる計算モデル生成ユニットと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うための変換モデルトレーニングユニットと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定するための撮画機器確定ユニットと、
前記判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するための病巣判定結果取得ユニットと、を備える画像変換に基づく病巣判定装置。 It is a lesion determination device based on image conversion.
It is used to construct a first image conversion model and a second image conversion model by a preset conversion template, respectively, and the first image conversion model is a second image taken by a first image capturing device. Used to convert an image that matches the style of the image taken by the drawing device, the second image conversion model takes an image taken by the second taking picture device by the first taking picture device. A conversion model building unit used to convert to an image that matches the style of the image, and
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. A computational model generation unit used to quantify the degree of style similarity to images taken by the first imaging device,
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. A conversion model training unit for training the second image conversion model together with the image conversion model, and
After receiving the determination target image input by the user, the imaging device for determining whether or not the imaging device for the determination target image is the first imaging device is determined by the collection source information of the determination target image. With the unit,
When the image pickup device of the determination target image is not the first image pickup device, the determination target is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A lesion determination device based on image conversion, comprising a lesion determination result acquisition unit for determining whether or not an image contains a lesion. 前記変換モデル構築ユニットは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築することに用いられ、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第１画像変換モデル構築ユニットと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築することに用いられ、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられる第２画像変換モデル構築ユニットと、を備える請求項８に記載の画像変換に基づく病巣判定装置。 The transformation model construction unit is
It is used to construct the first image conversion model by the conversion template and the first format information of the first imaging device, and the first format information is the format of the image taken by the first imaging device. The first image conversion model building unit used for characterization and
It is used to construct a second image conversion model by the conversion template and the second format information of the second imaging device, and the second format information is the format of the image taken by the second imaging device. The lesion determination device based on the image conversion according to claim 8, further comprising a second image conversion model construction unit used for characterizing. 前記変換モデルトレーニングユニットは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得することに用いられ、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像集であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合である画像取得ユニットと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算するためのトレーニング損失値計算ユニットと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うためのパラメータ値調整ユニットと、を備える請求項８に記載の画像変換に基づく病巣判定装置。 The transformation model training unit
It is used to acquire one first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery, and the first image collection is the first image taken. It is an image collection consisting of images taken by an image device, and the second image collection is an image acquisition unit which is a collection of images composed of images taken by a second image device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. A training loss value calculation unit for inputting and calculating the loss function in the model training rule,
To adjust the parameter value in the second image conversion model by combining the parameter adjustment rule in the model training rule and the training loss value so as to complete the primary training for the second image conversion model. The lesion determination device based on the image conversion according to claim 8, further comprising a parameter value adjusting unit. メモリ、プロセッサ及び前記メモリに記憶され、且つ前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは、前記コンピュータプログラムを実行する際、
予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられるステップと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられるステップと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うステップと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定するステップと、
判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断するステップと、を実行する画像変換に基づくコンピュータ機器。 A computer device comprising a memory, a processor, and a computer program stored in the memory and capable of being executed by the processor, wherein the processor executes the computer program.
A first image conversion model and a second image conversion model are constructed by a preset conversion template, respectively, and the first image conversion model captures an image taken by the first image taking device by the second image taking device. Used to convert an image that matches the style of the image taken, the second image conversion model transforms the image taken by the second image capture device into the style of the image taken by the first image capture device. The steps used to convert to a matching image,
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. The steps used to quantify the style similarity to the image taken by the first imaging device,
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. The step of combining the image conversion model and training the second image conversion model, and
After receiving the determination target image input by the user, a step of determining whether or not the imaging device of the determination target image is the first imaging device based on the collection source information of the determination target image, and
When the image-taking device of the image to be determined is not the first image-taking device, the image to be determined is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A computer device based on image conversion that performs steps to determine if a lesion is included in the image. 前記予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築し、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築し、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項１１に記載の画像変換に基づくコンピュータ機器。 To construct the first image conversion model and the second image conversion model by the preset conversion template, respectively,
The first image conversion model is constructed by the conversion template and the first format information of the first imaging device, and the first format information is used to characterize the format of the image taken by the first imaging device. To be done
A second image conversion model is constructed from the conversion template and the second format information of the second imaging device, and the second format information is used to characterize the format of the image taken by the second imaging device. A computer device based on the image conversion according to claim 11, wherein the image conversion is performed. 前記トレーニング後の第２画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得し、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像の集合であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項１１に記載の画像変換に基づくコンピュータ機器。 The first confidence value calculation model, the second confidence value calculation model, and the said by the preset model training rule and the preset image gallery so as to acquire the second image conversion model after the training. Training the second image conversion model together with the first image conversion model is not possible.
One first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are acquired, and the first image collection is taken by the first image capturing device. It is a set of images made up of images, and the second image collection is a set of images made up of images taken by a second imaging device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. Entering and calculating the loss function in the model training rule,
In order to complete the primary training for the second image conversion model, the parameter adjustment rule in the model training rule and the training loss value are combined to adjust the parameter value in the second image conversion model. A computer device based on the image conversion according to claim 11. 病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することは、
分割対象画像を取得するように、前記第２画像変換モデルによって前記判定対象画像を変換することと、
目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、を備える請求項１１に記載の画像変換に基づくコンピュータ機器。 It is not possible to determine whether or not a lesion is included in the image to be determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result.
Converting the determination target image by the second image conversion model so as to acquire the division target image, and
The image segmentation model in the image segmentation rule is used to perform segmentation processing on the image to be segmented so as to acquire the target image.
The computer device based on the image conversion according to claim 11, wherein the target image is determined whether or not the target image includes a lesion according to the lesion determination rule in the image determination rule so as to acquire the lesion determination result. 前記した前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することは、
前記判定対象画像の撮画機器が前記第１撮画機器である場合、目標画像を取得するように、前記画像判定ルールにおける画像分割モデルによって、前記分割対象画像に対して分割処理を行うことと、
病巣判定結果を取得するように、前記画像判定ルールにおける病巣判定ルールによって前記目標画像に病巣が含まれるか否かを判断することと、をさらに備える請求項１４に記載の画像変換に基づくコンピュータ機器。 It is possible to determine whether or not the image pickup device for the determination target image is the first image capture device based on the collection source information of the determination target image described above.
When the image capturing device of the determination target image is the first image capturing device, the image segmentation target image is divided by the image segmentation model in the image segmentation rule so as to acquire the target image. ,
The computer device based on the image conversion according to claim 14, further comprising determining whether or not the target image includes a lesion by the lesion determination rule in the image determination rule so as to acquire the lesion determination result. .. 前記第１画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備え、前記第２画像変換モデルはズーミング処理レイヤ、コンボリューションレイヤ及びデコンボリューションレイヤを備える請求項１１に記載の画像変換に基づくコンピュータ機器。 The image conversion according to claim 11, wherein the first image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer, and the second image conversion model includes a zooming processing layer, a convolution layer, and a deconvolution layer. Based on computer equipment. 前記第１信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備え、前記第２信頼値計算モデルはコンボリューションレイヤ、完全接続レイヤ及び出力ノードを備える請求項１１に記載の画像変換に基づくコンピュータ機器。 The image conversion according to claim 11, wherein the first confidence value calculation model includes a convolution layer, a fully connected layer, and an output node, and the second confidence value calculation model includes a convolution layer, a fully connected layer, and an output node. Based on computer equipment. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際、前記プロセッサは、予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築し、前記第１画像変換モデルは、第１撮画機器によって撮られた画像を、第２撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられ、前記第２画像変換モデルは、第２撮画機器によって撮られた画像を、第１撮画機器によって撮られた画像のスタイルに一致する画像に変換することに用いられることと、
予め設定された計算テンプレートによって第１信頼値計算モデル及び第２信頼値計算モデルを生成し、前記第１信頼値計算モデルは、前記第１信頼値計算モデルに入力された画像と、前記第２撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられ、前記第２信頼値計算モデルは、前記第２信頼値計算モデルに入力された画像と、前記第１撮画機器によって撮られた画像とのスタイルの類似度に対して数量化を行うことに用いられることと、
トレーニング後の第２画像変換モデルを取得するように、予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことと、
ユーザが入力した判定対象画像を受信した後、前記判定対象画像の収集ソース情報によって、前記判定対象画像の撮画機器が第１撮画機器であるか否かを確定することと、
判定対象画像の撮画機器が前記第１撮画機器ではない場合、病巣判定結果を取得するように、予め設定された画像判定ルール及びトレーニング後の前記第２画像変換モデルによって、前記判定対象画像に病巣が含まれるか否かを判断することと、を実行する画像変換に基づく記憶媒体。 A computer-readable storage medium in which a computer program is stored, and when the computer program is executed by a processor, the processor constructs a first image conversion model and a second image conversion model by a preset conversion template, respectively. However, the first image conversion model is used to convert an image taken by the first imaging device into an image that matches the style of the image taken by the second imaging device, and the second image. The conversion model is used to convert an image taken by the second imaging device into an image that matches the style of the image taken by the first imaging device.
A first confidence value calculation model and a second confidence value calculation model are generated by a preset calculation template, and the first confidence value calculation model is an image input to the first confidence value calculation model and the second confidence value calculation model. It is used to quantify the degree of style similarity to the image taken by the image-taking device, and the second confidence value calculation model is the image input to the second confidence value calculation model and the above. It is used to quantify the degree of style similarity with the image taken by the first imaging device.
The first confidence value calculation model, the second confidence value calculation model, and the first one are based on a preset model training rule and a preset image gallery so as to acquire a second image conversion model after training. By matching the image conversion model and training the second image conversion model,
After receiving the determination target image input by the user, it is determined by the collection source information of the determination target image whether or not the imaging device of the determination target image is the first imaging device.
When the image-taking device of the image to be determined is not the first image-taking device, the image to be determined is determined by the image determination rule set in advance and the second image conversion model after training so as to acquire the lesion determination result. A storage medium based on image conversion to determine if a lesion is included and to perform. 前記予め設定された変換テンプレートによってそれぞれ第１画像変換モデル及び第２画像変換モデルを構築することは、
前記変換テンプレート及び前記第１撮画機器の第１フォーマット情報によって第１画像変換モデルを構築し、前記第１フォーマット情報は、前記第１撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、
前記変換テンプレート及び前記第２撮画機器の第２フォーマット情報によって第２画像変換モデルを構築し、前記第２フォーマット情報は、前記第２撮画機器によって撮られた画像のフォーマットを特徴付けることに用いられることと、を備える請求項１８に記載の画像変換に基づく記憶媒体。 To construct the first image conversion model and the second image conversion model by the preset conversion template, respectively,
The first image conversion model is constructed by the conversion template and the first format information of the first imaging device, and the first format information is used to characterize the format of the image taken by the first imaging device. To be done
A second image conversion model is constructed from the conversion template and the second format information of the second imaging device, and the second format information is used to characterize the format of the image taken by the second imaging device. 18 is a storage medium based on the image conversion according to claim 18. 前記トレーニング後の第２画像変換モデルを取得するように、前記予め設定されたモデルトレーニングルールと予め設定された画像ギャラリとによって、前記第１信頼値計算モデル、前記第２信頼値計算モデル及び前記第１画像変換モデルを合わせて、前記第２画像変換モデルに対してトレーニングを行うことは、
前記画像ギャラリにおける第１画像集の１枚の第１画像及び前記画像ギャラリにおける第２画像集の１枚の第２画像を取得し、前記第１画像集は、前記第１撮画機器によって撮られた画像からなる画像の集合であり、前記第２画像集は、第２撮画機器によって撮られた画像からなる画像の集合であることと、
トレーニング損失値を取得するように、前記第１画像、前記第２画像、前記第１信頼値計算モデル、前記第２信頼値計算モデル、前記第１画像変換モデル及び前記第２画像変換モデルを前記モデルトレーニングルールにおける損失関数に入力して計算することと、
前記第２画像変換モデルに対する一次トレーニングを完成するように、前記モデルトレーニングルールにおけるパラメータ調整ルールと前記トレーニング損失値とを合わせて、前記第２画像変換モデルにおけるパラメータ値に対して調整を行うことと、を備える請求項１８に記載の画像変換に基づく記憶媒体。 The first confidence value calculation model, the second confidence value calculation model, and the said by the preset model training rule and the preset image gallery so as to acquire the second image conversion model after the training. Training the second image conversion model together with the first image conversion model is not possible.
One first image of the first image collection in the image gallery and one second image of the second image collection in the image gallery are acquired, and the first image collection is taken by the first image capturing device. It is a set of images made up of images, and the second image collection is a set of images made up of images taken by a second imaging device.
The first image, the second image, the first confidence value calculation model, the second confidence value calculation model, the first image conversion model, and the second image conversion model are described so as to acquire the training loss value. Entering and calculating the loss function in the model training rule,
In order to complete the primary training for the second image conversion model, the parameter adjustment rule in the model training rule and the training loss value are combined to adjust the parameter value in the second image conversion model. A storage medium based on the image conversion according to claim 18.
JP2021500419A 2019-05-05 2019-08-29 Focal determination method, device, computer equipment and storage medium based on image conversion Active JP7064050B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910367767.0A CN110232401B (en) 2019-05-05 2019-05-05 Focus judging method, device and computer equipment based on picture conversion
CN201910367767.0 2019-05-05
PCT/CN2019/103337 WO2020224118A1 (en) 2019-05-05 2019-08-29 Lesion determination method and apparatus based on picture conversion, and computer device

Publications (2)

Publication Number Publication Date
JP2021530780A JP2021530780A (en) 2021-11-11
JP7064050B2 true JP7064050B2 (en) 2022-05-09

Family

ID=67860610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500419A Active JP7064050B2 (en) 2019-05-05 2019-08-29 Focal determination method, device, computer equipment and storage medium based on image conversion

Country Status (3)

Country Link
JP (1) JP7064050B2 (en)
CN (1) CN110232401B (en)
WO (1) WO2020224118A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766277A (en) * 2021-02-07 2021-05-07 普联技术有限公司 Channel adjustment method, device and equipment of convolutional neural network model

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258044A (en) 2000-03-14 2001-09-21 Matsushita Research Institute Tokyo Inc Medical use image processing unit
JP2002159477A (en) 2000-09-18 2002-06-04 Fuji Photo Film Co Ltd Method of detecting suspicious region
CN109166087A (en) 2018-09-29 2019-01-08 上海联影医疗科技有限公司 Style conversion method, device, medical supply, image system and the storage medium of medical image
JP2020533660A (en) 2018-08-13 2020-11-19 シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Image style conversion methods and devices, equipment, and storage media

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680312B2 (en) * 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
CN109389135B (en) * 2017-08-03 2020-11-13 杭州海康威视数字技术股份有限公司 Image screening method and device
CN107665333A (en) * 2017-08-28 2018-02-06 平安科技（深圳）有限公司 A kind of indecency image identification method, terminal, equipment and computer-readable recording medium based on convolutional neural networks
CN108596180A (en) * 2018-04-09 2018-09-28 深圳市腾讯网络信息技术有限公司 Parameter identification, the training method of parameter identification model and device in image
CN108564127B (en) * 2018-04-19 2022-02-18 腾讯科技（深圳）有限公司 Image conversion method, image conversion device, computer equipment and storage medium
CN109189973B (en) * 2018-08-30 2021-07-30 清华大学 Large-scale image retrieval method and device based on strategy gradient
CN109241318B (en) * 2018-09-21 2023-06-13 平安科技（深圳）有限公司 Picture recommendation method and device, computer equipment and storage medium
CN109685102B (en) * 2018-11-13 2024-07-09 平安科技（深圳）有限公司 Chest focus image classification method, device, computer equipment and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258044A (en) 2000-03-14 2001-09-21 Matsushita Research Institute Tokyo Inc Medical use image processing unit
JP2002159477A (en) 2000-09-18 2002-06-04 Fuji Photo Film Co Ltd Method of detecting suspicious region
JP2020533660A (en) 2018-08-13 2020-11-19 シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Image style conversion methods and devices, equipment, and storage media
CN109166087A (en) 2018-09-29 2019-01-08 上海联影医疗科技有限公司 Style conversion method, device, medical supply, image system and the storage medium of medical image

Also Published As

Publication number Publication date
WO2020224118A1 (en) 2020-11-12
JP2021530780A (en) 2021-11-11
CN110232401A (en) 2019-09-13
CN110232401B (en) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111780764B (en) Visual positioning method and device based on visual map
CN110399825B (en) Facial expression migration method and device, storage medium and computer equipment
US9628684B2 (en) Light-field aberration correction
JP5846517B2 (en) Quality evaluation of image composition change
CN110574077A (en) Image analysis device and method using virtual three-dimensional deep neural network
CN113129425B (en) Face image three-dimensional reconstruction method, storage medium and terminal equipment
KR101330361B1 (en) Single-image vignetting correction
CN106355195B (en) System and method for measuring image definition value
WO2022206020A1 (en) Method and apparatus for estimating depth of field of image, and terminal device and storage medium
KR102053527B1 (en) Method for image processing
JP7032913B2 (en) Image processing device, image processing method, computer program
Zheng et al. Learn from unpaired data for image restoration: A variational bayes approach
WO2022166604A1 (en) Image processing method and apparatus, computer device, storage medium, and program product
JP2022544665A (en) Image processing method, apparatus, non-transitory computer readable medium
CN115485735A (en) Dense 3D modeling method for producing IFC BIM objects from RGBD video
US20230099906A1 (en) Image registration method, computer device, and storage medium
CN114925748A (en) Model training and modal information prediction method, related device, equipment and medium
CN109961435B (en) Brain image acquisition method, device, equipment and storage medium
JP7064050B2 (en) Focal determination method, device, computer equipment and storage medium based on image conversion
CN114638375A (en) Video generation model training method, video generation method and device
CN112530003B (en) Three-dimensional human hand reconstruction method and device and electronic equipment
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
Chen et al. A novel face super resolution approach for noisy images using contour feature and standard deviation prior
CN116934591A (en) Image stitching method, device and equipment for multi-scale feature extraction and storage medium
JP2015179426A (en) Information processing apparatus, parameter determination method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220421

R150 Certificate of patent or registration of utility model

Ref document number: 7064050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150