JP6683960B1 - Image processing device, image processing system, and image processing program - Google Patents

Image processing device, image processing system, and image processing program Download PDF

Info

Publication number
JP6683960B1
JP6683960B1 JP2019094249A JP2019094249A JP6683960B1 JP 6683960 B1 JP6683960 B1 JP 6683960B1 JP 2019094249 A JP2019094249 A JP 2019094249A JP 2019094249 A JP2019094249 A JP 2019094249A JP 6683960 B1 JP6683960 B1 JP 6683960B1
Authority
JP
Japan
Prior art keywords
image
detection result
converted
image processing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019094249A
Other languages
Japanese (ja)
Other versions
JP2020188839A (en
Inventor
クワイ ベン フェルナンド ハビエル ウォン
クワイ ベン フェルナンド ハビエル ウォン
ヒラルド ホラシオ サンソン
ヒラルド ホラシオ サンソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allm Inc
Original Assignee
Allm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allm Inc filed Critical Allm Inc
Priority to JP2019094249A priority Critical patent/JP6683960B1/en
Application granted granted Critical
Publication of JP6683960B1 publication Critical patent/JP6683960B1/en
Publication of JP2020188839A publication Critical patent/JP2020188839A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】医用画像内に含まれる異常部を推定した患者診断用の画像を生成すること。【解決手段】画像処理装置１００は、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備える。【選択図】図１PROBLEM TO BE SOLVED: To generate an image for patient diagnosis in which an abnormal part included in a medical image is estimated. An image processing apparatus 100 performs conversion of an input medical image to generate a plurality of converted images, and a plurality of converted images generated by the converted image generating means. On the other hand, a detection result image generation means for generating a plurality of detection result images by extracting a difference portion from a medical image of a healthy person as an abnormal portion, and a plurality of detection results generated by the detection result image generation means For each of the images, an inverse transform of the image processing performed by the transformed image generator is performed to generate a detection result image after the inverse transform, and an inverse transform after the inverse transform generated by the inverse transform. And a diagnostic image generation means for generating a diagnostic image for estimating an abnormal portion of a patient who has taken a medical image based on the detection result image. [Selection diagram] Figure 1

Description

本発明は、画像処理装置、画像処理システム、および画像処理プログラムに関する。   The present invention relates to an image processing device, an image processing system, and an image processing program.

次のような生体画像処理装置が知られている。この生体画像処理装置では、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付け、入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成する（例えば、特許文献１）。   The following biometric image processing devices are known. This biometric image processing apparatus accepts an input training image that is a biometric image that includes a target object, an output training image that is a biometric image that does not include the target object, and an input image that is a biometric image that includes the target object, Using the training image and the training image for output, learn a neural network that performs image processing to generate a biometric image that does not include the target from the biometric image that includes the target, and use the image processing of the neural network that is the learning result. An output image is generated by removing the object from the input image (for example, Patent Document 1).

特開２０１８−８９３０１号公報JP, 2018-89301, A

従来の生体画像処理装置では、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成していた。しかしながら、画像を用いた診断では、医用画像の中から異常がある可能性がある部位を見つけ出すことが求められることも多く、その精度も求められる。しかしながら、従来の技術では、医用画像から精度高く異常部を抽出して、診断者による診断を支援する仕組みについては、何ら検討されていなかった。   In a conventional biometric image processing apparatus, a neural network that performs image processing to generate a biometric image that does not include a target from a biometric image that includes a target is learned, and the image processing of the neural network that is the learning result is used to input the input image. The target image was removed from the output image. However, in diagnosis using an image, it is often required to find out a site having a possibility of abnormality in the medical image, and its accuracy is also required. However, in the conventional technology, no consideration has been given to a mechanism for accurately extracting an abnormal part from a medical image to support diagnosis by a diagnostician.

本発明による画像処理装置は、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする。
本発明による画像処理システムは、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、逆変換手段によって生成された逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする。
本発明による画像処理プログラムは、入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手順と、変換画像生成手順で生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手順と、検出結果画像生成手順で生成した複数の検出結果画像のそれぞれに対して、変換画像生成手順で行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手順と、逆変換手順で生成した逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手順とをコンピュータに実行させる。 An image processing apparatus according to the present invention performs conversion processing on an input medical image to generate a plurality of converted images, and a plurality of converted images generated by the converted image generating means. A detection result image generating means for generating a plurality of detection result images by extracting a difference portion from a medical image of a healthy person as an abnormal portion, and a plurality of detection result images generated by the detection result image generating means. For each of them, inverse conversion of the image processing performed by the converted image generation means is performed, and an inverse conversion means for generating a detection result image after the inverse conversion and a detection result after the inverse conversion generated by the inverse conversion means. It is characterized by comprising a diagnostic image generating means for generating a diagnostic image for estimating an abnormal part of a patient who has taken a medical image based on the image.
The image processing system according to the present invention applies to each of the plurality of converted images generated by the converted image generation unit that performs image processing on the input medical image to generate a plurality of converted images. A detection result image generating means for generating a plurality of detection result images by extracting a difference portion from a medical image of a healthy person as an abnormal portion, and a plurality of detection result images generated by the detection result image generating means. For each of them, inverse conversion of the image processing performed by the converted image generation means is performed, and an inverse conversion means for generating a detection result image after the inverse conversion and a detection result after the inverse conversion generated by the inverse conversion means. It is characterized by comprising a diagnostic image generating means for generating a diagnostic image for estimating an abnormal part of a patient who has taken a medical image based on the image.
An image processing program according to the present invention performs a conversion image generation procedure of performing image processing on an input medical image to generate a plurality of conversion images, and a plurality of conversion images generated by the conversion image generation procedure. , A detection result image generation procedure for generating a plurality of detection result images by extracting a difference portion from a medical image of a healthy person as an abnormal portion, and a plurality of detection result images generated by the detection result image generation procedure. On the other hand, based on the inverse transformation procedure that performs the inverse transformation of the image processing performed in the transformed image generation procedure to generate the detection result image after the inverse transformation, and the detection result image after the inverse transformation generated in the inverse transformation procedure. Then, the computer is made to execute a diagnostic image generation procedure for generating a diagnostic image for estimating an abnormal part of a patient who has taken a medical image.

本発明によれば、医用画像を変換した複数の変換画像を用いることにより、１枚の入力画像を用いた場合と比較して、診断用画像における異常部の抽出精度を向上させることができる。   According to the present invention, by using a plurality of converted images obtained by converting a medical image, it is possible to improve the accuracy of extracting an abnormal portion in a diagnostic image as compared with the case of using one input image.

画像処理装置１００の一実施の形態の構成を示すブロック図である。1 is a block diagram showing the configuration of an embodiment of an image processing device 100. FIG. 入力画像Ｘから検出結果画像ＡＤ（Ｔ（Ｘ））を生成するための処理の流れを模式的に示した図である。It is the figure which showed typically the flow of the process for producing | generating the detection result image AD (T (X)) from the input image X. 推定ステップの処理の流れを模式的に示した図である。It is the figure which showed typically the flow of the process of an estimation step. トレーニングステップの処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a process of a training step. 推定ステップの処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a process of an estimation step.

図１は、本実施の形態における画像処理装置１００の一実施の形態の構成を示すブロック図である。画像処理装置１００は、あらかじめ撮影された医用画像、例えば、ＭＲＩ画像、ＣＴ画像、Ｘ線画像を用いて、医用画像内から医学的に異常と認められる部位を抽出し、視覚化するための処理を実行する。画像処理装置１００としては、例えばサーバ装置やパソコンなどが用いられる。図１は、本実施の形態における画像処理装置１００として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus 100 according to the present embodiment. The image processing apparatus 100 uses a medical image captured in advance, for example, an MRI image, a CT image, and an X-ray image, to extract a region that is medically abnormal from the medical image and visualize the region. To execute. As the image processing device 100, for example, a server device or a personal computer is used. FIG. 1 is a block diagram showing the configuration of an embodiment in which a personal computer is used as the image processing apparatus 100 in this embodiment.

画像処理装置１００は、操作部材１０１と、制御装置１０２と、記憶媒体１０３と、表示装置１０４とを備えている。   The image processing apparatus 100 includes an operation member 101, a control device 102, a storage medium 103, and a display device 104.

操作部材１０１は、画像処理装置１００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。   The operation member 101 includes various devices operated by an operator of the image processing apparatus 100, such as a keyboard and a mouse.

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像処理装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続インターフェース１０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。   The control device 102 includes a CPU, a memory, and other peripheral circuits, and controls the entire image processing device 100. The memory forming the control device 102 is a volatile memory such as an SDRAM. This memory is used as a work memory for the CPU to expand the program when the program is executed and a buffer memory for temporarily recording data. For example, the data read via the connection interface 102 is temporarily recorded in the buffer memory.

記憶媒体１０３は、画像処理装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体１０３に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。本実施の形態では、以下に説明する処理で用いるプログラムや種々のデータは、記憶媒体１０３に記録されている。   The storage medium 103 is a storage medium for recording various data stored in the image processing apparatus 100, data of a program to be executed by the control apparatus 102, and the like, and is, for example, an HDD (Hard Disk Drive) or SSD (Solid State). Drive) or the like is used. The program data recorded in the storage medium 103 is provided by being recorded in a recording medium such as a CD-ROM or a DVD-ROM or provided via a network, and stores the program data acquired by the operator. Installation on the medium 103 allows the controller 102 to execute the program. In the present embodiment, programs and various data used in the processing described below are recorded in the storage medium 103.

表示装置１０４は、例えば液晶モニタであって、制御装置１０２から出力される種々の表示用データが表示される。   The display device 104 is, for example, a liquid crystal monitor, and displays various display data output from the control device 102.

本実施の形態における画像処理装置１００では、図２に示すように、制御装置１０２は，入力画像（Ｉｎｐｕｔ）Ｘに対して、あらかじめ設定された変換方法により入力画像Ｘを変換して、１枚の入力画像Ｘから複数の変換画像（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）Ｔ（Ｘ）を生成するためのデータ増加処理２ａを実行する。そして、制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ（Ｘ）を医学的な異常部位を検出した検出結果画像ＡＤ（Ｔ（Ｘ））を生成するための異常検出器２ｂに入力する。これにより、制御装置１０２は、入力画像Ｘに基づいて複数の検出結果画像ＡＤ（Ｔ（Ｘ））を生成することができる。   In the image processing device 100 according to the present embodiment, as shown in FIG. 2, the control device 102 converts the input image X into the input image (Input) X by a preset conversion method. Data increase processing 2a for generating a plurality of transformed images (Transformed Image) T (X) from the input image X of is executed. Then, the control device 102 inputs the converted image T (X) converted in the data increase processing 2a to the abnormality detector 2b for generating a detection result image AD (T (X)) in which a medical abnormal portion is detected. To do. Thereby, the control device 102 can generate a plurality of detection result images AD (T (X)) based on the input image X.

データ増加処理２ａでは、上述したように、入力画像Ｘをあらかじめ設定された変換方法により複数の変換画像Ｔ（Ｘ）に変換して、１枚の入力画像Ｘを複数枚の変換画像Ｔ（Ｘ）に増加させる。データ増加処理２ａでの変換方法としては、例えば、入力画像Ｘのサイズ変更、入力画像Ｘの回転、入力画像Ｘの位置変更、入力画像Ｘの明るさ変更などが想定される。   In the data increasing process 2a, as described above, the input image X is converted into a plurality of converted images T (X) by a preset conversion method, and one input image X is converted into a plurality of converted images T (X). ) To increase. As a conversion method in the data increasing process 2a, for example, a size change of the input image X, a rotation of the input image X, a position change of the input image X, a brightness change of the input image X, etc. are assumed.

変換方法を入力画像Ｘのサイズ変更とした場合、データ増加処理２ａでは、入力画像Ｘを異なる倍率で拡大または縮小して複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを０．８倍した変換画像Ｔ１（Ｘ）と、入力画像Ｘを１倍した変換画像Ｔ２（Ｘ）と、入力画像Ｘを１．２倍した変換画像Ｔ３（Ｘ）の３枚の変換画像を生成するようにすればよい。 When the conversion method is to change the size of the input image X, in the data increasing process 2a, the input image X is enlarged or reduced at different magnifications to obtain a plurality of converted images T (X). For example, the converted image T 1 (X) obtained by multiplying the input image X by 0.8, the converted image T 2 (X) obtained by multiplying the input image X by 1, and the converted image T 3 (produced by multiplying the input image X by 1.2) It is sufficient to generate three converted images of (X).

変換方法を入力画像Ｘの回転とした場合、データ増加処理２ａでは、入力画像Ｘを異なる回転角度で回転させて複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを３０度回転させた変換画像Ｔ１（Ｘ）と、入力画像Ｘを０度回転させた変換画像Ｔ２（Ｘ）と、入力画像Ｘを−３０度回転させた変換画像Ｔ３（Ｘ）の３枚の変換画像を生成するようにすればよい。 When the conversion method is rotation of the input image X, in the data increasing process 2a, the input image X is rotated at different rotation angles to obtain a plurality of converted images T (X). For example, a converted image T 1 (X) obtained by rotating the input image X by 30 degrees, a converted image T 2 (X) obtained by rotating the input image X by 0 degrees, and a converted image obtained by rotating the input image X by −30 degrees. It suffices to generate three converted images of T 3 (X).

変換方法を入力画像Ｘの位置変更とした場合、データ増加処理２ａでは、入力画像Ｘを所定ピクセル位置をずらした複数の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘを上方向に１０ピクセル動かした変換画像Ｔ１（Ｘ）と、入力画像Ｘを左方向に１０ピクセル動かした変換画像Ｔ２（Ｘ）と、入力画像Ｘを下方向に１０ピクセル動かした変換画像Ｔ３（Ｘ）と、入力画像Ｘを右方向に１０ピクセル動かした変換画像Ｔ４（Ｘ）の４枚の変換画像を生成するようにすればよい。 When the conversion method is to change the position of the input image X, in the data increasing process 2a, a plurality of converted images T (X) are obtained by shifting the input image X by a predetermined pixel position. For example, a converted image T 1 (X) obtained by moving the input image X upward by 10 pixels, a converted image T 2 (X) obtained by moving the input image X 10 pixels toward the left, and an input image X 10 downward. It suffices to generate four converted images, that is, the converted image T 3 (X) moved by pixels and the converted image T 4 (X) moved by 10 pixels in the right direction of the input image X.

変換方法を入力画像Ｘの明るさ変更とした場合、データ増加処理２ａでは、入力画像Ｘの明るさを変更して複数枚の変換画像Ｔ（Ｘ）を得る。例えば、入力画像Ｘの明るさを０．８倍した変換画像Ｔ１（Ｘ）と、入力画像Ｘの明るさを１倍した変換画像Ｔ２（Ｘ）と、入力画像Ｘの明るさを１．２倍した変換画像Ｔ３（Ｘ）の３枚の変換画像を生成するようにすればよい。 When the conversion method is to change the brightness of the input image X, in the data increasing process 2a, the brightness of the input image X is changed to obtain a plurality of converted images T (X). For example, the brightness of the input image X is 0.8 times the converted image T 1 (X), the brightness of the input image X is 1 times the converted image T 2 (X), and the brightness of the input image X is 1 It suffices to generate three converted images of the converted image T 3 (X) multiplied by 0.2.

異常検出器２ｂは、変換画像Ｔ（Ｘ）を入力すると、変換画像Ｔ（Ｘ）内から医学的に異常がみられない正常な患者を撮影した医用画像との相違部を異常部として抽出した検出結果画像ＡＤ（Ｔ（Ｘ））が出力されるように構成されている。   When the converted image T (X) is input, the abnormality detector 2b extracts, as an abnormal portion, a portion different from a medical image obtained by photographing a normal patient without medical abnormality in the converted image T (X). The detection result image AD (T (X)) is output.

異常検出器２ｂの構成は特に限定されないが、本実施の形態では、健康者を撮影した異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダを用いる。異常検出器２ｂは、オートエンコーダに変換画像Ｔ（Ｘ）を入力すると、オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を検出結果画像ＡＤ（Ｔ（Ｘ））として出力するように構成されている。なお、オートエンコーダの学習のために後述するトレーニングステップが実行される。   The configuration of the abnormality detector 2b is not particularly limited, but in the present embodiment, the image pattern of the medical image of a healthy person having no abnormality is learned, and the medical image having no abnormality with respect to the input medical image is restored. And an automatic encoder configured to output. When the conversion image T (X) is input to the auto encoder, the abnormality detector 2b calculates a difference image between the input image and the output image to the auto encoder as a detection result image AD (T (X)). It is configured to output. In addition, a training step described below is executed for learning of the automatic encoder.

なお、異常検出器２ｂで用いるオートエンコーダは、入力Ｘを潜在表現Ｚに変換するエンコーダと、潜在表現Ｚから入力Ｘを再構築するデコーダで構成されており、このオートエンコーダを用いることにより、入力と出力が同じになるようにニューラルネットワークを学習させることができる。   The auto encoder used in the abnormality detector 2b is composed of an encoder that converts the input X into a latent expression Z and a decoder that reconstructs the input X from the latent expression Z. The neural network can be trained so that the outputs are the same.

エンコーダは、２のストライドサイズの７つの畳み込み層と、次式（１）で表される活性化関数ＲｅＬＵの５×５カーネルで構成されている。それぞれの層に対するフィルターの数は、８、１６、３２、６４、１２８、２５６、５１２である。その結果、５１２次元からなる潜在表現Ｚを得ることができる。また、デコーダは、ストライドサイズが２の７つの転置された畳み込み層と、次式（１）に示す活性化関数ＲｅＬＵの５×５カーネルで構成されている。デコーダの各レイヤのフィルタ数は、２５６、１２８、６４、３２、１６、８、１である。
ＲｅＬＵ（ｘ）＝ｍａｘ（ｘ，０） ・・・（１） The encoder is composed of seven convolution layers with a stride size of 2 and a 5 × 5 kernel of the activation function ReLU represented by the following equation (1). The number of filters for each layer is 8, 16, 32, 64, 128, 256, 512. As a result, the latent expression Z having 512 dimensions can be obtained. The decoder is composed of seven transposed convolutional layers having a stride size of 2 and a 5 × 5 kernel of the activation function ReLU shown in the following expression (1). The number of filters in each layer of the decoder is 256, 128, 64, 32, 16, 8, 1.
ReLU (x) = max (x, 0) (1)

これによって、変換画像Ｔ（Ｘ）に医学的に異常と認められる部分が現れている場合、オートエンコーダへの入力画像である変換画像Ｔ（Ｘ）には異常部が含まれている一方で、出力画像は異常がない画像、すなわち異常部が表示されていない画像となるため、異常検出器２ｂがオートエンコーダへの入力画像と出力画像の差分をとれば、変換画像Ｔ（Ｘ）内から異常部を抽出した検出結果画像ＡＤ（Ｔ（Ｘ））を出力することができる。   As a result, when a part of the converted image T (X) that is medically recognized as abnormal appears, the converted image T (X) that is an input image to the auto encoder includes an abnormal part, Since the output image is an image having no abnormality, that is, an image in which no abnormal portion is displayed, if the abnormality detector 2b takes the difference between the input image to the auto encoder and the output image, the abnormality is detected in the converted image T (X). It is possible to output the detection result image AD (T (X)) obtained by extracting the copy.

なお、上述した異常がない医用画像は、画像内に医学的に異常と認められる部位を含まない画像であって、例えば、医学的に異常がみられない人物の診断対象部位を撮影した画像、すなわち健康な患者の特定部位を撮影した画像を用いればよい。   Incidentally, the above-mentioned medical image without abnormality is an image that does not include a site recognized as medically abnormal in the image, for example, an image of a diagnostic target region of a person who is not medically abnormal, That is, an image of a specific part of a healthy patient may be used.

例えば、上述したように、データ増加処理２ａで変換画像Ｔ１（Ｘ）と変換画像Ｔ２（Ｘ）と変換画像Ｔ３（Ｘ）の３枚の変換画像が生成される場合には、異常検出器２ｂによって、変換画像Ｔ１（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ１（Ｘ））と、変換画像Ｔ２（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ２（Ｘ））と、変換画像Ｔ３（Ｘ）から異常部を抽出した検出結果画像ＡＤ（Ｔ３（Ｘ））の３枚の検出結果画像が生成される。 For example, as described above, when three converted images of the converted image T 1 (X), the converted image T 2 (X), and the converted image T 3 (X) are generated in the data increasing process 2a, it is abnormal. The detection result image AD (T 1 (X)) obtained by extracting the abnormal portion from the converted image T 1 (X) and the detection result image AD (T obtained by extracting the abnormal portion from the converted image T 2 (X) by the detector 2b. 2 (X)) and the detection result image AD (T 3 (X)) obtained by extracting the abnormal portion from the converted image T 3 (X) are generated.

本実施の形態では、事前に、異常がない患者の医用画像を入力画像Ｘとして、図２に示した画像処理を実行することにより、異常検出器２ｂのオートエンコーダに、健康者を撮影した異常がない医用画像の画像パターンを学習させるためのトレーニングステップが実行される。以下、本実施の形態におけるトレーニングステップの処理の流れについて説明する。   In the present embodiment, a medical image of a patient having no abnormality is used as the input image X in advance, and the image processing shown in FIG. 2 is executed to cause the automatic encoder of the abnormality detector 2b to take an abnormal image of a healthy person. A training step is performed to learn the image pattern of the medical image that is missing. Hereinafter, the flow of processing of the training step in the present embodiment will be described.

トレーニングステップでは、数多くの異常がない医用画像を入力画像Ｘとして用いて、異常検出器２ｂにおける異常検出モデルＹ＝ＡＤ（Ｘ）を訓練するために使用される。   In the training step, many abnormal medical images are used as the input image X and used to train the abnormality detection model Y = AD (X) in the abnormality detector 2b.

制御装置１０２は、トレーニング用に用意された入力画像Ｘに対してデータ増加処理２ａを施すことにより、入力画像Ｘをあらかじめ設定された変換方法により複数の変換画像Ｔ（Ｘ）に変換する。ここでは、例えば、上述したように、３つの変換画像Ｔ１（Ｘ）、Ｔ２（Ｘ）、Ｔ３（Ｘ）に変換されるものとする。 The control device 102 converts the input image X into a plurality of converted images T (X) by a preset conversion method by performing the data increasing process 2a on the input image X prepared for training. Here, for example, as described above, it is assumed that the converted images are converted into three converted images T 1 (X), T 2 (X), and T 3 (X).

なお、トレーニングステップにおいては、入力画像Ｘの変換方法は、トレーニング用に撮影された各医用画像ごとに変更するようにしてもよい。例えば、変換方法を入力画像Ｘの回転とした場合、データ増加処理２ａでは、−４５度から４５度の範囲内でランダムに入力画像Ｘを回転させて変換画像を得るようにしてもよい。この場合、例えば、ある入力画像Ｘに対しては、入力画像Ｘを３５．５度回転させた変換画像Ｔ１（Ｘ）と、入力画像Ｘを−１２度回転させた変換画像Ｔ２（Ｘ）と、入力画像Ｘを−３８度回転させた変換画像Ｔ３（Ｘ）の３枚の変換画像を生成するなどすればよい。医用画像を撮影する際には、必ず同じ角度や位置が撮影されるとは限らず、患者によって撮影する角度や位置が変わる可能性があるため、トレーニングステップでランダムに角度を変えて変換画像を得ることによって、後述する推定ステップで様々な角度の医用画像に対応できるようにニューラルネットワークを学習させることが可能となる。なお、データ増加処理２ａにおける変換方法が入力画像Ｘのサイズ変更、入力画像Ｘの位置変更、入力画像Ｘの明るさ変更の場合にも、同様にランダムに変更を行えばよい。 In the training step, the conversion method of the input image X may be changed for each medical image captured for training. For example, when the conversion method is rotation of the input image X, in the data increasing process 2a, the input image X may be randomly rotated within the range of −45 degrees to 45 degrees to obtain the conversion image. In this case, for example, for a certain input image X, a converted image T 1 (X) obtained by rotating the input image X by 35.5 degrees and a converted image T 2 (X obtained by rotating the input image X by −12 degrees. ) And the converted image T 3 (X) obtained by rotating the input image X by −38 degrees may be generated. When taking a medical image, the same angle and position are not always taken, and the angle and position to be taken may change depending on the patient. By obtaining it, it becomes possible to train the neural network so as to be able to deal with medical images at various angles in the estimation step described later. Even when the conversion method in the data increasing process 2a is the size change of the input image X, the position change of the input image X, or the brightness change of the input image X, the change may be similarly performed at random.

制御装置１０２は、データ増加処理２ａで変換された変換画像Ｔ（Ｘ）を異常検出器２ｂに入力し、異常検出器２ｂのオートエンコーダに異常がない医用画像の画像パターンを学習させるためのトレーニング処理を実行する。具体的には、制御装置１０２は、異常検出器２ｂにデータ増加処理２ａで変換された変換画像Ｔ（Ｘ）を異常検出器２ｂに入力し、それぞれの変換画像Ｔ（Ｘ）ごとに上述した検出結果画像ＡＤ（Ｔ（Ｘ））を得る。そして、制御装置１０２は、この画像処理をあらかじめ定義されている損失関数の値が所定の閾値以下になるまでオートエンコーダのエンコーダーとデコーダーの２つのニューラルネットワークの重みを調節しながら繰り返す。   The control device 102 inputs the converted image T (X) converted by the data increase processing 2a to the abnormality detector 2b, and the training for learning the image pattern of the medical image having no abnormality in the automatic encoder of the abnormality detector 2b. Execute the process. Specifically, the control device 102 inputs the converted image T (X) converted by the data increasing process 2a to the abnormality detector 2b, and inputs the converted image T (X) to each abnormality image T (X). A detection result image AD (T (X)) is obtained. Then, the control device 102 repeats this image processing while adjusting the weights of the two neural networks of the encoder and the decoder of the auto encoder until the value of the predefined loss function becomes equal to or less than the predetermined threshold value.

制御装置１０２は、損失関数の値が閾値以下になったときにオートエンコーダのトレーニングは終了したと判定して、そのときに設定されていた重み値をオートエンコーダのネットワーク重み、すなわちエンコーダーとデコーダーの重みとして設定する。これによって、オートエンコーダに異常がない医用画像の画像パターンを学習させることができる。なお、オートエンコーダにおける損失関数については公知であるため詳細な説明は省略するが、損失関数は、その値が最小値である０をとるときに入力と出力が一致するようにあらかじめ定義されている。   The control device 102 determines that the training of the automatic encoder is completed when the value of the loss function becomes equal to or less than the threshold value, and sets the weight value set at that time to the network weight of the automatic encoder, that is, the encoder and the decoder. Set as weight. This allows the automatic encoder to learn the image pattern of the medical image having no abnormality. Note that the loss function in the auto encoder is well known, so a detailed description thereof will be omitted. However, the loss function is defined in advance so that the input and the output match when the value takes a minimum value of 0. .

このトレーニングステップをあらかじめ実行しておくことにより、制御装置１０２は、入力画像に含まれる異常部位を推定するための推定ステップを実行して、入力画像Ｘに対して図２に示した画像処理を実行することにより、入力画像Ｘと医学的に異常がみられない正常な患者を撮影した医用画像との相違部を異常部として抽出した検出結果画像ＡＤ（Ｔ（Ｘ））を得ることができ、検出結果画像ＡＤ（Ｔ（Ｘ））に基づいて、患者の医用画像内に含まれる異常部を推定するための診断用画像を得ることができる。   By executing this training step in advance, the control device 102 executes the estimation step for estimating the abnormal part included in the input image, and performs the image processing shown in FIG. 2 on the input image X. By executing it, it is possible to obtain the detection result image AD (T (X)) in which the difference between the input image X and the medical image of the normal patient in which no medical abnormality is observed is extracted as the abnormal portion. Based on the detection result image AD (T (X)), it is possible to obtain a diagnostic image for estimating the abnormal portion included in the medical image of the patient.

以下、本実施の形態における推定ステップの処理の流れについて、図３を用いて説明する。なお、図３では、データ増加処理２ａで、入力画像Ｘが３つの変換画像Ｔ１（Ｘ）、Ｔ２（Ｘ）、Ｔ３（Ｘ）に変換され、これら３つの変換画像に対して、３つの検出結果画像ＡＤ（Ｔ１（Ｘ））、ＡＤ（Ｔ２（Ｘ））、ＡＤ（Ｔ３（Ｘ））が生成される場合の処理の流れを示している。 The processing flow of the estimation step according to this embodiment will be described below with reference to FIG. In FIG. 3, the input image X is converted into three converted images T 1 (X), T 2 (X), and T 3 (X) in the data increasing process 2a. It shows a flow of processing when three detection result images AD (T 1 (X)), AD (T 2 (X)), and AD (T 3 (X)) are generated.

推定ステップでは、制御装置１０２は、診断対象の患者の特定部位を撮影した医用画像を入力画像Ｘに対してデータ増加処理２ａを実行して、複数のＴ１（Ｘ）,・・・,Ｔｎ（Ｘ）に変換する。ここでは、ｎは、データ増加処理２ａによる変換で生成される画像の数を示す。例えば、図３では、入力画像Ｘに対して３つのデータ増加処理３ａ、３ｄ、３ｇを実行することにより、各データ増加処理においてあらかじめ設定された変換方法によって変換画像Ｔ１（Ｘ）、Ｔ２（Ｘ）、Ｔ３（Ｘ）に変換している。図３では、例えば、データ増加処理３ａは、入力画像Ｘを３０度回転させて変換画像Ｔ１（Ｘ）を生成し、データ増加処理３ｄは、入力画像Ｘを０度回転させて変換画像Ｔ２（Ｘ）を生成し、データ増加処理３ｇは、入力画像Ｘを−３０度回転させて変換画像Ｔ３（Ｘ）を生成している。 In the estimation step, the control device 102 executes the data increasing process 2a on the input image X of the medical image obtained by photographing the specific region of the patient to be diagnosed, and the plurality of T 1 (X), ... n (X). Here, n indicates the number of images generated by the conversion by the data increasing process 2a. For example, in FIG. 3, by performing the three data increasing processes 3a, 3d, and 3g on the input image X, the conversion images T 1 (X) and T 2 are converted by the conversion method set in advance in each data increasing process. (X), T 3 (X). In FIG. 3, for example, the data increase processing 3a rotates the input image X by 30 degrees to generate a converted image T 1 (X), and the data increase processing 3d rotates the input image X by 0 degrees and the converted image T 1 (X). 2 (X) is generated, and the data increasing process 3g rotates the input image X by −30 degrees to generate a converted image T 3 (X).

なお、上述したトレーニングステップでは、データ増加処理２ａでは、入力画像Ｘに対する変換方法をランダムに決定するようにしたが、推定ステップでは、あらかじめ設定された変換方法で変換を行う。例えば、変換方法を入力画像Ｘの回転とした場合、入力画像の回転角度はあらかじめ−３０度、０度、３０度と定められており、データ増加処理２ａでは、図３に示したように、入力画像Ｘを３０度回転させた変換画像Ｔ１（Ｘ）と、入力画像Ｘを０度回転させた変換画像Ｔ２（Ｘ）と、入力画像Ｘを−３０度回転させた変換画像Ｔ３（Ｘ）の３枚の変換画像を生成する。このように、トレーニングステップでは、変換方法を入力画像ごとにランダムに決定し、推定ステップではあらかじめ設定された変換方法で入力画像を変換するようにすれば、トレーニングステップで様々な角度の医用画像に対応できるようにニューラルネットワークを学習させることが可能となるため、推定ステップでの推定精度を向上させることができる。 In the training step described above, the conversion method for the input image X is randomly determined in the data increasing process 2a, but in the estimation step, conversion is performed by the preset conversion method. For example, when the conversion method is the rotation of the input image X, the rotation angles of the input image are set to -30 degrees, 0 degrees, and 30 degrees in advance, and in the data increase processing 2a, as shown in FIG. A converted image T 1 (X) obtained by rotating the input image X by 30 degrees, a converted image T 2 (X) obtained by rotating the input image X by 0 degrees, and a converted image T 3 obtained by rotating the input image X by −30 degrees. Three (X) converted images are generated. In this way, in the training step, the conversion method is randomly determined for each input image, and in the estimation step, if the input image is converted by the preset conversion method, medical images of various angles can be obtained in the training step. Since it is possible to learn the neural network so as to be able to handle it, the estimation accuracy in the estimation step can be improved.

制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ１（Ｘ）,・・・,Ｔｎ（Ｘ）を異常検出器２ｂに入力して検出結果画像ＡＤ（Ｔｎ（Ｘ））,・・・,ＡＤ（Ｔｎ（Ｘ））を得る。図３に示す例では、異常検出器３ｂによって変換画像Ｔ１（Ｘ）から検出結果画像ＡＤ（Ｔ１（Ｘ））が生成され、異常検出器３ｅによって変換画像Ｔ２（Ｘ）から検出結果画像ＡＤ（Ｔ２（Ｘ））が生成され、異常検出器３ｈによって変換画像Ｔ３（Ｘ）から検出結果画像ＡＤ（Ｔ３（Ｘ））が生成されている。 The control device 102 inputs the converted images T 1 (X), ..., T n (X) converted in the data increase processing 2a to the abnormality detector 2b to detect the detection result image AD (T n (X)), ..., AD ( Tn (X)) is obtained. In the example shown in FIG. 3, the abnormality detector 3b detection result image from the conversion image T 1 (X) by AD (T 1 (X)) is generated, the detection result from the transformed image T 2 (X) by the anomaly detector 3e The image AD (T 2 (X)) is generated, and the abnormality detector 3h generates the detection result image AD (T 3 (X)) from the converted image T 3 (X).

ここで生成された検出結果画像ＡＤ（Ｔｎ（Ｘ））,・・・,ＡＤ（Ｔｎ（Ｘ））は、データ増加処理２ａによって変換された変換画像Ｔ１（Ｘ）,・・・,Ｔｎ（Ｘ）から異常部を抽出した画像となる。このため、制御装置１０２は、検出結果画像ＡＤ（Ｔｎ（Ｘ））,・・・,ＡＤ（Ｔｎ（Ｘ））に対してデータ増加処理２ａで行った変換の逆変換を行って、逆変換後の検出結果画像Ｙ１＝Ｔ１ −１（ＡＤ（Ｔ１（Ｘ）））,・・・,Ｙｎ＝Ｔｎ −１（ＡＤ（Ｔｎ（Ｘ）））を得る。図３に示す例では、検出結果画像ＡＤ（Ｔ１（Ｘ））とＡＤ（Ｔ２（Ｘ））とＡＤ（Ｔ３（Ｘ））のそれぞれに対して、逆変換処理３ｃ、３ｆ、３ｉを行って、データ増加処理３ａ、３ｄ、３ｇで行われた変換の逆変換が行われる。 The generated detection result image AD (T n (X)) , ···, AD (T n (X)) is converted is converted by the data increases processing 2a image T 1 (X), ··· , T n (X) is an image in which an abnormal portion is extracted. Therefore, the control device 102 performs the inverse conversion of the conversion performed in the data increasing process 2a on the detection result images AD (T n (X)), ..., AD (T n (X)), The detection result image Y 1 = T 1 −1 (AD (T 1 (X))), ..., Y n = T n −1 (AD (T n (X))) after inverse transformation is obtained. In the example shown in FIG. 3, the inverse conversion processes 3c, 3f, and 3i are performed on the detection result images AD (T 1 (X)), AD (T 2 (X)), and AD (T 3 (X)), respectively. Then, the reverse conversion of the conversion performed in the data increase processing 3a, 3d, 3g is performed.

例えば、逆変換処理３ｃでは、検出結果画像ＡＤ（Ｔ１（Ｘ））を−３０度回転させて逆変換後の検出結果画像Ｙ１＝Ｔ１ −１（ＡＤ（Ｔ１（Ｘ）））を得る。逆変換処理３ｆでは、検出結果画像ＡＤ（Ｔ２（Ｘ））を０度回転させて逆変換後の検出結果画像Ｙ２＝Ｔ２ −１（ＡＤ（Ｔ２（Ｘ）））を得る。逆変換処理３ｉでは、検出結果画像ＡＤ（Ｔ３（Ｘ））を３０度回転させて逆変換後の検出結果画像Ｙ３＝Ｔ３ −１（ＡＤ（Ｔ３（Ｘ）））を得る。 For example, the inverse transform process 3c, the detection result image AD (T 1 (X)) the following inverse transform is rotated -30 degrees detection result image Y 1 = T 1 -1 (AD (T 1 (X))) To get The inverse transform process 3f, obtain a detection result image AD (T 2 (X)) the detection after the inverse transform by rotating 0 degrees resulting image Y 2 = T 2 -1 (AD (T 2 (X))). The inverse transform processing 3i, obtain a detection result image AD (T 3 (X)) the detection result after inverse transform by rotating 30 degrees image Y 3 = T 3 -1 (AD (T 3 (X))).

制御装置１０２は、逆変換後の検出結果画像Ｙ１＝Ｔ１ −１（ＡＤ（Ｔ１（Ｘ）））,・・・,Ｙｎ＝Ｔｎ −１（ＡＤ（Ｔｎ（Ｘ）））に基づいて、患者の診断に用いる診断用画像を生成する。本実施の形態では、制御装置１０２は、逆変換後の検出結果画像Ｙ１＝Ｔ１ −１（ＡＤ（Ｔ１（Ｘ）））,・・・,Ｙｎ＝Ｔｎ −１（ＡＤ（Ｔｎ（Ｘ）））に対して結合処理３ｊを実行することにより診断用画像を生成する。結合処理３ｊでは、逆変換後の検出結果画像Ｙ１＝Ｔ１ −１（ＡＤ（Ｔ１（Ｘ）））,・・・,Ｙｎ＝Ｔｎ −１（ＡＤ（Ｔｎ（Ｘ）））は、あらかじめ設定された結合関数Ｃ（Ｙ１,・・・,Ｙｎ）によって結合され、その結果を患者の診断用画像とする。 The control device 102 detects the detection result image Y 1 = T 1 −1 (AD (T 1 (X))), ..., Y n = T n −1 (AD (T n (X)) after the inverse transformation. ), A diagnostic image used for diagnosing the patient is generated. In the present embodiment, the control device 102 causes the detection result image Y 1 = T 1 −1 (AD (T 1 (X))) after inverse transformation, ..., Y n = T n −1 (AD ( T n (X))) is subjected to the combining process 3j to generate a diagnostic image. In the combination process 3j, the detection result image Y 1 = T 1 −1 (AD (T 1 (X))), ..., Y n = T n −1 (AD (T n (X)) after inverse transformation. ) Are combined by a combination function C (Y 1 , ..., Y n ) set in advance, and the result is used as a diagnostic image of the patient.

図３に示す例では、結合処理３ｊによって、結合関数Ｃ（Ｙ１,Ｙ２,Ｙ３）によって診断用画像が生成されている。なお、結合関数Ｃは、例えば、次式（２）に示すように、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の最小値が選択するように定義されている。
Ｃ（Ｙ１,・・・,Ｙｎ）＝ｍｉｎ（Ｙ１,・・・,Ｙｎ） ・・・（２） In the example shown in FIG. 3, a diagnostic image is generated by the combining function C (Y 1 , Y 2 , Y 3 ) by the combining process 3j. The combination function C is defined so that the minimum pixel value at each pixel position is selected in all the detection result images after the inverse transformation, as shown in the following expression (2).
C (Y 1 , ..., Y n ) = min (Y 1 , ..., Y n ) ... (2)

このように、入力画像Ｘを変換した複数の変換画像Ｔ１（Ｘ）,・・・,Ｔｎ（Ｘ）を用いることにより、１枚の入力画像を用いた場合と比較して、トレーニングステップにおけるトレーニング精度を向上させることができるとともに、推定ステップで出力される診断用画像における異常部位の抽出精度を向上させることができる。 As described above, by using the plurality of converted images T 1 (X), ..., T n (X) obtained by converting the input image X, the training step is compared with the case where one input image is used. Training accuracy can be improved, and the extraction accuracy of the abnormal part in the diagnostic image output in the estimation step can be improved.

制御装置１０２は、結合処理３ｊによって得た診断用画像を表示装置１０４へ出力する。これによって、表示装置１０４に診断用画像が表示され、医師等は、診断用画像に基づいて患者の医用画像内に異常部位が認められないかを確認することができる。   The control device 102 outputs the diagnostic image obtained by the combining process 3j to the display device 104. As a result, the diagnostic image is displayed on the display device 104, and a doctor or the like can confirm whether or not an abnormal part is found in the medical image of the patient based on the diagnostic image.

図４は、本実施の形態におけるトレーニングステップの流れを示すフローチャートである。図４に示す処理は、異常部がない正常状態の医用画像、例えば健康な人物の脳画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。   FIG. 4 is a flowchart showing the flow of training steps in this embodiment. The processing illustrated in FIG. 4 is executed by the control device 102 as a program that is started when a medical image in a normal state without an abnormal portion, for example, a brain image of a healthy person is input.

ステップＳ１０において、制御装置１０２は、入力された異常がない医用画像、すなわち入力画像Ｘに対してデータ増加処理２ａを実行して複数の変換画像Ｔ（Ｘ）を生成する。その後、ステップＳ２０へ進む。   In step S10, the control device 102 executes the data increasing process 2a on the input medical image having no abnormality, that is, the input image X to generate a plurality of converted images T (X). Then, it progresses to step S20.

ステップＳ２０では、制御装置１０２は、データ増加処理２ａで変換された変換画像Ｔ（Ｘ）をそれぞれ異常検出器２ｂに入力し、上述したように、異常検出器２ｂに異常がない医用画像の画像パターンを学習させるためのトレーニング処理を実行する。その後、ステップＳ３０へ進む。   In step S20, the control device 102 inputs the converted images T (X) converted in the data increase process 2a to the abnormality detector 2b, respectively, and as described above, an image of a medical image having no abnormality in the abnormality detector 2b. A training process for learning patterns is executed. Then, it progresses to step S30.

ステップＳ３０では、制御装置１０２は、上述したように、あらかじめ定義されている損失関数の値が所定の閾値以下になったことにより、異常検出器２ｂのトレーニングが終了したか否かを判断する。ステップＳ３０で肯定判断した場合には、そのときに設定されていた重み値をオートエンコーダのネットワーク重みとして採用し、処理を終了する。これに対して、ステップＳ３０で否定判断した場合には、ステップＳ４０へ進む。   In step S30, as described above, the control device 102 determines whether or not the training of the abnormality detector 2b has ended because the value of the previously defined loss function has become equal to or less than the predetermined threshold value. When an affirmative decision is made in step S30, the weight value set at that time is adopted as the network weight of the auto encoder, and the processing ends. On the other hand, if a negative decision is made in step S30, the operation proceeds to step S40.

ステップＳ４０では、制御装置１０２は、上述したように、オートエンコーダのネットワーク重みを調整して、ステップＳ１０へ戻る。   In step S40, the control device 102 adjusts the network weight of the auto encoder as described above, and returns to step S10.

図５は、本実施の形態における推定ステップの流れを示すフローチャートである。図５に示す処理は、診断対象患者の医用画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。   FIG. 5 is a flowchart showing the flow of the estimation step in this embodiment. The process shown in FIG. 5 is executed by the control device 102 as a program that is activated when a medical image of a diagnosis target patient is input.

ステップＳ１１０において、制御装置１０２は、入力された医用画像、すなわち入力画像Ｘに対してデータ増加処理２ａを実行して変換画像Ｔ１（Ｘ）,・・・,Ｔｎ（Ｘ）を生成する。その後、ステップＳ１２０へ進む。 In step S110, the control device 102 executes the data increasing process 2a on the input medical image, that is, the input image X to generate the converted images T 1 (X), ..., T n (X). . Then, it progresses to step S120.

ステップＳ１２０では、制御装置１０２は、データ増加処理２ａで変換した変換画像Ｔ１（Ｘ）,・・・,Ｔｎ（Ｘ）を異常検出器２ｂに入力して検出結果画像ＡＤ（Ｔｎ（Ｘ））,・・・,ＡＤ（Ｔｎ（Ｘ））を得る。その後、ステップＳ１３０へ進む。 In step S120, the control device 102 inputs the converted images T 1 (X), ..., T n (X) converted by the data increase processing 2a to the abnormality detector 2b and outputs the detection result image AD (T n ( X)), ..., AD (T n (X)). Then, it progresses to step S130.

ステップＳ１３０では、制御装置１０２は、検出結果画像ＡＤ（Ｔｎ（Ｘ））,・・・,ＡＤ（Ｔｎ（Ｘ））に対してデータ増加処理２ａで行った変換の逆変換を行って、逆変換後の検出結果画像Ｙ１＝Ｔ１ −１（ＡＤ（Ｔ１（Ｘ）））,・・・,Ｙｎ＝Ｔｎ −１（ＡＤ（Ｔｎ（Ｘ）））を得る。その後、ステップＳ１４０へ進む。 In step S130, the control device 102 performs the inverse conversion of the conversion performed in the data increasing process 2a on the detection result images AD ( Tn (X)), ..., AD ( Tn (X)). , And the detection result image Y 1 = T 1 −1 (AD (T 1 (X))), ..., Y n = T n −1 (AD (T n (X))) after inverse transformation. Then, it progresses to step S140.

ステップＳ１４０では、制御装置１０２は、逆変換後の検出結果画像Ｙ１＝Ｔ１ −１（ＡＤ（Ｔ１（Ｘ）））,・・・,Ｙｎ＝Ｔｎ −１（ＡＤ（Ｔｎ（Ｘ）））に対して結合処理３ｊを実行することにより、診断用画像を生成する。その後、ステップＳ１５０へ進む。 In step S140, the control device 102 causes the detection result image Y 1 = T 1 -1 (AD (T 1 (X))), ..., Y n = T n -1 (AD (T n (X))) is executed to generate a diagnostic image. Then, it progresses to step S150.

ステップＳ１５０では、制御装置１０２は、ステップＳ１４０で生成した診断用画像を表示装置１０４へ出力することにより、表示装置１０４に診断用画像を表示する。その後、処理を終了する。   In step S150, the control device 102 displays the diagnostic image on the display device 104 by outputting the diagnostic image generated in step S140 to the display device 104. Then, the process ends.

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、入力された医用画像に対して画像処理を行って複数の変換画像を生成し、生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成し、生成した複数の検出結果画像のそれぞれに対して、データ増加処理２ａで行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成し、生成した逆変換後の検出結果画像に基づいて、医用画像を撮影した患者の異常部を推定するための診断用画像を生成するようにした。これによって、患者の医用画像内から医学的な異常部を抽出した診断用画像を生成して、画像を用いた診断を支援することができる。さらに、入力画像を変換した複数の変換画像を用いて逆変換後の検出結果画像を生成し、これらを結合して診断用画像を生成するようにしたので、１枚の入力画像を用いる場合と比較して、トレーニングステップにおけるトレーニング精度を向上させることができるとともに、推定ステップで出力される診断用画像における異常部位の抽出精度を向上させることができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The control device 102 performs image processing on an input medical image to generate a plurality of converted images, and generates a plurality of converted images with a medical image of a healthy person. The difference part is extracted as the abnormal part to generate a plurality of detection result images, and the reverse conversion of the image processing performed in the data increasing process 2a is executed for each of the generated plurality of detection result images to perform the reverse conversion. The subsequent detection result image is generated, and based on the generated detection result image after the inverse transformation, the diagnostic image for estimating the abnormal part of the patient who took the medical image is generated. Accordingly, it is possible to generate a diagnostic image in which a medical abnormal part is extracted from the medical image of the patient, and support diagnosis using the image. Furthermore, since a detection result image after inverse conversion is generated using a plurality of converted images obtained by converting the input image and these are combined to generate a diagnostic image, a case where one input image is used By comparison, the training accuracy in the training step can be improved, and the extraction accuracy of the abnormal part in the diagnostic image output in the estimation step can be improved.

（２）制御装置１０２は、生成した診断用画像を表示装置１０４に表示するようにした。これによって、医師等の操作者は、診断用画像を表示装置１０４上で確認することができる。 (2) The control device 102 displays the generated diagnostic image on the display device 104. Thereby, an operator such as a doctor can confirm the diagnostic image on the display device 104.

（３）制御装置１０２は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成するようにした。これによって、１枚の医用画像から複数の変換画像を生成して、異常検出器２ｂに入力する画像の数を増やすことができる。 (3) The control device 102 performs image processing on the input medical image by a preset conversion method to generate a plurality of converted images. This makes it possible to generate a plurality of converted images from one medical image and increase the number of images input to the abnormality detector 2b.

（４）制御装置１０２は、異常がない医用画像に基づいて生成された変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに変換画像を入力し、オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を検出結果画像として生成するようにした。これによって、あらかじめオートエンコーダに異常がない医用画像における変換画像の画像パターンを学習させておけば、患者を撮影した診断対象の医用画像を入力するだけで検出結果画像生成することができる。 (4) The control device 102 learns the image pattern of the converted image generated based on the medical image having no abnormality, restores and outputs the converted image in the medical image having no abnormality with respect to the input converted image. The converted image is input to the auto encoder configured as described above, and the difference image obtained by calculating the difference between the input image to the auto encoder and the output image is generated as the detection result image. Accordingly, if the automatic encoder is made to learn the image pattern of the converted image in the medical image having no abnormality in advance, the detection result image can be generated only by inputting the medical image of the diagnosis target of the patient.

（５）制御装置１０２は、逆変換手段によって生成されたすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像を診断用画像として生成するようにした。このように、複数の逆変換後の検出結果画像において、同じ画素位置の画素の中から画素値が最小となる画素を選択して診断用画像を生成するようにすれば、ノイズ等の影響を排除して精度の高い診断用画像を生成することができる。 (5) The control device 102 is configured to generate, as the diagnostic image, an image in which the minimum pixel value at each pixel position is selected in all the detection result images after the inverse conversion generated by the inverse conversion means. As described above, in a plurality of detection result images after the inverse transformation, if the pixel having the smallest pixel value is selected from the pixels at the same pixel position to generate the diagnostic image, the influence of noise or the like is reduced. It is possible to exclude them and generate a highly accurate diagnostic image.

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置１００はパソコンであって、制御装置１０２が上述した処理を実行する例について説明した。しかしながら、操作者が操作する端末からインターネットなどの通信回線を介して画像処理装置１００へ接続できるようにし、上述した入力画像Ｘは、操作端末から画像処理装置１００へ送信されることにより入力されてもよい。また、その場合は、診断用画像は、操作端末に送信して、操作端末上で表示されるようにしてもよい。これによって、操作端末と画像処理装置１００とを通信回線を介して接続することで、クライアントサーバー型やクラウド型の画像処理システムを構築することができる一方で、画像処理装置１００を単体で用いることにより、スタンドアロン型の装置として利用することもできる。 -Modification-
The image processing device according to the above-described embodiment can be modified as follows.
(1) In the above-described embodiment, the example in which the image processing apparatus 100 is a personal computer and the control apparatus 102 executes the above-described processing has been described. However, the terminal operated by the operator is allowed to connect to the image processing apparatus 100 via a communication line such as the Internet, and the above-described input image X is input by being transmitted to the image processing apparatus 100 from the operation terminal. Good. Further, in that case, the diagnostic image may be transmitted to the operation terminal and displayed on the operation terminal. Thus, by connecting the operation terminal and the image processing apparatus 100 via the communication line, a client-server type or cloud type image processing system can be constructed, while the image processing apparatus 100 is used alone. It can also be used as a stand-alone device.

（２）上述した実施の形態では、トレーニングステップのための処理は、画像処理装置１００で制御装置１０２が実行する例について説明した。しかしながら、トレーニングステップのための処理は他の装置で実行するようにして、トレーニングステップによって得られたデータを記憶媒体１０３に記録しておくようにしてもよい。この場合は、画像処理装置１００でのトレーニングステップのための処理は不要となる。 (2) In the above-described embodiment, the processing for the training step is described as an example in which the control device 102 executes the image processing device 100. However, the processing for the training step may be executed by another device, and the data obtained by the training step may be recorded in the storage medium 103. In this case, the processing for the training step in the image processing apparatus 100 becomes unnecessary.

（３）上述した実施の形態では、制御装置１０２は、結合処理３ｊによって、式（２）に示した結合関数Cを用いて診断用画像を生成するようにし、結合関数Ｃは、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の最小値をその画素の画素値として診断用画像を生成するための関数である例について説明した。しかしながら、結合関数Ｃは式（２）に限定されない。例えば、結合関数Ｃは、逆変換後のすべての検出結果画像において、各ピクセル位置における画素値の平均値を算出し、算出した平均値をその画素の画素値として診断用画像を生成するための関数であってもよい。 (3) In the above-described embodiment, the control device 102 is configured to generate a diagnostic image using the combination function C shown in Expression (2) by the combination process 3j, and the combination function C is subjected to inverse transformation. In all of the detection result images described above, an example of a function for generating a diagnostic image with the minimum pixel value at each pixel position as the pixel value of that pixel has been described. However, the combination function C is not limited to the equation (2). For example, the combination function C calculates the average value of the pixel values at each pixel position in all the detection result images after the inverse transformation, and uses the calculated average value as the pixel value of the pixel to generate a diagnostic image. It may be a function.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。   The present invention is not limited to the configurations of the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Further, a configuration in which the above-described embodiment and a plurality of modified examples are combined may be adopted.

１００ 画像処理装置
１０１ 操作部材
１０２ 制御装置
１０３ 記憶媒体
１０４ 表示装置 100 image processing device 101 operation member 102 control device 103 storage medium 104 display device

Claims (15)

入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、
前記変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、
前記検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、前記変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、
前記逆変換手段によって生成された逆変換後の検出結果画像に基づいて、前記医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする画像処理装置。 A converted image generating unit that performs image processing on the input medical image to generate a plurality of converted images;
Detection result image generation means for generating a plurality of detection result images by extracting a difference portion from a medical image of a healthy person as an abnormal portion for each of the plurality of conversion images generated by the conversion image generation means. When,
Inverse of performing a reverse conversion of the image processing performed by the converted image generation means on each of the plurality of detection result images generated by the detection result image generation means to generate a detection result image after the reverse conversion. Conversion means,
A diagnostic image generating unit for generating a diagnostic image for estimating an abnormal part of the patient who has photographed the medical image, based on the detection result image after the inverse transformation generated by the inverse transforming unit. A characteristic image processing device. 請求項１に記載の画像処理装置において、
前記診断用画像生成手段によって生成された前記診断用画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
An image processing apparatus, further comprising image display means for displaying the diagnostic image generated by the diagnostic image generating means on a display device. 請求項１または２に記載の画像処理装置において、
前記変換画像生成手段は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成することを特徴とする画像処理装置。 The image processing device according to claim 1,
The image processing apparatus, wherein the converted image generation means performs image processing on an input medical image by a preset conversion method to generate a plurality of converted images. 請求項１〜３のいずれか一項に記載の画像処理装置において、
前記検出結果画像生成手段は、異常がない医用画像に基づいて生成された前記変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに前記変換画像を入力し、前記オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を前記検出結果画像として生成することを特徴とする画像処理装置。 The image processing device according to any one of claims 1 to 3,
The detection result image generation means learns an image pattern of the converted image generated based on a medical image having no abnormality, restores and outputs a converted image in the medical image having no abnormality with respect to the input converted image. An image characterized by inputting the converted image to an auto encoder configured to perform a difference image obtained by calculating a difference between an input image and an output image to the auto encoder as the detection result image. Processing equipment. 請求項１〜４のいずれか一項に記載の画像処理装置において、
前記診断用画像生成手段は、前記逆変換手段によって生成されたすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像、または各ピクセル位置における画素値の平均値を算出した画像のいずれかを前記診断用画像として生成することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 4,
The diagnostic image generation means is an image in which the minimum pixel value at each pixel position is selected in all the detection result images after the inverse conversion generated by the inverse conversion means, or the average of the pixel values at each pixel position. An image processing apparatus, wherein any one of the images whose values are calculated is generated as the diagnostic image. 入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手段と、
前記変換画像生成手段によって生成された複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手段と、
前記検出結果画像生成手段によって生成された複数の検出結果画像のそれぞれに対して、前記変換画像生成手段が行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手段と、
前記逆変換手段によって生成された逆変換後の検出結果画像に基づいて、前記医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手段とを備えることを特徴とする画像処理システム。 A converted image generating unit that performs image processing on the input medical image to generate a plurality of converted images;
Detection result image generation means for generating a plurality of detection result images by extracting a difference portion from a medical image of a healthy person as an abnormal portion for each of the plurality of conversion images generated by the conversion image generation means. When,
Inverse of performing a reverse conversion of the image processing performed by the converted image generation means on each of the plurality of detection result images generated by the detection result image generation means to generate a detection result image after the reverse conversion. Conversion means,
A diagnostic image generating unit for generating a diagnostic image for estimating an abnormal part of the patient who has photographed the medical image, based on the detection result image after the inverse transformation generated by the inverse transforming unit. Characteristic image processing system. 請求項６に記載の画像処理システムにおいて、
前記診断用画像生成手段によって生成された前記診断用画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理システム。 The image processing system according to claim 6,
An image processing system, further comprising image display means for displaying the diagnostic image generated by the diagnostic image generating means on a display device. 請求項６または７に記載の画像処理システムにおいて、
前記変換画像生成手段は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成することを特徴とする画像処理システム。 The image processing system according to claim 6 or 7,
An image processing system, wherein the converted image generation means performs image processing on an input medical image by a preset conversion method to generate a plurality of converted images. 請求項６〜８のいずれか一項に記載の画像処理システムにおいて、
前記検出結果画像生成手段は、異常がない医用画像に基づいて生成された前記変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに前記変換画像を入力し、前記オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を前記検出結果画像として生成することを特徴とする画像処理システム。 The image processing system according to any one of claims 6 to 8,
The detection result image generation means learns an image pattern of the converted image generated based on a medical image having no abnormality, restores and outputs a converted image in the medical image having no abnormality with respect to the input converted image. An image characterized by inputting the converted image to an auto encoder configured to perform a difference image obtained by calculating a difference between an input image and an output image to the auto encoder as the detection result image. Processing system. 請求項６〜９のいずれか一項に記載の画像処理システムにおいて、
前記診断用画像生成手段は、前記逆変換手段によって生成されたすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像、または各ピクセル位置における画素値の平均値を算出した画像のいずれかを前記診断用画像として生成することを特徴とする画像処理システム。 The image processing system according to any one of claims 6 to 9,
The diagnostic image generation means is an image in which the minimum pixel value at each pixel position is selected in all the detection result images after the inverse conversion generated by the inverse conversion means, or the average of the pixel values at each pixel position. An image processing system, wherein any one of the images whose values are calculated is generated as the diagnostic image. 入力された医用画像に対して画像処理を行って複数の変換画像を生成する変換画像生成手順と、
前記変換画像生成手順で生成した複数の変換画像のそれぞれに対して、健康者を撮影した医用画像との差異部を異常部として抽出して複数の検出結果画像を生成する検出結果画像生成手順と、
前記検出結果画像生成手順で生成した複数の検出結果画像のそれぞれに対して、前記変換画像生成手順で行った画像処理の逆変換を実行して、逆変換後の検出結果画像を生成する逆変換手順と、
前記逆変換手順で生成した逆変換後の検出結果画像に基づいて、前記医用画像を撮影した患者の異常部を推定するための診断用画像を生成する診断用画像生成手順とをコンピュータに実行させるための画像処理プログラム。 A conversion image generation procedure for performing image processing on an input medical image to generate a plurality of conversion images,
A detection result image generation procedure for generating a plurality of detection result images by extracting a difference portion from a medical image of a healthy person as an abnormal portion for each of the plurality of conversion images generated in the conversion image generation procedure, and ,
Inverse conversion for performing inverse conversion of the image processing performed in the converted image generation procedure on each of the plurality of detection result images generated in the detection result image generation procedure to generate a detection result image after inverse conversion Procedure and
The computer is made to execute a diagnostic image generation procedure for generating a diagnostic image for estimating an abnormal part of a patient who has taken the medical image, based on the detection result image after the inverse transformation generated in the inverse conversion procedure. Image processing program for. 請求項１１に記載の画像処理プログラムにおいて、
前記診断用画像生成手順で生成した前記診断用画像を表示装置に表示する画像表示手順をさらに有することを特徴とする画像処理プログラム。 The image processing program according to claim 11,
An image processing program, further comprising an image display procedure for displaying the diagnostic image generated by the diagnostic image generating procedure on a display device. 請求項１１または１２に記載の画像処理プログラムにおいて、
前記変換画像生成手順は、入力された医用画像に対してあらかじめ設定されている変換方法で画像処理を行って、複数の変換画像を生成することを特徴とする画像処理プログラム。 The image processing program according to claim 11 or 12,
An image processing program, wherein the converted image generation procedure performs image processing on an input medical image by a conversion method set in advance to generate a plurality of converted images. 請求項１１〜１３のいずれか一項に記載の画像処理プログラムにおいて、
前記検出結果画像生成手順は、異常がない医用画像に基づいて生成された前記変換画像の画像パターンを学習させ、入力された変換画像に対して異常がない医用画像における変換画像を復元して出力するように構成されたオートエンコーダに前記変換画像を入力し、前記オートエンコーダへの入力画像と出力画像の差分を算出して得た差分画像を前記検出結果画像として生成することを特徴とする画像処理プログラム。 The image processing program according to any one of claims 11 to 13,
In the detection result image generation procedure, the image pattern of the converted image generated based on the medical image having no abnormality is learned, and the converted image in the medical image having no abnormality with respect to the input converted image is restored and output. An image characterized by inputting the converted image to an auto encoder configured to perform a difference image obtained by calculating a difference between an input image and an output image to the auto encoder as the detection result image. Processing program. 請求項１１〜１４のいずれか一項に記載の画像処理プログラムにおいて、
前記診断用画像生成手順は、前記逆変換手順で生成したすべての逆変換後の検出結果画像において、各ピクセル位置における画素値の最小値を選択した画像、または各ピクセル位置における画素値の平均値を算出した画像のいずれかを前記診断用画像として生成することを特徴とする画像処理プログラム。

The image processing program according to any one of claims 11 to 14,
The diagnostic image generation procedure, in the detection result image after all the inverse transformation generated in the inverse transformation procedure, the image in which the minimum value of the pixel value at each pixel position is selected, or the average value of the pixel values at each pixel position An image processing program, wherein any one of the calculated images is generated as the diagnostic image.

JP2019094249A 2019-05-20 2019-05-20 Image processing device, image processing system, and image processing program Active JP6683960B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019094249A JP6683960B1 (en) 2019-05-20 2019-05-20 Image processing device, image processing system, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019094249A JP6683960B1 (en) 2019-05-20 2019-05-20 Image processing device, image processing system, and image processing program

Publications (2)

Publication Number Publication Date
JP6683960B1 true JP6683960B1 (en) 2020-04-22
JP2020188839A JP2020188839A (en) 2020-11-26

Family

ID=70286832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019094249A Active JP6683960B1 (en) 2019-05-20 2019-05-20 Image processing device, image processing system, and image processing program

Country Status (1)

Country Link
JP (1) JP6683960B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895204B2 (en) * 2007-03-22 2012-03-14 富士フイルム株式会社 Image component separation device, method, and program, and normal image generation device, method, and program
DE112016007498B4 (en) * 2016-12-06 2020-11-26 Mitsubishi Electric Corporation EXAMINATION EQUIPMENT AND EXAMINATION PROCEDURES
EP3477553B1 (en) * 2017-10-27 2023-08-30 Robert Bosch GmbH Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder
JP6590386B1 (en) * 2018-11-20 2019-10-16 株式会社アルム Image processing apparatus, image processing system, and image processing program

Also Published As

Publication number Publication date
JP2020188839A (en) 2020-11-26

Similar Documents

Publication Publication Date Title
JP2020073081A5 (en)
CN110599421B (en) Model training method, video fuzzy frame conversion method, device and storage medium
JP6930283B2 (en) Image processing device, operation method of image processing device, and image processing program
JP2019193853A5 (en)
JP6071338B2 (en) Medical diagnosis support apparatus, medical diagnosis support method and program
JP6621117B1 (en) Image processing apparatus, image processing system, and image processing program
JP2018041434A (en) Diagnosis assist device, image processing method in diagnosis assist device, and program
JP6590386B1 (en) Image processing apparatus, image processing system, and image processing program
JP6683960B1 (en) Image processing device, image processing system, and image processing program
JP5805001B2 (en) Image sharpness evaluation device
JP6995535B2 (en) Image processing equipment, image processing methods and programs
JP6220435B2 (en) Diagnosis support apparatus and control method thereof
JP6583875B1 (en) Image processing method, image processing system, and image processing program
WO2019235335A1 (en) Diagnosis support system, diagnosis support method, and diagnosis support program
JP6737487B1 (en) Image processing device, image processing system, and image processing program
JP6789620B2 (en) Image processing device and its control method, computer program
WO2018012090A1 (en) Diagnosis support system, medical diagnosis support device, and diagnosis support system method
JP2018116672A (en) Information processing apparatus, information processing method, and program
JP7409606B2 (en) Image processing device, image processing method and program
JP5138921B2 (en) X-ray CT image processing method and apparatus
JP2018114121A5 (en)
JP2010005109A (en) Image forming device, program, and image forming method
JP7288628B2 (en) dental imaging system
JP2005295417A (en) Image processing apparatus
JP2021036969A (en) Machine learning device, machine learning method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200109

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200310

R150 Certificate of patent or registration of utility model

Ref document number: 6683960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250