JP6422142B1 - Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg. - Google Patents

Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg. Download PDF

Info

Publication number
JP6422142B1
JP6422142B1 JP2017229327A JP2017229327A JP6422142B1 JP 6422142 B1 JP6422142 B1 JP 6422142B1 JP 2017229327 A JP2017229327 A JP 2017229327A JP 2017229327 A JP2017229327 A JP 2017229327A JP 6422142 B1 JP6422142 B1 JP 6422142B1
Authority
JP
Japan
Prior art keywords
image data
data
fertilized egg
teacher
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017229327A
Other languages
Japanese (ja)
Other versions
JP2019097425A (en
Inventor
康成 宮木
康成 宮木
Original Assignee
康成 宮木
康成 宮木
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 康成 宮木, 康成 宮木 filed Critical 康成 宮木
Priority to JP2017229327A priority Critical patent/JP6422142B1/en
Application granted granted Critical
Publication of JP6422142B1 publication Critical patent/JP6422142B1/en
Publication of JP2019097425A publication Critical patent/JP2019097425A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

【課題】主観的判断をすることなく、受精卵の画像データだけで正常児獲得の可否を予測可能な診断結果が得られる受精卵の画像診断システムを提供する。
【解決手段】受精卵の画像データは、妊娠予後が判明している画像データ10を含んでおり、画像データ10は、生児獲得に至った正常画像データと、染色体異常の異常画像データとで構成され、解析手段6は、正常画像データ及び異常画像データから複数の教師データを選択し、教師データから識別器を作成し、正常画像データ及び異常画像データから複数のテストデータを抽出し、識別器で各テストデータを診断して、テストデータの正診率を演算し、識別器の作成、テストデータの抽出及び正診率の演算を、選択する教師データを変えて繰り返し、繰り返しにより得られた複数の正診率に基づいて、繰り返しにより得られた複数の識別器から最適識別器を決定する。
【選択図】図1
Provided is an image diagnostic system for a fertilized egg that can obtain a diagnosis result that can predict whether or not a normal child can be acquired by using only image data of a fertilized egg without subjective judgment.
The image data of a fertilized egg includes image data 10 whose pregnancy prognosis is known, and the image data 10 includes normal image data that has resulted in the acquisition of a newborn and abnormal image data of a chromosomal abnormality. The analyzing means 6 selects a plurality of teacher data from normal image data and abnormal image data, creates a discriminator from the teacher data, extracts a plurality of test data from the normal image data and abnormal image data, and identifies them Each test data is diagnosed by the tester, the correct diagnosis rate of the test data is calculated, and the creation of the discriminator, the extraction of the test data and the calculation of the correct check rate are repeated by changing the teacher data to be selected. Based on the plurality of correct diagnosis rates, an optimum classifier is determined from the plurality of classifiers obtained by repetition.
[Selection] Figure 1

Description

本発明は、受精卵の画像診断システム、受精卵の画像診断プログラム及び受精卵の画像診断方法に関する。   The present invention relates to an image diagnostic system for fertilized eggs, an image diagnostic program for fertilized eggs, and an image diagnostic method for fertilized eggs.

我が国は少子化の危機に瀕している一方で、不妊に悩む患者は多い。不妊患者の妊娠成立を図る治療として、体外受精又は顕微授精が挙げられる。体外受精は、卵巣から卵細胞を取り出し(採卵)、体外で精子を与えて受精卵を作る治療であり、顕微授精は、体外で顕微鏡を見ながら精子を直接卵細胞に注入して受精させ受精卵を作る治療である。いずれの治療においても、受精卵を培養して成長させ、一旦凍結して保存し、患者の条件が良い時に解凍して、子宮に戻して妊娠成立を図るというものである。   While Japan is in danger of declining birthrate, many patients suffer from infertility. In vitro fertilization or microinsemination can be used as a treatment for establishing pregnancy in infertile patients. In vitro fertilization is a treatment that removes egg cells from the ovaries (egg collection) and gives sperm outside the body to make a fertilized egg. It is a treatment to make. In any treatment, fertilized eggs are cultured and grown, frozen and stored once, thawed when the patient's condition is good, and returned to the uterus to establish pregnancy.

子宮に戻すべき受精卵の選択は、解凍前と解凍後に顕微鏡で見て医師、検査技師又は培養士が顕微鏡観察により主観的に判断しており、正常と判断した受精卵であっても、現在、妊娠に至るのは高々30%に留まっている。すなわち、主観的な判断は精度が低く、判断手法を工夫したとしても精度を上げるには一定の限界があった。   The selection of the fertilized egg to be returned to the uterus is made by a doctor, laboratory technician, or cultivator subjectively by microscopic observation before thawing and after thawing. Only 30% of people get pregnant. That is, the accuracy of subjective judgment is low, and even if the judgment method is devised, there is a certain limit to raising the precision.

他方、1回当たりの治療費は高額であり、かつ自費負担となる。このため、受精卵選択の判断の精度が低いと、治療回数も増え時間が浪費され、心理的ストレスに加え、経済的ストレスも多大となる。このような背景の下、不妊の治療においては、できるだけ早く、かつ経済的負担が少なく妊娠に至ることが患者にも社会的にも求められている。   On the other hand, the cost of treatment per treatment is high and is a self-paying burden. For this reason, if the accuracy of the determination of fertilized egg selection is low, the number of treatments increases and time is wasted, and in addition to psychological stress, economic stress is also great. Under such circumstances, infertility treatment requires both patients and society to reach pregnancy as soon as possible and with less economic burden.

この点、医療の分野においては、コンピュータを用いて診断画像の分析、評価等を行う各種技術が提案されている。例えば、特許文献1には、診断画像の読影に際して、画像の特徴量を用いた類似症例の検索をコンピュータで実現させ、診断精度を向上させる診断支援技術が提案されている。特許文献2には、撮像された画像のみを用いて、受精卵内の細胞を識別することなく受精卵の品質評価に有益な情報の提示をコンピュータで実現させる受精卵品質評技術が提案されている。   In this regard, in the medical field, various techniques for analyzing and evaluating diagnostic images using a computer have been proposed. For example, Patent Literature 1 proposes a diagnosis support technology that improves the accuracy of diagnosis by causing a computer to search for similar cases using image feature amounts when interpreting a diagnostic image. Patent Document 2 proposes a fertilized egg quality evaluation technique that uses a computer to realize information useful for quality evaluation of a fertilized egg without identifying cells in the fertilized egg using only the captured image. Yes.

特開2002−230518号公報JP 2002-230518 A 特開2010−181402号公報JP 2010-181402 A

しかしながら、特許文献1に記載の技術は、受精卵の画像を対象とするものではなく、対象画像が臓器を対象としたCT画像であり、類似症例の検索を可能にして診断精度を向上させるというものであった。すなわち、特許文献1の記載からは、受精卵の画像に対して妊娠成立の可否を判断する手法を導き出すのは困難であった。他方、特許文献2に記載の技術は、受精卵の画像を対象とするものであるが、受精卵を品質評価する技術に留まり、妊娠成立の可否を直接的に判断する技術ではなかった。   However, the technique described in Patent Document 1 does not target a fertilized egg image, but the target image is a CT image targeting an organ, and it is possible to search for similar cases to improve diagnostic accuracy. It was a thing. That is, from the description of Patent Document 1, it has been difficult to derive a method for determining whether or not pregnancy can be established for an image of a fertilized egg. On the other hand, the technique described in Patent Document 2 is intended for an image of a fertilized egg, but it is limited to a technique for evaluating the quality of a fertilized egg, and is not a technique for directly determining whether pregnancy is established.

本発明は、前記のような従来の問題を解決するものであり、主観的判断をすることなく、受精卵の画像データだけで正常児獲得の可否を予測可能な診断結果が得られる受精卵の画像診断システム、受精卵の画像診断プログラム及び受精卵の画像診断方法を提供することを目的とする。   The present invention solves the conventional problems as described above, and it is possible to obtain a diagnostic result capable of predicting whether or not a normal child can be acquired by using only image data of a fertilized egg without subjective judgment. An object of the present invention is to provide an image diagnostic system, an image diagnostic program for a fertilized egg, and an image diagnostic method for a fertilized egg.

前記目的を達成するために、本発明の画像診断システムは、機械学習の手法を用いた受精卵の画像診断システムであって、受精卵の画像データを格納する記憶手段と、受精卵の画像データを記憶手段に取り込むための受信手段と、前記画像データを解析する解析手段と、前記解析手段による解析結果を出力する出力手段とを備えており、前記受精卵の画像データは、妊娠予後が判明している画像データを含んでおり、前記妊娠予後が判明している画像データは、生児獲得に至った正常画像データと、染色体異常の異常画像データとで構成され、前記解析手段は、前記正常画像データ及び前記異常画像データから複数の教師データを選択し、前記教師データから識別器を作成し、前記正常画像データ及び前記異常画像データから複数のテストデータを抽出し、前記識別器で前記各テストデータを診断して、前記テストデータの正診率を演算し、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データの個数を変えて繰り返し、個数の異なる前記各教師データについて演算された前記正診率に基づいて、前記教師データの最適個数を決定し、前記教師データの数を前記最適個数として、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データを変えて再度繰り返し、前記再度の繰り返しにより得られた複数の前記正診率に基づいて、前記再度の繰り返しにより得られた複数の前記識別器から最適識別器を決定することを特徴とする。 In order to achieve the above object, an image diagnostic system of the present invention is an image diagnostic system for a fertilized egg using a machine learning technique, a storage means for storing image data of the fertilized egg, and image data of the fertilized egg. Receiving means for storing the data in the storage means, analysis means for analyzing the image data, and output means for outputting the analysis result by the analysis means, and the image data of the fertilized egg has a known pregnancy prognosis The image data that includes the image data that is known, and the pregnancy prognosis is known, is composed of normal image data that has resulted in the acquisition of a newborn, and abnormal image data of chromosomal abnormalities, A plurality of teacher data is selected from the normal image data and the abnormal image data, a discriminator is created from the teacher data, and a plurality of test data is generated from the normal image data and the abnormal image data. The test data is diagnosed by the classifier, the correct diagnosis rate of the test data is calculated, and the creation of the classifier, the extraction of the test data and the calculation of the correct diagnosis rate are selected. the repeated by changing the number of training data, based on the diagnostic accuracy of different said computed for each teacher data of the number of, and determine the optimal number of the teacher data, the number of the training data as the optimum number The creation of the discriminator, the extraction of the test data, and the calculation of the correct diagnosis rate are repeated again by changing the teacher data to be selected , based on a plurality of correct check rates obtained by the repeat again , An optimum classifier is determined from a plurality of the classifiers obtained by the repetition again .

本発明の画像診断プログラムは、コンピュータに、機械学習の手法を用いて受精卵の画像診断を実行させるための受精卵の画像診断プログラムであって、受精卵の画像データを記憶手段に取り込む取り込みステップと、前記画像データを解析する解析ステップと、前記解析手段による解析結果を出力する出力ステップとを前記コンピュータに実行させ、前記受精卵の画像データは、妊娠予後が判明している画像データを含んでおり、前記妊娠予後が判明している画像データは、生児獲得に至った正常画像データと、染色体異常の異常画像データとで構成され、前記解析ステップにおいて、前記正常画像データ及び前記異常画像データから複数の教師データを選択し、前記教師データから識別器を作成し、前記正常画像データ及び前記異常画像データから複数のテストデータを抽出し、前記識別器で前記各テストデータを診断して、前記テストデータの正診率を演算し、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データの個数を変えて繰り返し、個数の異なる前記各教師データについて演算された前記正診率に基づいて、前記教師データの最適個数を決定し、前記教師データの数を前記最適個数として、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データを変えて再度繰り返し、前記再度の繰り返しにより得られた複数の前記正診率に基づいて、前記再度の繰り返しにより得られた複数の前記識別器から最適識別器を決定することを特徴とする。 The image diagnostic program of the present invention is a diagnostic image program for a fertilized egg for causing a computer to perform image diagnosis of a fertilized egg using a machine learning technique, and fetching image data of the fertilized egg into a storage means And an analysis step for analyzing the image data and an output step for outputting an analysis result by the analysis means. The image data of the fertilized egg includes image data whose pregnancy prognosis is known. The image data for which the pregnancy prognosis is known is composed of normal image data that has resulted in the acquisition of a live child and abnormal image data of chromosomal abnormality, and in the analyzing step, the normal image data and the abnormal image Selecting a plurality of teacher data from the data, creating a discriminator from the teacher data, the normal image data and the abnormal image A plurality of test data is extracted from the data, each test data is diagnosed by the classifier, a correct diagnosis rate of the test data is calculated, the classifier is created, the test data is extracted, and the correct diagnosis is performed The calculation of the rate is repeated by changing the number of the teacher data to be selected, and the optimum number of the teacher data is determined based on the correct diagnosis rate calculated for each teacher data having a different number, and the teacher data Using the number as the optimum number, the creation of the discriminator, the extraction of the test data, and the calculation of the correct diagnosis rate are repeated again while changing the selected teacher data, and a plurality of the correct values obtained by the second iteration are obtained. based on the diagnostic rate, you and determining the optimal classifier from a plurality of the classifiers obtained by repeating the re.

本発明の画像診断方法は、機械学習の手法を用いて受精卵の画像診断をコンピュータに実行させるための受精卵の画像診断方法であって、受精卵の画像データを記憶手段に取り込む取り込みステップと、前記画像データを解析する解析ステップと、前記解析手段による解析結果を出力する出力ステップとを備え、前記受精卵の画像データは、妊娠予後が判明している画像データを含んでおり、前記妊娠予後が判明している画像データは、生児獲得に至った正常画像データと、染色体異常の異常画像データとで構成され、前記解析ステップにおいて、前記正常画像データ及び前記異常画像データから複数の教師データを選択し、前記教師データから識別器を作成し、前記正常画像データ及び前記異常画像データから複数のテストデータを抽出し、前記識別器で前記各テストデータを診断して、前記テストデータの正診率を演算し、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データの個数を変えて繰り返し、個数の異なる前記各教師データについて演算された前記正診率に基づいて、前記教師データの最適個数を決定し、前記教師データの数を前記最適個数として、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データを変えて再度繰り返し、前記再度の繰り返しにより得られた複数の前記正診率に基づいて、前記再度の繰り返しにより得られた複数の前記識別器から最適識別器を決定することを特徴とする。 The diagnostic imaging method of the present invention is a diagnostic imaging method of a fertilized egg for causing a computer to perform diagnostic imaging of a fertilized egg using a machine learning technique, and includes a step of taking in image data of the fertilized egg into a storage means; An analysis step of analyzing the image data; and an output step of outputting an analysis result by the analysis means, wherein the image data of the fertilized egg includes image data whose pregnancy prognosis is known, and The image data with a known prognosis is composed of normal image data that has resulted in the acquisition of a live child and abnormal image data with chromosomal abnormalities. In the analysis step, a plurality of teachers are obtained from the normal image data and the abnormal image data. Select data, create a classifier from the teacher data, and extract a plurality of test data from the normal image data and the abnormal image data To diagnose the respective test data in the discriminator, calculates the diagnostic accuracy of the test data, creation of the classifier, an operation of extraction and the diagnostic accuracy of the test data, the teacher data to be selected repeatedly changing the number, the number of different said computed for each teacher data based on the diagnostic accuracy, to determine the optimum number of the teacher data, the number of the training data as the optimum number, the discriminator create, operations of extraction and the diagnostic accuracy of the test data, repeated again by changing the teacher data to be selected, a plurality of the said obtained by again repeated on the basis of the diagnostic accuracy by repeating the re determining an optimal classifier from a plurality of the classifiers obtained you characterized.

本発明によれば、受精卵の画像データに対し、撮影や測定等の機材を用いることなく、コンピュータのプログラムを実行させるだけで、主観的判断をすることなく診断が可能になる。そして、データを診断する識別器は、妊娠予後が判明している妊娠予後判明画像データに基づいて機械学習の手法により統計的に作成するので、診断結果は正常児獲得の可否を高い精度で予測可能なものとなる。また、正診率に基づいて、教師データの最適個数を決定するので、機械学習の過学習による診断精度の低下を防止することができる。 According to the present invention, it is possible to diagnose a fertilized egg image without subjective judgment by simply executing a computer program without using equipment such as photographing and measurement. The classifier that diagnoses the data is statistically created by machine learning based on the pregnancy prognosis image data whose pregnancy prognosis is known. It will be possible. Moreover, since the optimal number of teacher data is determined based on the correct diagnosis rate, it is possible to prevent a decrease in diagnostic accuracy due to overlearning of machine learning.

本発明の効果は前記のとおりであり、本発明によれば、受精卵の画像データに対し、撮影や測定等の機材を用いることなく、コンピュータのプログラムを実行させるだけで、主観的判断をすることなく診断が可能になる。そして、データを診断する識別器は、妊娠予後が判明している妊娠予後判明画像データに基づいて機械学習の手法により統計的に作成するので、診断結果は正常児獲得の可否を高い精度で予測可能なものとなる。   The effects of the present invention are as described above, and according to the present invention, subjective judgment is made by simply executing a computer program on image data of a fertilized egg without using equipment such as photographing and measurement. Diagnosis is possible without any problems. The classifier that diagnoses the data is statistically created by machine learning based on the pregnancy prognosis image data whose pregnancy prognosis is known, so the diagnosis result predicts the possibility of acquiring a normal child with high accuracy. It will be possible.

本発明の一実施形態に係る受精卵の画像診断システムの構成図。The block diagram of the diagnostic imaging system of a fertilized egg which concerns on one Embodiment of this invention. 本発明の一実施形態に係る画像診断システムのフローチャート。The flowchart of the diagnostic imaging system which concerns on one Embodiment of this invention. 受精卵の正常画像データの一例の模式図。The schematic diagram of an example of the normal image data of a fertilized egg. 受精卵の異常画像データの一例の模式図。The schematic diagram of an example of the abnormal image data of a fertilized egg. 図3に示した正常画像データに加え、これを増幅した画像データを示した模式図。The schematic diagram which showed the image data which amplified this in addition to the normal image data shown in FIG. 本発明の一実施形態において、教師データの最適個数の決定のプロセスを示すフローチャート。6 is a flowchart illustrating a process of determining the optimum number of teacher data in an embodiment of the present invention. 本発明の一実施形態において、教師データの枚数と正診率との関係を示した図。The figure which showed the relationship between the number of teacher data and the correct diagnosis rate in one Embodiment of this invention. 本発明の一実施形態において、最適識別器の決定のためのプロセスを示すフローチャート。6 is a flowchart illustrating a process for determining an optimal classifier in an embodiment of the present invention. 本発明の一実施形態において、画像データと最適識別器による診断結果との関係を示した図。The figure which showed the relationship between image data and the diagnostic result by an optimal discrimination device in one Embodiment of this invention. 本発明の一実施形態に係る診断の指標を示した図。The figure which showed the parameter | index of the diagnosis which concerns on one Embodiment of this invention.

以下、本発明の一実施形態について図面を参照しながら説明する。図1は、本発明の一実施形態に係る受精卵の画像診断システム(以下、単に「画像診断システム」という。)の構成図を示している。画像診断システム1は、受精卵の画像データに基づいて、妊娠成立の可否に関する判断情報を出力するシステムである。画像診断システム1は、インターネット8を介して、複数の医療機関1、2等に対して、受精卵の画像データ等の各種データの受け渡しを行う。解析手段6(CPU:中央演算処理装置)により各種演算処理が行われる。キーボード等の入力手段4により各種データの入力、設定を行う。ディスプレイ、プリンタ等の出力手段5により、出力結果が出力される。受信手段2で受信した医療機関からの画像データは、医療機関毎に記憶手段7に格納される。解析手段6による解析結果は、送信手段3により複数の医療機関1、2等に向けて送信される。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration diagram of a fertilized egg image diagnostic system (hereinafter simply referred to as “image diagnostic system”) according to an embodiment of the present invention. The image diagnosis system 1 is a system that outputs determination information regarding the feasibility of pregnancy based on image data of a fertilized egg. The diagnostic imaging system 1 delivers various data such as image data of a fertilized egg to a plurality of medical institutions 1 and 2 via the Internet 8. Various calculation processes are performed by the analysis means 6 (CPU: central processing unit). Various data are input and set by the input means 4 such as a keyboard. An output result is output by output means 5 such as a display or a printer. The image data from the medical institution received by the receiving unit 2 is stored in the storage unit 7 for each medical institution. The analysis result by the analysis unit 6 is transmitted to a plurality of medical institutions 1, 2 and the like by the transmission unit 3.

画像診断システム1が取り扱う画像データは、人工授精又は顕微授精を行ってその妊娠予後が判明している画像データ(以下、「妊娠予後判明画像データ」という。)と、診断対象の画像データ(以下、「診断対象画像データ」である。診断対象画像データは、妊娠成立の可否が不明なデータである。図1において、受信手段2は、診断対象画像データ11を複数の医療機関1、2等からインターネット8を介して個別に受信する。これとは別に、受信手段2は妊娠予後判明画像データ10を受信する。両画像データは、例えばjpegフォーマットであり、いずれも記憶手段7に格納される。   Image data handled by the image diagnostic system 1 includes image data whose pregnancy prognosis is known by performing artificial insemination or microinsemination (hereinafter referred to as “pregnancy prognosis known image data”) and image data to be diagnosed (hereinafter referred to as “pregnancy prognosis image data”). , “Diagnosis target image data.” The diagnosis target image data is data for which it is unknown whether pregnancy is established or not .. In Fig. 1, the receiving means 2 receives the diagnosis target image data 11 from a plurality of medical institutions 1, 2, etc. Are separately received via the Internet 8. Separately, the receiving means 2 receives the pregnancy prognosis finding image data 10. Both image data are in, for example, jpeg format, and both are stored in the storage means 7. .

前記の画像データはいずれも解析する前に予め画像処理を行なう。画像処理は、例えば背景のアーチファクトや格納容器の影などの消去、数値化された画像の標準化処理である。よって、解析手段6で解析される画像データは、予め画像処理がされたものである。画像処理は、解析前に実施されていればよく、同一プログラムで実施してもよく、画像処理用の別のプログラムで実施してもよい。通常はいずれの場合も、画像処理後の画像データを解析手段6が解析することになるが、同一プログラムで画像処理を実施する場合は、解析手段6に解析前の画像データに対し画像処理を行う機能を持たせてもよい。   All the image data are subjected to image processing before being analyzed. The image processing is, for example, erasing of background artifacts and shadows of the storage container, and standardization processing of a digitized image. Therefore, the image data analyzed by the analysis means 6 is subjected to image processing in advance. The image processing only needs to be performed before analysis, may be performed by the same program, or may be performed by another program for image processing. Normally, in any case, the analysis unit 6 analyzes the image data after image processing. However, when performing image processing with the same program, the analysis unit 6 performs image processing on the image data before analysis. You may have the function to perform.

解析手段6は診断対象画像データについて、妊娠成立の可否に関する判断情報を導き出す。このような判断情報を導き出す前提として、画像診断システム1には、妊娠予後判明画像データ10に基づいて、後述する最適識別器が作成されている。すなわち、画像診断システム1による情報処理は、妊娠予後判明画像データ10に基づいて最適識別器を作成する情報処理と、最適識別器を用いて診断対象画像データ診断する情報処理とに大別される。本実施形態では、この2つの情報処理を1つのプログラムで実行する例で説明するが、各情報処理を別のプログラムで実行してもよい。   The analysis means 6 derives judgment information regarding whether or not pregnancy is possible for the diagnostic object image data. As a premise for deriving such determination information, an optimum discriminator described later is created in the diagnostic imaging system 1 based on the pregnancy prognosis finding image data 10. That is, the information processing by the image diagnostic system 1 is roughly divided into information processing for creating an optimal classifier based on the pregnancy prognosis image data 10 and information processing for diagnosing diagnosis target image data using the optimal classifier. . In the present embodiment, an example in which these two information processes are executed by one program will be described, but each information process may be executed by another program.

図2は、本発明の一実施形態に係る画像診断システム1のフローチャートを示している。後に説明する図6は教師データの最適個数の決定のプロセスを示すフローチャーを示しており、図8は最適識別器の決定のためのプロセスを示すフローチャートを示している。画像診断システム1は、コンピュータに画像診断プログラムを実行させて使用される。本実施形態では、本発明を画像診断システム1として説明するが、図2、図6及び図8に示した画像診断システム1の情報処理の流れは、画像診断プログラムがコンピュータに実行させるステップを示したものでもある。したがって、本実施形態で説明する画像診断システム1による情報処理の内容は、画像診断プログラムがコンピュータに実行させる内容でもある。   FIG. 2 shows a flowchart of the diagnostic imaging system 1 according to an embodiment of the present invention. FIG. 6 described later shows a flowchart showing a process for determining the optimum number of teacher data, and FIG. 8 shows a flowchart showing a process for determining the optimum discriminator. The image diagnosis system 1 is used by causing a computer to execute an image diagnosis program. In the present embodiment, the present invention will be described as the diagnostic imaging system 1. The flow of information processing of the diagnostic imaging system 1 shown in FIGS. 2, 6, and 8 shows steps that the diagnostic imaging program causes the computer to execute. It is also a thing. Therefore, the contents of information processing by the image diagnosis system 1 described in the present embodiment are also contents that the image diagnosis program causes the computer to execute.

図2において、初期設定(ステップ100)の後、画像データを読み込む(ステップ101)。前記のとおり、画像診断システム1が取扱う画像データは、妊娠予後が判明している妊娠予後判明画像データ10(図1参照)と、診断対象の診断対象画像データ11(図1参照)の2種類である。両画像データを連続して読み込んでもよいが、少なくとも妊娠予後判明画像データ10を読み込んでおけば、最適識別器の作成が可能になり(ステップ104)、この後に診断対象画像データ11を読み込んでもよい。   In FIG. 2, after initial setting (step 100), image data is read (step 101). As described above, the image data handled by the image diagnosis system 1 includes two types of image data 10 (see FIG. 1) for which the pregnancy prognosis is known and diagnosis target image data 11 (see FIG. 1) to be diagnosed. It is. Both image data may be read in succession, but if at least the pregnancy prognosis finding image data 10 is read, an optimum discriminator can be created (step 104). Thereafter, the diagnostic object image data 11 may be read. .

ステップ102〜ステップ104は、診断対象画像データ11を診断する前の前段階のステップであり、本実施形態では、診断の精度を高めるために、教師データの最適個数を決定した上で、改めて最適個数の教師データを選択し、最適識別器を決定するようにしている。詳細は後に説明するが、解析処理が開始すると、教師データの最適個数を決定し(ステップ103)、続いて最適識別器を決定し(ステップ104)、最適識別器で診断対象の画像データを診断する(ステップ105)。   Steps 102 to 104 are pre-stage steps before diagnosing the diagnosis target image data 11, and in this embodiment, in order to improve the accuracy of diagnosis, the optimum number of teacher data is determined and then optimized again. The number of teacher data is selected and the optimum classifier is determined. Although details will be described later, when the analysis process starts, the optimum number of teacher data is determined (step 103), the optimum classifier is subsequently determined (step 104), and the image data to be diagnosed is diagnosed by the optimum classifier. (Step 105).

最適識別器の決定のための解析処理及び最適識別器による画像データの診断のための解析処理はいずれも、人工知能による教師付機械学習のパターン認識を活用したものである。解析処理のプログラム言語としては例えばWolfram言語が挙げられる。機械学習のパターン認識についてはlogistic regression、naive Bayes、random forest、nearest neighbors、neural network、deep learningという認識方法が挙げられる。Wolfram言語にはこれらの認識方法を扱う関数がすでに用意されており、各認識方法から最適なものを選択すればよい。   Both the analysis process for determining the optimum classifier and the analysis process for diagnosing image data by the optimum classifier utilize pattern recognition of supervised machine learning by artificial intelligence. An example of a program language for analysis processing is the Wolfram Language. As for machine learning pattern recognition, there are recognition methods such as logistic regression, naive Bayes, random forest, nearest neighbors, neural network, and deep learning. The Wolfram Language already has functions for handling these recognition methods, and you can select the best one from each recognition method.

図1において、妊娠予後判明画像データ10は、正常画像データと異常画像データとに分類される。正常画像データは、後に生児獲得に至った画像データである。異常画像データは、染色体異常の異常画像データである。異常画像データは、染色体異常であったことが判明していればよく、当該異常画像データに係る受精卵を実際に子宮に戻して妊娠の有無を確認したものであるか否かは問わない。染色体異常であれば、正常生児獲得に至らないことが明らかであるからである。よって、異常画像データは、後に妊娠したが流産となりその時の染色体検査で染色体異常と判明しているものでもよく、着床前スクリーニング(PGS)にて染色体異常(異数体及びモザイク)と判明しているものでもよく、両者が混在していてもよい。   In FIG. 1, pregnancy prognosis finding image data 10 is classified into normal image data and abnormal image data. Normal image data is image data that resulted in the acquisition of newborns later. The abnormal image data is abnormal image data of chromosomal abnormality. It suffices that the abnormal image data has been found to be a chromosomal abnormality, and it does not matter whether the fertilized egg related to the abnormal image data is actually returned to the uterus to confirm the presence or absence of pregnancy. This is because it is clear that chromosomal abnormalities do not lead to the acquisition of normal live children. Therefore, abnormal image data may be those that became pregnant later but became miscarriage and proved to be chromosomal abnormality by chromosomal examination at that time. Pre-implantation screening (PGS) revealed chromosomal abnormality (aneuploid and mosaic). Or both of them may be mixed.

正常画像データ及び異常画像データのいずれについても、解析手段6で解析する際には形式を統一する。例えば、画像解像度を例えば72pixel/inchで100×100pixelsの正方形になるように変換する。図3の符合10は正常画像データの一例の模式図を示しており、図4の符合11は異常画像データの一例の模式図を示している。各画像データは正方形に変換されているため、回転及び反転により、同じ正方形の画像データを増幅することができる。   When both the normal image data and the abnormal image data are analyzed by the analysis means 6, the formats are unified. For example, the image resolution is converted to a square of 100 × 100 pixels at, for example, 72 pixels / inch. Reference numeral 10 in FIG. 3 shows a schematic diagram of an example of normal image data, and reference numeral 11 in FIG. 4 shows a schematic diagram of an example of abnormal image data. Since each image data is converted into a square, the same square image data can be amplified by rotation and inversion.

図5は図3に示した正常画像データに加え、これを増幅した画像データを示している。1個の画像データは、図5に示したように、90度回転、180度回転、270度回転により3個の画像が追加され、反転、反転90度回転、反転180度回転、反転270度回転により4枚の画像が追加され、元の画像データを含めると8枚の画像データが得られる。このことは、図4に示した異常画像データ11についても同様である。このように、画像データを増幅することにより、1個の画像データを8倍の枚数の画像データに増幅することができるので、画像データの特徴を多面的に表現でき、後に説明する識別器の精度を高めることができる。   FIG. 5 shows image data obtained by amplifying the normal image data shown in FIG. As shown in FIG. 5, three pieces of image data are added by 90 degree rotation, 180 degree rotation, and 270 degree rotation, and one image data is inverted, inverted 90 degree rotated, inverted 180 degree rotated, inverted 270 degree. Four images are added by rotation, and when the original image data is included, eight image data are obtained. The same applies to the abnormal image data 11 shown in FIG. In this way, by amplifying the image data, one image data can be amplified to 8 times the number of image data, so that the characteristics of the image data can be expressed in many ways, and the classifier described later Accuracy can be increased.

画像データの形式の統一は、前記のものに限られるのではなく、適宜変更してもよい。例えば、各画像データを円形に変換し、回転及び反転により、画像データを増幅してもよい。円形画像データの場合、画像データを小さな角度で小刻みに回転させることにより、増幅枚数を増やすことができ、画像データの特徴をより多面的に表現でき、識別器の精度向上に有利になる。   The unification of the format of the image data is not limited to the above, but may be changed as appropriate. For example, each image data may be converted into a circle, and the image data may be amplified by rotation and inversion. In the case of circular image data, by rotating the image data in small increments at a small angle, the number of amplified images can be increased, and the characteristics of the image data can be expressed in many ways, which is advantageous for improving the accuracy of the discriminator.

画像診断システム1は、正常画像データ及び異常画像データを含む妊娠予後判明画像データから教師データを選択し、同データから識別器を作成する。本実施形態では、機械学習の過学習による診断精度の低下を防止するために、予め教師データの最適個数を決定する。図6は、教師データの最適個数の決定のプロセスを示すフローチャートである。   The diagnostic imaging system 1 selects teacher data from pregnancy prognosis image data including normal image data and abnormal image data, and creates a discriminator from the data. In the present embodiment, the optimal number of teacher data is determined in advance in order to prevent a decrease in diagnostic accuracy due to overlearning of machine learning. FIG. 6 is a flowchart showing a process of determining the optimum number of teacher data.

以下図6を参照しながら、教師データの最適個数の決定について説明する。便宜のため数値例を挙げながら説明するが、一例でありこれに限定されるものではない。例えば、下記実施形態では増幅後の画像データの枚数は2600枚であるが、数千枚のレベルで適宜変更してもよく、数万枚のレベルで適宜変更してもよい。下記実施形態では、教師データの最適枚数は1150枚であるが、元の画像データが数万枚であれば、教師データの最適枚数は、例えば2万枚程度にもなり得る。   Hereinafter, the determination of the optimum number of teacher data will be described with reference to FIG. For the sake of convenience, a numerical example will be described. However, this is an example and the present invention is not limited to this. For example, in the following embodiment, the number of image data after amplification is 2600, but may be changed as appropriate at a level of several thousand or may be changed as appropriate at a level of several tens of thousands. In the following embodiment, the optimal number of teacher data is 1150, but if the original image data is tens of thousands, the optimal number of teacher data can be, for example, about 20,000.

本実施形態では、画像診断システム1は、図1において妊娠予後判明画像データ10として、正常画像データを125枚と、異常画像データを200枚受信した。異常画像データ200枚には、後に妊娠したが流産となりその時の染色体検査で染色体異常だったことが判明している画像データと、着床前スクリーニングにて染色体異常と判明している画像データが含まれている。前記のとおり、画像データの増幅により、画像データは8倍の枚数に増幅されるので、正常画像データは1000枚となり、異常画像データは1600枚となり、画像データは合計2600枚となる。   In this embodiment, the diagnostic imaging system 1 has received 125 normal image data and 200 abnormal image data as pregnancy prognosis finding image data 10 in FIG. 200 pieces of abnormal image data include image data that became pregnant later but became miscarriage and proved to be chromosomal abnormality by the chromosome examination at that time, and image data that was found to be chromosomal abnormality by preimplantation screening It is. As described above, the amplification of the image data amplifies the image data by eight times, so that the normal image data is 1000, the abnormal image data is 1600, and the image data is 2600 in total.

図6において、教師データ90枚(n枚)を初期値として設定する(ステップ110)。続いて、2600枚の画像データから90枚の画像データを教師データとして選択する(ステップ111)。90枚の教師データの内訳は、正常画像データ及び異常画像データをそれぞれ同数枚の45枚(n/2枚)とした。この90枚の教師データから識別器を作成する(ステップ112)。   In FIG. 6, 90 pieces of teacher data (n pieces) are set as initial values (step 110). Subsequently, 90 pieces of image data are selected as teacher data from 2600 pieces of image data (step 111). The breakdown of the 90 pieces of teacher data is the same number of 45 pieces of normal image data and abnormal image data (n / 2 pieces). A discriminator is created from the 90 pieces of teacher data (step 112).

識別器とは入力されたデータをいくつかのクラスに分類する識別関数プログラムのことであり、ここではクラスは正常と異常の2分類である。教師データから画像特徴を抽出し、正常と異常とをできるだけ区別できるようなパラメータを設定することで識別器を求める。識別器に診断対象の画像データを入力すると、正常か異常かのいずれかの結果が出力される。   The discriminator is a discriminant function program that classifies input data into several classes. Here, classes are classified into two categories: normal and abnormal. An image feature is extracted from the teacher data, and a discriminator is obtained by setting parameters that can distinguish between normal and abnormal as much as possible. When image data to be diagnosed is input to the discriminator, either normal or abnormal results are output.

また、後述するようにステップ105の最適識別器は、個々の受精卵の画像データの正常及び異常についての2分類解析結果を示すだけでなく、異常(及び正常)の確率を出力する。異常確率は、診断対象の画像データについて、その画像特徴に基づいて、当該画像データが異常である確率を識別器が演算したものである。識別器が当該画像データを異常と診断している場合は、当該画像データの異常確率は0.5以上(判断基準は適宜変更してもよい。)である。異常確率が演算されると、正常確率は画一的に定まり、正常確率=1−異常確率である。   As will be described later, the optimum discriminator in step 105 not only shows the two-class analysis results for normal and abnormal image data of each fertilized egg, but also outputs the probability of abnormality (and normal). The abnormality probability is a classifier that calculates the probability that the image data is abnormal based on the image characteristics of the image data to be diagnosed. When the discriminator diagnoses the image data as abnormal, the abnormality probability of the image data is 0.5 or more (the determination criterion may be changed as appropriate). When the abnormality probability is calculated, the normal probability is uniformly determined, and normal probability = 1−abnormal probability.

次に、識別器で判定を行うテストデータを抽出する(ステップ113)。テストデータは、2600枚の画像データの中から教師データとして選択した90枚の画像データを除いた2510枚の画像データの中からランダムに500枚(n1枚)の画像データを抽出する。500枚のテストデータの内訳は、正常画像データ及び異常画像データをそれぞれ同数枚の250枚(n1/2枚)とした。この合計500枚のテストデータについて、ステップ112で作成した識別器で診断を行う(ステップ114)。   Next, test data to be determined by the classifier is extracted (step 113). As test data, 500 (n1) image data are randomly extracted from 2510 image data obtained by excluding 90 image data selected as teacher data from 2600 image data. The breakdown of the 500 test data is the same number of normal image data and abnormal image data of 250 (n1 / 2). The total 500 test data is diagnosed by the discriminator created in step 112 (step 114).

診断は、正常又は異常の2種類であり、500枚のテストデータに対し500個の診断結果が得られる。テストデータは正常又は異常が判明している画像データであるため、診断結果の正否の判定が可能である。すなわち、診断結果が正常であり、当該テストデータも正常である場合と、診断結果が異常であり、当該テストデータも異常である場合は、正判定となる。他方、診断結果が正常であり、当該テストデータが異常である場合と、診断結果が異常であり、当該テストデータが正常である場合は否判定となる。本実施形態では、正診率を次の式(1)で定義し、500枚のテストデータの診断結果について正診率を演算する(ステップ115)。
式(1)正診率=正判定のテストデータ枚数/テストデータ総枚数
There are two types of diagnosis, normal or abnormal, and 500 diagnosis results are obtained for 500 pieces of test data. Since the test data is image data that is known to be normal or abnormal, it is possible to determine whether the diagnosis result is correct. That is, when the diagnosis result is normal and the test data is normal, and when the diagnosis result is abnormal and the test data is also abnormal, a positive determination is made. On the other hand, when the diagnosis result is normal and the test data is abnormal, and when the diagnosis result is abnormal and the test data is normal, the determination is negative. In this embodiment, the correct diagnosis rate is defined by the following equation (1), and the correct diagnosis rate is calculated for the diagnosis results of 500 test data (step 115).
Formula (1) Correct diagnosis rate = number of test data for correct judgment / total number of test data

500枚のテストデータに対し正診率を演算した後は、改めてランダムに500枚のテストデータを抽出し、ステップ113〜ステップ115を実行し、改めて正診率を演算する。これは、初回の正診率の演算も含めて10回(n2回)繰り返す。このことにより、10個の正診率が得られる。   After calculating the correct diagnosis rate for the 500 test data, 500 test data are extracted at random again, and Steps 113 to 115 are executed to calculate the correct diagnosis rate again. This is repeated 10 times (n2 times) including the calculation of the initial correct diagnosis rate. As a result, 10 correct diagnosis rates can be obtained.

10回の正診率の演算が完了すると、90枚であった教師データの枚数を増加させる(ステップ116)。以後新たに設定した教師データの枚数でステップ111〜115を繰り返し、改めて10個の正診率が得られる。以後、教師データの枚数を増加させて同じ手順を繰り返すことにより、教師データの枚数毎に10個の正診率が得られる。   When the calculation of the correct diagnosis rate 10 times is completed, the number of teacher data, which is 90, is increased (step 116). Thereafter, steps 111 to 115 are repeated with the newly set number of teacher data, and 10 correct diagnosis rates are obtained again. Thereafter, by repeating the same procedure by increasing the number of teacher data, 10 correct diagnosis rates can be obtained for each number of teacher data.

図7は教師データの枚数と正診率との関係を示す図である。教師データが200枚の部分を例にとると、下端16は平均値から標準偏差値を引いた値、上端17は平均値に標準偏差値を加えた値を示しており、点15は平均値を示している。下端16と上端17との間が離れているほど、ばらつきが大きく標準偏差も大きくなる。図7の結果では、教師データの枚数が1000枚〜1200枚のときに、正診率は高い値を維持し、かつばらつきも小さくなっており(A部参照)、高い正診率を安定して確保できる。他方、教師データの枚数が1200枚以上になるとばらつきが大きくなる。解析手段6は、正診率の平均値及び標準偏差を尺度として、教師データの最適枚数Nとして1150枚を決定した(ステップ117)。   FIG. 7 is a diagram showing the relationship between the number of teacher data and the correct diagnosis rate. For example, when the teacher data is 200 pieces, the lower end 16 indicates a value obtained by subtracting the standard deviation value from the average value, the upper end 17 indicates a value obtained by adding the standard deviation value to the average value, and a point 15 indicates the average value. Is shown. The further the distance between the lower end 16 and the upper end 17, the greater the variation and the greater the standard deviation. In the result of FIG. 7, when the number of teacher data is 1000 to 1200, the correct diagnosis rate maintains a high value and the variation is small (see part A), and the high correct check rate is stable. Can be secured. On the other hand, the variation increases when the number of teacher data is 1200 or more. The analysis means 6 determines 1150 as the optimum number N of teacher data using the average value and standard deviation of the correct diagnosis rate as a scale (step 117).

教師データの最適枚数Nを決定した後は、解析手段6は最適識別器の決定のための演算処理を行う。図8は、最適識別器の決定のためのプロセスを示すフローチャートである。最初に、2600枚の画像データから1150枚(N枚)の画像データを教師データとして選択する(ステップ120)。1150枚の教師データの内訳は、正常画像データ及び異常画像データをそれぞれ同数枚の575枚(N/2枚)とした。この1150枚の教師データから識別器を作成する(ステップ121)。   After determining the optimum number N of teacher data, the analysis means 6 performs a calculation process for determining the optimum classifier. FIG. 8 is a flowchart illustrating a process for determining an optimal classifier. First, 1150 (N) image data are selected as teacher data from 2600 image data (step 120). The breakdown of the 1150 teacher data was 575 (N / 2) of the same number of normal image data and abnormal image data. A discriminator is created from the 1150 teacher data (step 121).

次に、識別器で診断を行うテストデータを抽出する(ステップ122)。テストデータは、2600枚の画像データの中から教師データとして選択した1150枚の画像データを除いた850枚の画像データの中からランダムに100枚(N1枚)の画像データを抽出する。100枚のテストデータの内訳は、正常画像データ及び異常画像データをそれぞれ同数枚の50枚(N1/2枚)とした。この50枚のテストデータについて、ステップ121で作成した識別器で診断を行う(ステップ123)。   Next, test data to be diagnosed by the discriminator is extracted (step 122). As test data, 100 (N1) image data are extracted at random from 850 image data obtained by excluding 1150 image data selected as teacher data from 2600 image data. The breakdown of the test data of 100 sheets was 50 (N1 / 2 sheets) of the same number of normal image data and abnormal image data. The 50 test data are diagnosed by the discriminator created in step 121 (step 123).

診断要領は、図6のステップ114と同様であり、正常又は異常の2種類であり、100枚のテストデータに対し100個の診断結果が得られ、前記式(1)で定義した正診率の計算式により、100枚のテストデータの診断結果について正診率を演算する(ステップ124)。これは、初回の正診率の演算も含めて50回(N2回)繰り返す。   The diagnosis procedure is the same as in step 114 of FIG. 6, and there are two types, normal or abnormal. 100 diagnosis results are obtained for 100 test data, and the correct diagnosis rate defined by the above formula (1) The correct diagnosis rate is calculated for the diagnosis result of 100 pieces of test data (step 124). This is repeated 50 times (N2 times) including the calculation of the initial correct diagnosis rate.

50回の正診率の演算が完了すると、1150枚の教師データを新たにランダムに選択し、ステップ121〜124を繰り返し、改めて100個の正診率が得られる。以後、同じ手順を繰り返すことにより、新たに選択した教師データについてそれぞれ100個の正診率が得られる。解析手段6は、最も高い正診率をもたらした識別器を最適識別器として採用する(ステップ125)。このステップは、図2のステップ104に相当する。   When the calculation of the correct diagnosis rate 50 times is completed, 1150 teacher data are newly selected at random, and steps 121 to 124 are repeated to obtain 100 correct diagnosis rates again. Thereafter, by repeating the same procedure, 100 correct diagnosis rates are obtained for each newly selected teacher data. The analysis means 6 employs the discriminator that yielded the highest correct diagnosis rate as the optimum discriminator (step 125). This step corresponds to step 104 in FIG.

以上の解析プロセスは、妊娠予後が判明している妊娠予後判明画像データを対象としたものであったが、以後は診断対象の診断対象画像データについて、解析が行われる。すなわち、図2において、最適識別器を決定した後は(ステップ104)、この最適識別器で診断対象画像データを診断する(ステップ105)。図1に示したように、診断対象画像データ11は複数の医療機関1、2等からインターネット8を介して個別に受信したものである。   The analysis process described above is intended for pregnancy prognosis clarified image data whose pregnancy prognosis is known, but after that, the analysis target image data to be diagnosed is analyzed. That is, in FIG. 2, after determining the optimum classifier (step 104), diagnosis target image data is diagnosed by this optimum classifier (step 105). As shown in FIG. 1, diagnosis target image data 11 is individually received from a plurality of medical institutions 1, 2, etc. via the Internet 8.

以上の解析プロセスにおいて、教師データ及びテストデータの内訳は、いずれも正常画像データ及び異常画像データをそれぞれ同数枚、すなわち両画像データの比率を1:1とした例で説明したが、これに限るものではない。両画像データの比率は、識別器の正診率がより高まる最適な比率を決定すればよく、例えば2:1でもよく、1:2でもよい。具体的には、最終的な比率を決定する前に、試験的に画像診断システム1を稼働させて、適宜比率を変更して、識別器の正診率を確認しながら、最適な比率を決定すればよい。   In the above analysis process, the breakdown of the teacher data and the test data has been described with an example in which the same number of normal image data and abnormal image data are used, that is, the ratio of the two image data is 1: 1. It is not a thing. The ratio of both image data should just determine the optimal ratio with which the correct diagnosis rate of a discriminator increases, for example, may be 2: 1 and may be 1: 2. Specifically, before determining the final ratio, the diagnostic imaging system 1 is operated on a trial basis, the ratio is appropriately changed, and the optimal ratio is determined while checking the correct diagnosis rate of the discriminator. do it.

以下、診断の指標について説明する。図9は画像データと最適識別器による診断結果との関係を示している。本図は、図8の最適識別器を求めるプロセスにおいて、最適識別器による妊娠予後判明画像データに対する診断結果を整理したものである。a〜dは100枚のテストデータの内訳である。aは異常画像データに対し陽性(異常)と診断した枚数であり正しく診断した枚数であり、bは異常画像データに対し陰性(正常)と診断した枚数であり誤って診断した枚数であり、cは正常画像データに対し陽性(異常)と診断した枚数であり誤って診断した枚数であり、dは正常画像データに対し陰性(正常)と診断した枚数であり正しく診断した枚数である。   Hereinafter, the diagnosis index will be described. FIG. 9 shows the relationship between the image data and the diagnosis result by the optimum classifier. This figure is an arrangement of the diagnosis results for the pregnancy prognosis image data obtained by the optimum discriminator in the process for obtaining the optimum discriminator shown in FIG. “a” to “d” are breakdowns of 100 test data. a is the number of sheets diagnosed as positive (abnormal) with respect to abnormal image data and correctly diagnosed, b is the number of sheets diagnosed as negative (normal) with respect to abnormal image data, and is the number of sheets diagnosed incorrectly, c Is the number of sheets diagnosed as positive (abnormal) with respect to normal image data, and is the number of sheets diagnosed incorrectly. D is the number of sheets diagnosed as negative (normal) with respect to normal image data, and is the number of sheets correctly diagnosed.

図10は診断の指標を示しており、正診率は前記式(1)で示したとおり正しく診断する割合、感度は異常受精卵を「陽性」(異常)と正しく診断する割合、特異度は正常受精卵を「陰性」(正常)と正しく診断する割合、陽性適中率は陽性と診断された場合の的中率、陰性適中率は陰性と診断された場合の的中率である。各指標の計算式は、図10の右欄に示されており、図9のa〜dから求めることができる。図9のa〜dは妊娠予後が判明している妊娠予後判明画像データから検証したものであり、図9のa〜dから求めた各指標の値は最適識別器の特性として信頼性の高いものとなる。   FIG. 10 shows diagnosis indexes, the correct diagnosis rate is the rate of correctly diagnosing as shown in the above formula (1), the sensitivity is the rate of correctly diagnosing abnormally fertilized eggs as “positive” (abnormal), and the specificity is The rate at which normal fertilized eggs are correctly diagnosed as “negative” (normal), the positive predictive value is the predictive value when positive is diagnosed, and the negative predictive value is the predictive value when negative is diagnosed. The calculation formula of each index is shown in the right column of FIG. 10, and can be obtained from a to d in FIG. 9a to 9d are verified from the pregnancy prognosis clarified image data whose pregnancy prognosis is known, and the value of each index obtained from a to d in FIG. 9 is highly reliable as the characteristic of the optimum discriminator. It will be a thing.

例えば、テストデータが正常画像データと異常画像データとが半分ずつの条件下では、陽性適中率が0.775ということは、本実施形態に係る画像診断システム1により診断対象画像データを診断したときに、「異常」と診断された場合には、77.5%の確率で「異常」ということになる。したがって、この場合には、受精卵を子宮に戻すことはやめたほうがよいという判断をすることできる。他方、陰性適中率が0.760ということは、本実施形態に係る画像診断システム1により診断対象画像データを診断したときに、「正常」と診断された場合には、生児を獲得できる確率が76%ということになる。   For example, when the test data is normal image data and abnormal image data are halved, the positive predictive value is 0.775. When the diagnosis target image data is diagnosed by the image diagnosis system 1 according to the present embodiment, In addition, when “abnormal” is diagnosed, it is “abnormal” with a probability of 77.5%. Therefore, in this case, it can be determined that the fertilized egg should not be returned to the uterus. On the other hand, when the negative predictive value is 0.760, the probability that a live child can be acquired when diagnosis target image data is diagnosed by the image diagnosis system 1 according to the present embodiment is diagnosed as “normal”. Is 76%.

前記のとおり、ステップ105で得た最適識別器は、陰性(正常)と陽性(異常)といった2分類解析結果を示すだけでなく、その前提として個々の画像データに係る受精卵の異常確率を算出している。例えば、ある画像データに係る受精卵の異常確率が0.678と算出されたとすると、この受精卵が異常である確率は67.8%であることを意味する。陰性か陽性かの判断基準としては例えば0.5を用い、0.5以上を陽性(異常)と判定する。異常確率が0.878と算出された場合を例にすれば、異常確率が0.5以上であるので、当該画像データに係る受精卵は、質的には陽性(異常)であると判断される。このことから、最適識別器による2分類解析結果だけを活用するのではなく、異常確率(正常確率)を活用すれば、受精卵の順位付けができるために受精卵を子宮に戻すときの選別が可能になる。   As described above, the optimum discriminator obtained in step 105 not only shows two classification analysis results such as negative (normal) and positive (abnormal), but also calculates an abnormal probability of a fertilized egg related to individual image data as a premise thereof. doing. For example, if the abnormality probability of a fertilized egg related to certain image data is calculated as 0.678, this means that the probability that this fertilized egg is abnormal is 67.8%. For example, 0.5 is used as a negative or positive determination criterion, and 0.5 or higher is determined as positive (abnormal). Taking the case where the abnormality probability is calculated as 0.878 as an example, since the abnormality probability is 0.5 or more, it is determined that the fertilized egg related to the image data is qualitatively positive (abnormal). The Therefore, instead of using only the two-classification analysis result by the optimum classifier, if the abnormal probability (normal probability) is used, the fertilized eggs can be ranked so that the selection when returning the fertilized eggs to the uterus is performed. It becomes possible.

以上のとおり、本発明は機械学習の手法を用いたものであり、受精卵の画像データに対し、撮影や測定等の機材を用いることなく、コンピュータのプログラムを実行させるだけで、主観的判断をすることなく診断が可能になる。そして、データを診断する識別器は、妊娠予後が判明している妊娠予後判明画像データに基づいて機械学習の手法により統計的に作成するので、診断結果は正常児獲得の可否を高い精度で予測可能なものとなる。   As described above, the present invention uses a machine learning method, and it is possible to perform subjective judgment by simply executing a computer program on image data of a fertilized egg without using equipment such as photographing and measurement. Diagnosis is possible without doing so. The classifier that diagnoses the data is statistically created by machine learning based on the pregnancy prognosis image data whose pregnancy prognosis is known, so the diagnosis result predicts the possibility of acquiring a normal child with high accuracy. It will be possible.

1 受精卵の画像診断システム
2 受信手段
3 送信手段
4 入力手段
5 出力手段
6 解析手段
7 記憶手段
DESCRIPTION OF SYMBOLS 1 Image diagnosis system of fertilized egg 2 Receiving means 3 Transmitting means 4 Input means 5 Output means 6 Analyzing means 7 Storage means

Claims (3)

機械学習の手法を用いた受精卵の画像診断システムであって、
受精卵の画像データを格納する記憶手段と、
受精卵の画像データを記憶手段に取り込むための受信手段と、
前記画像データを解析する解析手段と、
前記解析手段による解析結果を出力する出力手段とを備えており、
前記受精卵の画像データは、妊娠予後が判明している画像データを含んでおり、
前記妊娠予後が判明している画像データは、生児獲得に至った正常画像データと、染色体異常の異常画像データとで構成され、
前記解析手段は、
前記正常画像データ及び前記異常画像データから複数の教師データを選択し、
前記教師データから識別器を作成し、
前記正常画像データ及び前記異常画像データから複数のテストデータを抽出し、
前記識別器で前記各テストデータを診断して、前記テストデータの正診率を演算し、
前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データの個数を変えて繰り返し、
個数の異なる前記各教師データについて演算された前記正診率に基づいて、前記教師データの最適個数を決定し、
前記教師データの数を前記最適個数として、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データを変えて再度繰り返し、
前記再度の繰り返しにより得られた複数の前記正診率に基づいて、前記再度の繰り返しにより得られた複数の前記識別器から最適識別器を決定することを特徴とする受精卵の画像診断システム。
An image diagnostic system for a fertilized egg using a machine learning technique,
Storage means for storing fertilized egg image data;
Receiving means for capturing the image data of the fertilized egg into the storage means;
Analyzing means for analyzing the image data;
Output means for outputting an analysis result by the analysis means,
The fertilized egg image data includes image data whose pregnancy prognosis is known,
The image data for which the pregnancy prognosis is known is composed of normal image data that has resulted in the acquisition of a live child, and abnormal image data of chromosomal abnormalities,
The analysis means includes
Selecting a plurality of teacher data from the normal image data and the abnormal image data;
Creating a classifier from the teacher data;
Extracting a plurality of test data from the normal image data and the abnormal image data;
Diagnose each test data with the classifier, calculate the correct diagnosis rate of the test data,
Creating the discriminator, extracting the test data, and calculating the correct diagnosis rate are repeated by changing the number of the teacher data to be selected,
Based on the correct diagnosis rate calculated for each teacher data having a different number, the optimum number of the teacher data is determined,
With the number of the teacher data as the optimum number, the creation of the discriminator, the extraction of the test data, and the calculation of the correct diagnosis rate are repeated again while changing the selected teacher data,
On the basis of the plurality of the diagnostic accuracy obtained by repeated again, embryo imaging system, characterized in that to determine the optimal classifier from a plurality of the classifiers obtained by repeating the re.
コンピュータに、機械学習の手法を用いて受精卵の画像診断を実行させるための受精卵の画像診断プログラムであって、
受精卵の画像データを記憶手段に取り込む取り込みステップと、
前記画像データを解析する解析ステップと、
前記解析手段による解析結果を出力する出力ステップとを前記コンピュータに実行させ、
前記受精卵の画像データは、妊娠予後が判明している画像データを含んでおり、
前記妊娠予後が判明している画像データは、生児獲得に至った正常画像データと、染色体異常の異常画像データとで構成され、
前記解析ステップにおいて、
前記正常画像データ及び前記異常画像データから複数の教師データを選択し、
前記教師データから識別器を作成し、
前記正常画像データ及び前記異常画像データから複数のテストデータを抽出し、
前記識別器で前記各テストデータを診断して、前記テストデータの正診率を演算し、
前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データの個数を変えて繰り返し、
個数の異なる前記各教師データについて演算された前記正診率に基づいて、前記教師データの最適個数を決定し、
前記教師データの数を前記最適個数として、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データを変えて再度繰り返し、
前記再度の繰り返しにより得られた複数の前記正診率に基づいて、前記再度の繰り返しにより得られた複数の前記識別器から最適識別器を決定することを特徴とする受精卵の画像診断プログラム。
An image diagnostic program for a fertilized egg for causing a computer to perform image diagnosis of a fertilized egg using a machine learning technique,
A step of taking in image data of a fertilized egg into a storage means;
An analysis step of analyzing the image data;
Causing the computer to execute an output step of outputting an analysis result by the analysis means;
The fertilized egg image data includes image data whose pregnancy prognosis is known,
The image data for which the pregnancy prognosis is known is composed of normal image data that has resulted in the acquisition of a live child, and abnormal image data of chromosomal abnormalities,
In the analysis step,
Selecting a plurality of teacher data from the normal image data and the abnormal image data;
Creating a classifier from the teacher data;
Extracting a plurality of test data from the normal image data and the abnormal image data;
Diagnose each test data with the classifier, calculate the correct diagnosis rate of the test data,
Creating the discriminator, extracting the test data, and calculating the correct diagnosis rate are repeated by changing the number of the teacher data to be selected,
Based on the correct diagnosis rate calculated for each teacher data having a different number, the optimum number of the teacher data is determined,
With the number of the teacher data as the optimum number, the creation of the discriminator, the extraction of the test data, and the calculation of the correct diagnosis rate are repeated again while changing the selected teacher data,
On the basis of the plurality of the diagnostic accuracy obtained by repeated again, imaging the fertilized egg you and determines the optimal classifier from a plurality of the classifiers obtained by the repetition of the re program.
機械学習の手法を用いて受精卵の画像診断をコンピュータに実行させるための受精卵の画像診断方法であって、
受精卵の画像データを記憶手段に取り込む取り込みステップと、
前記画像データを解析する解析ステップと、
前記解析手段による解析結果を出力する出力ステップとを備え、
前記受精卵の画像データは、妊娠予後が判明している画像データを含んでおり、
前記妊娠予後が判明している画像データは、生児獲得に至った正常画像データと、染色体異常の異常画像データとで構成され、
前記解析ステップにおいて、
前記正常画像データ及び前記異常画像データから複数の教師データを選択し、
前記教師データから識別器を作成し、
前記正常画像データ及び前記異常画像データから複数のテストデータを抽出し、
前記識別器で前記各テストデータを診断して、前記テストデータの正診率を演算し、
前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データの個数を変えて繰り返し、
個数の異なる前記各教師データについて演算された前記正診率に基づいて、前記教師データの最適個数を決定し、
前記教師データの数を前記最適個数として、前記識別器の作成、前記テストデータの抽出及び前記正診率の演算を、選択する前記教師データを変えて再度繰り返し、
前記再度の繰り返しにより得られた複数の前記正診率に基づいて、前記再度の繰り返しにより得られた複数の前記識別器から最適識別器を決定することを特徴とする受精卵の画像診断方法。
An image diagnostic method for a fertilized egg for causing a computer to perform image diagnosis of a fertilized egg using a machine learning method,
A step of taking in image data of a fertilized egg into a storage means;
An analysis step of analyzing the image data;
An output step of outputting an analysis result by the analysis means,
The fertilized egg image data includes image data whose pregnancy prognosis is known,
The image data for which the pregnancy prognosis is known is composed of normal image data that has resulted in the acquisition of a live child, and abnormal image data of chromosomal abnormalities,
In the analysis step,
Selecting a plurality of teacher data from the normal image data and the abnormal image data;
Creating a classifier from the teacher data;
Extracting a plurality of test data from the normal image data and the abnormal image data;
Diagnose each test data with the classifier, calculate the correct diagnosis rate of the test data,
Creating the discriminator, extracting the test data, and calculating the correct diagnosis rate are repeated by changing the number of the teacher data to be selected,
Based on the correct diagnosis rate calculated for each teacher data having a different number, the optimum number of the teacher data is determined,
With the number of the teacher data as the optimum number, the creation of the discriminator, the extraction of the test data, and the calculation of the correct diagnosis rate are repeated again while changing the selected teacher data,
On the basis of the plurality of the diagnostic accuracy obtained by repeated again, imaging the fertilized egg you and determines the optimal classifier from a plurality of the classifiers obtained by the repetition of the re Method.
JP2017229327A 2017-11-29 2017-11-29 Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg. Active JP6422142B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017229327A JP6422142B1 (en) 2017-11-29 2017-11-29 Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017229327A JP6422142B1 (en) 2017-11-29 2017-11-29 Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg.

Publications (2)

Publication Number Publication Date
JP6422142B1 true JP6422142B1 (en) 2018-11-14
JP2019097425A JP2019097425A (en) 2019-06-24

Family

ID=64269254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017229327A Active JP6422142B1 (en) 2017-11-29 2017-11-29 Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg.

Country Status (1)

Country Link
JP (1) JP6422142B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114467112A (en) * 2019-09-06 2022-05-10 布里格姆妇女医院 Automated assessment of quality assurance metrics for assisted reproductive procedures
JP7452068B2 (en) 2020-02-17 2024-03-19 コニカミノルタ株式会社 Information processing device, information processing method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251810A (en) * 2008-04-03 2009-10-29 Olympus Corp Data classification apparatus, data classification method, data classification program and electronic equipment
JP2010004789A (en) * 2008-06-26 2010-01-14 Nikon Corp Embryo observation apparatus
JP2012039930A (en) * 2010-08-19 2012-03-01 Nikon Corp Method, program and apparatus of image processing for culture observation, and method for producing culture
JP2016109495A (en) * 2014-12-03 2016-06-20 タカノ株式会社 Classifier generation device, appearance inspection device, classifier generation method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251810A (en) * 2008-04-03 2009-10-29 Olympus Corp Data classification apparatus, data classification method, data classification program and electronic equipment
JP2010004789A (en) * 2008-06-26 2010-01-14 Nikon Corp Embryo observation apparatus
JP2012039930A (en) * 2010-08-19 2012-03-01 Nikon Corp Method, program and apparatus of image processing for culture observation, and method for producing culture
JP2016109495A (en) * 2014-12-03 2016-06-20 タカノ株式会社 Classifier generation device, appearance inspection device, classifier generation method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岡本 圭司,外5名: "超音波画像解析による空胞識別に関する検討", 電子情報通信学会技術研究報告 VOL.116 NO.393, vol. 第116巻, JPN6018024998, 11 January 2017 (2017-01-11), JP, pages 83 - 88 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114467112A (en) * 2019-09-06 2022-05-10 布里格姆妇女医院 Automated assessment of quality assurance metrics for assisted reproductive procedures
JP7452068B2 (en) 2020-02-17 2024-03-19 コニカミノルタ株式会社 Information processing device, information processing method and program

Also Published As

Publication number Publication date
JP2019097425A (en) 2019-06-24

Similar Documents

Publication Publication Date Title
US12056869B2 (en) Image analysis method, image analysis apparatus, and image analysis program for analyzing cell with deep learning algorithm
KR101822404B1 (en) diagnostics system for cell using Deep Neural Network learning
KR102289277B1 (en) Medical image diagnosis assistance apparatus and method generating evaluation score about a plurality of medical image diagnosis algorithm
US9510756B2 (en) Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images
EP3944185A1 (en) Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
EP4036931A1 (en) Training method for specializing artificial intelligence model in institution for deployment, and apparatus for training artificial intelligence model
EP3964136A1 (en) System and method for guiding a user in ultrasound assessment of a fetal organ
JP6468576B1 (en) Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and method for creating classifier for image diagnosis of fertilized egg.
CN110969616B (en) Method and device for evaluating oocyte quality
US10832410B2 (en) Computer system, method, and program for diagnosing subject
JP6422142B1 (en) Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg.
JP2018054443A (en) Information processing device, information processing system and program
KR102360615B1 (en) Medical image diagnosis assistance apparatus and method using a plurality of medical image diagnosis algorithm for endoscope images
Leopold et al. Segmentation and feature extraction of retinal vascular morphology
CN113360611A (en) AI diagnosis method, device, storage medium and equipment based on inspection result
KR102033484B1 (en) Method and apparatus for setting normal reference range in clinical inspection of pets using generative adversary network
KR102187344B1 (en) Method and apparatus for diagnosis in clinical inspection of pets using decision tree
Rao et al. An approach for heart disease detection by enhancing training phase of neural network using hybrid algorithm
Raghav et al. Autism Spectrum Disorder Detection in Children Using Transfer Learning Techniques
JP2021068336A (en) Image diagnostic system for embryo, image diagnosis program for embryo, and method of creating diagnostic imaging classifier for embryo
Liu et al. Improved PSP-net segmentation network for automatic detection of neovascularization in color fundus images
Adhikary Identification of Novel Diagnostic Neuroimaging Biomarkers for Autism Spectrum Disorder Through Convolutional Neural Network-Based Analysis of Functional, Structural, and Diffusion Tensor Imaging Data Towards Enhanced Autism Diagnosis
Chakravadhanula An Inexpensive Smartphone-Based Device and Predictive Models for Rapid, Non-Invasive, and Point-of-Care Monitoring of Ocular and Cardiovascular Complications Related to Diabetes
Kvak et al. Automatic detection of pneumonia in chest X-rays using Lobe deep residual network
US20240062907A1 (en) Predicting an animal health result from laboratory test monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180117

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180612

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181011

R150 Certificate of patent or registration of utility model

Ref document number: 6422142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250