WO2023105547A1 - 分類装置、分類方法、及びプログラム - Google Patents

分類装置、分類方法、及びプログラム Download PDF

Info

Publication number
WO2023105547A1
WO2023105547A1 PCT/JP2021/044622 JP2021044622W WO2023105547A1 WO 2023105547 A1 WO2023105547 A1 WO 2023105547A1 JP 2021044622 W JP2021044622 W JP 2021044622W WO 2023105547 A1 WO2023105547 A1 WO 2023105547A1
Authority
WO
WIPO (PCT)
Prior art keywords
cells
benign
subclass
malignant
classification
Prior art date
Application number
PCT/JP2021/044622
Other languages
English (en)
French (fr)
Inventor
康夫 尾見
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/044622 priority Critical patent/WO2023105547A1/ja
Publication of WO2023105547A1 publication Critical patent/WO2023105547A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the present invention relates to a classifying device, a classifying method, and a program for classifying sample cells as benign or malignant.
  • a technique for capturing an image of a part to be diagnosed and extracting the feature value of the image has been disclosed.
  • Patent Literature 1 discloses an identification device that extracts a feature amount of a captured image of human skin and uses the feature amount to identify whether a diagnosis target portion in the captured image is benign or malignant.
  • benign/malignant classification for example, if a false positive occurs in which a benign disease is classified as malignant, retesting becomes necessary even though it is not necessary. In addition, there is a risk that cancer may be overlooked if a false negative occurs in which a malignant tumor is classified as benign. In order to reduce re-examinations and oversights that impose a heavy burden on patients, higher accuracy is preferable in benign/malignant classification.
  • One aspect of the present invention has been made in view of the above problems, and an example of its purpose is to provide a technique for improving the accuracy of benign/malignant classification of specimen cells in pathological diagnosis.
  • a classifying device is a classifying device for classifying whether sample cells are benign cells or malignant cells for pathological diagnosis, and acquires an image containing the sample cells as an object. and an image including a cell as an object is input, and the cell belongs to a first benign subclass group in which benign cells are classified into a plurality of subclasses and a first malignant subclass group in which malignant cells are classified into a plurality of subclasses.
  • the image acquired by the acquisition means is input to a first learning model that has been trained to estimate a subclass, and the sample cell is a benign cell based on the estimation result of the first learning model. and classification means for classifying whether the cells are malignant or malignant cells.
  • a classification method is a classification method using a classifier for classifying sample cells into benign cells or malignant cells for pathological diagnosis, wherein an image containing the sample cells as a subject is prepared. an image including a cell as an object is input, and the cell is selected from a first benign subclass group in which benign cells are classified into a plurality of subclasses and a first malignant subclass group in which malignant cells are classified into a plurality of subclasses.
  • the image acquired in the acquisition is input to a first learning model that has been trained to estimate the subclass to which the sample cell belongs, and based on the estimation result of the first learning model, the sample cell is benign and classifying the cells as being malignant or malignant.
  • FIG. 1 is a block diagram showing the configuration of a classification device according to exemplary embodiment 1 of the present invention
  • FIG. FIG. 3 is a flow diagram showing the flow of a classification method according to exemplary embodiment 1 of the present invention
  • FIG. 10 is a block diagram showing the configuration of a classification device according to exemplary embodiment 2 of the present invention
  • FIG. 10 is a table showing an example of classification of the first benign subclass group and the first malignant subclass group in illustrative embodiment 2 of the present invention
  • FIG. FIG. 11 is a table showing an example of classification of a second benign subclass and a second malignant subclass in exemplary embodiment 2 of the present invention
  • FIG. FIG. 4 is a table showing an example of classification of benign and malignant cells in exemplary embodiment 2 of the present invention
  • FIG. FIG. 7 is a flow diagram illustrating the flow of a classification method according to exemplary embodiment 2 of the present invention
  • It is a block diagram which shows an example of the hardware configuration of the classification device in each exemplary embodiment of this
  • the first learning model includes a first benign subclass group in which benign cells are classified into a plurality of subclasses and a first malignant subclass group in which malignant cells are classified into a plurality of subclasses. It is a model trained to estimate the subclass to which the contained cells belong.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • Non-neural network models such as random forests and support vector machines may also be used.
  • the first learning model determines to which of the first benign subclass the cell belongs or to which of the first malignant subclass the cell belongs. It is learned to output an estimation result that indicates whether
  • the number of subclasses to classify benign cells and malignant cells into is not limited, as long as they are classified into a number that can be classified by the first learning model.
  • the classification unit 12 inputs the image acquired by the acquisition unit 11 to the first learning model, and determines whether the sample cell is a benign cell or a malignant cell based on the estimation result of the first learning model. Classify. As an example, when the estimation result of the first learning model indicates that the sample cell included as the subject in the image is estimated to belong to any of the first benign subclass group, the classification unit 12 determines that the sample cell is benign. Classify as a cell. Further, when the estimation result of the first learning model indicates that the sample cell included as the subject in the image is estimated to belong to any of the first malignant subclass group, the classification unit 12 determines that the sample cell is a malignant cell. be classified as
  • the acquiring unit 11 acquires an image containing a sample cell as a subject, and an image containing cells as a subject is input, and benign cells are classified into a plurality of subclasses.
  • a first learning model that has been trained to estimate a subclass to which the cell belongs among the classified first benign subclass group and the first malignant subclass group in which malignant cells are classified into a plurality of subclasses;
  • a classification unit 12 that inputs the image acquired by 11 and classifies the sample cell as a benign cell or a malignant cell based on the estimation result of the first learning model.
  • the sample cells are classified as benign cells or malignant cells based on the subclass to which the sample cells included as subjects in the image belong.
  • findings differ depending on the type of cancer, such as non-small cell carcinoma and small cell carcinoma. Therefore, compared to the case of classifying specimen cells contained as subjects in images into binary data, i. The accuracy of benign/malignant classification can be improved.
  • Step S12 the classification unit 12 receives an image including a cell as an object, and classifies the first class that has been learned to estimate the subclass to which the cell belongs, out of the first benign subclass group and the first malignant subclass group.
  • the image acquired in step S11 is input to the learning model, and the sample cell is classified as benign or malignant based on the estimation result of the first learning model.
  • step S11 an image including a sample cell as a subject is acquired, and in step S12, an image including a cell as a subject is input, and benign cells are For a first learning model that has been trained to estimate the subclass to which the cell belongs of the first malignant subclass group in which the malignant cells are classified into a plurality of subclasses and the first benign subclass group in which the cells are classified into a plurality of subclasses inputting the image acquired in step S11, and classifying whether the specimen cell is benign or malignant based on the estimation result of the first learning model.
  • the number of subclasses to classify benign cells and malignant cells is not limited, but they are classified into a number that can be classified by the first learning model.
  • the first group of benign subclasses and any subclasses within it are classified to differ in visual findings or histology from other subclasses within the first group of benign subclasses.
  • any subclass within the first group of malignant subclasses is classified to differ in visual findings or histology from other subclasses within the first group of malignancy subclasses.
  • the second benign subclass group and the second malignant subclass group are not limited to how many subclasses, but as an example, the first At least one of the benign subclass group and the second benign subclass group and the first malignant subclass group and the second malignant subclass group are different.
  • a first group of benign subclasses is grouped into 5 subclasses
  • a second group of subclasses is grouped into 3 subclasses
  • a first group of malignant subclasses is grouped into 4 subclasses
  • a second group of malignant subclasses is A configuration in which a group is classified into two subclasses will be described. However, they are not intended to limit this exemplary embodiment.
  • first learning model the second learning model, and the third learning model does not limit this exemplary embodiment, as an example, using CNN, RNN, or a combination thereof can be done.
  • Non-neural network models such as random forests and support vector machines may also be used. The learning phases of the first learning model, the second learning model, and the third learning model will be described later.
  • FIG. 3 is a block diagram showing the configuration of the classification device 2 according to this exemplary embodiment.
  • the storage unit 22 stores data referred to by the control unit 21, which will be described later.
  • the image PT, the first estimation result ES1, the second estimation result ES2, the third estimation result ES3, the first classification result CR1, and the second classification result CR2 are mentioned. Details of these data will be described later.
  • the communication unit 23 is a communication module that communicates with other devices via a network (not shown). As an example, the communication unit 23 outputs data supplied from the control unit 21, which will be described later, to another device via a network, acquires data output from another device via the network, and controls the data. It is supplied to the unit 21.
  • the input unit 24 is an interface that acquires data from other connected devices.
  • the input unit 24 supplies data acquired from another device to the control unit 21, which will be described later.
  • the output unit 25 is an interface that outputs data to other connected devices.
  • the output unit 25 outputs data supplied from the control unit 21, which will be described later, to another device.
  • control unit 21 controls each unit included in the classification device 2 .
  • the control unit 21 stores data acquired from the communication unit 23 or the input unit 24 in the storage unit 22, and supplies data stored in the storage unit 22 to the communication unit 23 or the output unit 25. .
  • the control unit 21 also functions as an acquisition unit 11, a classification unit 12, and a learning unit 13, as shown in FIG.
  • the acquisition unit 11, the classification unit 12, and the learning unit 13 are configured to implement acquisition means, classification means, and learning means, respectively, in this exemplary embodiment.
  • the acquisition unit 11 acquires data supplied from the communication unit 23 or the input unit 24 and stores the acquired data in the storage unit 22 .
  • Examples of data acquired by the acquisition unit 11 include the image PT and the second classification result CR2 associated with the image PT.
  • Acquisition unit 11 stores the acquired data in storage unit 22 .
  • the image PT is as described above.
  • the second classification result CR2 will be described later.
  • the classification unit 12 acquires the image PT stored in the storage unit 22 and classifies whether the cells included as the subject in the acquired image PT are benign cells or malignant cells.
  • the classification unit 12 stores in the storage unit 22 a first classification result CR1 indicating the result of classification.
  • the classification unit 12 classifies, for example, based on the following estimation results.
  • the first estimation result ES1 indicating whether it was estimated as An estimation result obtained by inputting the image PT to the second learning model, wherein the cell included as a subject in the image PT belongs to either the second benign subclass group or the second malignant subclass group
  • Second estimation result ES2 indicating whether it was estimated that An estimation result obtained by inputting the image PT to the third learning model, and whether the cell included as the subject in the image PT was estimated to be a benign cell or a malignant cell
  • a third estimation result ES3 indicating As an example, the classification unit 12 determines that at least one of the estimation results output from the first learning model, the second learning model, and the third learning model (a plurality of learning models) is a benign subclass group or a
  • each estimation result is A first estimation result ES1 indicates that the specimen cells are estimated to belong to the first benign subclass group.
  • a second estimation result ES2 indicates that the specimen cells are estimated to belong to the second malignant subclass group.
  • the third estimation result ES3 indicates that the specimen cell was estimated to be a malignant cell
  • the estimation result indicating that the specimen cell was classified into the benign subclass group or the benign cell The number is 1, and the number of estimation results indicating that the specimen cell has been classified into the malignant subclass group or malignant cell is 2, so the classification unit 12 classifies the specimen cell as a malignant cell.
  • the classification section 12 also functions as a first classification section 121, a second classification section 122, and a third classification section 123.
  • the first classification unit 121 inputs the image PT to the first learning model and acquires the first estimation result ES1.
  • the second classification unit 122 inputs the image PT to the second learning model and acquires the second estimation result ES2.
  • the third classification unit 123 inputs the image PT to the third learning model and obtains the third estimation result ES3.
  • the learning unit 13 acquires learning data including a set of the image PT stored in the storage unit 22 and the second classification result CR2 associated with the image PT, and uses the learning data to generate the first learning model. , a second learning model, and a third learning model.
  • the second classification result CR2 is the correct label associated with the image PT.
  • the second classification result CR2 is information indicating the subclass to which the cells included in the image PT belong.
  • FIG. 4 is a table t1 showing an example of classification of the first benign subclass group and the first malignant subclass group in this exemplary embodiment.
  • Table t1 shown in FIG. 4 shows a first benign subclass group classified into five subclasses and a first malignant subclass group classified into four subclasses. As shown in FIG. 4, in table t1, each of the subclass numbers "0" to "4" is associated with each of the five subclasses included in the first benign subclass group. For example, subclass number "0" is associated with subclass "EC" of the first benign subclass group.
  • the learning unit 13 performs the first learning model.
  • the learning unit 13 when the acquiring unit 11 acquires a set of learning data of the image PT and the second classification result CR2 indicating that the cell included as the subject in the image PT belongs to the subclass number “0”, the learning unit 13 first inputs the image PT into the first learning model. Then, if the first estimation result ES1 output from the first learning model is not "EC" associated with the subclass number "0" in the table t1, the learning unit 13 The parameters of the first learning model are updated so that the first estimation result ES1 indicating "EC" is output when
  • FIG. 5 is a table t2 showing an example of classification of the second benign subclass and the second malignant subclass in this exemplary embodiment.
  • the learning unit 13 uses learning data including a set of an image PT and a second classification result CR2 indicating to which subclass a cell included as a subject in the image PT belongs, and a table t2 to perform a second classification. learning model.
  • FIG. 6 is a table t3 showing an example of classification of benign and malignant cells in this exemplary embodiment.
  • the learning unit 13 uses learning data including a set of an image PT and a second classification result CR2 indicating which subclass the cell included in the image PT as a subject belongs to, and a table t3 to perform a third learning model.
  • the learning unit 13 when the acquisition unit 11 acquires a set of learning data of the image PT and the second classification result CR2 indicating that the cell included as a subject in the image PT belongs to the subclass number “5”, the learning unit 13 first inputs the image PT into the third learning model. Then, if the third estimation result ES3 output from the third learning model is not “Malignant” associated with the subclass number “5” in table t3, the learning unit 13 The parameters of the third learning model are updated so that the third estimation result ES3 indicating "Malignant" is output when
  • Step S22 the second classification section 122 of the classification section 12 acquires the image PT from the storage section 22 .
  • the second classification unit 122 inputs the acquired image PT to the second learning model and acquires a second estimation result ES2.
  • the second classification unit 122 stores the acquired second estimation result ES2 in the storage unit 22 .
  • the number of learning models is not limited in the classification device 2 according to this exemplary embodiment.
  • the classification device 2 may be configured to use two learning models out of the first learning model, the second learning model, and the third learning model.
  • the classification device 2 may use a fourth benign subclass group different from the first benign subclass group and the second benign subclass group.
  • a configuration using a fourth learning model for classifying into a benign subclass group and a fourth malignant subclass group different from the first malignant subclass group and the second malignant subclass group may be used.
  • the classification device 3 inputs the image PT stored in the storage unit 22 to the learning model and acquires the estimation result ES from the learning model. Then, the classification unit 12 refers to the estimation result ES and classifies whether the sample cells included as the subject in the image PT are benign cells or malignant cells.
  • An example in which the classifier 12 classifies the sample cells as benign cells or malignant cells is as described above.
  • the program P can be recorded on a non-temporary tangible recording medium M that is readable by the computer C.
  • a recording medium M for example, a tape, disk, card, semiconductor memory, programmable logic circuit, or the like can be used.
  • the computer C can acquire the program P via such a recording medium M.
  • the program P can be transmitted via a transmission medium.
  • a transmission medium for example, a communication network or broadcast waves can be used.
  • Computer C can also obtain program P via such a transmission medium.
  • a classifying device for classifying specimen cells into benign cells or malignant cells for pathological diagnosis comprising acquisition means for acquiring an image containing the specimen cells as an object, and inputting an image containing the cells as an object. and a first learned subclass to which the cell belongs among a first benign subclass group in which benign cells are classified into a plurality of subclasses and a first malignant subclass group in which malignant cells are classified into a plurality of subclasses.
  • Classification means for inputting the image acquired by the acquisition means to the learning model of (1) and classifying whether the specimen cell is a benign cell or a malignant cell based on the estimation result of the first learning model and a classifier.
  • the classifying means further receives an image including cells as an object, and classifies benign cells into a plurality of subclasses of a second benign subclass group and malignant cells into a plurality of subclasses of a second malignant subclass group.
  • the image acquired by the acquisition means is input to a second learning model that has been trained to estimate the subclass to which the cell belongs, and the classification means is further based on the estimation result of the second learning model. classifying the specimen cells as benign cells or malignant cells into the first benign subclass group and the second benign subclass group, and the first malignant subclass group and the second malignant subclass group; 3.
  • the classifying means further inputs an image including cells as objects, and a third learning model that has been trained to estimate whether the cells belong to benign cells or malignant cells,
  • the image acquired by the acquisition means is input, and the classification means classifies the specimen cells as benign cells or malignant cells further based on the estimation result of the third learning model.
  • the classification device according to any one of 3.
  • the classification means classifies the specimen cell as a benign cell when at least one of the results output from each of the plurality of learning models indicates that the cell is classified into a benign subclass group or a benign cell. 5.
  • the classification device according to 4.
  • the learning model can be learned.
  • Appendix 7 Any one of Appendices 1 to 6, wherein the acquiring means acquires an image captured by a camera attached to a microscope when observing respiratory cells collected using an endoscope with a microscope. A classifier as described in .
  • a classification method using a classifier for classifying specimen cells into benign cells or malignant cells for pathological diagnosis comprising obtaining an image containing the specimen cells as a subject, and an image containing the cells as a subject. is input, and a subclass to which the cell belongs is estimated from a first benign subclass group in which benign cells are classified into a plurality of subclasses and a first malignant subclass group in which malignant cells are classified into a plurality of subclasses.
  • a classification method that includes and
  • a program for causing a computer to function as a classification device for classifying sample cells into benign cells or malignant cells for pathological diagnosis comprising an acquisition means for acquiring an image containing the sample cells as an object; An image containing cells as an object is input, and a subclass to which the cell belongs is estimated from among a first benign subclass group in which benign cells are classified into a plurality of subclasses and a first malignant subclass group in which malignant cells are classified into a plurality of subclasses.
  • the image acquired by the acquisition means is inputted to the first learning model that has been trained to A program that acts as a classifier that classifies what is
  • the classification device may further include a memory, and the memory may store a program for causing the processor to execute the acquisition process and the classification process. Also, this program may be recorded in a computer-readable non-temporary tangible recording medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Hematology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Urology & Nephrology (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

病理診断において検体細胞の良悪性分類の精度を向上させる技術を提供するために、分類装置（１）は、検体細胞を被写体として含む画像を取得する取得部（１１）と、細胞を被写体として含む画像を入力とし、第１の良性サブクラス群および第１の悪性サブクラス群のうち細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して画像を入力し、推定結果に基づいて検体細胞が良性細胞であるか悪性細胞であるかを分類する分類部（１２）とを備える。

Description

分類装置、分類方法、及びプログラム
　本発明は、検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置、分類方法、及びプログラムに関する。
　診断対象となる部分の画像を撮影し、当該画像の特徴量を抽出する技術が開示されている。
　例えば、特許文献１には、人の皮膚を撮像した撮像画像の特徴量を抽出し、当該特徴量を用いて撮像画像中の診断対象部分が良性か悪性かを識別する識別装置が開示されている。
日本国特開２０２１－２３２０号公報
　良悪性分類において、例えば、良性であるにも関わらず悪性であると分類してしまう偽陽性が発生した場合、本来は再検査の必要がないにも関わらず再検査が必要になってしまう。また悪性であるにも関わらず良性であると分類してしまう偽陰性が発生した場合、がんの見落としに繋がるリスクもある。患者への負担が大きい再検査や見落としを減らすため、良悪性分類では精度が高い方が好ましい。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、病理診断において検体細胞の良悪性分類の精度を向上させる技術を提供することである。
　本発明の一側面に係る分類装置は、病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置であって、前記検体細胞を被写体として含む画像を取得する取得手段と、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得手段が取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段と、を備える。
　本発明の一側面に係る分類方法は、病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置による分類方法であって、前記検体細胞を被写体として含む画像を取得することと、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得することにおいて取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類することと、を含む。
　本発明の一側面に係るプログラムは、病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置としてコンピュータを機能させるためのプログラムであって、前記検体細胞を被写体として含む画像を取得する取得手段と、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得手段が取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段と、として機能させる。
　本発明の一態様によれば、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
本発明の例示的実施形態１に係る分類装置の構成を示すブロック図である。 本発明の例示的実施形態１に係る分類方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る分類装置の構成を示すブロック図である。 本発明の例示的実施形態２における第１の良性サブクラス群及び第１の悪性サブクラス群の分類の一例を示す表である。 本発明の例示的実施形態２における第２の良性サブクラス及び第２の悪性サブクラスの分類の一例を示す表である。 本発明の例示的実施形態２における良性細胞及び悪性細胞の分類の一例を示す表である。 本発明の例示的実施形態２に係る分類方法の流れを示すフロー図である。 本発明の各例示的実施形態における分類装置のハードウェア構成の一例を示すブロック図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　（分類装置１の構成）
　本例示的実施形態に係る分類装置１の構成について、図１を参照して説明する。図１は、本例示的実施形態に係る分類装置１の構成を示すブロック図である。
　分類装置１は、病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する（良悪性分類する）装置である。一例として、分類装置１は、検体細胞を被写体として含む画像を学習済の第１の学習モデルに入力し、第１の学習モデルの推定結果に基づいて良性細胞であるか悪性細胞であるかを分類する。
　ここで、病理診断とは、人体から採取されたサンプルを顕微鏡で観察し、病変の有無や病変の種類について診断することを示す。細胞診とは病理診断の１種であり、良性細胞であるか悪性細胞であるかを分類することを示す。
　また、第１の学習モデルは、一例として、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち、画像に被写体として含まれる細胞が属するサブクラスを推定するように学習済みのモデルである。第１の学習モデルの具体的構成は本例示的実施形態を限定するものではないが、一例として、ＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）、又はそれらの組み合わせを用いることができる。また、ランダムフォレストやサポートベクターマシンのような非ニューラルネットワーク型のモデルを用いてもよい。
　サブクラスとは、良性細胞及び悪性細胞のそれぞれを複数に分類したものである。第１の良性サブクラス群とは、良性細胞を複数のサブクラスに分類したものを指し、第１の悪性サブクラス群とは、悪性細胞を複数のサブクラスに分類したものを指す。細胞が属するサブクラスを推定するとは、当該細胞が、第１の良性サブクラス群及び第１の悪性サブクラス群のうち、何れのサブクラスに属するのかを推定することを指す。
　すなわち、第１の学習モデルは、細胞を被写体として含む画像が入力されると、当該細胞が第１の良性サブクラス群の何れに属するか、又は当該細胞が第１の悪性サブクラス群の何れに属するかを示す推定結果を出力するように学習されている。
　良性細胞及び悪性細胞をそれぞれいくつのサブクラスに分類するかは限定されず、第１の学習モデルによって分類可能な数に分類される構成であればよい。
　図１に示すように、分類装置１は、取得部１１及び分類部１２を備える。取得部１１及び分類部１２は、本例示的実施形態においてそれぞれ取得手段及び分類手段を実現する構成である。
　取得部１１は、検体細胞を被写体として含む画像を取得する。
　分類部１２は、第１の学習モデルに対して取得部１１が取得した画像を入力し、第１の学習モデルの推定結果に基づいて、検体細胞が良性細胞であるか悪性細胞であるかを分類する。一例として、第１の学習モデルの推定結果が、画像に被写体として含まれる検体細胞が第１の良性サブクラス群の何れかに属すると推定したことを示す場合、分類部１２は、検体細胞は良性細胞であると分類する。また、第１の学習モデルの推定結果が、画像に被写体として含まれる検体細胞が第１の悪性サブクラス群の何れかに属すると推定したことを示す場合、分類部１２は、検体細胞は悪性細胞であると分類する。
　以上のように、本例示的実施形態に係る分類装置１においては、検体細胞を被写体として含む画像を取得する取得部１１と、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、取得部１１が取得した画像を入力し、第１の学習モデルの推定結果に基づいて、検体細胞が良性細胞であるか悪性細胞であるかを分類する分類部１２と、を備える構成が採用されている。
　このため、本例示的実施形態に係る分類装置１によれば、画像に被写体として含まれる検体細胞が属するサブクラスに基づいて、検体細胞が良性細胞であるか悪性細胞であるかを分類する。病理診断における検体細胞の場合、非小細胞がん、小細胞がんなど、がんの種類によって所見が異なる。したがって、画像に被写体として含まれる検体細胞が良性細胞であるか悪性細胞であるかの２値に分類する場合に比べて、本例示的実施形態に係る分類装置１は、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
　（分類方法Ｓ１の流れ）
　本例示的実施形態に係る分類方法Ｓ１の流れについて、図２を参照して説明する。図２は、本例示的実施形態に係る分類方法Ｓ１の流れを示すフロー図である。
　（ステップＳ１１）
　ステップＳ１１において、取得部１１は、検体細胞を被写体として含む画像を取得する。
　（ステップＳ１２）
　ステップＳ１２において、分類部１２は、細胞を被写体として含む画像を入力とし、第１の良性サブクラス群および第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、ステップＳ１１において取得した画像を入力し、第１の学習モデルの推定結果に基づいて、検体細胞が良性細胞であるか悪性細胞であるかを分類する。
　以上のように、本例示的実施形態に係る分類方法Ｓ１においては、ステップＳ１１において、検体細胞を被写体として含む画像を取得し、ステップＳ１２において、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、ステップＳ１１において取得した画像を入力し、第１の学習モデルの推定結果に基づいて、検体細胞が良性細胞であるか悪性細胞であるかを分類することと、を含む構成が採用されている。
　このため、本例示的実施形態に係る分類方法Ｓ１によれば、分類装置１と同様の効果が得られる。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　（分類装置２）
　本例示的実施形態に係る分類装置２は、病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する装置である。一例として、分類装置２は、検体細胞を被写体として含む画像（以下、「画像ＰＴ」とも記載する）を、学習済の複数の学習モデルのそれぞれに入力し、それぞれの学習モデルによって推定された推定結果に基づいて良性細胞であるか悪性細胞であるかを分類する。本例示的実施形態では、学習モデルとして第１の学習モデル、第２の学習モデル、及び第３の学習モデルの３つを用いた例について説明するが、学習モデルの数は限定されない。
　画像ＰＴの一例として、内視鏡を用いて採取された呼吸器の細胞を被写体として含む画像が挙げられる。より具体的には、採取された細胞を顕微鏡で観察する際に、顕微鏡に取り付けられたカメラによって撮影された画像または顕微鏡から送られる画像が挙げられる。分類装置２は、一例として、術中迅速診（ＲＯＳＥ:Rapid On-Site Evaluation）における細胞診に用いられ得る。
　上述した例示的実施形態と同様、第１の学習モデルは、一例として、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち、画像ＰＴに被写体として含まれる細胞が属するサブクラスを推定するように学習済みのモデルである。
　上述したように、良性細胞及び悪性細胞をそれぞれいくつのサブクラスに分類するかは限定されないが、第１の学習モデルによって分類可能な数に分類される。一例として、第１の良性サブクラス群およびに含まれる任意のサブクラスは、第１の良性サブクラス群に含まれる他のサブクラスと視覚的な所見または組織型が異なるように分類される。同様に、第１の悪性サブクラス群に含まれる任意のサブクラスは、第１の悪性サブクラス群に含まれる他のサブクラスと視覚的な所見または組織型が異なるように分類される。
　第２の学習モデルは、一例として、良性細胞を複数のサブクラスに分類した第２の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第２の悪性サブクラス群のうち、画像に被写体として含まれる細胞が属するサブクラスを推定するように学習済みのモデルである。
　第２の良性サブクラス群及び第２の悪性サブクラス群も、第１の良性サブクラス群及び第１の悪性サブクラス群と同様に、いくつのサブクラスに分類するかは限定されないが、一例として、第１の良性サブクラス群と第２の良性サブクラス群、および、第１の悪性サブクラス群と第２の悪性サブクラス群の少なくとも一方は異なっている。
　本例示的実施形態では、第１の良性サブクラス群が５サブクラスに分類され、第２のサブクラス群が３サブクラスに分類され、第１の悪性サブクラス群が４サブクラスに分類され、第２の悪性サブクラス群が２サブクラスに分類される構成について説明する。ただし、これらは本例示的実施形態を限定するものではない。
　第３の学習モデルは、一例として、画像ＰＴに被写体として含まれる細胞が、良性細胞及び悪性細胞のうち何れに属するかを推定するように学習済みのモデルである。
　第１の学習モデル、第２の学習モデル、及び第３の学習モデルの具体的構成は本例示的実施形態を限定するものではないが、一例として、ＣＮＮ、ＲＮＮ、又はそれらの組み合わせを用いることができる。また、ランダムフォレストやサポートベクターマシンのような非ニューラルネットワーク型のモデルを用いてもよい。第１の学習モデル、第２の学習モデル、及び第３の学習モデルの学習フェーズについては、後述する。
　（分類装置２の構成）
　本例示的実施形態に係る分類装置２の構成について、図３を参照して説明する。図３は、本例示的実施形態に係る分類装置２の構成を示すブロック図である。
　分類装置２は、図３に示すように、制御部２１、記憶部２２、通信部２３、入力部２４、及び出力部２５を備えている。
　記憶部２２には、後述する制御部２１が参照するデータが格納されている。記憶部２２に格納されているデータの一例として、画像ＰＴ、第１の推定結果ＥＳ１、第２の推定結果ＥＳ２、第３の推定結果ＥＳ３、第１分類結果ＣＲ１、及び第２分類結果ＣＲ２が挙げられる。これらのデータの詳細については後述する。
　通信部２３は、図示しないネットワークを介して他の装置と通信する通信モジュールである。一例として、通信部２３は、後述する制御部２１から供給されたデータを、ネットワークを介して他の装置に出力したり、他の装置から出力されたデータを、ネットワークを介して取得し、制御部２１に供給したりする。
　入力部２４は、接続されている他の装置からデータを取得するインタフェースである。入力部２４は、他の装置から取得したデータを、後述する制御部２１に供給する。
　出力部２５は、接続されている他の装置にデータを出力するインタフェースである。出力部２５は、後述する制御部２１から供給されたデータを、他の装置に出力する。
　（制御部２１）
　制御部２１は、分類装置２が備える各部を制御する。一例として、制御部２１は、通信部２３又は入力部２４から取得したデータを記憶部２２に格納したり、記憶部２２に格納されているデータを通信部２３又は出力部２５に供給したりする。
　制御部２１は、図３に示すように、取得部１１、分類部１２、及び学習部１３としても機能する。取得部１１、分類部１２、及び学習部１３は、本例示的実施形態においてそれぞれ取得手段、分類手段、及び学習手段を実現する構成である。
　取得部１１は、通信部２３又は入力部２４から供給されたデータを取得し、取得したデータを記憶部２２に格納する。取得部１１が取得するデータの一例として、画像ＰＴ、及び画像ＰＴに関連付けられた第２分類結果ＣＲ２が挙げられる。取得部１１は、取得したデータを、記憶部２２に格納する。画像ＰＴについては、上述した通りである。第２分類結果ＣＲ２については、後述する。
　分類部１２は、記憶部２２に格納されている画像ＰＴを取得し、取得した画像ＰＴに被写体として含まれる細胞が良性細胞であるか悪性細胞であるかを分類する。分類部１２は、分類した結果を示す第１分類結果ＣＲ１を、記憶部２２に格納する。
　分類部１２は、一例として、以下の推定結果に基づいて分類する。
・画像ＰＴを第１の学習モデルに入力することにより得られた推定結果であって、画像ＰＴに被写体として含まれる細胞が、第１の良性サブクラス群及び第１の悪性サブクラス群の何れに属すると推定されたかを示す第１の推定結果ＥＳ１
・画像ＰＴを第２の学習モデルに入力することにより得られた推定結果であって、画像ＰＴに被写体として含まれる細胞が、第２の良性サブクラス群及び第２の悪性サブクラス群の何れに属すると推定されたかを示す第２の推定結果ＥＳ２
・画像ＰＴを第３の学習モデルに入力することにより得られた推定結果であって、画像ＰＴに被写体として含まれる細胞が、良性細胞であると推定されたか又は悪性細胞であると推定されたかを示す第３の推定結果ＥＳ３
　一例として、分類部１２は、第１の学習モデル、第２の学習モデル、及び第３の学習モデル（複数の学習モデル）からそれぞれ出力された推定結果の少なくとも何れかが、良性サブクラス群または良性細胞に分類されたことを示す場合、検体細胞は良性細胞であると分類する。換言すると、複数の学習モデルの全てから、検体細胞が悪性サブクラス群または悪性細胞に分類されたことを示す推定結果が得られた場合に、分類部１２は、検体細胞が悪性細胞であると分類する。
　この構成により、分類装置２は、良性細胞であるにも関わらず、悪性細胞であると分類する偽陽性が発生する可能性を低下させることができる。分類装置２は、偽陽性が発生する可能性を低下させることにより、再検査による患者への負担を減らすことができる。
　他の例として、分類部１２は、検体細胞が良性サブクラス群または良性細胞に分類されたことを示す推定結果の数と、検体細胞が悪性サブクラス群または悪性細胞に分類されたことを示す推定結果の数とのうち、多い方の推定結果を採用する構成であってもよい。
　例えば、各推定結果が、
・第１の推定結果ＥＳ１が、検体細胞は第１の良性サブクラス群に属すると推定されたことを示す
・第２の推定結果ＥＳ２が、検体細胞は第２の悪性サブクラス群に属すると推定されたことを示す
・第３の推定結果ＥＳ３が、検体細胞は悪性細胞であると推定されたことを示す
である場合、検体細胞が良性サブクラス群または良性細胞に分類されたことを示す推定結果の数は１であり、検体細胞が悪性サブクラス群または悪性細胞に分類されたことを示す推定結果の数は２であるため、分類部１２は、検体細胞は悪性細胞であると分類する。
　図３に示すように、分類部１２は、第１分類部１２１、第２分類部１２２、及び第３分類部１２３としても機能する。
　第１分類部１２１は、画像ＰＴを第１の学習モデルに入力し、第１の推定結果ＥＳ１を取得する。
　第２分類部１２２は、画像ＰＴを第２の学習モデルに入力し、第２の推定結果ＥＳ２を取得する。
　第３分類部１２３は、画像ＰＴを第３の学習モデルに入力し、第３の推定結果ＥＳ３を取得する。
　学習部１３は、記憶部２２に格納されている画像ＰＴと、画像ＰＴに関連付けられた第２分類結果ＣＲ２との組を含む学習データを取得し、当該学習データを用いて第１の学習モデル、第２の学習モデル、及び第３の学習モデルの少なくとも１つを学習させる。ここで、第２分類結果ＣＲ２とは、画像ＰＴに関連付けられた正解ラベルである。換言すると、第２分類結果ＣＲ２とは、画像ＰＴに含まれる細胞が属するサブクラスを示す情報である。以下において、学習フェーズの一例を説明する。
　（学習フェーズの例１）
　第１の学習モデルの学習フェーズについて、図４を用いて説明する。図４は、本例示的実施形態における第１の良性サブクラス群及び第１の悪性サブクラス群の分類の一例を示す表ｔ１である。
　図４に示す表ｔ１は、５つのサブクラスに分類された第１の良性サブクラス群と、４つのサブクラスに分類された第１の悪性サブクラス群とを示している。図４に示すように、表ｔ１では、サブクラスの番号「０」～「４」のそれぞれと、第１の良性サブクラス群に含まれる５つのサブクラスのそれぞれとが関連付けられている。例えば、サブクラスの番号「０」は、第１の良性サブクラス群のうち、サブクラス「ＥＣ」に関連付けられている。
　同様に、表ｔ１では、サブクラスの番号「５」～「８」のそれぞれと、第１の悪性サブクラス群に含まれる４つのサブクラスのそれぞれとを関連付けている。例えば、サブクラスの番号「５」は、第１の悪性サブクラス群のうち、サブクラス「Ｓ」に関連付けられている。
　学習部１３は、画像ＰＴと、画像ＰＴに被写体として含まれる細胞が何れのサブクラスに属しているかを示す第２分類結果ＣＲ２との組を含む学習データと、表ｔ１とを用いて、第１の学習モデルを学習させる。
　一例として、取得部１１が、画像ＰＴと、画像ＰＴに被写体として含まれる細胞がサブクラス番号「０」に属することを示す第２分類結果ＣＲ２との組の学習データを取得した場合、学習部１３はまず、画像ＰＴを第１の学習モデルに入力する。そして、第１の学習モデルから出力された第１の推定結果ＥＳ１が、表ｔ１においてサブクラスの番号「０」に関連付けられた「ＥＣ」ではなかった場合、学習部１３は、画像ＰＴが入力された場合に「ＥＣ」を示す第１の推定結果ＥＳ１が出力されるように、第１の学習モデルのパラメータを更新する。
　（学習フェーズの例２）
　第２の学習モデルの学習フェーズについて、図５を用いて説明する。図５は、本例示的実施形態における第２の良性サブクラス及び第２の悪性サブクラスの分類の一例を示す表ｔ２である。
　図５に示す表ｔ２は、３つのサブクラスに分類された第２の良性サブクラス群と、２つのサブクラスに分類された第２の悪性サブクラス群とを示している。表ｔ２におけるサブクラスの番号は、表ｔ１におけるサブクラスの番号と同じものを指している。
　図５に示すように、表ｔ２では、１又は複数のサブクラスの番号のそれぞれと、第１の良性サブクラス群に含まれる３つのサブクラスのそれぞれとが関連付けられている。例えば、サブクラスの番号「０」は、第２の良性サブクラス群のうち、サブクラス「ＢＴ」に関連付けられている。他の例として、サブクラスの番号「１」及び「２」は、第２の良性サブクラス群のうち、サブクラス「ＢＯ」に関連付けられている。
　同様に、表ｔ２では、１又は複数のサブクラスの番号のそれぞれと、第２の悪性サブクラス群に含まれる２つのサブクラスのそれぞれとが関連付けられている。例えば、サブクラスの番号「５」は、第２の悪性サブクラス群のうち、サブクラス「ＭＳ」に関連付けられている。他の例として、サブクラスの番号「６」、「７」、及び「８」は、第２の悪性サブクラス群のうち、サブクラス「ＭＮ」に関連付けられている。
　学習部１３は、画像ＰＴと、画像ＰＴに被写体として含まれる細胞が何れのサブクラスに属しているかを示す第２分類結果ＣＲ２との組を含む学習データと、表ｔ２とを用いて、第２の学習モデルを学習させる。
　一例として、取得部１１が、画像ＰＴと、画像ＰＴに被写体として含まれる細胞がサブクラス番号「３」に属することを示す第２分類結果ＣＲ２との組の学習データを取得した場合、学習部１３はまず、画像ＰＴを第２の学習モデルに入力する。そして、第２の学習モデルから出力された第２の推定結果ＥＳ２が、表ｔ２においてサブクラスの番号「３」に関連付けられた「ＢＮ」ではなかった場合、学習部１３は、画像ＰＴが入力された場合に「ＢＮ」を示す第２の推定結果ＥＳ２が出力されるように、第２の学習モデルのパラメータを更新する。
　（学習フェーズの例３）
　第３の学習モデルの学習フェーズについて、図６を用いて説明する。図６は、本例示的実施形態における良性細胞及び悪性細胞の分類の一例を示す表ｔ３である。
　図６に示す表ｔ３では、それぞれのサブクラスが良性細胞に属するか悪性細胞に属するかを示している。図６に示すように、サブクラスの番号「０」～「４」が良性細胞であることを示す「Ｂｅｎｉｇｎ」に関連付けられ、サブクラスの番号「５」～「８」が悪性細胞であることを示す「Ｍａｌｉｇｎａｎｔ」に関連付けられている。表ｔ２と同様、表ｔ３におけるサブクラスの番号も、表ｔ１におけるサブクラスの番号と同じものを指している。
　学習部１３は、画像ＰＴと、画像ＰＴに被写体として含まれる細胞が何れのサブクラスに属しているかを示す第２分類結果ＣＲ２との組を含む学習データと、表ｔ３とを用いて、第３の学習モデルを学習させる。
　一例として、取得部１１が、画像ＰＴと、画像ＰＴに被写体として含まれる細胞がサブクラス番号「５」に属することを示す第２分類結果ＣＲ２との組の学習データを取得した場合、学習部１３はまず、画像ＰＴを第３の学習モデルに入力する。そして、第３の学習モデルから出力された第３の推定結果ＥＳ３が、表ｔ３においてサブクラスの番号「５」に関連付けられた「Ｍａｌｉｇｎａｎｔ」ではなかった場合、学習部１３は、画像ＰＴが入力された場合に「Ｍａｌｉｇｎａｎｔ」を示す第３の推定結果ＥＳ３が出力されるように、第３の学習モデルのパラメータを更新する。
　（分類方法Ｓ２の流れ）
　本例示的実施形態に係る分類方法Ｓ２の流れについて、図７を参照して説明する。図７は、本例示的実施形態に係る分類方法Ｓ２の流れを示すフロー図である。
　（ステップＳ１１）
　ステップＳ１１において、取得部１１は、検体細胞を被写体として含む画像ＰＴを取得する。取得部１１は、取得した画像ＰＴを記憶部２２に格納する。
　（ステップＳ２１）
　ステップＳ２１において、分類部１２の第１分類部１２１は、記憶部２２から画像ＰＴを取得する。第１分類部１２１は、取得した画像ＰＴを第１の学習モデルに入力し、第１の推定結果ＥＳ１を取得する。第１分類部１２１は、取得した第１の推定結果ＥＳ１を記憶部２２に格納する。
　（ステップＳ２２）
　ステップＳ２２において、分類部１２の第２分類部１２２は、記憶部２２から画像ＰＴを取得する。第２分類部１２２は、取得した画像ＰＴを第２の学習モデルに入力し、第２の推定結果ＥＳ２を取得する。第２分類部１２２は、取得した第２の推定結果ＥＳ２を記憶部２２に格納する。
　（ステップＳ２３）
　ステップＳ２３において、分類部１２の第３分類部１２３は、記憶部２２から画像ＰＴを取得する。第３分類部１２３は、取得した画像ＰＴを第３の学習モデルに入力し、第３の推定結果ＥＳ３を取得する。第３分類部１２３は、取得した第３の推定結果ＥＳ３を記憶部２２に格納する。
　（ステップＳ２４）
　ステップＳ２４において、分類部１２は、記憶部２２から第１の推定結果ＥＳ１、第２の推定結果ＥＳ２、及び第３の推定結果ＥＳ３を取得する。分類部１２は、第１の推定結果ＥＳ１、第２の推定結果ＥＳ２、及び第３の推定結果ＥＳ３を参照し、画像ＰＴに被写体として含まれる検体細胞が良性細胞であるか悪性細胞であるかを分類する。分類部１２が検体細胞が良性細胞であるか悪性細胞であるかを分類する一例については、上述した通りである。
　以上のように、本例示的実施形態に係る分類装置２は、第１の学習モデル、第２の学習モデル、及び第３の学習モデルのそれぞれから出力される第１の推定結果ＥＳ１、第２の推定結果ＥＳ２、及び第３の推定結果ＥＳ３に基づき、画像ＰＴに被写体として含まれる検体細胞が良性細胞であるか悪性細胞を分類する。
　このため、本例示的実施形態に係る分類装置２によれば、複数の推定結果に基づいて検体細胞が良性細胞であるか悪性細胞を分類するため、病理診断において検体細胞の良悪性分類の精度を向上させることができる。また、本例示的実施形態に係る分類装置２によれば、複数の推定結果に基づいて検体細胞が良性細胞であるか悪性細胞を分類するため、偽陽性が発生する可能性を低下させることができる。
　上述したように、本例示的実施形態に係る分類装置２では、学習モデルの数は限定されない。例えば、分類装置２は、第１の学習モデル、第２の学習モデル、及び第３の学習モデルのうち、２つの学習モデルを用いる構成であってもよい。他の例として、分類装置２は、第１の学習モデル、第２の学習モデル、及び第３の学習モデルに加えて、第１の良性サブクラス群及び第２の良性サブクラス群と異なる第４の良性サブクラス群と、第１の悪性サブクラス群及び第２の悪性サブクラス群と異なる第４の悪性サブクラス群とに分類する第４の学習モデルを用いる構成であってもよい。
　〔例示的実施形態３〕
　本発明の第３の例示的実施形態について説明する。なお、上述の例示的実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　（分類装置３）
　本例示的実施形態に係る分類装置３は、上述した例示的実施形態２に係る分類装置２における第１の学習モデル、第２の学習モデル、および第３の学習モデルは、１つの学習モデルによって実現されてもよい。また、本例示的実施形態に係る分類装置３は、分類装置２における第１の学習モデル、第２の学習モデル、および第３の学習モデルの何れかを用いる構成であってもよい。
　分類装置３は、学習モデルに対して、記憶部２２に格納されている画像ＰＴを入力し、当該学習モデルから推定結果ＥＳを取得する。そして、分類部１２は、推定結果ＥＳを参照し、画像ＰＴに被写体として含まれる検体細胞が良性細胞であるか悪性細胞であるかを分類する。分類部１２が検体細胞が良性細胞であるか悪性細胞であるかを分類する一例については、上述した通りである。
　以上のように、本例示的実施形態に係る分類装置３は、学習モデルに画像ＰＴを入力し、当該学習モデルから取得した推定結果ＥＳを参照して、画像ＰＴに被写体として含まれる検体細胞が良性細胞であるか悪性細胞を分類する。このように、以上のように、本例示的実施形態に係る分類装置３は、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
　〔ソフトウェアによる実現例〕
　分類装置１、２、３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、分類装置１、２、３は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図８に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを分類装置１、２、３として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、分類装置１、２、３の各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置であって、前記検体細胞を被写体として含む画像を取得する取得手段と、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得手段が取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段と、を備える分類装置。
　上記の構成によれば、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
　（付記２）
　前記第１の良性サブクラス群およびに含まれる任意のサブクラスは、前記第１の良性サブクラス群に含まれる他のサブクラスと視覚的な所見または組織型が異なり、前記第１の悪性サブクラス群に含まれる任意のサブクラスは、前記第１の悪性サブクラス群に含まれる他のサブクラスと視覚的な所見または組織型が異なる、付記１に記載の分類装置。
　上記の構成によれば、分類可能なサブクラスに分類することができる。
　（付記３）
　前記分類手段は更に、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第２の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第２の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第２の学習モデルに対して、前記取得手段が取得した画像を入力し、前記分類手段は、前記第２の学習モデルの推定結果に更に基づいて前記検体細胞が良性細胞であるか悪性細胞であるかを分類し、前記第１の良性サブクラス群と前記第２の良性サブクラス群、および、前記第１の悪性サブクラス群と前記第２の悪性サブクラス群の少なくとも一方は異なっている、付記１または２に記載の分類装置。
　上記の構成によれば、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
　（付記４）
　前記分類手段は更に、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞及び悪性細胞のうち何れに当該細胞が属するかを推定するように学習済みの第３の学習モデルに対して、前記取得手段が取得した画像を入力し、前記分類手段は、前記第３の学習モデルの推定結果に更に基づいて前記検体細胞が良性細胞であるか悪性細胞であるかを分類する、付記１～３の何れか１項に記載の分類装置。
　上記の構成によれば、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
　（付記５）
　前記分類手段は、前記複数の学習モデルからそれぞれ出力された結果の少なくとも何れかが、良性サブクラス群または良性細胞に分類されたことを示す場合、前記検体細胞は良性細胞であると分類する、付記４に記載の分類装置。
　上記の構成によれば、偽陽性が発生する可能性を低下させることができる。
　（付記６）
　前記取得手段は、細胞を被写体として含む画像と、当該細胞が属するサブクラスとの組を含む学習データをさらに取得し、前記分類装置は、前記取得手段が取得した学習データを用いて、前記学習モデルを学習させる学習手段、を更に備える付記１～５の何れか１項に記載の分類装置。
　上記の構成によれば、学習モデルを学習させることができる。
　（付記７）
　前記取得手段は、内視鏡を用いて採取された呼吸器の細胞を顕微鏡で観察する際に、顕微鏡に取り付けられたカメラによって撮影された画像を取得する、付記１～６の何れか１項に記載の分類装置。
　上記の構成によれば、分類装置をＲＯＳＥにおける細胞診に用いることができる。
　（付記８）
　病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置による分類方法であって、前記検体細胞を被写体として含む画像を取得することと、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得することにおいて取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類することと、を含む分類方法。
　上記の構成によれば、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
　（付記９）
　病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置としてコンピュータを機能させるためのプログラムであって、前記検体細胞を被写体として含む画像を取得する取得手段と、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得手段が取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段と、として機能させるプログラム。
　上記の構成によれば、病理診断において検体細胞の良悪性分類の精度を向上させることができる。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置であって、当該分類装置は少なくとも１つのプロセッサを備え、前記プロセッサは、前記検体細胞を被写体として含む画像を取得する取得処理と、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得手段が取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類する分類処理と、を実行する。
　なお、この分類装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記分類処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　１、２　分類装置
　１１　取得部
　１２　分類部
　１３　学習部
　２１　制御部
　２２　記憶部
　２３　通信部
　２４　入力部
　２５　出力部
　１２１　第１分類部
　１２２　第２分類部
　１２３　第３分類部

 

Claims (9)

  1. 　病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置であって、
    　前記検体細胞を被写体として含む画像を取得する取得手段と、
    　細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得手段が取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段と、
    を備える分類装置。
  2. 　前記第１の良性サブクラス群およびに含まれる任意のサブクラスは、前記第１の良性サブクラス群に含まれる他のサブクラスと視覚的な所見または組織型が異なり、
    　前記第１の悪性サブクラス群に含まれる任意のサブクラスは、前記第１の悪性サブクラス群に含まれる他のサブクラスと視覚的な所見または組織型が異なる、
    請求項１に記載の分類装置。
  3. 　前記分類手段は更に、細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第２の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第２の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第２の学習モデルに対して、前記取得手段が取得した画像を入力し、
    　前記分類手段は、前記第２の学習モデルの推定結果に更に基づいて前記検体細胞が良性細胞であるか悪性細胞であるかを分類し、
    　前記第１の良性サブクラス群と前記第２の良性サブクラス群、および、前記第１の悪性サブクラス群と前記第２の悪性サブクラス群の少なくとも一方は異なっている、
    請求項１または２に記載の分類装置。
  4. 　前記分類手段は更に、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞及び悪性細胞のうち何れに当該細胞が属するかを推定するように学習済みの第３の学習モデルに対して、前記取得手段が取得した画像を入力し、
    　前記分類手段は、前記第３の学習モデルの推定結果に更に基づいて前記検体細胞が良性細胞であるか悪性細胞であるかを分類する、
    請求項１～３の何れか１項に記載の分類装置。
  5. 　前記分類手段は、前記複数の学習モデルからそれぞれ出力された結果の少なくとも何れかが、良性サブクラス群または良性細胞に分類されたことを示す場合、前記検体細胞は良性細胞であると分類する、
    請求項４に記載の分類装置。
  6. 　前記取得手段は、細胞を被写体として含む画像と、当該細胞が属するサブクラスとの組を含む学習データをさらに取得し、
    　前記分類装置は、前記取得手段が取得した学習データを用いて、前記学習モデルを学習させる学習手段、
    を更に備える請求項１～５の何れか１項に記載の分類装置。
  7. 　前記取得手段は、内視鏡を用いて採取された呼吸器の細胞を顕微鏡で観察する際に、顕微鏡に取り付けられたカメラによって撮影された画像を取得する、
    請求項１～６の何れか１項に記載の分類装置。
  8. 　病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置による分類方法であって、
    　前記検体細胞を被写体として含む画像を取得することと、
    　細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得することにおいて取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類することと、
    を含む分類方法。
  9. 　病理診断のために検体細胞が良性細胞であるか悪性細胞であるかを分類する分類装置としてコンピュータを機能させるためのプログラムであって、
    　前記検体細胞を被写体として含む画像を取得する取得手段と、
    　細胞を被写体として含む画像を入力とし、良性細胞を複数のサブクラスに分類した第１の良性サブクラス群および悪性細胞を複数のサブクラスに分類した第１の悪性サブクラス群のうち当該細胞が属するサブクラスを推定するように学習済みの第１の学習モデルに対して、前記取得手段が取得した画像を入力し、前記第１の学習モデルの推定結果に基づいて、前記検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段と、
    として機能させるプログラム。
     

     
PCT/JP2021/044622 2021-12-06 2021-12-06 分類装置、分類方法、及びプログラム WO2023105547A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044622 WO2023105547A1 (ja) 2021-12-06 2021-12-06 分類装置、分類方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044622 WO2023105547A1 (ja) 2021-12-06 2021-12-06 分類装置、分類方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023105547A1 true WO2023105547A1 (ja) 2023-06-15

Family

ID=86729747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044622 WO2023105547A1 (ja) 2021-12-06 2021-12-06 分類装置、分類方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023105547A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6132182A (ja) * 1984-07-24 1986-02-14 Hitachi Ltd 細胞分類装置
JP2011229413A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、プログラム、および、培養方法
JP2019529882A (ja) * 2016-08-22 2019-10-17 アイリス インターナショナル， インコーポレイテッド 生体粒子の分類のシステム及び方法
WO2020081343A1 (en) * 2018-10-15 2020-04-23 Ventana Medical Systems, Inc. Systems and methods for cell classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6132182A (ja) * 1984-07-24 1986-02-14 Hitachi Ltd 細胞分類装置
JP2011229413A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、プログラム、および、培養方法
JP2019529882A (ja) * 2016-08-22 2019-10-17 アイリス インターナショナル， インコーポレイテッド 生体粒子の分類のシステム及び方法
WO2020081343A1 (en) * 2018-10-15 2020-04-23 Ventana Medical Systems, Inc. Systems and methods for cell classification

Similar Documents

Publication Publication Date Title
Dov et al. Weakly supervised instance learning for thyroid malignancy prediction from whole slide cytopathology images
CN110599476B (zh) 基于机器学习的疾病分级方法、装置、设备及介质
Yan et al. Modeling annotator expertise: Learning when everybody knows a bit of something
EP2564357A1 (en) Probability density function estimator
US10956795B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
Anwar et al. Automatic breast cancer classification from histopathological images
CN109817339A (zh) 基于大数据的患者分组方法和装置
Aarthi et al. Application of Feature Extraction and clustering in mammogram classification using Support Vector Machine
TW200842762A (en) Systems and methods for processing an image of a biological specimen
WO2023105547A1 (ja) 分類装置、分類方法、及びプログラム
Nayar et al. Deep learning based model for multi-class classification of cervical cells using pap smear images
Rao et al. Multi-class breast cancer classification using ensemble of pretrained models and transfer learning
Bakht et al. Thyroid nodule cell classification in cytology images using transfer learning approach
Sheela et al. Histopathological Image Classification of Breast Cancer using EfficientNet
Bhosale et al. PCOS (polycystic ovarian syndrome) detection using deep learning
Veena et al. Detection of breast cancer using digital breast tomosynthesis
Yasmin et al. Impact of fuzziness for skin lesion classification with transformer-based model
Zainudin et al. Convolutional neural network Long short-term memory (CNN+ LSTM) for histopathology Cancer image classification
Sonoyama et al. Transfer learning for bag-of-visual words approach to NBI endoscopic image classification
Feshawy et al. Proposed Approaches for Brain Tumors Detection Techniques Using Convolutional Neural Networks
Szijártó et al. Design of a Machine Learning System to Predict the Thickness of a Melanoma Lesion in a Non-Invasive Way from Dermoscopic Images
Naeem et al. DVFNet: A deep feature fusion-based model for the multiclassification of skin cancer utilizing dermoscopy images
Gowri et al. An improved classification of MR images for cervical cancer using convolutional neural networks
Polejowska et al. Impact of visual image quality on lymphocyte detection using yolov5 and retinanet algorithms
Abdullah et al. Detection of Cancer Cells in Tissue Histopathology Images Using a Convolutional Neural Network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967055

Country of ref document: EP

Kind code of ref document: A1