WO2023276810A1 - 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル - Google Patents

疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル Download PDF

Info

Publication number
WO2023276810A1
WO2023276810A1 PCT/JP2022/024843 JP2022024843W WO2023276810A1 WO 2023276810 A1 WO2023276810 A1 WO 2023276810A1 JP 2022024843 W JP2022024843 W JP 2022024843W WO 2023276810 A1 WO2023276810 A1 WO 2023276810A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
image
label
ray image
reliability
Prior art date
Application number
PCT/JP2022/024843
Other languages
English (en)
French (fr)
Inventor
祐太 日朝
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023531856A priority Critical patent/JPWO2023276810A5/ja
Priority to EP22832958.7A priority patent/EP4364665A1/en
Publication of WO2023276810A1 publication Critical patent/WO2023276810A1/ja
Priority to US18/395,710 priority patent/US20240127613A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • Non-Patent Document 1 when manually creating disease labels for simple X-ray images while referring to CT (Computed Tomography) images of the same patient, it requires a great deal of labor and time, and annotation costs There is a problem that the In addition, if an annotation at a level that is visible in CT images but not visible in simple X-ray images is reflected in learning, it may become noise in learning of the disease detection model.
  • CT Computer Tomography
  • the alignment processing includes processing for extracting a two-dimensional anatomical region of interest from a plain X-ray image, and processing for extracting a two-dimensional anatomical region of interest from a CT image.
  • Anatomical regions of interest are, for example, lung fields, ribcage, heart, and aorta.
  • the statistical deformation model applicable to the patient is selected and the selected A statistical deformation model is used to perform non-rigid registration of plain X-ray and CT images.
  • An invention according to an eighteenth aspect is a learning device comprising a second processor, wherein the second processor comprises a simple X-ray image and a second disease label generated by the disease label generating device according to the first or second aspect.
  • a learning device that performs learning processing for learning a disease detection model using first teacher data consisting of and converges a first error between the output of the disease detection model and the second disease label be.
  • the nineteenth aspect of the present invention not only the second disease label but also the first reliability based on the visibility of the disease is used, and the first error is adjusted according to the first reliability for learning. Therefore, it is possible to reduce the influence of annotation noise at a level that is visible in a CT image but not visible or difficult to be visible in a simple X-ray image.
  • the disease labeling apparatus 10 shown in FIG. 1 can be configured by a personal computer, workstation, or the like, and includes a processor 12, a memory 14, a first database 16, a second database 18, a display 20, an input/output interface 22, and an operating system.
  • a unit 24 and the like are provided.
  • the display 20 is a part that displays simple X-ray images, detection results of diseases detected by a learned disease detection model, etc. when detecting diseases from simple X-ray images that are diagnostic targets.
  • a user can refer to the detection results and the like displayed on the display 20 when performing image diagnosis by observing a simple X-ray image to be diagnosed.
  • the display 20 can be used as part of the user interface when receiving various instructions from the user.
  • the disease label creation device 10-1 of the first embodiment shown in FIG. 2 is composed of a processor 12 (first processor) and a memory 14 included in the disease label creation device 10 having the hardware configuration shown in FIG.
  • Processor 12 functions as information acquisition unit 28 , registration processing unit 30 , and disease label converter 40 as described above.
  • the first disease label is automatically ( can be obtained easily).
  • the slice image of the CT image since the contrast between the normal region and the diseased region is clear, the diseased region can be extracted with high accuracy.
  • the three-dimensional CT image 2 is attached to the first disease label extracted in advance. It may be automatically detected.
  • a disease class classification size, volume, lung disease, lung nodule, lung mass, etc.
  • FIG. 3 is a block diagram showing a first embodiment of the alignment processing section shown in FIG.
  • the DRR image created by the DRR image creation unit 33 is added to the comparison unit 32.
  • the alignment processing unit 30 performs processing for projecting the extracted three-dimensional anatomical landmarks, and performs processing for aligning the two-dimensional anatomical landmarks with the projected anatomical landmarks. . That is, the projection conditions of the three-dimensional anatomical landmarks are adjusted and projected so that both anatomical landmarks match.
  • a third embodiment of the registration processing unit 30 shown in FIG. Perform registration using anatomical regions of interest.
  • a fourth embodiment of the alignment processing unit 30 shown in FIG. 3 performs alignment using a simple X-ray image restored in three dimensions and a three-dimensional CT image.
  • the registration processing unit 30 performs non-rigid registration of the simple X-ray image 1 and the CT image 2 using the selected statistical deformation model.
  • the disease label creation device 10-2 of the second embodiment shown in FIG. 4 differs from the disease label creation device 10-1 of the first embodiment in that a reliability calculator 42 is added.
  • the first embodiment of the reliability calculator 42 shown in FIG. 4 calculates the reliability (first reliability) of the disease area (second disease area) from the visibility of the disease area in the simple X-ray image 1. do.
  • the processor 12 creates the simple X-ray image 1
  • the second disease label and the first reliability (with reliability disease label 3-2) is stored in the second database 18 as second teacher data.
  • the information acquisition unit 28 can acquire a disease label (third disease label) for each image of the CT image 2 .
  • the third disease label for each image includes presence/absence of disease, disease class classification (size, volume), number of diseases, presence/absence of disease in each of the left and right lungs, and the like.
  • the disease label 3-2 with reliability is added to one input of the error calculation unit 62-2, and the detection result 4-2, which is the output of the disease detection model 50-2, is added to the other input.
  • the error calculation unit 62-2 calculates the error (first error) between the disease label 3-1 and the detection result 4-2, and applies the calculated first error to the first confidence associated with the disease label 3-2. Adjust accordingly. For example, if the first confidence has a value in the range of 0 to 1.0, the first error can be adjusted by multiplying the first error by the first confidence.
  • a modified example of the learning device 11-2 of the second embodiment causes the disease detection model 50-2 to learn so that reliability (second reliability) is also output as a detection result.
  • second reliability the reliability of the disease label detected by the disease detection model 50-2 itself
  • the simple X-ray image 5 is displayed on the display 20 during image diagnosis by a medical specialist. It can be superimposed and displayed on the displayed simple X-ray image 5, thereby supporting image diagnosis by a medical specialist.
  • the bounding box By using the bounding box with reliability, it is possible to grasp the visibility of the disease (pulmonary nodules 6A and 6B) surrounded by the bounding box.
  • the disease label converter 40 of the processor 12 converts the first three-dimensional disease labels acquired together with the three-dimensional CT image 2 to two-dimensional disease labels corresponding to the simple X-ray image 1 based on the alignment result in step S12. Convert to a second disease label (step S14). That is, in step S14, the three-dimensional first disease label is projected in the same manner as the three-dimensional CT image 2 based on the alignment result (projection condition) between the simple X-ray image 1 and the CT image 2, A second disease label is created by converting the simple X-ray image 1 into a two-dimensional disease label (second disease label).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computational Linguistics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

単純Ｘ線画像に対する疾患ラベルを低アノテーションコストで作成することができる疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデルを提供する。疾患ラベル作成装置（１０－１）の第１プロセッサの情報取得部（２８）は、単純Ｘ線画像（１）、単純Ｘ線画像（１）とペアの３次元のＣＴ画像（２）、及びＣＴ画像（２）から抽出された３次元の第１疾患ラベルを取得する。第１プロセッサの位置合わせ処理部（３０）は、単純Ｘ線画像（１）とＣＴ画像（２）とを位置合わせする。第１プロセッサの疾患ラベル変換器（４０）は、位置合わせ処理部（３０）での位置合わせの結果に基づいて第１疾患ラベルを、単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換し、これにより疾患ラベル（３－１）を作成する。

Description

疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル
　本発明は疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデルに係り、特に疾患検出モデルの学習に使用する疾患ラベルを作成する技術に関する。
　単純Ｘ線撮影は、Ｘ線源からＸ線を被検体に照射し、被検体を透過したＸ線量に応じた画像（以下、「単純Ｘ線画像」という）を撮影する。専門医は、単純Ｘ線画像から疾患の有無、大きさ等を視認するが、単純Ｘ線画像は、臓器や骨に疾患が重畳しているため、疾患の視認は容易ではない。
　そこで、専門医による単純Ｘ線画像の読影を支援するために、単純Ｘ線画像から疾患を検出する疾患検出モデルを構築することが望まれる。
　この種の疾患検出モデルを構築する場合、単純Ｘ線画像と疾患ラベルの一対一のペアからなる教師データを大量に準備し、教師データにより疾患検出モデルのパラメータを最適化する（学習する）のが一般的である。
　非特許文献１には、患者の単純Ｘ線画像に対する肺結節の領域情報（疾患ラベル）を作成する場合に、医師が同一患者のＣＴ（Computed Tomography）画像を参照し、手動で疾患ラベルを作成する技術が記載されている。
　また、非特許文献２には、ＣＴ画像の疾患ラベル（ラベル情報）を単純Ｘ線画像に活用する技術が記載されている。非特許文献２に記載の技術は、ＣＴ画像を投影してＤＲＲ（Digital Reconstructed Radiograph）画像に画像変換し、ＤＲＲ画像と投影されたラベル情報とで学習した疾患検出モデルを、単純Ｘ線画像に適用するというものである。
　非特許文献１に記載のように、同一患者のＣＴ（Computed Tomography）画像を参照しながら、手動で単純Ｘ線画像に対する疾患ラベルを作成する場合、多大な労力と時間が必要になり、アノテーションコストが高くなるという問題がある。また、ＣＴ画像では視認できるが、単純Ｘ線画像では視認できないレベルのアノテーションを学習に反映すると、疾患検出モデルの学習のノイズとなり得る。
　また、非特許文献２に記載のようにＣＴ画像から作成したＤＲＲ画像は、単純Ｘ線画像と比較して解像度が低く、そのため、ＤＲＲ画像により学習させた疾患検出モデルは、解剖学的領域などの大局的な認識しかできず、例えば、小さな肺結節などの疾患の検出には適さないという問題がある。
　本発明はこのような事情に鑑みてなされたもので、単純Ｘ線画像に対する疾患ラベルを低アノテーションコストで作成することができ、かつ作成された疾患ラベルを疾患検出モデルの教師データとして使用することで、疾患検出の信頼性の高い疾患検出モデルを構築することができる疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデルを提供することを目的とする。
　上記目的を達成するために第１態様に係る発明は、第１プロセッサを備える疾患ラベル作成装置であって、第１プロセッサは、単純Ｘ線画像、単純Ｘ線画像とペアの３次元のＣＴ画像、及びＣＴ画像から抽出された３次元の第１疾患ラベルを取得する情報取得処理と、単純Ｘ線画像とＣＴ画像とを位置合わせする位置合わせ処理と、位置合わせの結果に基づいて第１疾患ラベルを、単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換する変換処理と、を行う。
　本発明の第１態様は、単純Ｘ線画像とＣＴ画像との位置合わせを行い、その位置合わせの結果に基づいてＣＴ画像から抽出された３次元の第１疾患ラベルを、単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換する。これにより、単純Ｘ線画像に対する疾患ラベルを自動的に作成することができ、アノテーションコストを低減することができる。また、単純Ｘ線画像とＣＴ画像とは、モダリティ及び撮影時の患者姿勢が異なるが、両画像の位置合わせに応じて３次元の第１疾患ラベルを単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換するため、画素単位のアノテーションを反映させた疾患ラベル（第２疾患ラベル）を生成することができる。
　本発明の第２態様に係る疾患ラベル作成装置において、位置合わせ処理は、ＣＴ画像を投影して疑似Ｘ線画像を作成する処理と、単純Ｘ線画像と疑似Ｘ線画像とを位置合わせする処理と、を含むことが好ましい。
　本発明の第３態様に係る疾患ラベル作成装置において、位置合わせ処理は、単純Ｘ線画像から２次元の解剖学的ランドマークを抽出する処理と、ＣＴ画像から解剖学的ランドマークに対応する３次元の解剖学的ランドマークを抽出する処理と、３次元の解剖学的ランドマークを投影する処理と、２次元の解剖学的ランドマークと投影処理後の解剖学的ランドマークとを位置合わせする処理と、を含むことが好ましい。解剖学的ランドマークとしては、単純Ｘ線画像での解像度の高い肋骨などが考えられる。
　本発明の第４態様に係る疾患ラベル作成装置において、位置合わせ処理は、単純Ｘ線画像から２次元の解剖学的関心領域を抽出する処理と、ＣＴ画像から解剖学的関心領域に対応する３次元の解剖学的関心領域を抽出する処理と、３次元の解剖学的関心領域を投影する処理と、２次元の解剖学的関心領域の輪郭と投影処理後の解剖学的関心領域の輪郭とを位置合わせする処理と、を含むことが好ましい。解剖学的関心領域とは、例えば、肺野、胸郭、心臓、及び大動脈等の領域である。
　本発明の第５態様に係る疾患ラベル作成装置において、位置合わせ処理は、単純Ｘ線画像を３次元復元する処理と、ＣＴ画像と３次元復元した単純Ｘ線画像とを位置合わせする処理と、を含むことが好ましい。
　本発明の第６態様に係る疾患ラベル作成装置において、第１プロセッサは、第２疾患ラベルに対する第１信頼度を算出する第１信頼度算出処理を行うことが好ましい。
　本発明の第７態様に係る疾患ラベル作成装置において、第１信頼度算出処理は、単純Ｘ線画像の正常領域に対する、第２疾患ラベルに対応する第２疾患領域の視認性を、第１疾患ラベルに対応するＣＴ画像の第１疾患領域と正常領域との画素値の統計量、及びＣＴ画像の第１疾患領域の形状特徴の少なくとも１つ以上を用いて算出し、算出した視認性から第１信頼度を算出することが好ましい。ＣＴ画像の第１疾患領域と正常領域との画素値の統計量(例えば、平均値)の差が大きければ、第２疾患領域の視認性が高くなる。また、ＣＴ画像の第１疾患領域の形状特徴から、例えば、第１疾患領域が投影方向に長い形状を有する場合、第１疾患領域と正常領域でのＸ線吸収量の差がより大きくなり、第２疾患領域の視認性が高くなる。
　本発明の第８態様に係る疾患ラベル作成装置において、情報取得処理は、ＣＴ画像における解剖学的領域の情報を取得し、第１信頼度算出処理は、単純Ｘ線画像の正常領域に対する、第２疾患ラベルに対応する第２疾患領域の視認性を、第１疾患ラベルに対応するＣＴ画像の第１疾患領域と解剖学的領域との投影方向の重畳に基づいて算出し、算出した視認性から第１信頼度を算出することが好ましい。ＣＴ画像の第１疾患領域が、投影方向において、解剖学的領域（例えば、骨領域）と重畳する場合、その第１疾患領域に対応する単純Ｘ線画像における疾患領域（第２疾患領域）は、骨領域によりＸ線の透過量が少なくなり、視認性が低くなる。
　本発明の第９態様に係る疾患ラベル作成装置において、第１疾患ラベルは、ＣＴ画像から自動検出されたラベルであり、情報取得処理は、単純Ｘ線画像又はＣＴ画像に対応する読影レポートを取得し、第１信頼度算出処理は、第１疾患ラベルと読影レポートの記載内容との一致度に基づいて第１信頼度を算出することが好ましい。これにより、専門医による画像診断結果を、第１信頼度に反映させることができる。
　本発明の第１０態様に係る疾患ラベル作成装置において、第１プロセッサは、位置合わせの結果の成功度を算出し、第１信頼度算出処理は、成功度に基づいて第１信頼度を算出することが好ましい。
　本発明の第１１態様に係る疾患ラベル作成装置において、第１疾患ラベルは、ＣＴ画像から自動検出されたラベルであり、第１信頼度算出処理は、ペアの単純Ｘ線画像とＣＴ画像とで撮影範囲が異なる領域の第２疾患ラベルに対して低い第１信頼度を付与することが好ましい。
　本発明の第１２態様に係る疾患ラベル作成装置において、位置合わせ処理は、患者に応じて患者に対応付けられたペアの単純Ｘ線画像及びＣＴ画像の位置合わせにおける解空間を調整して位置合わせを行うことが好ましい。
　本発明の第１３態様に係る疾患ラベル作成装置において、患者特徴情報毎の統計変形モデルのデータベースを有し、位置合わせ処理は、ペアの単純Ｘ線画像及びＣＴ画像に対応する患者の患者特徴情報に基づいて、データベースから対応する統計変形モデルを選択する処理と、選択した統計変形モデルを用いて、単純Ｘ線画像とＣＴ画像との非剛体位置合わせを行う処理と、を行うことが好ましい。
　例えば、肋骨が動かない障害がある患者の場合、その患者の単純Ｘ線画像とＣＴ画像における肋骨の位置を位置合わせする場合、その患者（障害）に該当する統計変形モデルを選択し、選択した統計変形モデルを用いて、単純Ｘ線画像とＣＴ画像との非剛体位置合わせを行う。
　本発明の第１４態様に係る疾患ラベル作成装置において、情報取得処理は、ＣＴ画像の画像単位の第３疾患ラベルを取得し、第１プロセッサは、単純Ｘ線画像に第２疾患ラベル及び第３疾患ラベルを付与することが好ましい。例えば、ＣＴ画像の画像単位の第３疾患ラベルとして、疾患のクラス分類（肺結節、肺腫瘤等）を示すラベルを付与することができる。
　本発明の第１５態様に係る疾患ラベル作成装置において、情報取得処理は、ＣＴ画像の画像単位の第３疾患ラベルを取得し、第１プロセッサは、位置合わせの結果の成功又は失敗を判定し、成功と判定した場合には第２疾患ラベルを選択し、失敗と判定した場合には第３疾患ラベルを選択し、単純Ｘ線画像に選択した第２疾患ラベル又は第３疾患ラベルを付与することが好ましい。
　第１６態様に係る発明は、単純Ｘ線画像、単純Ｘ線画像とペアの３次元のＣＴ画像、及びＣＴ画像から抽出された３次元の第１疾患ラベルを取得するステップと、単純Ｘ線画像とＣＴ画像とを位置合わせするステップと、位置合わせの結果に基づいて第１疾患ラベルを、単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換するステップと、を含み、プロセッサが各ステップの処理を実行する疾患ラベル作成方法である。
　第１７態様に係る発明は、単純Ｘ線画像、単純Ｘ線画像とペアの３次元のＣＴ画像、及びＣＴ画像から抽出された３次元の第１疾患ラベルを取得する機能と、単純Ｘ線画像とＣＴ画像とを位置合わせする機能と、位置合わせの結果に基づいて第１疾患ラベルを、単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換する機能と、をコンピュータにより実現させる疾患ラベル作成プログラムである。
　第１８態様に係る発明は、第２プロセッサを備える学習装置であって、第２プロセッサは、単純Ｘ線画像と第１態様又は第２態様に係る疾患ラベル作成装置により作成された第２疾患ラベルとからなる第１教師データを使用して、疾患検出モデルを学習させる学習処理であって、疾患検出モデルの出力と第２疾患ラベルとの第１誤差を収束させる学習処理を行う、学習装置である。
　本発明の第１８態様によれば、第１態様又は第２態様に係る疾患ラベル作成装置により作成された第２疾患ラベルと単純Ｘ線画像とからなる第１教師データ（低アノテーションコストで得られた第１教師データ）を使用して、疾患検出モデルを学習させるようにしたため、疾患検出モデルの学習を低コストで行うことができる。また、第２疾患ラベルは、単純Ｘ線画像とペア（同一患者）の、より視認が容易なＣＴ画像に基づいて作成されるため、この第２疾患ラベルと単純Ｘ線画像とからなる第１教師データは、ノイズの少ない良好な教師データとなり、検出精度の高い疾患検出モデルを構築することができる。
　第１９態様に係る発明は、第２プロセッサを備える学習装置であって、第２プロセッサは、単純Ｘ線画像と第６態様から第１６態様のいずれかの疾患ラベル作成装置により作成された第２疾患ラベルと第１信頼度とからなる第２教師データを使用して、疾患検出モデルを学習させる学習処理であって、疾患検出モデルの出力と第２疾患ラベルとの第１誤差を収束させる学習処理を行う際に、第１信頼度に応じて第１誤差を調整して学習させる学習処理を行う、学習装置である。
　本発明の第１９態様によれば、第２疾患ラベルだけでなく、疾患の視認性に基づいた第１信頼度を使用し、第１信頼度に応じて第１誤差を調整して学習させるようにしたため、ＣＴ画像では視認できるが、単純Ｘ線画像では視認できない、又は視認が困難なレベルのアノテーションノイズの影響を低減することができる。
　本発明の第２０態様に係る学習装置において、情報取得処理は、ＣＴ画像の画像単位の第３疾患ラベルを取得し、第１プロセッサは、単純Ｘ線画像に第２疾患ラベル及び第３疾患ラベルを付与し、第２プロセッサは、第３疾患ラベルが付与された単純Ｘ線画像を第３教師データとして使用し、疾患検出モデルの出力と第３疾患ラベルとの第２誤差を収束させる学習処理を行うことが好ましい。
　本発明の第２１態様に係る学習装置において、第２プロセッサは、疾患検出モデルから単純Ｘ線画像に含まれる疾患領域を示す疾患検出結果と疾患検出結果の第２信頼度を出力させるべく学習処理を行うことが好ましい。これによれば、疾患検出モデル自身が、第２疾患ラベルに対する信頼度（第２信頼度）を検出することができるようになる。
　本発明の第２２態様に係る学習装置において、第２プロセッサは、疾患検出モデルから出力される第２信頼度が低く、かつ擬陽性となる疾患領域の第１誤差を大きく調整し、第２信頼度が低く、かつ擬陰性となる疾患領域の第１誤差を小さく調整することが好ましい。
　本発明の第２３態様に係る学習装置において、第２プロセッサは、第１信頼度算出処理により算出された第１信頼度と、疾患検出モデルから出力される第２信頼度とを統合して第３信頼度を生成し、疾患検出モデルの出力と第２疾患ラベルとの第１誤差を収束させる学習処理を行う際に、第３信頼度に応じて第１誤差を調整して学習させる学習処理を行うことが好ましい。
　第２４態様に係る発明は、第１８態様から第２４態様のいずれかの学習装置により学習が行われた学習済みの疾患検出モデルであって、任意の単純Ｘ線画像を入力画像とし、入力した単純Ｘ線画像から疾患ラベルを検出出力する、疾患検出モデルである。
　本発明によれば、単純Ｘ線画像に対する疾患ラベルを低アノテーションコストで作成することができ、かつ作成された疾患ラベルを疾患検出モデルの教師データとして使用することで、疾患検出の信頼性の高い疾患検出モデルを構築することができる。
図１は、本発明に係る疾患ラベル作成装置及び学習装置のハードウェア構成の実施形態を示すブロック図である。 図２は、本発明に係る疾患ラベル作成装置の第１実施形態を示す機能ブロック図である。 図３は、図２に示した位置合わせ処理部の第１実施形態を示すブロック図である。 図４は、本発明に係る疾患ラベル作成装置の第２実施形態を示す機能ブロック図である。 図５は、本発明に係る学習装置の第１実施形態を示す機能ブロック図である。 図６は、本発明に係る学習装置の第２実施形態を示す機能ブロック図である。 図７は、本発明に係る疾患検出モデルの第１実施形態を示す図である。 図８は、本発明に係る疾患検出モデルの第２実施形態を示す図である。 図９は、本発明に係る疾患ラベル作成方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデルの好ましい実施形態について説明する。
　［疾患ラベル作成装置及び学習装置のハードウェア構成］
　図１は、本発明に係る疾患ラベル作成装置及び学習装置のハードウェア構成の実施形態を示すブロック図である。尚、本例の疾患ラベル作成装置は、学習装置としての機能を含んでいるが、疾患ラベル作成装置と学習装置とは、物理的に別々の装置でもよい。
　図１に示す疾患ラベル作成装置１０は、パーソナルコンピュータ、ワークステーション等により構成することができ、プロセッサ１２、メモリ１４、第１データベース１６、第２データベース１８、ディスプレイ２０、入出力インターフェース２２、及び操作部２４等を備える。
　プロセッサ１２は、ＣＰＵ（Central Processing Unit）等から構成され、疾患ラベル作成装置１０の各部を統括制御すると共に、例えば、図２及び図４に示す疾患ラベル作成装置１０－１、１０－２における情報取得部２８、位置合わせ処理部３０、疾患ラベル変換器４０、及び信頼度算出器４２として機能し、また、図５及び図６に示した学習装置１１－１、１１－２における疾患検出モデル５０－１、５０－２、及び学習処理部６０－１、６０－２として機能する。
　メモリ１４は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、ＲＡＭ(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ及びハードディスク装置は、オペレーションシステム、プロセッサ１２を疾患検出モデルとして機能させるプログラム及びパラメータ、本発明に係る疾患ラベル作成プログラムを含む各種のプログラム等を記憶する不揮発性メモリである。
　ＲＡＭは、プロセッサ１２による処理の作業領域として機能し、また、不揮発性メモリに格納された疾患ラベル作成プログラム等を一時的に記憶する。尚、プロセッサ１２が、メモリ１４の一部（ＲＡＭ）を内蔵していてもよい。
　　第１データベース１６は、多数の患者の単純Ｘ線画像、各単純Ｘ線画像とペア（同一患者）の３次元のＣＴ画像、各ＣＴ画像から抽出された疾患の３次元の領域情報（疾患の３次元座標等に関連する情報）を示す第１疾患ラベルを保存及び管理する部分である。尚、第１疾患ラベルは、疾患のクラス分類が注釈として付されていてもよい。また、ＣＴ画像には、胸郭、肺野、その他の臓器ごとの領域を示すセグメンテーションラベルが付属していてもよい。
　尚、本例の単純Ｘ線画像は、胸部Ｘ線画像であり、ＣＴ画像は、体軸方向に位置を変えながら胸部を輪切りに撮影したものである。３次元のＣＴ画像は、輪切りに撮影した多数のスライス画像を体軸方向に重ねてなる３次元データである。
　第２データベース１８は、単純Ｘ線画像と疾患ラベル作成装置１０により作成された疾患ラベル（第２疾患ラベル）とのペアからなる教師データを保存及び管理する部分であり、第１データベース１６に保存された単純Ｘ線画像と各単純Ｘ線画像とペアのＣＴ画像に基づいて第２疾患ラベルが作成されると、単純Ｘ線画像と作成された第２疾患ラベルとのペアからなる教師データの保存先となる。
　尚、第１データベース１６と第２データベース１８とは、物理的に同一のものでもよい。また、第１データベース１６及び第２データベース１８の少なくとも一方は、装置外部に設けられ、入出力インターフェース２２を介してデータのやり取りを行うものでもよい。
　ディスプレイ２０は、診断対象である単純Ｘ線画像から疾患を検出する場合に、単純Ｘ線画像、学習済みの疾患検出モデルにより検出された疾患の検出結果等を表示する部分である。ユーザ（医師）は、診断対象である単純Ｘ線画像を観察して画像診断する際に、ディスプレイ２０に表示された検出結果等を参考にして診断することができる。尚、ディスプレイ２０は、ユーザの各種の指示を受け付ける場合のユーザインターフェースの一部として使用可能である。
　入出力インターフェース２２は、外部機器と接続可能な接続部、及びネットワークと接続可能な通信部等を含む。外部機器と接続可能な接続部としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（ＨＤＭＩは登録商標）等を適用することができる。プロセッサ１２は、入出力インターフェース２２を介して診断対象である単純Ｘ線画像の他、メモリ１４に格納する疾患ラベル作成プログラムを含む各種のプログラム、第１データベース１６に保存する情報（教師データ作成用の単純Ｘ線画像及びＣＴ画像等）を取得することが可能である。また、ディスプレイ２０の代わりに、入出力インターフェース２２に接続された外部の表示機器を使用することが可能である。
　操作部２４は、キーボード、マウス等のポインティングデバイス、キーボードを含み、医師による各種の指示を受け付けるユーザインターフェースとして機能する。
　［疾患ラベル作成装置の第１実施形態］
　図２は、本発明に係る疾患ラベル作成装置の第１実施形態を示す機能ブロック図である。
　図２に示す第１実施形態の疾患ラベル作成装置１０－１は、図１に示したハードウェア構成の疾患ラベル作成装置１０に含まれるプロセッサ１２（第１プロセッサ）、及びメモリ１４により構成され、前述したようにプロセッサ１２が、情報取得部２８、位置合わせ処理部３０、及び疾患ラベル変換器４０として機能する。
　情報取得部２８は、第１データベース１６から、単純Ｘ線画像１、及び単純Ｘ線画像１とペア（同一患者）の疾患ラベル付きの３次元のＣＴ画像２等の情報を取得する情報取得処理を行う部分である。
　疾患ラベル（第１疾患ラベル）は、ＣＴ画像２における３次元の疾患領域を示す３次元の領域情報であり、３次元の疾患領域の画素単位の情報、又は３次元の疾患領域を囲む直方体の領域を示す情報である。
　第１疾患ラベルは、３次元のＣＴ画像２を構成する複数枚のスライス画像（アキシャル像）を１枚ずつ、公知の疾患検出モデルに入力し、その検出結果を統合することで自動的に（容易に）取得することができる。尚、ＣＴ画像のスライス画像では、正常領域と疾患領域とのコントラストが明確であるため、疾患領域の抽出は精度よく行うことができる。また、本例では、３次元のＣＴ画像２は、予め抽出された第１疾患ラベルに付属しているが、第１疾患ラベルが付属していない場合には、３次元のＣＴ画像に基づいて自動検出するようにしてもよい。
　位置合わせ処理部３０は、情報取得部２８により取得されたペアの単純Ｘ線画像１とＣＴ画像２を入力し、単純Ｘ線画像１とＣＴ画像２との位置合わせを行う。位置合わせ処理部３０での位置合わせ処理は、例えば、３次元のＣＴ画像２を投影して２次元のＤＲＲ画像に変換し、変換したＤＤＲ画像が、単純Ｘ線画像１と一致するように投影時の幾何学的な条件やＣＴ画像２の回転等を調整することで行うことができる。尚、ここでは、剛体変形により位置合わせを行う例を示すが、非剛体変形により位置合わせを行うようにしてもよい。また、位置合わせ処理部３０の詳細については、後述する。
　疾患ラベル変換器４０は、位置合わせ処理部３０による位置合わせの結果に基づいて、３次元のＣＴ画像２と同様に、３次元の第１疾患ラベルを投影等の変換処理を行うことで、単純Ｘ線画像１に対応する２次元の疾患ラベル（第２疾患ラベル）３－１に変換する変換処理を行う。
　３次元の第１疾患ラベルとして、２つの３次元の疾患領域をそれぞれ囲む直方体２Ａ，２Ｂの領域を示す情報（例えば、直方体の８つの頂点の座標情報）とすると、各直方体の８つの頂点の３次元の座標情報は、疾患ラベル変換器４０により変換されて、単純Ｘ線画像１上の８つの位置を示す２次元の座標情報になる。そして、８つの２次元の座標情報を包含する矩形領域３Ａ、３Ｂを示す情報を、単純Ｘ線画像１に対する疾患ラベル３－１とすることができる。
　プロセッサ１２は、疾患ラベル作成装置１０－１により単純Ｘ線画像１に対する疾患ラベル３－１を作成すると、単純Ｘ線画像１と疾患ラベル３－１とのペアを、教師データ（第１教師データ）として第２データベース１８に保存する。
　尚、本例の疾患ラベル３－１は、単純Ｘ線画像１における疾患領域を囲む矩形枠内の領域情報であるが、矩形枠（バウンディングボックス）の対角の２つの頂点の座標情報でもよい。また、ＣＴ画像２における第１疾患ラベルは、３次元の疾患領域を示す領域情報でもよく、この場合、２次元の疾患ラベルは、単純Ｘ線画像１における疾患領域（画素単位）の情報となる。
　更に、ＣＴ画像２における第１疾患ラベルが、３次元の疾患領域を示す領域情報の場合において、疾患ラベル変換器４０は、この第１疾患ラベルを投影して単純Ｘ線画像１における画素単位の疾患領域に変換し、更に画素単位の疾患領域に外接するバウンディングボックスを、疾患ラベル３－１（第２疾患ラベル）とすることができる。
　また、３次元の第１疾患ラベルに注釈として、疾患のクラス分類（サイズ、体積、肺疾患の場合、肺結節、肺腫瘤等）が付与されている場合、変換した疾患ラベル３－１に対しても疾患単位又は画像単位で疾患のクラス分類の注釈を付与することが好ましい。
　［位置合わせ処理部］
　＜位置合わせ処理部の第１実施形態＞
　図３は、図２に示した位置合わせ処理部の第１実施形態を示すブロック図である。
　図３に示す位置合わせ処理部３０は、正規化部３１、比較部３２、ＤＲＲ画像作成部３３、及び最適化部３５を備えている。
　正規化部３１は、単純Ｘ線画像１を入力すると、例えば、単純Ｘ線画像１の局所領域ごとに濃淡値の正規化を行い、コントラストを調整する。正規化された単純Ｘ線画像１ａは、比較部３２に加えられる。
　ＤＲＲ画像作成部３３には、３次元のＣＴ画像２と、３次元のＣＴ画像２の特定領域を示すマスク情報２ａとが加えられており、ＤＲＲ画像作成部３３は、まず、マスク情報２ａに基づいてＣＴ画像２の特定領域を抽出する。本例の特定領域は、骨の領域である胸郭領域であり、胸郭領域を示すマスク情報２ａに基づいてＣＴ画像２から胸郭領域を抽出する。尚、マスク情報２ａは、ＣＴ画像２の各臓器領域を示す情報として付与されている場合には、その情報を使用することができ、マスク情報２ａが付与されていない場合には、ＣＴ画像２から直接、胸郭領域を抽出するようにしてもよい。
　ＤＲＲ画像作成部３３の他の入力には、ＣＴ画像２（胸郭領域）を投影して２次元のＤＲＲ画像に変換する場合の幾何情報が加えられており、ＤＲＲ画像作成部３３は、幾何情報３４に基づいて胸郭領域を投影し、胸郭領域の２次元画像であるＤＲＲ画像を作成する。
　ここで、幾何情報３４は、ＣＴ画像２を投影面に投影する場合の幾何学的な情報であり、例えば、Ｘ線源位置３８と患者位置（投影されるＣＴ画像）との距離（ＳＯＤ）、及びＸ線源位置３８と検出器位置３９との距離（ＳＤＤ）を含む。距離（ＳＯＤ）及び距離（ＳＤＤ）は、単純Ｘ線画像１を撮影したときのＸ線源、及び検出器（イメージングプレート）の位置関係等から取得することができる。また、幾何情報３４は、ＤＲＲ画像のサイズ等を調整するためのパラメータとして使用することができる。
　ＤＲＲ画像作成部３３により作成されたＤＲＲ画像は、比較部３２に加えられる。
　比較部３２は、正規化された単純Ｘ線画像１ａとＤＲＲ画像との濃度勾配を比較し、両画像の類似度を示す比較結果を最適化部３５に出力する。
　最適化部３５は、比較部３２から出力される比較結果に基づいて類似度が最大になるように、投影されるＣＴ画像２（胸郭領域）の姿勢パラメータ（θ）を調整する情報をＤＲＲ画像作成部３３に出力する。また、最適化部３５は、幾何情報３４を調整する情報を出力することができる。
　ＤＲＲ画像作成部３３は、最適化部３５から入力する情報に基づいて、投影条件（姿勢パラメータ（θ）、幾何情報３４）を調整して得たＤＲＲ画像を再度、比較部３２に出力する。
　比較部３２、最適化部３５、及びＤＲＲ画像作成部３３の処理を順次繰り返すことで、ＤＲＲ画像作成部３３は、正規化された単純Ｘ線画像１ａとの類似度が最大になるＤＲＲ画像を作成する。
　そして、位置合わせ処理部３０は、単純Ｘ線画像１ａとＤＲＲ画像との類似度が最大になるときの投影条件を、位置合わせの結果として疾患ラベル変換器４０に出力することができ、疾患ラベル変換器４０は、位置合わせの結果（投影条件）に基づいて３次元の第１疾患ラベルを投影することで、単純Ｘ線画像に対応する２次元の疾患ラベル３－１に変換する。
　本例では、ＣＴ画像２の胸郭領域を使用して単純Ｘ線画像１との位置合わせを行うことで、胸郭領域の内側の肺野領域の位置合わせを行うが、これに限らず、ＣＴ画像２の肺野領域を使用して単純Ｘ線画像１との位置合わせを行うようにしてもよいし、複数の臓器領域を使用して単純Ｘ線画像１との位置合わせを行うようにしてもよい。
　また、位置合わせ処理部３０は、ＣＴ画像２を投影して疑似Ｘ線画像を作成し、単純Ｘ線画像１と疑似Ｘ線画像とを位置合わせする処理を行うようにしてもよい。
　尚、図２に示した疾患ラベル変換器４０は、位置合わせしたＣＴ画像２の第１疾患ラベルを、２次元に変換（単純Ｘ線画像１と同じ平面に投影）することで、単純Ｘ線画像１に対応する第２疾患ラベルに変換することができる。
　＜位置合わせ処理部の第２実施形態＞
　図３に示す位置合わせ処理部３０の第２実施形態は、単純Ｘ線画像１の２次元の解剖学的ランドマークと、２次元の解剖学的ランドマークに対応するＣＴ画像２の３次元の解剖学的ランドマークとを使用して位置合わせを行う。
　即ち、第２実施形態の位置合わせ処理部３０は、単純Ｘ線画像１から２次元の解剖学的ランドマークを抽出する処理を行い、ＣＴ画像２から３次元の解剖学的ランドマーク（２次元の解剖学的ランドマークに対応するランドマーク）を抽出する処理を行う。解剖学的ランドマークとしては、例えば、各肋骨や、各肋骨の助軟骨との境界などをランドマークとすることができる。
　位置合わせ処理部３０は、抽出した３次元の解剖学的ランドマークを投影する処理を行い、２次元の解剖学的ランドマークと投影処理後の解剖学的ランドマークとを位置合わせする処理を行う。即ち、両者の解剖学的ランドマークが一致するように、３次元の解剖学的ランドマークの投影条件を調整して投影する。
　位置合わせ処理部３０は、２次元の解剖学的ランドマークと投影した３次元の解剖学的ランドマークが一致し、又は最も一致度が高くなる場合の投影条件を位置合わせの結果として出力する。
　＜位置合わせ処理部の第３実施形態＞
　図３に示す位置合わせ処理部３０の第３実施形態は、単純Ｘ線画像１の２次元の解剖学的関心領域と、２次元の解剖学的関心領域に対応するＣＴ画像２の３次元の解剖学的関心領域とを使用して位置合わせを行う。
　即ち、第３実施形態の位置合わせ処理部３０は、単純Ｘ線画像１から２次元の解剖学的関心領域を抽出する処理を行い、ＣＴ画像２から３次元の解剖学的関心領域（２次元の解剖学的関心領域に対応する関心領域）を抽出する処理を行う。胸部の単純Ｘ線画像１における解剖学的関心領域は、例えば、肺野、胸郭、心臓、及び大動脈等の領域である。
　位置合わせ処理部３０は、抽出した３次元の解剖学的関心領域を投影する処理を行い、２次元の解剖学的関心領域の輪郭と投影処理後の解剖学的関心領域の輪郭とを位置合わせする処理を行う。即ち、両者の解剖学的関心領域の輪郭一致するように、３次元の解剖学的関心領域の投影条件を調整して投影する。
　位置合わせ処理部３０は、２次元の解剖学的関心領域の輪郭と投影した３次元の解剖学的関心領域の輪郭とが一致し、又は最も一致度が高くなる場合の投影条件を位置合わせの結果として出力する。
　＜位置合わせ処理部の第４実施形態＞
　図３に示す位置合わせ処理部３０の第４実施形態は、３次元復元した単純Ｘ線画像と３次元のＣＴ画像とを使用して位置合わせを行う。
　即ち、第４実施形態の位置合わせ処理部３０は、単純Ｘ線画像１を３次元復元する処理を行う。例えば、２次元の単純Ｘ線画像を入力する３次元のＸ線画像を出力するように学習させた学習モデルを使用することで、単純Ｘ線画像１を３次元復元することができる。
　位置合わせ処理部３０は、３次元のＣＴ画像２と３次元復元した単純Ｘ線画像とを位置合わせする処理を行う。この場合の位置合わせは、３次元空間での位置合わせであり、例えば、ＣＴ画像２の並進移動、回転移動、及び拡縮等を行うことで、ＣＴ画像２を３次元復元した単純Ｘ線画像に合わせる。
　＜位置合わせ処理部の第５実施形態＞
　位置合わせ処理部３０の第５実施形態は、患者に応じて、患者に対応付けられたペアの単純Ｘ線画像及びＣＴ画像の位置合わせにおける解空間を調整して位置合わせを行う。
　例えば、疾患ラベル作成装置１０は、患者特徴情報毎の統計変形モデルのデータベースを備え、第５実施形態の位置合わせ処理部３０は、ペアの単純Ｘ線画像１及びＣＴ画像２に対応する患者の患者特徴情報に基づいて、統計変形モデルのデータベースから対応する統計変形モデルを選択する。
　位置合わせ処理部３０は、選択した統計変形モデルを用いて、単純Ｘ線画像１とＣＴ画像２との非剛体位置合わせを行う。
　肋骨が動かない障害がある患者の場合、その患者の単純Ｘ線画像とＣＴ画像における肋骨の位置を位置合わせする場合、その患者（障害）に該当する統計変形モデルを選択し、選択した統計変形モデルを用いて、単純Ｘ線画像とＣＴ画像との非剛体位置合わせを行う。
　［疾患ラベル作成装置の第２実施形態］
　図４は、本発明に係る疾患ラベル作成装置の第２実施形態を示す機能ブロック図である。尚、図４において、図２に示した第１実施形態の疾患ラベル作成装置１０－１と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　図４に示す第２実施形態の疾患ラベル作成装置１０－２は、信頼度算出器４２が追加されている点で、第１実施形態の疾患ラベル作成装置１０－１と相違する。
　信頼度算出器４２は、疾患ラベル変換器４０により変換された第２疾患ラベルに対する信頼度（第１信頼度）を算出する第１信頼度算出処理を行う。ここで算出された第１信頼度は、作成された第２疾患ラベルの注釈として、第２疾患ラベルに付与される。即ち、疾患ラベル３－２は、信頼度付きの疾患ラベルである点、信頼度が付与されていない疾患ラベル３－１と相違する。
　＜信頼度算出器の第１実施形態＞
　図４に示した信頼度算出器４２の第１実施形態は、単純Ｘ線画像１における疾患領域の視認性から、その疾患領域（第２疾患領域）の信頼度（第１信頼度）を算出する。
　第１実施形態の信頼度算出器４２は、単純Ｘ線画像１の正常領域に対する、第２疾患ラベルに対応する第２疾患領域の視認性を、３次元の第１疾患ラベルに対応するＣＴ画像２の第１疾患領域の画素値の統計量、及び形状特徴の少なくとも１つ以上を用いて算出し、算出した視認性から第２疾患ラベルに対する第１信頼度を算出する。
　第１信頼度は、例えば、第１信頼度が、0～1.0の範囲の値をとる場合、視認性が低い程、第１信頼度を０に近づけ、視認性が高い程、第１信頼度を1.0に近づけるように算出する。
　第２疾患領域の視認性は、正常領域と第１疾患領域との画素値の統計量（平均値、濃度の分散など）により評価することができる。正常領域と第１疾患領域との画素値の統計量の差異が大きければ、単純Ｘ線画像１における正常領域と第２疾患領域（第１疾患領域に対応する単純Ｘ線画像１上の疾患領域）との識別がしやすくなり、差異が小さければ、正常領域と第２疾患領域との識別がしにくくなるからである。
　また、第２疾患領域の視認性は、第１疾患領域の形状特徴により評価することができる。例えば、第１疾患領域のサイズが小さい程、第１疾患領域に対応する第２疾患領域のサイズも小さく、第２疾患領域を見つけにくくなるからである。尚、第１疾患領域のサイズは、その第１疾患領域が投影された場合のサイズとすることが好ましい。
　また、第２疾患領域の視認性は、第１疾患領域の画素値および形状特徴により評価することができる。例えば、Ｘ線吸収量は、投影方向への領域の厚みと画素値（線減弱係数）の積に比例する。正常領域に対する疾患領域のＸ線吸収量が大きければ、単純Ｘ線画像１における正常領域と第２疾患領域との識別がしやすくなり、小さければ、正常領域と第２疾患領域との識別がしにくくなるからである。また、形状特徴は、投影方向の形状特徴に限らず、疾患領域全体に関する形状特徴でもよい。
　＜信頼度算出器の第２実施形態＞
　図４に示した信頼度算出器４２の第２実施形態は、第１データベース１６から、又は入出力インターフェース２２を介してＣＴ画像２における解剖学的領域の情報を、情報取得部２８が取得する。解剖学的領域の情報は、例えば、胸郭、肺野、心臓等の臓器毎の３次元の領域情報である。
　第２実施形態の信頼度算出器４２は、単純Ｘ線画像１の正常領域に対する第２疾患ラベルに対応する第２疾患領域の視認性を、第１疾患ラベルに対応するＣＴ画像２の第１疾患領域と解剖学的領域との投影方向の重畳に基づいて算出する。
　ＣＴ画像２の第１疾患領域が、投影方向において、解剖学的領域（例えば、骨領域である胸郭領域）と重畳する場合、その第１疾患領域に対応する単純Ｘ線画像１における疾患領域（第２疾患領域）は、骨領域によりＸ線の透過量が少なくなり、視認性が低くなる。信頼度算出器４２は、第１疾患領域と解剖学的領域（特に骨領域）が投影方向において重畳する場合には、重畳しない場合に比べて第２疾患領域の視認性を低くする。
　また、第１疾患領域が解剖学的領域と投影方向において重畳する場合、その重畳する度合い（一部重畳又は全て重畳）、及び重畳する解剖学的領域の種類に応じて視認性を算出することが好ましい。
　第２実施形態の信頼度算出器４２は、上記のように解剖学的領域との重畳に応じて算出した視認性から第１信頼度を算出する。
　＜信頼度算出器の第３実施形態＞
　図４に示した信頼度算出器４２の第３実施形態は、第１データベース１６から、又は入出力インターフェース２２を介して単純Ｘ線画像１又はＣＴ画像２に対応する読影レポートを、情報取得部２８が取得する。読影レポートには、単純Ｘ線画像１又はＣＴ画像２を使用した画像診断の結果（例えば、疾患の部位、疾患のクラス分類、サイズ等）が記載されている。
　第３実施形態の信頼度算出器４２は、ＣＴ画像２から自動検出された疾患ラベル（第１疾患ラベル）と、読影レポートの記載内容（画像診断結果の内容）との一致度に基づいて自動検出された第１疾患ラベルに対する第１信頼度を算出する。
　これにより、専門医による画像診断結果を、第１信頼度に反映させることができる。
　＜信頼度算出器の第４実施形態＞
　プロセッサ１２又は位置合わせ処理部３０は、単純Ｘ線画像１とＣＴ画像２との位置合わせの結果の成功度を算出する。
　位置合わせの成功度は、例えば、単純Ｘ線画像１から検出された複数の解剖学的ランドマークと、これらの複数の解剖学的ランドマークに対応するＣＴ画像２から検出された複数の解剖学的ランドマークであって、投影面に投影される複数の解剖学的ランドマークとに基づいて位置合わせを行った場合に、それぞれ対応する解剖学的ランドマーク間の距離の自乗和の大きさを成功度の指標とすることができる。
　図４に示した信頼度算出器４２の第４実施形態は、単純Ｘ線画像１とＣＴ画像２との位置合わせの成功度に基づいて第２疾患ラベルに対する第１信頼度を算出する。
　＜信頼度算出器の第５実施形態＞
　図４に示した信頼度算出器４２の第５実施形態は、単純Ｘ線画像１とＣＴ画像２とで、撮影範囲（視野）が異なる領域の第２疾患ラベルに対する第１信頼度を低くする。
　例えば、プロセッサ１２は、単純Ｘ線画像の撮影範囲と比較してＣＴ画像の撮影範囲が狭い場合、ＣＴ画像を補外し、単純Ｘ線画像と補外済みＣＴ画像との位置合わせを行うことが考えられる。その一方、補外済みＣＴ画像から第１疾患ラベルを自動検出することが考えられる。
　第５実施形態の信頼度算出器４２は、自動検出された第１疾患ラベルが補外済みＣＴ画像の補外領域に含まれる場合、第１疾患ラベルに対応する第２疾患ラベルに対して低い第１信頼度を付与する。即ち、このような第２疾患ラベルは、疾患ラベルとして扱わないように第１信頼度を低くする。
　尚、信頼度算出器４２は、上記第１実施形態から第５実施形態の２以上の実施形態によりそれぞれ算出された２以上の第１信頼度を統合し、新たな第１信頼度とすることができる。
　プロセッサ１２は、疾患ラベル作成装置１０－２により単純Ｘ線画像１に対する信頼度付きの疾患ラベル３－２を作成すると、単純Ｘ線画像１と第２疾患ラベルと第１信頼度（信頼度付きの疾患ラベル３－２）を、第２教師データとして第２データベース１８に保存する。
　また、情報取得部２８は、ＣＴ画像２の画像単位の疾患ラベル（第３疾患ラベル）を取得することができる。画像単位の第３疾患ラベルは、疾患の有無、疾患のクラス分類（サイズ、体積）、疾患の個数、左右肺それぞれの疾患の有無などを含む。
　情報取得部２８は、ＣＴ画像２の注釈として画像単位の第３疾患ラベルが付与されている場合には、その付与された第３疾患ラベルを取得し、第３疾患ラベルが付与されていない場合には、ＣＴ画像２に対する画素単位の第１疾患ラベルを変換器（図示せず）により変換した画像単位の第３疾患ラベルを取得することができる。
　プロセッサ１２は、画像単位の第３疾患ラベルを取得すると、単純Ｘ線画像１に第１疾患ラベル及び第３疾患ラベルを付与し、これらを教師データとして第２データベースに保存する。
　また、プロセッサ１２又は位置合わせ処理部３０は、前述したように単純Ｘ線画像１とＣＴ画像２との位置合わせの結果の成功度を算出することができるが、プロセッサ１２は、位置合わせの結果の成功度から位置合わせの結果の成功又は失敗を判定する。
　プロセッサ１２は、成功と判定した場合には第２疾患ラベルを選択し、失敗と判定した場合には第３疾患ラベルを選択し、単純Ｘ線画像に選択した第２疾患ラベル又は第３疾患ラベルを付与する。
　即ち、単純Ｘ線画像１とＣＴ画像２との位置合わせが失敗した場合には、単純Ｘ線画像と画像単位の第３疾患ラベルとのペアを教師データ（第３教師データ）とし、ノイズとなる第２教師データを排除する。
　［学習装置の第１実施形態］
　図５は、本発明に係る学習装置の第１実施形態を示す機能ブロック図である。
　図５に示す第１実施形態の学習装置１１－１は、図１に示したハードウェア構成の疾患ラベル作成装置１０に含まれるプロセッサ１２（第２プロセッサ）、及びメモリ１４により構成され、前述したようにプロセッサ１２が、疾患検出モデル５０－１、及び学習処理部６０－１として機能する。
　学習装置１１－１は、第２データベース１８に保存された単純Ｘ線画像と第２疾患ラベルとからなる第１教師データ（学習用のデータセット）を使用して、疾患検出モデル５０－１を学習させる。
　疾患検出モデル５０－１は、単純Ｘ線画像を入力すると、入力した単純Ｘ線画像から疾患ラベルを検出出力する学習モデルであり、ベイジアンニューラルネットワークからなる学習モデルが好ましく、Bayesian U-Netがより好ましい。ベイジアンニューラルネットワークでは、小規模のデータセットでも所望の学習が可能であるため、データセットを準備するためのアノテーションコストをより低減することができるためである。
　本装置による学習前の疾患検出モデル５０－１は、未学習のものでもよいし、例えば、画像の領域毎にラベル（セグメンテーションラベル）をつける学習が行われたものでもよい。
　プロセッサ１２は、第２データベース１８に保存された単純Ｘ線画像１と疾患ラベル３－１（第２疾患ラベル）とからなる第１教師データを読み出し、単純Ｘ線画像１を疾患検出モデル５０－１の入力画像とし、疾患ラベル３－１を正解ラベルとして学習処理部６０－１に出力する。
　単純Ｘ線画像１を入力とする疾患検出モデル５０－１は、畳み込み層、プーリング層等の複数の層構造を有し、畳み込み層に適用されるフィルタの係数、オフセット値及び前後の層間における接続の重み等のパラメータを保持している。疾患検出モデル５０－１は、パラメータが最適値に設定されることで、疾患を検出する学習済みの疾患検出モデルとして機能する。本例の疾患検出モデル５０－１は、単純Ｘ線画像１に写っている肺結節(類円形の影)等の疾患領域を個別に認識するセグメンテーションを行うモデルであり、単純Ｘ線画像１内のピクセル単位、もしくはいくつかのピクセルを一塊にした単位で、各疾患領域の領域分類（セグメンテーション）を行い、例えば、疾患領域毎に各疾患領域を示すラベル画像、あるいは疾患領域を囲むバウンディングボックスを検出結果４－１として出力する。尚、学習が行われていない疾患検出モデル５０－１は、パラメータが最適値に設定されておらず、適切な検出結果４－１を出力することはできない。
　学習処理部６０－１は、誤差算出部６２－１及びパラメータ制御部６４を備えている。
　誤差算出部６２－１の一方の入力には、疾患ラベル３－１が加えられ、他の入力には、疾患検出モデル５０－１の出力である検出結果４－１が加えられ、誤差算出部６２－１は、疾患ラベル３－１と検出結果４－１との誤差（第１誤差）を算出する。誤差の算出方法は、例えば、ソフトマックスクロスエントロピー、シグモイドなどが考えられる。
　パラメータ制御部６４は、誤差算出部６２－１により算出された第１誤差を元に誤差逆伝播法により疾患検出モデル５０－１におけるパラメータを調整することで疾患検出モデル５０－１を学習させる。
　学習処理部６０－１は、疾患検出モデル５０－１におけるパラメータを第１誤差が収束するように繰り返し調整する。これを、第２データベース１８に保存された多数の第１教師データ（学習用のデータセット）を使用して行うことで疾患検出モデル５０－１を学習させる。
　また、学習処理部６０－１は、第１教師データを使用して疾患検出モデル５０－１を学習させる他に、単純Ｘ線画像とその単純Ｘ線画像に対応するＣＴ画像の画像単位の疾患ラベル（第３疾患ラベル）とからなる教師データ（第３教師データ）も使用して疾患検出モデル５０－１を学習させるようにしてもよい。
　即ち、誤差算出部６２－１は、疾患ラベル３－１と検出結果４－１との第１誤差、及びＣＴ画像の画像単位の第３疾患ラベルと検出結果（画像単位の疾患検出結果）との第２誤差とを統合した誤差を算出し、パラメータ制御部６４は、統合した誤差を元に誤差逆伝播法により疾患検出モデル５０－１におけるパラメータを調整することで疾患検出モデル５０－２を学習させる。
　このようにして学習させた疾患検出モデル５０－１は、画素単位等の疾患ラベルの他に、画像単位の疾患ラベルを出力することができる。
　また、学習処理部６０－１は、１つの第１教師データごとに疾患検出モデル５０－１を学習させるのではなく、第２データベース１８から一定数のミニバッチの第１教師データを抽出し、ミニバッチ単位のトータルの第１誤差が収束するように疾患検出モデル５０－１を学習させ、これを複数のミニバッチで行うことで疾患検出モデル５０－１を学習させることができる。この場合、第２データベース１８に第１教師データと第３教師データとを混在させることで、ミニバッチに第１教師データと第３教師データを含ませることができ、これによりミニバッチ単位の誤差（第１誤差と第２誤差とが統合された誤差）により、その誤差を収束させるように疾患検出モデル５０－１を学習させることができる。
　［学習装置の第２実施形態］
　図６は、本発明に係る学習装置の第２実施形態を示す機能ブロック図である。
　図６に示す第２実施形態の学習装置１１－２は、図１に示したハードウェア構成の疾患ラベル作成装置１０に含まれるプロセッサ１２（第２プロセッサ）、及びメモリ１４により構成され、前述したようにプロセッサ１２が、疾患検出モデル５０－２、及び学習処理部６０－２として機能する。
　第２実施形態の学習装置１１－２は、単純Ｘ線画像１と第２疾患ラベルに対する信頼度（第１信頼度）と第２疾患ラベル（信頼度付きの疾患ラベル）３－２とからなる教師データ（第２教師データ）を使用して学習を行う点で、単純Ｘ線画像１と信頼度が付与されていない疾患ラベル３－１とからなる教師データ（第１教師データ）を使用して学習を行う、図５に示した第１実施形態の学習装置１１－１と相違する。
　疾患検出モデル５０－２は、単純Ｘ線画像を入力すると、入力した単純Ｘ線画像から疾患ラベルを検出出力する学習モデルであり、ベイジアンニューラルネットワークからなる学習モデルが好ましく、Bayesian U-Netがより好ましい。
　プロセッサ１２は、第２データベース１８に保存された単純Ｘ線画像１と信頼度付きの疾患ラベル３－２とからなる第２教師データを読み出し、単純Ｘ線画像１を疾患検出モデル５０－２の入力画像とし、疾患ラベル３－２を学習処理部６０－１に出力する。
　単純Ｘ線画像１を入力とする疾患検出モデル５０－２は、図５に示した疾患検出モデル５０－１と同様にパラメータが最適値に設定されることで、疾患を検出する学習済みの疾患検出モデルとして機能する。即ち、疾患検出モデル５０－２は、単純Ｘ線画像１に写っている肺結節等の疾患領域を個別に認識するセグメンテーションを行うモデルであり、単純Ｘ線画像１内のピクセル単位、もしくはいくつかのピクセルを一塊にした単位で、各疾患領域の領域分類（セグメンテーション）を行い、疾患領域毎に各疾患領域を示すラベル画像、あるいは疾患領域を囲むバウンディングボックスを検出結果４－２として出力する。尚、学習が行われていない疾患検出モデル５０－２は、パラメータが最適値に設定されておらず、適切な検出結果４－２出力することはできない。
　学習処理部６０－２は、誤差算出部６２－２及びパラメータ制御部６４を備えている。
　誤差算出部６２－２の一方の入力には、信頼度付きの疾患ラベル３－２が加えられ、他の入力には、疾患検出モデル５０－２の出力である検出結果４－２が加えられ、誤差算出部６２－２は、疾患ラベル３－１と検出結果４－２との誤差（第１誤差）を算出し、算出した第１誤差を、疾患ラベル３－２に付帯する第１信頼度に応じて調整する。例えば、第１信頼度が、0～1.0の範囲の値をとる場合、第１誤差に第１信頼度を乗算することにより第１誤差を調整することができる。
　パラメータ制御部６４は、誤差算出部６２－２より算出された、第１信頼度により調整された第１誤差を元に誤差逆伝播法により疾患検出モデル５０－２におけるパラメータを調整することで疾患検出モデル５０－２を学習させる。
　学習処理部６０－２は、疾患検出モデル５０－２におけるパラメータを第１誤差が収束するように繰り返し調整する。これを、第２データベース１８に保存された多数の第２教師データ（学習用のデータセット）を使用して行うことで疾患検出モデル５０－２を学習させる。
　また、学習処理部６０－２は、１つの第２教師データごとに疾患検出モデル５０－２を学習させるのではなく、第２データベース１８から一定数のミニバッチの第２教師データを抽出し、ミニバッチ単位のトータルの第１誤差（ミニバッチの各第２教師データの第１信頼度によりそれぞれ調整された第１誤差のトータルの誤差）が収束するように疾患検出モデル５０－１を学習させ、これを複数のミニバッチで行うことで疾患検出モデル５０－２を学習させることができる。
　ＣＴ画像では視認できるが、単純Ｘ線画像では視認できない、又は視認が困難なレベルのアノテーションを学習に反映させれば、モデルの学習でのノイズとなり得るが、第２実施形態の学習装置１１－２によれば、第１信頼度に応じて第１誤差を調整して学習させるようにしたため、アノテーションノイズの影響を低減することができる。
　第２実施形態の学習装置１１－２の変形例は、疾患検出モデル５０－２が、信頼度（第２信頼度）も検出結果として出力するように学習させる。これにより、疾患検出モデル５０－２は、単純Ｘ線画像を入力すると、入力した単純Ｘ線画像から、疾患ラベルと疾患検出モデル５０－２が自ら検出した疾患ラベルの信頼度（第２信頼度）（即ち、第２信頼度付きの疾患ラベル）を検出出力する学習モデルにすることができる。
　この場合、誤差算出部６２－２は、第１信頼度付きの疾患ラベル３－２と第２信頼度付きの検出結果４－２との第１誤差を算出し、算出した第１誤差を、疾患ラベル３－２に付帯する第１信頼度に応じて調整する。
　また、誤差算出部は、第１信頼度と第２信頼と統合して第３信頼度を生成し、第１誤差を収束させる学習処理を行う際に、第３信頼度に応じて第１誤差を調整してもよい。
　更に、誤差算出部６２－２は、疾患検出モデル５０－２から出力される第２信頼度が低く、かつ擬陽性となる疾患領域の第１誤差を大きく調整し、第２信頼度が低く、かつ擬陰性となる疾患領域の第１誤差を小さく調整することが好ましい。第２信頼度が低い場合、擬陽性となる検出結果が出力されないように学習させるためである。
　パラメータ制御部６４は、誤差算出部６２－２より算出された、第１信頼度により調整された第１誤差を元に誤差逆伝播法により疾患検出モデル５０－２におけるパラメータを調整することで疾患検出モデル５０－２を学習させる。
　［疾患検出モデルの第１実施形態］
　図７は、本発明に係る疾患検出モデルの第１実施形態を示す図であり、特に疾患検出モデルの入出力を示している。
　図７に示す第１実施形態の疾患検出モデル５２－１は、第１実施形態の学習装置１１－１により学習された学習済みの疾患検出モデル５０－１に対応するモデルである。疾患検出モデル５２－１は、学習装置１１－１により学習された学習済みの疾患検出モデル５０－１そのものでもよいし、学習済みの疾患検出モデル５０－１において最適化されたパラメータが設定された別の疾患検出モデルでもよい。
　この疾患検出モデル５２－１は、学習時に使用した単純Ｘ線画像以外の任意の単純Ｘ線画像５を入力画像とし、入力した単純Ｘ線画像５から検出した疾患ラベルを検出結果６－１として出力する。
　図７に示す例では、疾患検出モデル５２－１は、疾患領域として類円形の影である肺結節６Ａ、６Ｂを検出し、肺結節６Ａ、６Ｂを囲むバウンディングボックス（肺結節のクラス分類の注釈付きのバウンディングボックス）を検出結果６－１として出力する。
　単純Ｘ線画像５は、専門医による画像診断時にディスプレイ２０に表示されるが、疾患検出モデル５２－１の検出結果である肺結節６Ａ、６Ｂを囲むバウンディングボックスを、ディスプレイ２０に表示された単純Ｘ線画像５に重畳して表示することができ、これにより専門医による画像診断を支援することができる。また、肺結節のクラス分類は、テキストで表示するようにしてもよいし、バウンディングボックスの枠の色により表示してもよい。
　尚、バウンディングボックスは、表示・非表示の選択が可能である。また、バウンディングボックスは、疾患領域を示す指標の一例であり、バウンディングボックスの代わりに、疾患領域の輪郭を強調表示し、あるいは疾患領域を矢印等で示すようにしてもよい。
　［疾患検出モデルの第２実施形態］
　図８は、本発明に係る疾患検出モデルの第２実施形態を示す図であり、特に疾患検出モデルの入出力を示している。
　図８に示す第２実施形態の疾患検出モデル５２－２は、第２実施形態の学習装置１１－２により学習された学習済みの疾患検出モデル５０－２に対応し、特に信頼度付きの検出ラベルを出力するように学習されたモデルである。
　この疾患検出モデル５２－２は、学習時に使用した単純Ｘ線画像以外の任意の単純Ｘ線画像５を入力画像とし、入力した単純Ｘ線画像５から検出した信頼度付き疾患ラベルを検出結果６－２として出力する。
　図８に示す例では、疾患検出モデル５２－２は、類円形の影である肺結節６Ａ、６Ｂ、及び各肺結節６Ａ、６Ｂの信頼度を検出し、肺結節６Ａ、６Ｂを囲むバウンディングボックスと、信頼度を示す数値(1.0、0.5)を検出結果６－２として出力する。
　単純Ｘ線画像５は、専門医による画像診断時にディスプレイ２０に表示されるが、疾患検出モデル５２－２の検出結果である肺結節６Ａ、６Ｂを囲む、信頼度付きのバウンディングボックスを、ディスプレイ２０に表示された単純Ｘ線画像５に重畳して表示することができ、これにより専門医による画像診断を支援することができる。尚、信頼度付きのバウンディングボックスにより、そのバウンディングボックスで囲まれた疾患（肺結節６Ａ、６Ｂ）の視認性を把握することができる。
　［疾患ラベル作成方法］
　図９は、本発明に係る疾患ラベル作成方法の実施形態を示すフローチャートである。
　図９に示す疾患ラベル作成方法の各ステップの処理は、プロセッサ１２により行われ、特に図２に示した第１実施形態の疾患ラベル作成装置１０－１により行われる処理に対応する。
　図９において、プロセッサ１２の情報取得部２８は、第１データベース１６から、同一患者の単純Ｘ線画像１、３次元のＣＴ画像２、及びＣＴ画像２から抽出された３次元の第１疾患ラベルを読み出す（ステップＳ１０）。
　プロセッサ１２の位置合わせ処理部３０は、単純Ｘ線画像１とＣＴ画像２とを位置合わせする（ステップＳ１２）。この場合、位置合わせ処理部３０は、投影条件（ＣＴ画像２の姿勢パラメータ、幾何情報）にしたがってＣＴ画像２を投影してＤＲＲ画像を作成し、単純Ｘ線画像１（又は正規化した単純Ｘ線画像）とＤＲＲ画像との類似度を算出する。そして、算出した類似度が最大になるように投影条件を調整することで、単純Ｘ線画像１とＣＴ画像２との位置合わせを行う。
　プロセッサ１２の疾患ラベル変換器４０は、ステップＳ１２における位置合わせの結果に基づいて、３次元のＣＴ画像２とともに取得した３次元の第１疾患ラベルを、単純Ｘ線画像１に対応する２次元の第２疾患ラベルに変換する（ステップＳ１４）。即ち、ステップＳ１４では、単純Ｘ線画像１とＣＴ画像２との位置合わせの結果（投影条件）に基づいて、３次元のＣＴ画像２と同様に、３次元の第１疾患ラベルを投影し、単純Ｘ線画像１に対応する２次元の疾患ラベル（第２疾患ラベル）に変換することで、第２疾患ラベルを作成する。
　プロセッサ１２は、単純Ｘ線画像１と作成した第２疾患ラベルとのペアを第１教師データとして第２データベース１８に保存する（ステップＳ１６）。
　プロセッサ１２は、第１データベース１６に保存された同一患者の単純Ｘ線画像１、及び３次元のＣＴ画像２等に基づく全ての疾患ラベルの作成が終了したか否かを判別する（ステップＳ１８）。プロセッサ１２は、全ての疾患ラベルの作成が終了していないと判別すると（「NO」の場合）、ステップＳ１０に遷移し、別の患者の単純Ｘ線画像１、及び３次元のＣＴ画像２等を読み出して、上記と同様にして疾患ラベルを作成し、全ての疾患ラベルの作成が終了したと判別すると（「YES」の場合）、疾患ラベルを自動的に作成する処理を終了させる。
　［その他］
　本実施形態では、単純Ｘ線画像として胸部Ｘ線画像の場合について説明したが、これに限らず、腹部Ｘ線画像等の他の単純Ｘ線画像にも適用することができ、また、本発明に係る疾患ラベル作成装置により作成される疾患ラベル、及び本発明に係る疾患検出モデルにより検出される疾患ラベルは、肺結節の領域を示す情報に限らず、他の疾患の領域を示す情報でもよい。
　また、本実施形態では、疾患検出モデルとして、Bayesian U-Netを使用する場合について説明したが、Bayesian U-Netに限らず、単純Ｘ線画像から疾患領域を検出する学習モデルであれば、いかなるものでもよい。
　また、本実施形態において、例えば、ＣＰＵ等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　更に、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る疾患ラベル作成装置として機能させる疾患ラベル作成プログラム、及びこの疾患ラベル作成プログラムが記録された不揮発性の記憶媒体を含む。
　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１、５　単純Ｘ線画像
２　ＣＴ画像
３－１、３－２　疾患ラベル
３Ａ、３Ｂ　矩形領域
４－１、４－２、６－１、６－２　検出結果
６Ａ、６Ｂ　肺結節
１０、１０－１、１０－２　疾患ラベル作成装置
１１－１、１１－２　学習装置
１２　プロセッサ
１４　メモリ
１６　第１データベース
１８　第２データベース
２０　ディスプレイ
２２　入出力インターフェース
２４　操作部
２８　情報取得部
３０　位置合わせ処理部
３１　正規化部
３２　比較部
３３　ＤＲＲ画像作成部
３４　幾何情報
３５　最適化部
３８　Ｘ線源位置
３９　検出器位置
４０　疾患ラベル変換器
４２　信頼度算出器
５０－１、５０－２、５２－１、５２－２　疾患検出モデル
６０－１、６０－２　学習処理部
６２－１、６２－２　誤差算出部
６４　パラメータ制御部
Ｓ１０～Ｓ１８　ステップ

Claims (25)

  1. 　第１プロセッサを備える疾患ラベル作成装置であって、
    　前記第１プロセッサは、
    　単純Ｘ線画像、前記単純Ｘ線画像とペアの３次元のＣＴ画像、及び前記ＣＴ画像から抽出された３次元の第１疾患ラベルを取得する情報取得処理と、
    　前記単純Ｘ線画像と前記ＣＴ画像とを位置合わせする位置合わせ処理と、
    　前記位置合わせの結果に基づいて前記第１疾患ラベルを、前記単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換する変換処理と、
    　を行う疾患ラベル作成装置。
  2. 　前記位置合わせ処理は、
    　前記ＣＴ画像を投影して疑似Ｘ線画像を作成する処理と、
    　前記単純Ｘ線画像と前記疑似Ｘ線画像とを位置合わせする処理と、を含む、
    　請求項１に記載の疾患ラベル作成装置。
  3. 　前記位置合わせ処理は、
    　前記単純Ｘ線画像から２次元の解剖学的ランドマークを抽出する処理と、
    　前記ＣＴ画像から前記解剖学的ランドマークに対応する３次元の解剖学的ランドマークを抽出する処理と、
    　前記３次元の解剖学的ランドマークを投影する処理と、
    　前記２次元の解剖学的ランドマークと前記投影処理後の解剖学的ランドマークとを位置合わせする処理と、を含む、
    　請求項１に記載の疾患ラベル作成装置。
  4. 　前記位置合わせ処理は、
    　前記単純Ｘ線画像から２次元の解剖学的関心領域を抽出する処理と、
    　前記ＣＴ画像から前記解剖学的関心領域に対応する３次元の解剖学的関心領域を抽出する処理と、
    　前記３次元の解剖学的関心領域を投影する処理と、
    　前記２次元の解剖学的関心領域の輪郭と前記投影処理後の解剖学的関心領域の輪郭とを位置合わせする処理と、を含む、
    　請求項１に記載の疾患ラベル作成装置。
  5. 　前記位置合わせ処理は、
    　前記単純Ｘ線画像を３次元復元する処理と、
    　前記ＣＴ画像と前記３次元復元した前記単純Ｘ線画像とを位置合わせする処理と、を含む、
    　請求項１に記載の疾患ラベル作成装置。
  6. 　前記第１プロセッサは、前記第２疾患ラベルに対する第１信頼度を算出する第１信頼度算出処理を行う、
    　請求項１から５のいずれか１項に記載の疾患ラベル作成装置。
  7. 　前記第１信頼度算出処理は、
    　前記単純Ｘ線画像の正常領域に対する、前記第２疾患ラベルに対応する第２疾患領域の視認性を、前記第１疾患ラベルに対応する前記ＣＴ画像の第１疾患領域と正常領域との画素値の統計量、及び前記ＣＴ画像の前記第１疾患領域の形状特徴の少なくとも１つ以上を用いて算出し、
    　前記算出した視認性から前記第１信頼度を算出する、
    　請求項６に記載の疾患ラベル作成装置。
  8. 　前記情報取得処理は、前記ＣＴ画像における解剖学的領域の情報を取得し、
    　前記第１信頼度算出処理は、
    　前記単純Ｘ線画像の正常領域に対する、前記第２疾患ラベルに対応する第２疾患領域の視認性を、前記第１疾患ラベルに対応する前記ＣＴ画像の第１疾患領域と前記解剖学的領域との投影方向の重畳に基づいて算出し、
    　前記算出した視認性から前記第１信頼度を算出する、
    　請求項６に記載の疾患ラベル作成装置。
  9. 　前記第１疾患ラベルは、前記ＣＴ画像から自動検出されたラベルであり、
    　前記情報取得処理は、前記単純Ｘ線画像又は前記ＣＴ画像に対応する読影レポートを取得し、
    　前記第１信頼度算出処理は、前記第１疾患ラベルと前記読影レポートの記載内容との一致度に基づいて前記第１信頼度を算出する、
    　請求項６に記載の疾患ラベル作成装置。
  10. 　前記第１プロセッサは、前記位置合わせの結果の成功度を算出し、
    　前記第１信頼度算出処理は、前記成功度に基づいて前記第１信頼度を算出する、
    　請求項６に記載の疾患ラベル作成装置。
  11. 　前記第１疾患ラベルは、前記ＣＴ画像から自動検出されたラベルであり、
    　前記第１信頼度算出処理は、前記ペアの前記単純Ｘ線画像と前記ＣＴ画像とで撮影範囲が異なる領域の前記第２疾患ラベルに対して低い第１信頼度を付与する、
    　請求項６に記載の疾患ラベル作成装置。
  12. 　前記位置合わせ処理は、
    　患者に応じて前記患者に対応付けられた前記ペアの前記単純Ｘ線画像及び前記ＣＴ画像の位置合わせにおける解空間を調整して位置合わせを行う、
    　請求項１から１１のいずれか１項に記載の疾患ラベル作成装置。
  13. 　患者特徴情報毎の統計変形モデルのデータベースを有し、
    　前記位置合わせ処理は、
    　前記ペアの前記単純Ｘ線画像及び前記ＣＴ画像に対応する患者の患者特徴情報に基づいて、前記データベースから対応する統計変形モデルを選択する処理と、
    　前記選択した統計変形モデルを用いて、前記単純Ｘ線画像と前記ＣＴ画像との非剛体位置合わせを行う処理と、を行う、
    　請求項１２に記載の疾患ラベル作成装置。
  14. 　前記情報取得処理は、前記ＣＴ画像の画像単位の第３疾患ラベルを取得し、
    　前記第１プロセッサは、前記単純Ｘ線画像に前記第２疾患ラベル及び前記第３疾患ラベルを付与する、
    　請求項１から１３のいずれか１項に記載の疾患ラベル作成装置。
  15. 　前記情報取得処理は、前記ＣＴ画像の画像単位の第３疾患ラベルを取得し、
    　前記第１プロセッサは、
    　前記位置合わせの結果の成功又は失敗を判定し、
    　前記成功と判定した場合には前記第２疾患ラベルを選択し、前記失敗と判定した場合には前記第３疾患ラベルを選択し、
    　前記単純Ｘ線画像に前記選択した前記第２疾患ラベル又は前記第３疾患ラベルを付与する、
    　請求項１から１４のいずれか１項に記載の疾患ラベル作成装置。
  16. 　単純Ｘ線画像、前記単純Ｘ線画像とペアの３次元のＣＴ画像、及び前記ＣＴ画像から抽出された３次元の第１疾患ラベルを取得するステップと、
    　前記単純Ｘ線画像と前記ＣＴ画像とを位置合わせするステップと、
    　前記位置合わせの結果に基づいて前記第１疾患ラベルを、前記単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換するステップと、を含み、
    　プロセッサが各ステップの処理を実行する疾患ラベル作成方法。
  17. 　単純Ｘ線画像、前記単純Ｘ線画像とペアの３次元のＣＴ画像、及び前記ＣＴ画像から抽出された３次元の第１疾患ラベルを取得する機能と、
    　前記単純Ｘ線画像と前記ＣＴ画像とを位置合わせする機能と、
    　前記位置合わせの結果に基づいて前記第１疾患ラベルを、前記単純Ｘ線画像に対応する２次元の第２疾患ラベルに変換する機能と、
    　をコンピュータにより実現させる疾患ラベル作成プログラム。
  18. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１７に記載のプログラムが記録された記録媒体。
  19. 　第２プロセッサを備える学習装置であって、
    　前記第２プロセッサは、
    　前記単純Ｘ線画像と請求項１又は２に記載の疾患ラベル作成装置により作成された第２疾患ラベルとからなる第１教師データを使用して、疾患検出モデルを学習させる学習処理であって、前記疾患検出モデルの出力と前記第２疾患ラベルとの第１誤差を収束させる学習処理を行う、
    　学習装置。
  20. 　第２プロセッサを備える学習装置であって、
    　前記第２プロセッサは、前記単純Ｘ線画像と請求項６から１１のいずれか１項に記載の疾患ラベル作成装置により作成された前記第２疾患ラベルと前記第１信頼度とからなる第２教師データを使用して、疾患検出モデルを学習させる学習処理であって、前記疾患検出モデルの出力と前記第２疾患ラベルとの第１誤差を収束させる学習処理を行う際に、前記第１信頼度に応じて前記第１誤差を調整して学習させる学習処理を行う、
    　学習装置。
  21. 　前記情報取得処理は、前記ＣＴ画像の画像単位の第３疾患ラベルを取得し、
    　前記第１プロセッサは、前記単純Ｘ線画像に前記第２疾患ラベル及び前記第３疾患ラベルを付与し、
    　前記第２プロセッサは、前記第３疾患ラベルが付与された前記単純Ｘ線画像を第３教師データとして使用し、前記疾患検出モデルの出力と前記第３疾患ラベルとの第２誤差を収束させる学習処理を行う、
    　請求項１９又は２０に記載の学習装置。
  22. 　前記第２プロセッサは、前記疾患検出モデルから単純Ｘ線画像に含まれる疾患領域を示す疾患検出結果と前記疾患検出結果の第２信頼度を出力させるべく学習処理を行う、
    　請求項２０に記載の学習装置。
  23. 　前記第２プロセッサは、前記疾患検出モデルから出力される前記第２信頼度が低く、かつ擬陽性となる前記疾患領域の前記第１誤差を大きく調整し、前記第２信頼度が低く、かつ擬陰性となる前記疾患領域の前記第１誤差を小さく調整する、
    　請求項２２に記載の学習装置。
  24. 　前記第２プロセッサは、前記第１信頼度算出処理により算出された前記第１信頼度と、前記疾患検出モデルから出力される前記第２信頼度とを統合して第３信頼度を生成し、前記疾患検出モデルの出力と前記第２疾患ラベルとの第１誤差を収束させる学習処理を行う際に、前記第３信頼度に応じて前記第１誤差を調整して学習させる学習処理を行う、
    　請求項２２又は２３に記載の学習装置。
  25. 　請求項１９から２４のいずれか１項に記載の学習装置により学習が行われた学習済みの疾患検出モデルであって、
    　任意の単純Ｘ線画像を入力画像とし、入力した前記単純Ｘ線画像から疾患ラベルを検出出力する、
    　疾患検出モデル。
PCT/JP2022/024843 2021-06-29 2022-06-22 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル WO2023276810A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023531856A JPWO2023276810A5 (ja) 2022-06-22 疾患ラベル作成装置、方法、プログラム及び記録媒体並びに学習装置及び疾患検出モデル
EP22832958.7A EP4364665A1 (en) 2021-06-29 2022-06-22 Disease label creation device, method, and program, learning device, and disease detection model
US18/395,710 US20240127613A1 (en) 2021-06-29 2023-12-25 Disease label creation device, disease label creation method, disease label creation program, learning device, and disease detection model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-107709 2021-06-29
JP2021107709 2021-06-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/395,710 Continuation US20240127613A1 (en) 2021-06-29 2023-12-25 Disease label creation device, disease label creation method, disease label creation program, learning device, and disease detection model

Publications (1)

Publication Number Publication Date
WO2023276810A1 true WO2023276810A1 (ja) 2023-01-05

Family

ID=84706694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024843 WO2023276810A1 (ja) 2021-06-29 2022-06-22 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル

Country Status (3)

Country Link
US (1) US20240127613A1 (ja)
EP (1) EP4364665A1 (ja)
WO (1) WO2023276810A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197737A (zh) * 2023-09-08 2023-12-08 数字广东网络建设有限公司 一种土地用途的检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159643A (ja) * 2005-12-09 2007-06-28 Canon Inc 画像処理装置および方法
JP2009061156A (ja) * 2007-09-07 2009-03-26 Hitachi Medical Corp 医用画像診断支援システム
JP2020086519A (ja) * 2018-11-15 2020-06-04 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、およびプログラム
JP2020192006A (ja) * 2019-05-27 2020-12-03 キヤノンメディカルシステムズ株式会社 診断支援装置、及び、ｘ線ｃｔ装置
JP2021039748A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2021051573A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 画像処理装置、および画像処理装置の制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159643A (ja) * 2005-12-09 2007-06-28 Canon Inc 画像処理装置および方法
JP2009061156A (ja) * 2007-09-07 2009-03-26 Hitachi Medical Corp 医用画像診断支援システム
JP2020086519A (ja) * 2018-11-15 2020-06-04 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、およびプログラム
JP2020192006A (ja) * 2019-05-27 2020-12-03 キヤノンメディカルシステムズ株式会社 診断支援装置、及び、ｘ線ｃｔ装置
JP2021039748A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2021051573A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 画像処理装置、および画像処理装置の制御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAM, JU GANG ET AL.: "Development and validation of deep learning-based automatic detection algorithm for malignant pulmonary nodules on chest radiographs", RADIOLOGY, 2019
ZHANG, YUE ET AL.: "Task driven generative modeling for unsupervised domain adaptation: Application to x-ray image segmentation", MICCAI, 2018

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197737A (zh) * 2023-09-08 2023-12-08 数字广东网络建设有限公司 一种土地用途的检测方法、装置、设备及存储介质
CN117197737B (zh) * 2023-09-08 2024-05-28 数字广东网络建设有限公司 一种土地用途的检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JPWO2023276810A1 (ja) 2023-01-05
EP4364665A1 (en) 2024-05-08
US20240127613A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
US10709394B2 (en) Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs
Miao et al. A CNN regression approach for real-time 2D/3D registration
EP3355273B1 (en) Coarse orientation detection in image data
US8953856B2 (en) Method and system for registering a medical image
CN107403463B (zh) 在成像系统中具有非刚性部分的人体表示
JP7325954B2 (ja) 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム
US8121362B2 (en) Registration of medical images using learned-based matching functions
Yao Assessing accuracy factors in deformable 2D/3D medical image registration using a statistical pelvis model
US8958614B2 (en) Image-based detection using hierarchical learning
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
WO2010143400A1 (ja) 画像照合装置及びこれを用いた患者位置決め装置
Maken et al. 2D-to-3D: a review for computational 3D image reconstruction from X-ray images
US9135696B2 (en) Implant pose determination in medical imaging
Li et al. Automatic lumbar vertebrae detection based on feature fusion deep learning for partial occluded C-arm X-ray images
US20240127613A1 (en) Disease label creation device, disease label creation method, disease label creation program, learning device, and disease detection model
JP7114737B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Goswami et al. 3D modeling of X-ray images: a review
US9286688B2 (en) Automatic segmentation of articulated structures
CN113348485A (zh) 异常检测方法、异常检测程序、异常检测装置、服务器装置以及信息处理方法
Albarqouni et al. Single-view X-ray depth recovery: toward a novel concept for image-guided interventions
CN116664476A (zh) 确定医学图像数据中描绘的解剖异常的变化的方法和系统
CN113657420A (zh) 身体表示
JP2023531365A (ja) 医用画像変換方法および関連付けられる医用画像３ｄモデルパーソナライズ方法
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
Koehler et al. Reconstructing the human ribcage in 3d with x-rays and geometric models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832958

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531856

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022832958

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022832958

Country of ref document: EP

Effective date: 20240129