WO2022018942A1 - 医用画像処理装置、方法およびプログラム - Google Patents

医用画像処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2022018942A1
WO2022018942A1 PCT/JP2021/018612 JP2021018612W WO2022018942A1 WO 2022018942 A1 WO2022018942 A1 WO 2022018942A1 JP 2021018612 W JP2021018612 W JP 2021018612W WO 2022018942 A1 WO2022018942 A1 WO 2022018942A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormal shadow
medical image
image
threshold value
shadow
Prior art date
Application number
PCT/JP2021/018612
Other languages
English (en)
French (fr)
Inventor
佳児 中村
瑞希 武井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022538601A priority Critical patent/JP7361930B2/ja
Publication of WO2022018942A1 publication Critical patent/WO2022018942A1/ja
Priority to US18/068,501 priority patent/US20230121783A1/en
Priority to JP2023171906A priority patent/JP2023179606A/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/545Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Definitions

  • This disclosure relates to medical image processing devices, methods and programs.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • CAD Computer-Aided Diagnosis
  • learning model that has been machine-learned by deep learning, etc.
  • shape, density, and position of structures of interest such as abnormal shadow candidates included in the medical images. It is also practiced to discriminate properties such as size and obtain them as analysis results. Furthermore, studies on region extraction of lesions and benign / malignant discrimination using a learning model are also being conducted.
  • the area to which the image interpreter pays attention to the image interpretation differs depending on the purpose of the examination. For example, when the purpose is to inspect a fracture, the patient feels pain even if the fracture is about a crack as described above. For this reason, there are also minor changes in properties that seem to be suspicious of fractures at first glance (finds that determine whether or not a fracture is present depending on the presence or absence of clinical findings such as pain such as irregularity or flexion of the bone cortex or the criteria of a doctor). , All need to be identified without overlooking.
  • the medical image processing apparatus comprises at least one processor.
  • the processor is Obtain the purpose of inspection of the target medical image to be interpreted, The first abnormal shadow was detected from the target medical image, The detection result of the first abnormal shadow is displayed on the display, It is configured to set the first detection threshold value when detecting the first abnormal shadow or the first display threshold value when displaying the detection result of the first abnormal shadow according to the inspection purpose. Will be done.
  • the processor may be configured to acquire the inspection purpose based on the operation history by the operator.
  • the operation history is a display of a portion of the target medical image including the first abnormal shadow at the time of interpretation before the detection of the first abnormal shadow from the target medical image. It may be time.
  • the site of the fracture may be the ribs.
  • the processor detects at least one second abnormal shadow in a portion different from the portion including the first abnormal shadow from the target medical image.
  • the detection result of the second abnormal shadow is displayed on the display, Depending on the inspection purpose, it is configured to set a second detection threshold value when detecting the second abnormal shadow or a second display threshold value when displaying the detection result of the second abnormal shadow. It may be something that is done.
  • the target medical image may be a three-dimensional image composed of a plurality of tomographic images.
  • the medical image processing method obtains the purpose of inspecting the target medical image to be read.
  • the first abnormal shadow was detected from the target medical image,
  • the detection result of the first abnormal shadow is displayed on the display,
  • a first detection threshold value for detecting the first abnormal shadow or a first display threshold value for displaying the detection result of the first abnormal shadow is set.
  • image interpretation can be performed efficiently.
  • Functional configuration diagram of the medical image processing apparatus according to the first embodiment The figure which shows the detection result when the inspection purpose is confirmation of a fracture shadow.
  • the figure which shows the display screen of the inspection result A flowchart showing the processing performed at the time of primary image interpretation in the first embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of the medical information system 1.
  • the medical information system 1 shown in FIG. 1 is based on an inspection order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of a medical image acquired by the imaging, and an image interpreter. It is a system for interpreting medical images and creating interpretation reports, and for viewing the interpretation reports by the doctor of the requesting clinical department and observing the details of the medical images to be interpreted.
  • the medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation WS (WorkStation) 3, a medical treatment WS 4, an image server 5, and an image database (hereinafter, image DB (DataBase)) which are image interpretation terminals. 6.
  • the report server 7 and the report database (hereinafter referred to as report DB) 8 are connected and configured so as to be able to communicate with each other via a wired or wireless network 10.
  • Each device is a computer on which an application program for functioning as a component of the medical information system 1 is installed.
  • the application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed in a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to the network 10 or in a network storage in a state accessible from the outside, and is downloaded and installed in the computer in response to a request.
  • the imaging device 2 is a device (modality) that generates a medical image representing the diagnosis target portion by photographing the diagnosis target portion of the subject. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like.
  • the medical image generated by the photographing apparatus 2 is transmitted to the image server 5 and stored in the image DB 6.
  • the image interpretation WS3 is a computer used by, for example, a radiology interpreter to interpret a medical image and create an image interpretation report, and includes a medical image processing device 20 according to the first embodiment.
  • a request for viewing a medical image to the image server 5 various image processing for the medical image received from the image server 5, display of the medical image, input of a finding sentence related to the medical image, and the like are performed.
  • the image interpretation WS3 creates an image interpretation report, requests registration and viewing of the image interpretation report to the report server 7, displays the image interpretation report received from the report server 7, and the like. These processes are performed by the interpretation WS3 executing a software program for each process.
  • the image server 5 is a general-purpose computer in which a software program that provides a database management system (DataBase Management System: DBMS) function is installed. Further, the image server 5 includes a storage in which the image DB 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 10. It may be. Further, when the image server 5 receives the medical image registration request from the photographing apparatus 2, the image server 5 prepares the medical image in a database format and registers the medical image in the image DB 6.
  • DBMS Database Management System
  • the image data and incidental information of the medical image acquired by the photographing apparatus 2 are registered in the image DB 6.
  • the incidental information includes, for example, an image ID (identification) for identifying an individual medical image, a patient ID for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of imaging device used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (imaging) Information such as site), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), series number or collection number when multiple medical images are acquired in one examination. ..
  • the image server 5 when the image server 5 receives the browsing request from the image interpretation WS3 and the medical examination WS4 via the network 10, the image server 5 searches for the medical image registered in the image DB 6, and uses the searched medical image as the requesting image interpretation WS3 and the medical examination. Send to WS4.
  • the report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the report server 7 receives the image interpretation report registration request from the image interpretation WS3, the report server 7 prepares the image interpretation report in a database format and registers the image interpretation report in the report DB 8.
  • the image interpretation report created by the image interpretation doctor using the image interpretation WS3 is registered in the report DB8.
  • the interpretation report is for accessing, for example, a medical image to be interpreted, an image ID for identifying the medical image, an image interpretation doctor ID for identifying the image interpretation doctor who performed the image interpretation, a disease name, a disease location information, and a medical image. Information such as the information of the above may be included.
  • the medical image is a three-dimensional CT image consisting of a plurality of tomographic images with the diagnosis target as the chest, and by interpreting the CT image, a fracture of the ribs included in the chest or a lung disease An image interpretation report containing the findings regarding the above shall be prepared.
  • the medical image is not limited to the CT image, and any medical image such as an MRI image and a simple two-dimensional image acquired by a simple X-ray imaging apparatus can be used.
  • the image interpreting doctor when creating the image interpretation report, the image interpreting doctor first displays the medical image on the display 14 and interprets the medical image with his / her own eyes. Then, the medical image processing apparatus according to the present embodiment detects the fracture site or the disease of the lung as an abnormal shadow from the medical image, and the second interpretation is performed using the detection result.
  • the first interpretation is referred to as a primary interpretation
  • the second interpretation using the detection result of an abnormal shadow by the medical image processing apparatus according to the present embodiment is referred to as a secondary interpretation.
  • Network 10 is a wired or wireless local area network that connects various devices in the hospital.
  • the network 10 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.
  • FIG. 2 describes the hardware configuration of the medical image processing apparatus according to the first embodiment.
  • the medical image processing apparatus 20 includes a CPU (Central Processing Unit) 11, a non-volatile storage 13, and a memory 16 as a temporary storage area.
  • the medical image processing device 20 includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I / F (InterFace) 17 connected to the network 10.
  • the CPU 11, the storage 13, the display 14, the input device 15, the memory 16, and the network I / F 17 are connected to the bus 18.
  • the CPU 11 is an example of the processor in the present disclosure.
  • the storage 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the medical image processing program 12 is stored in the storage 13 as a storage medium.
  • the CPU 11 reads the medical image processing program 12 from the storage 13 and expands it into the memory 16, and executes the expanded medical image processing program 12.
  • FIG. 3 is a diagram showing a functional configuration of the medical image processing apparatus according to the first embodiment.
  • the medical image processing apparatus 20 includes an information acquisition unit 21, a first abnormal shadow detection unit 22, a second abnormal shadow detection unit 23, a threshold value setting unit 24, a display control unit 25, and an image interpretation report. It includes a creation unit 26 and a communication unit 27.
  • the CPU 11 executes the medical image processing program 12
  • the CPU 11 displays the information acquisition unit 21, the first abnormal shadow detection unit 22, the second abnormal shadow detection unit 23, and the threshold value setting unit 24. It functions as a control unit 25, an image interpretation report creation unit 26, and a communication unit 27.
  • the learning model 23A uses a large number of teacher data consisting of a teacher image including an abnormal shadow of the lung, correct answer data representing the position of the abnormal shadow of the lung in the teacher image, and teacher data consisting of a teacher image not including the abnormal shadow of the lung. It is constructed by learning CNN.
  • the learning model 23A derives a probability (likelihood) indicating that each pixel in the medical image is an abnormal shadow of the lung, and a pixel whose probability is equal to or higher than a predetermined second detection threshold is used in the lung. It will be detected as a pixel with an abnormal shadow.
  • the probability is a value of 0 or more and 1 or less.
  • the learning model 23A may detect abnormal lung shadows from a three-dimensional medical image, but detects abnormal lung shadows from each of a plurality of tomographic images constituting the target medical image G0. It may be.
  • FIGS. 4 and 5 Comparing FIGS. 4 and 5, in FIG. 4, all fracture shadows 31 to 34 including bone shadows showing slight changes in properties suspected to be fractures are detected. On the other hand, in FIG. 5, bone shadows 33 and 34 showing slight property changes suspected to be fractures are not detected, and only fracture shadows 31 and 32 that can be regarded as positive are detected. Further, in FIG. 4, only lung shadows 41 and 42 that can be regarded as positive are detected, but in FIG. 5, all lung abnormal shadows including lung shadows showing slight changes in properties suspected to be abnormal are detected. 41 to 44 have been detected.
  • FIG. 6 is a diagram showing a display screen of the detection result.
  • the display screen 50 includes an image display area 51 and a report creation area 52.
  • the image display area 51 a plurality of tomographic images included in the target medical image G0 are displayed in a switchable manner.
  • a tomographic image Sk including the detection result shown in FIG. 4 is displayed.
  • the image interpreting doctor inputs the findings regarding the fracture shadow included in the target medical image G0 into the report creation area 52 while switching and displaying the tomographic image included in the target medical image G0 using the input device 15.
  • the communication unit 27 transfers the created image interpretation report together with the target medical image G0 and the detection result to the report server 7.
  • the transferred image interpretation report is saved together with the target medical image G0 and the detection result.
  • a second detection threshold value for detecting an abnormal shadow of the lung that is, a second abnormal shadow is also set according to the purpose of the examination. Therefore, when the purpose of the inspection is to confirm the first abnormal shadow, the second detection threshold value is increased to detect a shadow showing a slight change in properties suspected to be abnormal as the second abnormal shadow. You can avoid it. As a result, in the first embodiment, it is possible to efficiently read the image by paying attention to the first abnormal shadow without paying attention to the shadow showing a slight change in the property suspected to be abnormal. When the purpose of the inspection is to confirm the second abnormal shadow, the second detection threshold value is reduced to detect the second abnormal shadow including the shadow showing a slight change in the property suspected to be abnormal. Can be done. This makes it possible to prevent the second abnormal shadow from being overlooked.
  • the display control unit 25 displays the target medical image G0 and the detection result on the display 14 using the first display threshold value and the second display threshold value (step ST25).
  • the image interpretation report creating unit 26 creates an image interpretation report using the findings input by the image interpretation doctor (step ST26). Then, the image interpretation report creation unit 26 saves the created image interpretation report together with the target medical image G0 and the detection result in the storage 13 (step ST27). Further, the communication unit 27 transfers the created image interpretation report together with the target medical image G0 and the detection result to the report server 7 (step ST28), and ends the process.
  • the detection result stored in the storage 13 or transferred to the report server 7 may be only the one displayed on the display 14, and the first abnormal shadow detection unit 22 may be used. And all the detection results detected by the second abnormal shadow detection unit 23 may be used.
  • the first display threshold value for displaying the fracture shadow that is, the first abnormal shadow is set according to the purpose of the examination. Therefore, when the purpose of the inspection is to confirm the first abnormal shadow, the first display threshold value is reduced to obtain the first abnormal shadow including the shadow showing a slight change in the property in which the abnormality is suspected. It can be displayed. Thereby, even in the second embodiment, it is possible to prevent the first abnormal shadow from being overlooked.
  • the purpose of the inspection is to confirm the first abnormal shadow
  • the first display threshold value is increased so that the shadow showing a slight change in properties suspected to be abnormal is not displayed as the first abnormal shadow. Can be done. As a result, it is possible to efficiently read the image by paying attention to the second abnormal shadow without paying attention to the shadow showing a slight change in the property suspected to be abnormal.
  • various processors processors shown below can be used.
  • various processors in addition to the CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, circuits after manufacturing FPGA (Field Programmable Gate Array) and the like are used.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits etc. are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

少なくとも1つのプロセッサを備え、プロセッサは、読影対象となる対象医用画像の検査目的を取得する。プロセッサは、対象医用画像から第1の異常陰影を検出し、第1の異常陰影の検出結果をディスプレイに表示する。プロセッサは、検査目的に応じて、第1の異常陰影を検出する際の第1の検出しきい値または第1の異常陰影の検出結果を表示する際の第1の表示しきい値を設定する。

Description

医用画像処理装置、方法およびプログラム
 本開示は、医用画像処理装置、方法およびプログラムに関する。
 近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、CT画像およびMRI画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
 また、ディープラーニング等により機械学習がなされた学習モデルを用いたCAD(Computer-Aided Diagnosis)により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。さらに、学習モデルを用いての、病変等の領域抽出および良悪性鑑別に関する研究も行われている。
 ところで、交通事故等の救急患者に対しては、肋骨等の骨折の診断を迅速かつ精度よく行うことが必要である。例えば、肋骨が激しく骨折している場合、折れた肋骨が内臓を損傷している可能性が高いため、迅速な治療を行う必要がある。一方、ひび程度の骨折であっても、患者は痛みを感じるため、手術は必要でないにしろ、適切な治療が必要である。ここで、肋骨は湾曲していることから、CT画像のような3次元画像を用いて骨折の診断を行う場合、1本の肋骨が複数の断層画像に跨がって存在する。このため、肋骨の骨折の診断を行って骨折箇所を特定するためには、断層画像を何度も観察する必要がある。その結果、骨折を特定するための診断に時間を要し、かつ読影医の負担が大きい。さらに、ひび程度の骨折は、骨皮質のずれあるいは断裂等が非常にわずかであるため、画像において骨の変化が現れにくいことから、見落とされる可能性がある。
 このため、例えば読影医毎に、異常陰影の検出のためのしきい値を設定することにより、表示される異常陰影の数を調整する手法が提案されている(例えば特開2006-340835号公報参照)。
 ところで、医用画像の読影を行う際には、検査目的に応じて、読影医が読影の意識を向ける領域が異なる。例えば、骨折の検査を目的とする場合、上述したようにひび程度の骨折であっても、患者は痛みを感じる。このため、一見すると骨折かどうか疑わしいような軽微な性状変化(骨皮質の不整あるいは屈曲のような、痛み等の臨床所見の有無あるいは医師の基準によって骨折かどうかの判断が分かれるような所見)も、見落とすことなくすべて特定する必要がある。一方、骨折以外の疾患の検査を目的とする場合、骨折を発見することが必要であるものの、上述したような軽微な性状変化まで検出されてしまうと、骨折以外の疾患に意識が向きにくくなるため、骨折以外の疾患を見落としてしまう可能性がある。その結果、読影医は、骨折陰影の検出結果をくまなく読影する必要があるため、読影を効率よく行うことができない。
 本開示は上記事情に鑑みなされたものであり、効率よく読影を行うことができるようにすることを目的とする。
 本開示による医用画像処理装置は、少なくとも1つのプロセッサを備え、
 プロセッサは、
 読影対象となる対象医用画像の検査目的を取得し、
 対象医用画像から第1の異常陰影を検出し、
 第1の異常陰影の検出結果をディスプレイに表示し、
 検査目的に応じて、第1の異常陰影を検出する際の第1の検出しきい値または第1の異常陰影の検出結果を表示する際の第1の表示しきい値を設定するように構成される。
 なお、本開示による医用画像処理装置においては、プロセッサは、操作者による操作履歴に基づいて検査目的を取得するように構成されるものであってもよい。
 また、本開示による医用画像処理装置においては、操作履歴は、対象医用画像の読影のために設定された階調条件であってもよい。
 また、本開示による医用画像処理装置においては、操作履歴は、対象医用画像からの第1の異常陰影の検出前の読影時における、対象医用画像についての第1の異常陰影が含まれる部位の表示時間であってもよい。
 また、本開示による医用画像処理装置においては、第1の異常陰影は骨折の異常陰影であってもよい。
 この場合、骨折の部位は肋骨であってもよい。
 また、本開示による医用画像処理装置においては、プロセッサは、第1の異常陰影が含まれる部位とは異なる部位における少なくとも1つの第2の異常陰影を対象医用画像から検出し、
 第2の異常陰影の検出結果をディスプレイに表示し、
 検査目的に応じて、第2の異常陰影を検出する際の第2の検出しきい値または第2の異常陰影の検出結果を表示する際の第2の表示しきい値を設定するように構成されるものであってもよい。
 また、本開示による医用画像処理装置においては、対象医用画像は、複数の断層画像からなる3次元画像であってもよい。
 本開示による医用画像処理方法は、読影対象となる対象医用画像の検査目的を取得し、
 対象医用画像から第1の異常陰影を検出し、
 第1の異常陰影の検出結果をディスプレイに表示し、
 検査目的に応じて、第1の異常陰影を検出する際の第1の検出しきい値または第1の異常陰影の検出結果を表示する際の第1の表示しきい値を設定する。
 なお、本開示による医用画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
 本開示によれば、効率よく読影を行うことができる。
本開示の第1の実施形態による医用画像処理装置を適用した医療情報システムの概略構成を示す図 第1の実施形態による医用画像処理装置の概略構成を示す図 第1の実施形態による医用画像処理装置の機能構成図 検査目的が骨折陰影の確認である場合の検出結果を示す図 検査目的が骨折以外の異常陰影の確認である場合の検出結果を示す図 検査結果の表示画面を示す図 第1の実施形態において一次読影時に行われる処理を示すフローチャート 第1の実施形態において二次読影時に行われる処理を示すフローチャート 第2の実施形態において二次読影時に行われる処理を示すフローチャート
 以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による医用画像処理装置を適用した医療情報システム1の構成について説明する。図1は、医療情報システム1の概略構成を示す図である。図1に示す医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
 図1に示すように、医療情報システム1は、複数の撮影装置2、読影端末である複数の読影WS(WorkStation)3、診療WS4、画像サーバ5、画像データベース(以下、画像DB(DataBase)とする)6、レポートサーバ7およびレポートデータベース(以下レポートDBとする)8が、有線または無線のネットワーク10を介して互いに通信可能な状態で接続されて構成されている。
 各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、DVD(Digital Versatile Disc)およびCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク10に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
 撮影装置2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置(モダリティ)である。具体的には、単純X線撮影装置、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。撮影装置2により生成された医用画像は画像サーバ5に送信され、画像DB6に保存される。
 読影WS3は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、第1の実施形態による医用画像処理装置20を内包する。読影WS3では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影WS3では、読影レポートの作成、レポートサーバ7に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ7から受信した読影レポートの表示等が行われる。これらの処理は、読影WS3が各処理のためのソフトウェアプログラムを実行することにより行われる。
 診療WS4は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療WS4では、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した画像の表示、レポートサーバ7に対する読影レポートの閲覧要求、およびレポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、診療WS4が各処理のためのソフトウェアプログラムを実行することにより行われる。
 画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は画像DB6が構成されるストレージを備えている。このストレージは、画像サーバ5とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク10に接続されているNAS(Network Attached Storage)およびSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、撮影装置2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像DB6に登録する。
 画像DB6には、撮影装置2において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID(identification)、被写体を識別するための患者ID、検査を識別するための検査ID、医用画像毎に割り振られるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等)、1回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
 また、画像サーバ5は、読影WS3および診療WS4からの閲覧要求をネットワーク10経由で受信すると、画像DB6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3および診療WS4に送信する。
 レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートDB8に登録する。
 レポートDB8には、読影医が読影WS3を用いて作成した読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ID、読影を行った読影医を識別するための読影医ID、疾患名、疾患の位置情報、および医用画像にアクセスするための情報等の情報を含んでいてもよい。
 また、レポートサーバ7は、読影WS3および診療WS4からの読影レポートの閲覧要求をネットワーク10経由で受信すると、レポートDB8に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影WS3および診療WS4に送信する。
 なお、本実施形態においては、医用画像は、診断対象を胸部とした複数の断層画像からなる3次元のCT画像とし、CT画像を読影することにより、胸部に含まれる肋骨の骨折あるいは肺の疾患についての所見文を含む読影レポートを作成するものとする。なお、医用画像はCT画像に限定されるものではなく、MRI画像および単純X線撮影装置により取得された単純2次元画像等の任意の医用画像を用いることができる。
 本実施形態においては、読影レポートの作成に際して、読影医はまず医用画像をディスプレイ14に表示して、自らの目で医用画像の読影を行う。その後、本実施形態による医用画像処理装置により、医用画像から骨折の部位あるいは肺の疾患を異常陰影として検出し、その検出結果を用いて2回目の読影を行う。1回目の読影を一次読影、本実施形態による医用画像処理装置による異常陰影の検出結果を用いた2回目の読影を二次読影と称する。
 ネットワーク10は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影WS3が他の病院あるいは診療所に設置されている場合には、ネットワーク10は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
 次いで、第1の実施形態による医用画像処理装置について説明する。図2は、第1の実施形態による医用画像処理装置のハードウェア構成を説明する。図2に示すように、医用画像処理装置20は、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を含む。また、医用画像処理装置20は、液晶ディスプレイ等のディスプレイ14、キーボードとマウス等の入力デバイス15、およびネットワーク10に接続されるネットワークI/F(InterFace)17を含む。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
 ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、医用画像処理プログラム12が記憶される。CPU11は、ストレージ13から医用画像処理プログラム12を読み出してメモリ16に展開し、展開した医用画像処理プログラム12を実行する。
 次いで、第1の実施形態による医用画像処理装置の機能的な構成を説明する。図3は、第1の実施形態による医用画像処理装置の機能的な構成を示す図である。図3に示すように医用画像処理装置20は、情報取得部21、第1の異常陰影検出部22、第2の異常陰影検出部23、しきい値設定部24、表示制御部25、読影レポート作成部26および通信部27を備える。そして、CPU11が、医用画像処理プログラム12を実行することにより、CPU11は、情報取得部21、第1の異常陰影検出部22、第2の異常陰影検出部23、しきい値設定部24、表示制御部25、読影レポート作成部26および通信部27として機能する。
 情報取得部21は、操作者である読影医による入力デバイス15からの指示により、画像サーバ5から読影レポートを作成するための処理対象となる対象医用画像G0を取得する。対象医用画像G0は上述したように、複数の断層画像からなる3次元のCT画像である。また、第1の実施形態においては、対象医用画像G0は、人体の胸部を撮影することにより取得されたものとする。また、情報取得部21は、対象医用画像G0の検査目的を取得する。第1の実施形態において、検査目的としては、例えば、骨折陰影の確認および骨折以外の肺等の疾患の異常陰影確認等が挙げられる。なお、本実施形態においては、骨折以外の異常陰影の確認として、肺の疾患の異常陰影(以下、肺の異常陰影とする)の確認を行うものとする。
 第1の実施形態においては、情報取得部21は、読影医による入力デバイス15を用いての検査目的の入力を受け付けることにより、検査目的を取得する。一方、情報取得部21は、読影医による操作履歴に基づいて、検査目的を取得するものであってもよい。例えば、読影医が、対象医用画像G0を表示する際に、骨折の読影に適した階調条件、すなわち骨条件を設定した場合、情報取得部21は、骨折陰影の確認を検査目的として取得する。また、読影医が、骨折以外の疾患の異常陰影、例えば肺の異常陰影の読影に適した階調条件を設定した場合、情報取得部21は、肺の異常陰影の確認を検査目的として取得する。なお、階調条件は、一次読影を行う場合のものであっても、二次読影を行う場合のものであってもよい。
 ここで、階調条件とは、対象医用画像G0をディスプレイ14に表示する際のウィンドウ値およびウィンドウ幅である。ウィンドウ値とは、ディスプレイ14が表示可能な階調における、観察したい部位の中心となるCT値である。ウィンドウ幅とは、観察したい部位のCT値の下限値と上限値との幅である。例えば、骨条件を設定した場合には、ウィンドウ値は骨のCT値であり、ウィンドウ幅は骨が見やすくなるようなCT値の下限値および上限値である。階調条件として骨条件を設定した場合、骨が読影しやすい対象医用画像G0をディスプレイ14に表示することができる。一方、肺の読影に適した階調条件を設定した場合、肺の異常陰影を読影しやすい対象医用画像G0をディスプレイ14に表示することができる。
 また、情報取得部21は、操作履歴として、読影医が一次読影を行った場合における、対象医用画像G0についての異常陰影が含まれる部位の表示時間に基づいて、検査目的を取得してもよい。例えば、一次読影を行った際に、対象医用画像G0における骨を含む断層画像の表示時間が、予め定められたしきい値以上の場合には、情報取得部21は、骨折の有無の確認を検査目的として取得する。なお、本実施形態においては、対象医用画像G0は人体の胸部を含むため、一次読影の際の断層画像の表示時間により、検査目的が骨折の有無の確認であるか肺の異常陰影の確認であるかを判別することは難しい可能性がある。しかしながら、対象医用画像G0が胸部のみならず腹部をも含む場合、骨を含む断層画像の表示時間が、腹部の断層画像の表示時間よりも長い場合、骨折の有無の確認を検査目的として取得することが可能である。逆に、腹部の断層画像の表示時間の方が長かった場合には、腹部の異常陰影の確認を検査目的として取得することが可能である。
 第1の異常陰影検出部22は、二次読影のために、対象医用画像G0に含まれる肋骨における骨折の陰影を異常陰影として検出する。第1の異常陰影検出部22は、公知のコンピュータ支援画像診断(すなわちCAD)のアルゴリズムを用いて、対象医用画像G0から骨折の陰影を第1の異常陰影として検出する。このために、第1の異常陰影検出部22は、対象医用画像G0から骨折陰影を検出するように機械学習がなされた学習モデル22Aを有する。第1の実施形態においては、学習モデル22Aは、対象医用画像G0における各画素(ボクセル)が骨折陰影を表すものであるか否かを判別するように、教師データを用いてディープラーニング(深層学習)がなされた畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))からなる。
 学習モデル22Aは、骨折陰影を含む教師画像および教師画像における骨折陰影の位置を表す正解データからなる教師データ、並びに骨折陰影を含まない教師画像からなる教師データを多数用いてCNNを学習することにより構築される。学習モデル22Aは、医用画像における各画素が骨折であることを表す確率(尤度)を導出し、その確率が予め定められた第1の検出しきい値以上となる画素を骨折陰影の画素として検出するものとなる。ここで、確率は0以上1以下の値となる。なお、学習モデル22Aは、3次元の医用画像から骨折陰影を検出するものであってもよいが、対象医用画像G0を構成する複数の断層画像のそれぞれから骨折陰影を検出するものであってもよい。
 なお、学習モデル22Aとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン(SVM(Support Vector Machine))等の任意の学習モデルを用いることができる。
 第2の異常陰影検出部23は、二次読影のために、対象医用画像G0における第2の異常陰影を検出する。第1の実施形態においては、第2の異常陰影を肺の異常陰影とする。このために、第2の異常陰影検出部23は、第1の異常陰影検出部22と同様に、CADのアルゴリズムを用いて、対象医用画像G0から肺の異常陰影を第2の異常陰影として検出する。このために、第2の異常陰影検出部23は、対象医用画像G0から肺の異常陰影を検出するように機械学習がなされた学習モデル23Aを有する。第1の実施形態においては、学習モデル23Aは、対象医用画像G0における各画素(ボクセル)が肺の異常陰影を表すものであるか否かを判別するように、教師データを用いてディープラーニング(深層学習)がなされた畳み込みニューラルネットワーク(CNN)からなる。
 学習モデル23Aは、肺の異常陰影を含む教師画像および教師画像における肺の異常陰影の位置を表す正解データからなる教師データ、並びに肺の異常陰影を含まない教師画像からなる教師データを多数用いてCNNを学習することにより構築される。学習モデル23Aは、医用画像における各画素が肺の異常陰影であることを表す確率(尤度)を導出し、その確率が予め定められた第2の検出しきい値以上となる画素を肺の異常陰影の画素として検出するものとなる。ここで、確率は0以上1以下の値となる。なお、学習モデル23Aは、3次元の医用画像から肺の異常陰影を検出するものであってもよいが、対象医用画像G0を構成する複数の断層画像のそれぞれから肺の異常陰影を検出するものであってもよい。
 なお、学習モデル23Aとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン等の任意の学習モデルを用いることができる。
 しきい値設定部24は、二次読影に際して、第1の異常陰影検出部22が骨折陰影を検出する際の第1の検出しきい値および第2の異常陰影検出部23が肺の異常陰影を検出する際の第2の検出しきい値を、検査目的に応じて設定する。ここで、第1の実施形態においては、第1の検出しきい値としてTh11、Th12の2つの値が用意されてストレージ13に記憶されている。Th11<Th12であり、例えば、Th11=0.30、Th12=0.80である。また、第2の検出しきい値としてもTh21、Th22の2つの値が用意されてストレージ13に記憶されている。Th21<Th22であり、例えば、Th21=0.30、Th22=0.80である。
 しきい値設定部24は、検査目的が骨折陰影の確認である場合、第1の検出しきい値を小さい方の値Th11に設定する。また、しきい値設定部24は、第2の検出しきい値を大きい方の値Th22に設定する。これにより、第1の異常陰影検出部22においては、完全な骨折の骨折陰影のみならず、骨折が疑われる軽微な性状変化を呈する陰影も含めて、骨の異常陰影が検出されることとなる。また、第2の異常陰影検出部23においては、異常が疑われる軽微な性状変化を呈する肺の陰影は検出されないこととなる。
 また、検査目的が骨折陰影以外の肺の異常陰影の確認である場合、しきい値設定部24は、第1の検出しきい値を大きい方の値Th12に設定する。また、しきい値設定部24は、第2の検出しきい値を小さい方の値Th21に設定する。これにより、第1の異常陰影検出部22においては、骨折が疑われる軽微な性状変化を呈する骨の陰影は検出されないこととなる。また、第2の異常陰影検出部23は、異常が疑われる軽微な性状変化を呈する肺の陰影も含めて、肺の異常陰影が検出されることとなる。
 図4は、検査目的が骨折の有無の確認である場合の検出結果を示す図である。なお、図4は対象医用画像G0における1つの断層画像Skに検出結果を重畳表示した状態を示す。図4に示すように、断層画像Skにおいて、実線の矩形で示す4カ所の骨折陰影31~34が検出されており、破線の矩形で示す2カ所の肺の異常陰影41,42が検出されている。骨折陰影31~34には骨折が疑われる陰影33,34が含まれる。
 図5は、検査目的が肺の異常陰影の確認である場合の検出結果を示す図である。なお、図5は図4と同一の断層画像Skに検出結果を重畳表示した状態を示す。図5に示すように、断層画像Skにおいて、実線の矩形で示す2カ所の骨折陰影31,32が検出されており、破線の矩形で示す4カ所の肺の異常陰影41~44が検出されている。
 図4と図5とを比較すると、図4においては、骨折が疑われる軽微な性状変化を呈する骨の陰影を含むすべての骨折陰影31~34が検出されている。一方、図5においては、骨折が疑われる軽微な性状変化を呈する骨の陰影33,34は検出されておらず、陽性と見なせる骨折陰影31,32のみが検出されている。また、図4においては、陽性と見なせる肺の陰影41,42のみが検出されているが、図5においては、異常が疑われる軽微な性状変化を呈する肺の陰影も含むすべての肺の異常陰影41~44が検出されている。
 表示制御部25は、骨折陰影および肺の異常陰影の検出結果をディスプレイ14に表示する。図6は、検出結果の表示画面を示す図である。図6に示すように、表示画面50は画像表示領域51およびレポート作成領域52を含む。画像表示領域51には、対象医用画像G0に含まれる複数の断層画像が切り替え可能に表示されている。図6においては、図4に示す検出結果を含む断層画像Skが表示されている。
 読影医は、対象医用画像G0に含まれる断層画像を入力デバイス15を用いて切り替え表示しつつ、対象医用画像G0に含まれる骨折陰影に関しての所見文をレポート作成領域52に入力する。
 読影レポートの作成は、読影レポート作成部26が行う。例えば、図6には、レポート作成領域52に、「左前方からの外力により、左第4肋骨が完全骨折しています。」の所見文が入力されている。読影レポート作成部26は、入力された所見文を含む読影レポートを作成する。そして、読影レポート作成部26は、作成された読影レポートを対象医用画像G0および検出結果と併せてストレージ13に保存する。
 通信部27は、作成された読影レポートを対象医用画像G0および検出結果と併せてレポートサーバ7に転送する。レポートサーバ7においては、転送された読影レポートが対象医用画像G0および検出結果と併せて保存される。
 次いで、第1の実施形態において行われる処理について説明する。図7は第1の実施形態において一次読影の際に行われる処理を示すフローチャート、図8は第1の実施形態において二次読影の際に行われる処理を示すフローチャートである。なお、読影の対象となる対象医用画像G0は、情報取得部21により画像サーバ5から取得されて、ストレージ13に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、表示制御部25が、対象医用画像G0をディスプレイ14に表示する(ステップST1)。次いで、読影医により入力された所見文を用いて、読影レポート作成部26が、一次読影による読影レポートを作成する(ステップST2)。次いで、二次読影の開始の指示がなされたか否かが判定され(ステップST3)、ステップST3が否定されるとステップST1に戻る。ステップST3が肯定されると、一次読影を終了し、二次読影が開始される。
 二次読影時においては、まず情報取得部21が、対象医用画像G0の検査目的を取得する(ステップST11)。次いで、しきい値設定部24が、検査目的に応じて、第1の異常陰影として骨折陰影を検出する際の第1の検出しきい値および第2の異常陰影として肺の異常陰影を検出する際の第2の検出しきい値を設定する(検出しきい値設定;ステップST12)。
 続いて、第1の異常陰影検出部22が、第1の検出しきい値を用いて、対象医用画像G0における第1の異常陰影、すなわち、骨折陰影を検出する(ステップST13)。次いで、第2の異常陰影検出部23が、第2の検出しきい値を用いて、対象医用画像G0における第2の異常陰影、すなわち肺の異常陰影を検出する(ステップST14)。
 そして、表示制御部25が、対象医用画像G0および検出結果をディスプレイ14に表示する(ステップST15)。次いで、読影医により入力された所見文を用いて、読影レポート作成部26が読影レポートを作成する(ステップST16)。そして、読影レポート作成部26が、作成された読影レポートを対象医用画像G0および検出結果と併せてストレージ13に保存する(ステップST17)。さらに、通信部27が、作成された読影レポートを対象医用画像G0および検出結果と併せてレポートサーバ7に転送し(ステップST18)、二次読影の処理を終了する。
 このように、第1の実施形態においては、検査目的に応じて、骨折陰影、すなわち第1の異常陰影を検出する際の第1の検出しきい値を設定するようにした。このため、検査目的が第1の異常陰影の確認である場合には、第1の検出しきい値を小さくして、異常が疑われる軽微な性状変化を呈する陰影を含む第1の異常陰影を検出するようにすることができる。これにより、第1の実施形態においては、第1の異常陰影の見落としを防止することができる。また、検査目的が第2の異常陰影の確認である場合には、第1の検出しきい値を大きくして、異常が疑われる軽微な性状変化を呈する陰影を第1の異常陰影として検出しないようにすることができる。これにより、異常が疑われる軽微な性状変化を呈する陰影に意識を向けることなく、第2の異常陰影に意識を向けて効率よく読影を行うことができる。
 また、第1の実施形態においては、検査目的に応じて、肺の異常陰影、すなわち第2の異常陰影を検出する際の第2の検出しきい値も設定している。このため、検査目的が第1の異常陰影の確認である場合には、第2の検出しきい値を大きくして、異常が疑われる軽微な性状変化を呈する陰影を第2の異常陰影として検出しないようにすることができる。これにより、第1の実施形態においては、異常が疑われる軽微な性状変化を呈する陰影に意識を向けることなく、第1の異常陰影に意識を向けて効率よく読影を行うことができる。また、検査目的が第2の異常陰影の確認である場合には、第2の検出しきい値を小さくして、異常が疑われる軽微な性状変化を呈する陰影も含む第2の異常陰影を検出するようにできる。これにより、第2の異常陰影の見落としを防止することができる。
 次いで、本開示の第2の実施形態について説明する。なお、第2の実施形態による医用画像処理装置の構成は、図2および図3に示す第1の実施形態による医用画像処理装置と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第1の実施形態においては、しきい値設定部24が、検査目的に応じて第1の異常陰影検出部22における第1の検出しきい値および第2の異常陰影検出部23における第2の検出しきい値を設定している。第2の実施形態においては、しきい値設定部24が、表示制御部25がディスプレイ14に検出結果を表示する際のしきい値を、表示しきい値として設定するようにした点が第1の実施形態と異なる。
 第2の実施形態においては、第1の異常陰影検出部22は、予め定められた第1の検出しきい値により、第1の異常陰影、すなわち骨折陰影を検出する。また、第2の異常陰影検出部23は、予め定められた第2の検出しきい値により、第2の異常陰影、すなわち肺の異常陰影を検出する。なお、予め定められた第1の検出しきい値としては、上記第1の実施形態における小さい方のしきい値Th11を用いればよい。また、予め定められた第2の検出しきい値としては、上記第1の実施形態における小さい方のしきい値Th21を用いればよい。
 第2の実施形態においては、しきい値設定部24は、表示制御部25に対して、検査目的に応じて、第1の表示しきい値および第2の表示しきい値を設定する。ここで、第2の実施形態においては、第1の表示しきい値としてTh31、Th32の2つの値が用意されてストレージ13に記憶されている。Th31<Th32であり、具体的な値としては、例えば、Th31=0.30、Th32=0.80である。また、第2の表示しきい値としてもTh41、Th42の2つの値が用意されてストレージ13に記憶されている。Th41<Th42であり、具体的な値としては、例えば、Th41=0.30、Th42=0.80である。
 しきい値設定部24は、検査目的が骨折の有無の確認である場合、第1の表示しきい値を小さい方の値Th31に設定する。また、しきい値設定部24は、第2の表示しきい値を大きい方の値Th42に設定する。これにより、表示制御部25は、第1の異常陰影検出部22が検出したすべての骨の陰影をディスプレイ14に表示する。すなわち、表示制御部25は、完全な骨折の骨折陰影のみならず、骨折が疑われる軽微な性状変化を呈する骨折陰影も、ディスプレイ14に表示する。また、表示制御部25は、第2の異常陰影検出部23が検出したすべての肺の陰影のうち、異常が疑われる軽微な性状変化を呈する肺の異常陰影をディスプレイ14に表示しないこととなる。
 また、検査目的が骨折以外の肺の異常陰影の確認である場合、しきい値設定部24は、第1の表示しきい値を大きい方の値Th32に設定する。また、しきい値設定部24は、第2の表示しきい値を小さい方の値Th41に設定する。これにより、表示制御部25は、第1の異常陰影検出部22が検出したすべての骨折陰影のうち、骨折が疑われる軽微な性状変化を呈する骨折陰影をディスプレイ14に表示しないこととなる。また、表示制御部25は、第2の異常陰影検出部23が検出したすべての肺の異常陰影をディスプレイ14に表示する。すなわち、表示制御部25は、異常が疑われる軽微な性状変化を呈する肺の異常陰影も含めて、すべての肺の異常陰影をディスプレイ14に表示する。
 なお、第2の実施形態において、検査目的が骨折の有無の確認である場合、図4に示す検出結果と同様の検出結果がディスプレイ14に表示される。また、検査目的が骨折以外の肺の異常陰影の確認である場合、図5に示す検出結果と同様の検出結果がディスプレイ14に表示される。
 次いで、第2の実施形態において行われる処理について説明する。なお、読影の対象となる対象医用画像G0は、情報取得部21により画像サーバ5から取得されて、ストレージ13に保存されているものとする。また、第2の実施形態においては、一次読影時に行われる処理は、図7に示す第1の実施形態において行われる処理と同一であるため、ここでは二次読影時に行われる処理についてのみ説明する。図9は第2の実施形態において二次読影の際に行われる処理を示すフローチャートである。
 二次読影時においては、まず情報取得部21が、対象医用画像G0の検査目的を取得する(ステップST21)。次いで、しきい値設定部24が、検査目的に応じて、第1の異常陰影として骨折陰影を表示する際の第1の表示しきい値および第2の異常陰影として肺の異常陰影を表示する際の第2の表示しきい値を設定する(表示しきい値設定;ステップST22)。
 続いて、第1の異常陰影検出部22が、対象医用画像G0における第1の異常陰影、すなわち、骨折陰影を検出する(ステップST23)。次いで、第2の異常陰影検出部23が、対象医用画像G0における第2の異常陰影、すなわち肺の異常陰影を検出する(ステップST24)。
 そして、表示制御部25が、第1の表示しきい値および第2の表示しきい値を用いて、対象医用画像G0および検出結果をディスプレイ14に表示する(ステップST25)。次いで、読影医により入力された所見文を用いて、読影レポート作成部26が読影レポートを作成する(ステップST26)。そして、読影レポート作成部26が、作成された読影レポートを対象医用画像G0および検出結果と併せてストレージ13に保存する(ステップST27)。さらに、通信部27が、作成された読影レポートを対象医用画像G0および検出結果と併せてレポートサーバ7に転送し(ステップST28)、処理を終了する。なお、第2の実施形態において、ストレージ13に保存されたり、レポートサーバ7に転送されたりする検出結果は、ディスプレイ14に表示されたもののみであってもよく、第1の異常陰影検出部22および第2の異常陰影検出部23が検出したすべての検出結果であってもよい。
 このように、第2の実施形態においては、検査目的に応じて、骨折陰影、すなわち第1の異常陰影を表示する際の第1の表示しきい値を設定するようにした。このため、検査目的が第1の異常陰影の確認である場合には、第1の表示しきい値を小さくして、異常が疑われる軽微な性状変化を呈する陰影を含む第1の異常陰影を表示するようにすることができる。これにより、第2の実施形態においても、第1の異常陰影の見落としを防止することができる。また、検査目的が第1の異常陰影の確認である場合には、第1の表示しきい値を大きくして、異常が疑われる軽微な性状変化を呈する陰影を第1の異常陰影として表示しないようにすることができる。これにより、異常が疑われる軽微な性状変化を呈する陰影に意識を向けることなく、第2の異常陰影に意識を向けて効率よく読影を行うことができる。
 また、第2の実施形態においては、検査目的に応じて、肺の異常陰影、すなわち第2の異常陰影を表示する際の第2の表示しきい値も設定している。このため、検査目的が第1の異常陰影の確認である場合には、第2の表示しきい値を大きくして、異常が疑われる軽微な性状変化を呈する陰影を第2の異常陰影として表示しないようにすることができる。これにより、第2の実施形態においても、異常が疑われる軽微な性状変化を呈する陰影に意識を向けることなく、第1の異常陰影に意識を向けて効率よく読影を行うことができる。また、検査目的が第2の異常陰影の確認である場合には、第2の表示しきい値を小さくして、異常が疑われる軽微な性状変化を呈する陰影も含む第2の異常陰影を表示するようにできる。これにより、第2の異常陰影の見落としを防止することができる。
 なお、上記第1の実施形態においては、しきい値設定部24が、第1の異常陰影検出部22における第1の検出しきい値および第2の異常陰影検出部23における第2の検出しきい値を設定しているが、これに限定されるものではない。しきい値設定部24は、第1の異常陰影検出部22における第1の検出しきい値のみ、または第2の異常陰影検出部23における第2の検出しきい値のみを設定するものであってもよい。
 また、上記第2の実施形態においては、しきい値設定部24が、第1の異常陰影を表示する際の第1の表示しきい値および第2の異常陰影を表示する際の第2の表示しきい値を設定しているが、これに限定されるものではない。しきい値設定部24は、第1の異常陰影を表示する際の第1の表示しきい値のみ、または第2の異常陰影を表示する際の第2の表示しきい値のみを設定するものであってもよい。
 また、上記各実施形態においては、一次読影および二次読影を行う場合に本実施形態による医用画像処理装置を適用しているが、これに限定されるものではない。二次読影のみ、すなわち対象医用画像G0における異常陰影を特定し、特定された異常陰影の結果を用いた読影のみを行う場合にも、本実施形態による処理を適用することが可能である。この場合、操作履歴としては、一次読影時における対象とする部位を含む画像の表示時間を用いることができないが、読影医が入力した検査目的、あるいは設定した階調条件を用いて検査目的を取得することができる。
 また、上記各実施形態においては、第1の異常陰影として骨折陰影を用いているが、第1の異常陰影はこれに限定されるものではない。第1の異常陰影と第2の異常陰影とが異なる疾患の異常陰影であれば、骨折の他、心臓、肝臓、脳、および四肢等の人体の任意の部位の疾患の異常陰影を第1の異常陰影とすることができる。この場合、第1の異常陰影検出部22の学習モデル22Aは、対象とする疾患の異常陰影を検出可能なように教師データを用いて学習がなされる。
 また、上記各実施形態においては、第2の異常陰影として肺の異常陰影を用いているが、第2の異常陰影はこれに限定されるものではない。第1の異常陰影と第2の異常陰影とが異なる疾患の異常陰影であれば、肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位の疾患の異常陰影を第2の異常陰影とすることができる。この場合、第2の異常陰影検出部23の学習モデル23Aは、対象とする疾患の異常陰影を検出可能なように教師データを用いて学習がなされる。
 また、上記実施形態において、例えば、情報取得部21、第1の異常陰影検出部22、第2の異常陰影検出部23、しきい値設定部24、表示制御部25、読影レポート作成部26および通信部27といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip: SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
   1  医療情報システム
   2  撮影装置
   3  読影WS
   4  診療科WS
   5  画像サーバ
   6  画像DB
   7  レポートサーバ
   8  レポートDB
   10  ネットワーク
   11  CPU
   12  医用画像処理プログラム
   13  ストレージ
   14  ディスプレイ
   15  入力デバイス
   16  メモリ
   17  ネットワークI/F
   18  バス
   20  医用画像処理装置
   21  情報取得部
   22  第1の異常陰影検出部
   22A  学習モデル
   23  第2の異常陰影検出部
   23A  学習モデル
   24  しきい値設定部
   25  表示制御部
   26  読影レポート作成部
   27  通信部
   31~34  骨折陰影
   41~44  肺の異常陰影
   50  表示画面
   51  画像表示領域
   52  レポート表示領域

Claims (10)

  1.  少なくとも1つのプロセッサを備え、
     前記プロセッサは、
     読影対象となる対象医用画像の検査目的を取得し、
     前記対象医用画像から第1の異常陰影を検出し、
     前記第1の異常陰影の検出結果をディスプレイに表示し、
     前記検査目的に応じて、前記第1の異常陰影を検出する際の第1の検出しきい値または前記第1の異常陰影の検出結果を表示する際の第1の表示しきい値を設定するように構成される医用画像処理装置。
  2.  前記プロセッサは、操作者による操作履歴に基づいて前記検査目的を取得するように構成される請求項1に記載の医用画像処理装置。
  3.  前記操作履歴は、前記対象医用画像の読影のために設定された階調条件である請求項2に記載の医用画像処理装置。
  4.  前記操作履歴は、前記対象医用画像からの前記第1の異常陰影の検出前の読影時における、前記対象医用画像についての前記第1の異常陰影が含まれる部位の表示時間である請求項2に記載の医用画像処理装置。
  5.  前記第1の異常陰影は骨折の異常陰影である請求項1から4のいずれか1項に記載の医用画像処理装置。
  6.  前記骨折の部位は肋骨である請求項5に記載の医用画像処理装置。
  7.  前記プロセッサは、前記第1の異常陰影が含まれる部位とは異なる部位における少なくとも1つの第2の異常陰影を前記対象医用画像から検出し、
     前記第2の異常陰影の検出結果を前記ディスプレイに表示し、
     前記検査目的に応じて、前記第2の異常陰影を検出する際の第2の検出しきい値または前記第2の異常陰影の検出結果を表示する際の第2の表示しきい値を設定するように構成される請求項1から6のいずれか1項に記載の医用画像処理装置。
  8.  前記対象医用画像は、複数の断層画像からなる3次元画像である請求項1から7のいずれか1項に記載の医用画像処理装置。
  9.  読影対象となる対象医用画像の検査目的を取得し、
     前記対象医用画像から第1の異常陰影を検出し、
     前記第1の異常陰影の検出結果をディスプレイに表示し、
     前記検査目的に応じて、前記第1の異常陰影を検出する際の第1の検出しきい値または前記第1の異常陰影の検出結果を表示する際の第1の表示しきい値を設定する医用画像処理方法。
  10.  読影対象となる対象医用画像の検査目的を取得する手順と、
     前記対象医用画像から第1の異常陰影を検出する手順と、
     前記第1の異常陰影の検出結果をディスプレイに表示する手順と、
     前記検査目的に応じて、前記第1の異常陰影を検出する際の第1の検出しきい値または前記第1の異常陰影の検出結果を表示する際の第1の表示しきい値を設定する手順とをコンピュータに実行させる医用画像処理プログラム。
PCT/JP2021/018612 2020-07-21 2021-05-17 医用画像処理装置、方法およびプログラム WO2022018942A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022538601A JP7361930B2 (ja) 2020-07-21 2021-05-17 医用画像処理装置、方法およびプログラム
US18/068,501 US20230121783A1 (en) 2020-07-21 2022-12-19 Medical image processing apparatus, method, and program
JP2023171906A JP2023179606A (ja) 2020-07-21 2023-10-03 医用画像処理装置、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020124463 2020-07-21
JP2020-124463 2020-07-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/068,501 Continuation US20230121783A1 (en) 2020-07-21 2022-12-19 Medical image processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2022018942A1 true WO2022018942A1 (ja) 2022-01-27

Family

ID=79728626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018612 WO2022018942A1 (ja) 2020-07-21 2021-05-17 医用画像処理装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20230121783A1 (ja)
JP (2) JP7361930B2 (ja)
WO (1) WO2022018942A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340835A (ja) * 2005-06-08 2006-12-21 Konica Minolta Medical & Graphic Inc 異常陰影候補の表示方法及び医用画像処理システム
JP2009183566A (ja) * 2008-02-07 2009-08-20 Hitachi Medical Corp 超音波診断装置
JP2019188031A (ja) * 2018-04-27 2019-10-31 大日本印刷株式会社 コンピュータプログラム、記録媒体、表示装置及び表示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536364B2 (en) 2005-04-28 2009-05-19 General Electric Company Method and system for performing model-based multi-objective asset optimization and decision-making

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340835A (ja) * 2005-06-08 2006-12-21 Konica Minolta Medical & Graphic Inc 異常陰影候補の表示方法及び医用画像処理システム
JP2009183566A (ja) * 2008-02-07 2009-08-20 Hitachi Medical Corp 超音波診断装置
JP2019188031A (ja) * 2018-04-27 2019-10-31 大日本印刷株式会社 コンピュータプログラム、記録媒体、表示装置及び表示方法

Also Published As

Publication number Publication date
JP2023179606A (ja) 2023-12-19
JP7361930B2 (ja) 2023-10-16
US20230121783A1 (en) 2023-04-20
JPWO2022018942A1 (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
JP5725797B2 (ja) 医用画像処理装置
JP6906462B2 (ja) 医用画像表示装置、方法およびプログラム
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
JP2012208726A (ja) 医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラム
JP2019106122A (ja) 病院情報装置、病院情報システム及びプログラム
JP7237089B2 (ja) 医療文書作成支援装置、方法およびプログラム
WO2021157705A1 (ja) 文書作成支援装置、方法およびプログラム
JP7109345B2 (ja) 優先度判定装置、方法およびプログラム
US20220392619A1 (en) Information processing apparatus, method, and program
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022018942A1 (ja) 医用画像処理装置、方法およびプログラム
GB2573193A (en) System and method for using imaging quality metric ranking
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
JP7064430B2 (ja) 優先度判定装置、方法およびプログラム
JP2021175454A (ja) 医用画像処理装置、方法およびプログラム
WO2022070528A1 (ja) 医用画像処理装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2022153702A1 (ja) 医用画像表示装置、方法およびプログラム
WO2022064794A1 (ja) 画像表示装置、方法およびプログラム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20230102745A1 (en) Medical image display apparatus, method, and program
WO2022064926A1 (ja) 治療支援装置、治療支援方法および治療支援プログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21846208

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022538601

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21846208

Country of ref document: EP

Kind code of ref document: A1