WO2019008941A1 - 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置 - Google Patents

医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置 Download PDF

Info

Publication number
WO2019008941A1
WO2019008941A1 PCT/JP2018/020407 JP2018020407W WO2019008941A1 WO 2019008941 A1 WO2019008941 A1 WO 2019008941A1 JP 2018020407 W JP2018020407 W JP 2018020407W WO 2019008941 A1 WO2019008941 A1 WO 2019008941A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
analysis result
medical
wavelength band
processing apparatus
Prior art date
Application number
PCT/JP2018/020407
Other languages
English (en)
French (fr)
Inventor
駿平 加門
正明 大酒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880044612.7A priority Critical patent/CN110868909B/zh
Priority to EP18828943.3A priority patent/EP3649917A4/en
Priority to JP2019528402A priority patent/JP6834001B2/ja
Publication of WO2019008941A1 publication Critical patent/WO2019008941A1/ja
Priority to US16/724,391 priority patent/US11450425B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Definitions

  • the present invention relates to a medical image processing apparatus, an endoscope apparatus, a diagnosis support apparatus, a medical service support apparatus, and a report creation support apparatus that use analysis results of medical images.
  • medical devices those that acquire an image of a subject (hereinafter referred to as medical images) present the acquired medical image to a doctor. Then, the doctor uses the medical image obtained from the medical device as one of the determination materials to make a diagnosis and the like.
  • diagnosis and the like discrimination of the condition of the subject or the like using the medical image at the time of diagnosis is based on the skill and experience of the doctor.
  • the present invention relates to a medical image processing apparatus, an endoscope apparatus, a diagnosis support apparatus, a medical service support apparatus, and a report creation support apparatus capable of obtaining active and explicit approval from a doctor about analysis results of medical images. Intended to be provided.
  • the medical image processing apparatus comprises a medical image acquisition unit for acquiring a medical image including a subject image, a medical image analysis result acquisition unit for acquiring a result of analyzing a medical image, at least one medical image, and a medical image analysis result Among the analysis results acquired by the acquisition unit, the display unit for displaying at least information regarding the presence or absence of a lesion or the type of lesion, and the input whether the information regarding the presence or absence of a lesion or the type of lesion included in the analysis result is correct And an input receiving unit.
  • a selection unit for selecting one or more medical images or one or more analysis results related to the medical image is information on the presence or absence of a lesion related to the medical image selected by the selection unit, or the type of lesion Alternatively, it is preferable to receive an input as to whether or not the information regarding the presence or absence of the lesion or the type of lesion related to the analysis result selected by the selection unit is correct.
  • Another medical image processing apparatus includes a medical image acquisition unit that acquires a medical image including an object image, a medical image analysis result acquisition unit that acquires a result of analyzing a medical image, and at least one medical image.
  • a display unit for displaying at least information on presence or absence of a lesion or type of lesion among analysis results acquired by the medical image analysis result acquisition unit, and correction for correcting information on presence or absence of a lesion or type of lesion included in the analysis result
  • an input receiving unit that receives an input of information.
  • a selection unit for selecting one or more medical images or one or more analysis results related to the medical image is information on the presence or absence of a lesion related to the medical image selected by the selection unit, or the type of lesion Alternatively, it is preferable to receive input of correction information with respect to information regarding the presence or absence of a lesion or the type of a lesion related to the analysis result selected by the selection unit.
  • the input reception unit receives an input of correction information, an analysis result in which part or all is replaced with the content of correction information, and a medical image related to an analysis result in which part or all is replaced with the content of correction information. It is preferable to provide the storage part which links
  • the display unit sequentially displays one or more medical images, or displays a plurality of medical images side by side, and when the input reception unit receives an input, the display unit performs all the medical images to be displayed at least once. It is preferable to validate after displaying.
  • a medical image analysis processing unit that detects an attention area, which is an area to be noted, based on feature quantities of pixels of a medical image, and obtains information on at least the presence or absence of a lesion or the type of lesion in the attention area;
  • the acquisition unit preferably acquires the analysis result from the medical image analysis processing unit.
  • the medical image analysis result acquisition unit preferably acquires an analysis result from a recording device that records an analysis result related to a medical image.
  • the medical image is preferably a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band.
  • the medical image is an image obtained by irradiating light of a specific wavelength band, and the specific wavelength band is preferably a band narrower than the white wavelength band.
  • the specific wavelength band is preferably a blue band or a green band in the visible range.
  • the specific wavelength band includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and light of the specific wavelength band has a peak wavelength within the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less Is preferred.
  • the specific wavelength band is preferably a red band in the visible range.
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or less and 610 nm to 730 nm, and light of the specific wavelength band has a peak wavelength within the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm. Is preferred.
  • the specific wavelength band includes wavelength bands in which the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin differ, and light of a specific wavelength band has peak wavelengths in wavelength bands in which the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin are different. Is preferred.
  • the specific wavelength band includes wavelength bands of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm. It is preferable to have a peak wavelength in a wavelength band of 10 nm or 600 nm to 750 nm.
  • the medical image is an in-vivo image obtained by copying the inside of a living body, and the in-vivo image preferably has information of fluorescence emitted from a fluorescent substance in the living body.
  • the fluorescence is preferably fluorescence obtained by irradiating the living body with excitation light having a peak wavelength of 390 nm or more and 470 nm or less.
  • the medical image is an in-vivo image obtained by copying the inside of a living body, and the specific wavelength band is preferably a wavelength band of infrared light.
  • the specific wavelength band includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and light of a specific wavelength band has a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm preferable.
  • the medical image acquisition unit acquires a special light image having a signal of a specific wavelength band based on a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of the white band. It is preferable to have an optical image acquisition part, and a medical image is a special light image.
  • the signal of the specific wavelength band is preferably obtained by calculation based on RGB or CMY color information included in the normal light image.
  • a feature amount image generating unit that generates a feature amount image is provided, and the medical image is a feature amount image.
  • An endoscope apparatus includes the above-described medical image processing apparatus, and an endoscope which emits at least one of light in a white wavelength band and light in a specific wavelength band to obtain an image. .
  • a diagnosis support apparatus of the present invention includes the medical image processing apparatus.
  • a medical service support device of the present invention includes the above-mentioned medical image processing device.
  • a report creation support device of the present invention includes the above-described medical image processing device, and a report creation unit that creates a report using an analysis result.
  • the medical image processing apparatus, the endoscope apparatus, the diagnosis support apparatus, the medical service support apparatus, and the report creation support apparatus of the present invention can obtain active and explicit approval from a doctor about the analysis result of a medical image. .
  • An endoscope apparatus including a medical image processing apparatus. It is a diagnosis support device including a medical image processing device. A medical service support device including a medical image processing device. It is a report creation support device including a medical image processing device. It is an example of a report.
  • the medical image processing apparatus 10 includes a medical image acquisition unit 11, a medical image analysis result acquisition unit 12, a display unit 13, an input reception unit 14, a storage unit 16, and a general control unit 17.
  • the medical image acquisition unit 11 is, for example, a PACS (Picture Archiving and Communication) storing medical images 50 (see FIG. 5 and the like) acquired by various modalities directly or from modalities such as the endoscope apparatus 21 as a medical apparatus.
  • a medical image 50 including a subject image is acquired via a management system such as System) 22 or other information system.
  • the medical image 50 acquired by the medical image acquisition unit 11 depends on the modality obtained from the medical image 50. That is, the medical image 50 acquired from the endoscope apparatus 21 is a so-called endoscopic image.
  • the medical image 50 acquired from an ultrasound examination apparatus (not shown) is a so-called ultrasound image.
  • the acquired medical image 50 is a so-called X-ray image.
  • the medical image 50 is acquired from a CT (Computed Tomography) scanner or an MRI (Magnetic Resonance Imaging) inspection apparatus (neither is shown)
  • the reconstructed image is the medical image 50.
  • the medical image 50 is a still image or a moving image.
  • displaying the medical image 50 includes reproducing the moving image one or more times in addition to displaying a still image of one representative frame constituting the moving image.
  • the medical image acquisition unit 11 can select all or some of the plurality of medical images 50 and acquire them.
  • the medical images 50 can be manually selected in accordance with user operation by a doctor or the like.
  • the medical image acquisition unit 11 can automatically select the medical image 50 to be acquired according to the imaging date, the imaging region, or other preset conditions.
  • the medical image analysis result acquisition unit 12 directly or from a modality such as the endoscope apparatus 21 which is a medical apparatus, or a management system such as a PACS 22 or the like storing the medical image 50 acquired by various modalities.
  • the analysis result of the medical image 50 including the subject image (hereinafter referred to as an analysis result) is acquired via
  • the medical image analysis result acquisition unit 12 may optionally acquire the analysis result of the medical image 50 from the endoscope apparatus 21 or the PACS 22 etc., but there is an analysis result of the medical image 50 acquired by the medical image acquisition unit 11
  • the medical image analysis result acquisition unit 12 acquires at least an analysis result on the medical image 50 acquired by the medical image acquisition unit 11.
  • the analysis result of the medical image is a result obtained by image analysis of the medical image 50. More specifically, for example, the presence or absence of a lesion (including the presence or absence of a potential part of a lesion, and information such as the position, size or range of a potential part of a lesion or a lesion)
  • Types of lesions including the characteristics of the subject in case of non-lesion, for example, tumor (Neoplass), non-tumor (Non-Neoplasm), normal, unknown etc.
  • treatment marks eg, surgical treatment
  • Presence or absence of a trace of treatment for example, a trace of treatment with a drug or radiation
  • the type of treatment or trace of a treatment for example, administration by spraying, injection or application
  • the endoscope apparatus 21 emits an image by irradiating at least one of light in a white wavelength band or light in a specific wavelength band,
  • a light source device 32 which emits illumination light into the subject via the endoscope 31,
  • a processor device 33 which displays a medical image 50 (endoscope image) or the like captured using the endoscope 31.
  • the processor device 33 analyzes the image generation unit 36 for generating the medical image 50 (endoscopic image) and the medical image 50 (endoscopic image), and as a result, medical image analysis processing for obtaining the above analysis result And a unit 37.
  • the medical image processing apparatus 10 is connected to the endoscope apparatus 21 and analyzes the medical image 50 (endoscopic image) and the medical image 50 (endoscopic image) from the endoscope apparatus 21. Get the result and Specifically, the medical image processing apparatus 10 is connected to the processor unit 33. Then, the medical image acquisition unit 11 acquires the medical image 50 (endoscopic image) from the image generation unit 36, and the medical image analysis result acquisition unit 12 receives the medical image 50 from the medical image analysis processing unit 37 (internal The analysis result of the endoscopic image is obtained. As described above, the medical image acquired by the medical image acquisition unit 11 is specifically an endoscopic image, but for the sake of simplicity, the medical image acquisition unit 11 acquires it below for the sake of simplicity except when distinction is particularly required.
  • the medical image analysis processing unit 37 obtains at least information on the presence or absence of a lesion or the type of lesion as an analysis result of the medical image 50. For this reason, the medical image analysis result acquisition unit 12 analyzes at least information on the presence or absence of a lesion or the type of a lesion on the medical image 50 acquired by the medical image acquisition unit 11 from the medical image analysis processing unit 37. It can be obtained as
  • the display unit 13 displays at least one medical image 50 and at least information on the presence or absence of a lesion or the type of lesion among the analysis results acquired by the medical image analysis result acquisition unit 12. As shown in FIG. 3, the display unit 13 includes a display 41 and a display control unit 42 that controls a display mode on the display screen 51 of the display 41.
  • the display control unit 42 includes a medical image display control unit 46, an analysis result display control unit 47, and an operation display control unit 48.
  • the display 41 has a display screen 51 (see FIG. 5 and the like) that displays the medical image 50 acquired by the medical image acquisition unit 11 and the analysis result of the medical image 50 acquired by the medical image analysis result acquisition unit 12. As shown in FIG. 5 and the like, by displaying the analysis results of the medical image 50 and the medical image 50 side by side, the user can confirm the medical image 50 and perform approval and correction of the analysis result of the medical image 50.
  • the display 41 is provided to the medical image processing apparatus 10 and is different from the monitor 34 of the endoscope apparatus 21 to which the medical image processing apparatus 10 is connected.
  • the display 41 can be shared with a monitor or display of a device or system such as the endoscope apparatus 21 to which the medical image processing apparatus 10 is connected.
  • the medical image display control unit 46 controls the position, size, and the like of displaying the medical image 50 acquired by the medical image acquisition unit 11. In addition, when the medical image display control unit 46 acquires a plurality of medical images 50, the medical image display control unit 46 selects one or more medical images 50 among the plurality of medical images 50. Can be displayed on the display screen 51. When a plurality of medical images are displayed on the display screen 51, the medical image display control unit 46 also controls the display order (arrangement) of the plurality of medical images 50. When the medical image 50 displayed on the display screen 51 is clicked on by the medical image display control unit 46, for example, the medical image 50 may be enlarged and displayed. In this case, the medical image display control unit 46 controls the generation of a window (display area) for displaying the medical image 50 to be enlarged and displayed, and the control of the enlargement ratio.
  • a window display area
  • the analysis result display control unit 47 matches the display position of the medical image 50 with the display screen 51.
  • the display position etc. of the analysis result which concerns on the medical image 50 to display are controlled.
  • the analysis result display control unit 47 selects one or more analysis results for one medical image 50, or All analysis results can be displayed on the display screen 51.
  • the analysis result display control unit 47 selects one or more analysis results to be displayed on the display screen 51 according to the display setting of the analysis results.
  • the medical image analysis result acquisition unit 12 information regarding the presence or absence of a lesion or the type of lesion is displayed.
  • the “information regarding the presence or absence of a lesion or the type of lesion” displayed in the present embodiment is “tumor”, “non-tumor”, “normal”, or “unknown”.
  • the operation display control unit 48 provides on the display screen 51 an operation display such as a button, a switch, a check box, or a scroll bar. Further, the operation display control unit 48 controls a pointer, a cursor or the like related to the operation of a pointing device such as a mouse.
  • the operation display control unit 48 provides the pull-down menu display button 53 for the analysis result display field 52 for displaying the analysis result.
  • the pull-down menu display button 53 can not be said to be medically correct “information on the presence or absence of a lesion or the type of a lesion”, which is the analysis result displayed in the analysis result display column 52 (at least not approved as correct information) To operate.
  • the analysis result displayed in the analysis result display field 52 can be arbitrarily corrected to medically correct (at least not erroneous) information using the pull-down menu 54 (see FIG. 6).
  • the correction operation using the pull-down menu 54 is an input of correction information for correcting information regarding the presence or absence of a lesion or the type of lesion included in the analysis result.
  • the operation display control unit 48 provides the display screen 51 with an approval button 55 (see FIG. 5 and the like).
  • the approval button 55 actively and explicitly gives approval to the analysis result displayed in the analysis result display field 52. Therefore, the approval button 55 is operated when the analysis result displayed in the analysis result display field 52 is actively and explicitly approved as the correct one (or the content input using the pull-down menu 54).
  • the operation display control unit 48 displays the pointer 56 related to the operation of the pointing device (not shown) on the display screen 51.
  • the display control unit 42 in addition to displaying the analysis results of the medical image 50 and the medical image 50 on the display screen 51, the display control unit 42 also includes information on the patient such as a name, an ID (IDentification) number identifying the medical image 50, Other information related to the medical image 50, such as the name of the observation site or the photographing date and time, can be appropriately displayed on the display screen 51 according to the display setting.
  • the input receiving unit 14 receives inputs from a mouse, a keyboard, and other operating devices for performing operation input using various displays for operation displayed on the display screen 51 by the operation display control unit 48.
  • the operation in which the input reception unit 14 receives an input includes the operation of the pull-down menu display button 53, the pull-down menu 54, and the approval button 55 in the analysis result display field 52.
  • the operation of the pull-down menu display button 53, the pull-down menu 54, and the approval button 55 is whether or not the "information regarding the presence or absence of a lesion or the type of lesion" displayed in the analysis result display column 52 is correct.
  • the input reception unit 14 receives at least an input as to whether or not the information regarding the presence or absence of a lesion or the type of lesion included in the analysis result is correct. Also, the reception of the correction operation using the pull-down menu 54 is the reception of the input of correction information for correcting the information regarding the presence or absence of a lesion or the type of lesion included in the analysis result. That is, in the present embodiment, the input reception unit 14 receives at least an input of correction information for correcting information regarding the presence or absence of a lesion or the type of lesion included in the analysis result.
  • the storage unit 16 When the approval button 55 is operated, the storage unit 16 includes the medical image 50 displayed on the display screen 51 and the analysis result displayed on the analysis result display column 52 (including the case where the content is corrected using the pull-down menu 54). ), And save.
  • the storage unit 16 receives the input of whether the input reception unit 14 is correct or not, the information regarding the presence or absence of the lesion or the type of the lesion, and the lesion when the input reception unit is correct or not received In association with the medical image 50 related to “information on the presence or absence of the disease or the type of the lesion”.
  • the storage unit 16 includes, for example, a memory, a hard disk, and other storage.
  • the storage unit 16 stores the approved combination of the medical image 50 and the analysis result in the storage unit 16 itself in association with each other.
  • the storage unit 16 analyzes the medical image 50 in a management system such as PACS 22 or other information system, a storage (not shown) possessed by the endoscope apparatus 21 etc., or an NAS (Network Attached Storage) other external storage. Approved combinations of results can be stored in association with each other.
  • the integrated control unit 17 integrally controls the operation of each unit of the medical image processing apparatus 10.
  • the general control unit 17 realizes the operation of the medical image processing apparatus 10 corresponding to various operations such as the pull-down menu display button 53, the pull-down menu 54, or the approval button 55 displayed on the display screen 51.
  • the medical image acquisition unit 11 acquires one or more medical images 50 from the endoscope apparatus 21 or the like automatically or manually (step S11). Further, the medical image analysis result acquisition unit 12 acquires an analysis result related to one or more medical images 50 from the endoscope apparatus 21 or the like automatically or by manual selection (step S12).
  • the display unit 13 displays the medical image 50 on the display screen 51 and analyzes the analysis result on the medical image 50 displayed on the display screen 51 (FIG. In step 5, "tumor" is displayed in the analysis result display field 52 (step S13).
  • the operation display control unit 48 displays the pull-down menu display button 53 in the analysis result display field 52, and enables correction of the analysis result displayed in the analysis result display field 52.
  • the operation display control unit 48 displays the approval button 55 on the display screen 51, and enables the analysis result displayed in the analysis result display column 52 or the analysis result corrected using the pull-down menu 54 to be approved.
  • the operation of the approval button 55 or the like can be performed using, for example, the pointer 56.
  • the input receiving unit 14 stands by to receive an input (step S14).
  • the doctor refers to the medical image 50 displayed on the display screen 51 and the analysis result (“tumor”) displayed in the analysis result display field 52 to identify or diagnose the subject.
  • the doctor operates, for example, a pointing device, and as a result, the approval button 55 is clicked with the pointer 56.
  • the input reception unit 14 receives a click on the approval button 55.
  • the doctor actively and explicitly approves the analysis result displayed in the analysis result display field 52 (step S15: YES).
  • the storage unit 16 associates and stores the medical image 50 displayed on the display screen 51 and the analysis result displayed on the analysis result display field 52 (step S16). ).
  • the display unit 13 displays the medical image 50 to be displayed next and the analysis result on the display screen 51.
  • the medical image processing apparatus 10 sequentially displays one or more medical images 50 and the like on the display screen 51.
  • step S15: NO when the analysis result displayed in the analysis result display field 52 is not correct and the analysis result displayed in the analysis result display field 52 is not approved (step S15: NO), as shown in FIG.
  • the pull-down menu display button 53 is clicked.
  • the operation display control unit 48 displays the pull-down menu 54 in the analysis result display field 52.
  • the analysis result displayed in the analysis result display field 52 is “information regarding the presence or absence of a lesion or the type of lesion”, and specifically, “tumor”, “non-tumor”, “normal” or , "Unknown”. Therefore, the operation display control unit 48 displays a list of “tumor”, “non-tumor”, “normal”, and “unknown” in the pull-down menu 54. Further, the operation display control unit 48 adds a selection mark 57 to the item (the item “non-tumor” in FIG. 6) on which the pointer 56 is superimposed.
  • the analysis result display control unit 47 corrects the item displayed in the analysis result display field 52 to the item selected by clicking on the pull-down menu 54. Thereafter, the approval button 55 is clicked, and as a result, approval is positively and explicitly given to the corrected analysis result (step S15: YES).
  • the storage unit 16 associates and stores the medical image 50 displayed on the display screen 51 and the analysis result displayed in the analysis result display field 52 (step S16).
  • the medical image processing apparatus 10 can obtain active and explicit approval from the doctor about the analysis result of the medical image 50.
  • active and explicit approval can be obtained with respect to at least information regarding the presence or absence of a lesion or the type of lesion.
  • Information on the presence or absence of a lesion or the type of a lesion is particularly necessary to obtain approval as it will have medical legitimacy only with doctor's approval.
  • the medical image processing apparatus 10 corrects the analysis result of the medical image 50 as one aspect of the approval operation when the doctor does not approve the analysis result as it is when the analysis result of the medical image 50 is not correct. Give the opportunity to enter. For this reason, the doctor does not necessarily have to accept the analysis result of the medical image 50, and arbitrarily and easily corrects the analysis result according to the judgment based on his / her medical point of view )can do.
  • the pull-down menu display button 53 is displayed in the analysis result display field 52, and correction information of the analysis result is input using the pull-down menu display button 53 and the pull-down menu 54.
  • the input of correction information can be received in the form of
  • the analysis result display field 52 itself is a correction item display button for displaying an item (correction item) representing the correction information. That is, the analysis result display field 52 is used as a correction item display button. Then, as shown in FIG.
  • the approval button 55 is displayed on the display screen 51, instead of the operation of the approval button 55, the approval operation can be performed by the gesture input performing the input using the motion miracle of the pointer 56 You may In addition to the pointing device, the approval operation may be performed using other devices (physical buttons or switches provided on the medical image processing apparatus 10).
  • one medical image 50 is displayed on the display screen 51 as an example, but a plurality of medical images 50 can be displayed side by side on the display screen 51.
  • a plurality of medical images 50 can be displayed side by side on the display screen 51.
  • the configuration of the medical image processing apparatus 10 is the same as that of the first embodiment.
  • an approval button 55 can be provided for each of the medical images 50.
  • the analysis result display field 52 and the pull-down menu display button 53 are provided for each medical image 50 to display the analysis result. In this case, the analysis result can be actively and explicitly approved for each of the medical images 50.
  • the approval button 55 is displayed for each medical image 50 in FIGS. 9 and 10, instead of displaying the approval button 55 for each medical image 50, as shown in FIG. A representative approval button 55 for simultaneously giving approval to the combination of the medical image 50 and the analysis result of In this case, since it is not necessary to perform the approval operation for each of the plurality of medical images 50 and the analysis result, the approval operation can be performed more easily.
  • the operation display control unit 48 displays a scroll bar 61 for scrolling the display content of the display screen 51. Thereby, the medical image 50 which does not fit on the display screen 51 at one time can be displayed.
  • a plurality of medical images 50 can be displayed using the scroll bar 61, and an approval operation is performed using a representative approval button 55 that simultaneously approves combinations of all medical images 50 and analysis results.
  • the representative approval button 55 be displayed on the display screen 51 (in particular, the lower end of the display screen 51 after scrolling) after scrolling (see FIG. 13). As described above, when the representative approval button 55 is provided on the display screen 51 after scrolling, the medical image 50 to be displayed on the display screen 51 and not yet displayed on the display screen 51 is not confirmed. It is possible to prevent the approval operation.
  • the operation display control unit 48 displays all the medical images 50 to be displayed at least once. It is preferable to activate the representative approval button 55 later.
  • a constant display field 62 always displayed on the display screen 51 is provided without depending on the position (operation state) of the scroll bar 61, and a representative approval button is provided in the constant display field 62. Display 55.
  • the operation display control unit 48 invalidates the approval operation on the display screen 51 before scrolling (see FIG. 14). Invalidation of the approval operation means that the input reception unit 14 does not accept the approval operation by clicking the approval button 55 or the like. Even if the input reception unit 14 can accept the input of the click operation of the approval button 55 for disabling the approval operation, the operation display control unit 48 does not display the approval button 55 (the display is erased). Including making the approval operation impossible.
  • the operation display control unit 48 displays the display screen 51 after scrolling (see FIG. 15) at least once, and as a result, it is determined that all the medical images 50 to be displayed are displayed at least once. If so, activate the approval operation.
  • the activation of the approval operation means that the input reception unit 14 can accept the approval operation by clicking the approval button 55, etc., and the display necessary for the approval operation is not lacking, and the approval operation is executed. It says to make it in the state of getting.
  • the approval operation is invalidated or validated, the approval operation is performed without confirming the medical image 50 to be displayed on the display screen 51 and not yet displayed on the display screen 51. Can be prevented.
  • the representative approval button 55 is displayed in a pop-up instead of providing the constant display field 62.
  • the representative approval button 55 for simultaneously giving approval to the combination of all the medical images 50 and the analysis results is provided. If desired, a separate approval button 55 may be provided for each of the plurality of medical images 50.
  • the approval operation can be executed for all of the plurality of medical images 50 displayed on the display screen 51 and the display of the analysis result
  • the medical image 50 capable of executing the approval operation and the analysis result It is preferable to be able to select any combination.
  • the operation display control unit 48 provides the display screen 51 with a selection unit 63 (see FIG. 16) that selects one or more medical images 50 or one or more analysis results related to the medical images 50.
  • the input reception unit 14 analyzes the result of the medical image 50 selected by the selection unit 63 (in the present embodiment, “information regarding the presence or absence of a lesion or the type of lesion”) or the analysis result selected by the selection unit 63.
  • the input of whether or not the information is correct with respect to at least “information regarding the presence or absence of a lesion or the type of a lesion” among the selected analysis results) is accepted. Further, the input receiving unit 14 receives an input of correction information with respect to the analysis result of the medical image 50 selected by the selecting unit 63 or the analysis result selected by the selecting unit 63.
  • a check box is provided as the selection unit 63 for each medical image 50 displayed on the display screen 51. Then, the pull-down menu display button 53 and the approval button 55 are activated only for the medical image 50 and the analysis result in which the check box serving as the selection unit 63 is checked (marked "re" in FIG. 16). Accept the operation. In this way, even when a plurality of medical images 50 are displayed on the display screen 51, an approval operation or correction information can be input for each medical image 50.
  • the selection part 63 is provided for every medical image 50
  • the selection part 63 can be provided for every analysis result.
  • correction information can be input for each analysis result.
  • the section 63 is provided, correction information can be selectively input for an arbitrary analysis result among a plurality of analysis results to be displayed.
  • the selection unit 63 can be provided for each medical image 50 and for each analysis information. Further, although in FIG. 16 the approval button 55 is provided for each medical image 50, as shown in the second embodiment, instead of providing the approval button 55 for each medical image 50, a representative approval button 55 is provided. be able to. By doing so, an approval operation can be simultaneously performed on the medical image 50 selected by the selection unit 63.
  • the medical image 50 to be displayed on the display screen 51 is displayed on the display screen 51.
  • the reduced image (so-called thumbnail image) 71 of the medical image 50 may be displayed.
  • the list property on the display screen 51 is improved. Therefore, in addition to the analysis result shown in the analysis result display field 52, the score 72a and the score 72b of the index used when obtaining the analysis result can be displayed on the display screen 51.
  • the score 72 a and the score 72 b are, for example, indices indicating the certainty of the analysis result output by the medical image analysis processing unit 37 or the likeness of a lesion.
  • the operation display control unit 48 may display, for example, a medical image that is the original image of the reduced image 71 for which the click operation was performed in the pop-up window 79. Display 50 (see FIG. 19). For this reason, even when the medical image 50 is displayed using the reduced image 71 on the display screen 51 for performing the approval operation, the doctor can arbitrarily and easily perform discrimination or diagnosis using the medical image 50.
  • the check box 73 is a check box for indicating that the medical image 50 and the analysis result have been confirmed. Then, the input receiving unit 14 or the operation display control unit 48 displays the screen after scrolling (see FIG. 18) when all the check boxes 73 are in the checked state (“LE” mark in FIGS. 17 to 19).
  • the diagnosis complete button 74 at 51 is activated.
  • the diagnosis completion button 74 is a button for completing the diagnosis and transitioning the display screen 51 to another screen, but is substantially used for an approval operation. That is, the diagnosis completion button 74 corresponds to the representative approval button 55 in the second embodiment or the third embodiment.
  • the reflection button 76 is a button used for the approval operation. Specifically, when the operation display control unit 48 corrects the analysis result displayed in the analysis result display field 52 for at least one of the reduced images 71 to be displayed on the display screen 51, medical care is performed in the pop-up window 79. When the image 50 is displayed or when the state of the check box 73 is changed, the reflection button 76 is activated. The operation of the medical image processing apparatus 10 when the reflection button 76 is clicked is the same as that of the first embodiment, the second embodiment, or the third embodiment.
  • the asterisk 77 is an identification flag attached to the reduced image 71 of the medical image 50 useful for generating a report.
  • the outline is white
  • the reduced image 71 of the medical image 50, which is necessary for generating the report is shown in black.
  • Whether it is the reduced image 71 of the medical image 50 useful for generating a report can be performed automatically by the medical image processing apparatus 10 or manually at the judgment of a doctor.
  • the medical image processing apparatus 10 automatically determines, for example, the general control unit 17 is provided with a usefulness determination unit (not shown). Then, the usefulness determination unit determines, for example, whether or not the medical image 50 is useful for creating a report, using analysis results such as index values (scores 72b and the like).
  • the medical image processing apparatus 10 uses the determination result of the usefulness among the determination results to use the star mark.
  • the display form of the star 77 is manually corrected according to the judgment of the doctor, for example, the star 77 is clicked with the pointer 56.
  • the back button 78 is a button for returning to a previous screen such as a menu screen.
  • the screen displayed when the back button 78 is clicked has the examination target list 81, the folder addition button 82, the diagnostic processing start button 83, and the like on the display screen 51.
  • the examination target list 81 includes a folder field 81a, a diagnosis support field 81b, a status display field 81c, and other display fields 81d.
  • the status display column 81c is a column for displaying the status regarding the diagnostic processing and the like for each folder, and displays, for example, "correcting", “correcting (with biopsy)", or "completed".
  • the inspection object list 81 can be sorted using the status of “in correction”, “correction in progress (with biopsy)”, “completed”, or blank in the status display column 81 c.
  • the diagnostic processing start button 83 is clicked, the display screen 51 transitions to the state shown in FIG. Further, by clicking on the folder addition button 82, an arbitrary folder can be added to the examination object list 81.
  • the storage unit 16 compares the combination of the medical image 50 and the analysis result 91, When there is an approval operation, the medical image 50 and the analysis result 91 are associated, and the set 101 of the medical image 50 and the analysis result 91 is stored. When the analysis result 91 needs to be corrected, as shown in FIG. 22, the storage unit 16 corrects the medical image 50 and the correction analysis result 92 obtained by correcting a part or all of the analysis result 91 related to the medical image 50. , And store the set 102 of the medical image 50 and the correction analysis result 92.
  • the storage form of the medical image 50 and the analysis result 91 or the correction analysis result 92 by the storage unit 16 is not limited to this.
  • the storage unit 16 corrects a part or all of the medical image 50, the analysis result 91 before correction, and the analysis result 91.
  • the correction analysis results 92 replaced with the contents of the information can be associated, and these can be stored as a set 103.
  • the first embodiment, the second embodiment, the third embodiment, the fourth embodiment, or each example shown in FIG. 21 to FIG. Data may be stored in association with any one or more of the medical image 50, the analysis result before correction 91, or the correction analysis result 92.
  • identification information such as the name or ID of the user who has performed the approval operation may be associated and stored.
  • all the medical images 50 acquired by the medical image acquisition unit 11 are basically displayed on the display screen 51, but the display is performed.
  • the unit 13 can select and display a part of the plurality of medical images 50 acquired by the medical image acquisition unit 11 on the display screen 51.
  • the medical image acquisition unit 11 acquires a plurality of medical images 50 from the endoscope apparatus 21 or the like automatically or by manual selection (step S501).
  • the medical image analysis result acquisition unit 12 acquires analysis results related to the plurality of medical images 50 from the endoscope apparatus 21 or the like automatically or manually (step S502).
  • the medical image display control unit 46 groups the plurality of medical images 50 acquired by the medical image acquisition unit 11 (step S503).
  • the medical image display control unit 46 for example, analysis results of the plurality of medical images 50, a score such as a feature amount or a degree of similarity uniquely calculated by the medical image display control unit 46, or an imaging time or an imaging region And other information to group multiple medical images 50.
  • the plurality of medical images 50 belong to, for example, the group of "tumor", the group of "non-tumor", the group of "normal”, or the group of "unknown”.
  • the medical image display control unit 46 selects a representative image for each group (S504).
  • the representative image of each group is selected according to a preset rule using, for example, the brightness of the medical image 50 or the type or color of a tumor in the case of a tumor group.
  • the display unit 13 displays a representative image of each group (or a reduced image of the representative image) on the display screen 51.
  • the medical image acquisition unit 11 acquires a plurality of medical images 50
  • the plurality of medical images 50 acquired by the medical image acquisition unit 11 are grouped, and a representative image of each group is displayed on the display screen 51.
  • the identification or diagnosis can be substantially completed by observing a small number of characteristic medical images 50 such as representative images of each group. Therefore, a doctor can easily perform discrimination or diagnosis.
  • the display mode of representative images of each group and the operation mode (steps S506 to S508) of the approval operation after displaying the representative images of each group on the display screen 51 are the same as in the first embodiment and the like. is there.
  • the medical image analysis processing unit 37 is provided in the processor device 33 of the endoscope device 21. As shown in FIG. 25, the medical image analysis processing unit 37 can be provided in the medical image processing apparatus 10. In this case, the medical image analysis result acquisition unit 12 can acquire an analysis result from the medical image analysis processing unit 37 of the medical image processing apparatus 10.
  • the endoscope apparatus 21 can include the medical image processing apparatus 10.
  • each unit 601 constituting the medical image processing apparatus 10 is provided in the processor device 33.
  • the processor unit 33 is a display control unit that is a part of the display unit 13 instead of the display unit 13. It is enough to set 42.
  • the medical image processing apparatus 10 of the first embodiment, the second embodiment, the third embodiment, the fourth embodiment, and the other modifications and the endoscope apparatus 21 of FIG. 2 are entirely new. Endoscope apparatus can be configured.
  • the diagnostic support device 610 used in combination with the endoscope apparatus 21 and other modality is the first embodiment, the second embodiment, the third embodiment, the fourth embodiment, and Other variations of the medical image processing apparatus 10 can be included.
  • various inspection devices such as the first inspection device 621, the second inspection device 622,..., The N-th inspection device 633 and the like including the endoscope device 21 via an arbitrary network 626
  • the medical service support device 630 to be connected can include the medical image processing device 10 according to the first embodiment, the second embodiment, the third embodiment, the fourth embodiment, and the other modified examples.
  • the report creation support device 670 for assisting a doctor to create a report creates a report using the analysis result, and the first embodiment, the second embodiment, the second embodiment.
  • the medical image processing apparatus 10 according to the third embodiment, the fourth embodiment, and the other modifications can be configured to be provided.
  • the report 680 supported by the report creation unit 671 includes, for example, a display field of the medical image 50, a basic input field 681 for inputting information such as a patient or examination, and findings of a doctor. And a finding input field 682;
  • the report generation unit 671 or the medical image processing apparatus 10 can automatically insert the medical image 50 approved by the doctor in the medical image processing apparatus 10 into the report 680.
  • the report generation unit 671 or the medical image processing apparatus 10 uses the basic input field for the analysis result (including the correction analysis result 92 or the combination of the analysis result 91 and the correction analysis result 92) approved by the doctor in the medical image processing apparatus It can be automatically inserted into the field 681 or the finding input field 682 or both of these fields. As described above, when the medical image processing apparatus 10 automatically inserts the medical image 50 approved by the doctor, the information of the analysis result, and the like, the report can be easily created.
  • the medical image processing apparatus 10 various apparatuses including the medical image processing apparatus 10, and various apparatuses or systems including the functions of the medical image processing apparatus 10 are used with various modifications described below. be able to.
  • the medical image analysis processing unit 37 can detect a focused region which is a region to be focused based on the feature amount of pixels of the medical image 50, and obtain information on at least the presence or absence of a lesion or the type of lesion for the focused region. .
  • the medical image analysis result acquisition unit 12 can acquire an analysis result from the medical image analysis processing unit 37.
  • the medical image analysis result acquisition unit 12 can acquire the analysis result related to the medical image 50 from a recording device that records the analysis result.
  • a management system such as the PACS 22 or other information system, a storage (not shown) included in the endoscope apparatus 21 or the like, or an external storage such as a NAS (Network Attached Storage) is an example of the recording apparatus.
  • a normal light image obtained by irradiating light in a plurality of wavelength bands as light in a white band or light in a white band can be used.
  • a specific wavelength band can use a narrower band than a white wavelength band.
  • the specific wavelength band is, for example, a blue band or a green band in the visible range.
  • the specific wavelength band is a blue band or a green band in the visible range
  • the specific wavelength band includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and light of the specific wavelength band is 390 nm or more It is preferable to have a peak wavelength within a wavelength band of 450 nm or less or 530 nm or more and 550 nm or less.
  • the specific wavelength band is, for example, a red band in the visible range.
  • the specific wavelength band is a red band in the visible region
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and light of the specific wavelength band is 585 nm to 615 nm or less It is preferable to have a peak wavelength within a wavelength band of 610 nm or more and 730 nm or less.
  • the specific wavelength band includes, for example, wavelength bands in which the absorption coefficient is different between oxygenated hemoglobin and reduced hemoglobin, and light of a specific wavelength band is a peak wavelength in the wavelength band where absorption coefficients are different between oxygenated hemoglobin and reduced hemoglobin You can have
  • a specific wavelength band includes wavelength bands whose absorption coefficients are different between oxyhemoglobin and reduced hemoglobin, and light of a specific wavelength band has peak wavelengths in wavelength bands whose absorption coefficients are different between oxyhemoglobin and reduced hemoglobin
  • the specific wavelength band includes the wavelength bands of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and the light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, It is preferable to have a peak wavelength in a wavelength band of 470 ⁇ 10 nm, or 600 nm or more and 750 nm or less.
  • this in-vivo image can have information of fluorescence emitted from a fluorescent substance in the living body.
  • fluorescence fluorescence obtained by irradiating excitation light having a peak wavelength of 390 nm or more and 470 nm or less into a living body can be used.
  • the above-mentioned specific wavelength band can use the wavelength band of infrared light.
  • the specific wavelength band is 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less It is preferable that the light of the specific wavelength band includes the wavelength band and has a peak wavelength in the wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less.
  • the medical image acquisition unit 11 acquires a special light image having a signal of a specific wavelength band based on a normal light image obtained by irradiating light of a plurality of wavelength bands as light of the white band or light of the white band. It can have a special light image acquisition unit. In this case, the medical image 50 can use a special light image.
  • a signal of a specific wavelength band can be obtained by an operation based on RGB or CMY color information included in a normal light image.
  • a feature amount image generation unit that generates a feature amount image can be provided.
  • the medical image 50 can use feature quantity images.
  • the endoscope 31 can use a capsule endoscope.
  • the light source device 32 and part of the processor device 33 can be mounted on the capsule endoscope.
  • the hardware-like structure of the processing unit (processing unit) that executes various processes such as the medical image display control unit 46, the analysis result display control unit 47, the operation display control unit 48, and the report creation unit 671 is as follows.
  • the various processors as shown. For various processors, change the circuit configuration after manufacturing CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) and functions as various processing units, FPGA (Field Programmable Gate Array), etc.
  • a programmable logic device Programmable Logic Device: PLD
  • PLD programmable Logic Device
  • One processing unit may be configured of one of these various processors, or configured of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA) It may be done.
  • a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers; There is a form in which this processor functions as a plurality of processing units.
  • SoC system on chip
  • IC integrated circuit
  • circuitry in the form in which circuit elements such as semiconductor elements are combined.
  • Reference Signs List 10 medical image processing apparatus 11 medical image acquisition unit 12 medical image analysis result acquisition unit 13 display unit 14 input reception unit 16 storage unit 17 general control unit 21 endoscope apparatus 22 PACS Reference Signs List 31 endoscope 32 light source device 33 processor device 34 monitor 36 image generation unit 37 medical image analysis processing unit 41 display 42 display control unit 46 medical image display control unit 47 analysis result display control unit 48 operation display control unit 50 medical image 51 Display screen 52 Analysis result display field 53 Pull-down menu display button 54 Pull-down menu 55 Approve button 56 Pointer 57 Selection mark 61 Scroll bar 62 Constant display field 63 Selection area 71 Reduced image 72a, 72b Score 73 Check box 74 Diagnosis complete button 76 Reflection button 77 Stars 78 Back button 79 Pop-up window 81 Test object list 81a Folder field 81b Diagnostic support field 81c Status display field 81d Other display field 82 Folder addition button 83 Diagnostic processing start button 91 Analysis result 101 A set of medical image and analysis result 102 A set of medical image and correction analysis result 103 A set

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Endoscopes (AREA)

Abstract

医療画像の解析結果について医師から能動的かつ明示的な承認を得ることができる医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置を提供する。医療画像処理装置10は、被検体像を含む医療画像50を取得する医療画像取得部11と、医療画像50を解析した結果を取得する医療画像解析結果取得部12と、少なくとも1つの医療画像50と、医療画像解析結果取得部12が取得した解析結果のうち少なくとも病変の有無または病変の種類に関する情報と、を表示する表示部13と、解析結果が含む病変の有無または病変の種類に関する情報が正しいか否かの入力を受け付ける入力受信部14と、を備える。

Description

医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
 本発明は、医療画像の解析結果を用いる医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置に関する。
 従来、医療に係る装置(以下、医療装置という)のうち、被検体の画像(以下、医療画像という)を取得するものは、取得した医療画像を医師に提示する。そして、医師は、医療装置から得る医療画像を判断材料の1つとして使用し、診断等をする。当然ながら、診断の際に医療画像を用いてする被検体の状態等の鑑別は、医師の技量及び経験等に基づく。
 近年においては、画像解析技術が進歩したので、医療画像を解析することで、医療画像から様々な客観的な情報を得ることができる。このため、医療画像の解析結果を医師等に提示することにより、鑑別及び診断等を支援する医療装置が増えてきている。例えば、医療画像の解析により、内視鏡検査で使用した薬剤及び処置具に関する情報を得ることができる(特許文献1)。また、医療画像の解析により、一連の医療画像の中からポリープが写った医療画像を自動的に選出することもできる(特許文献2)。
特開2016-062488号公報 特開2007-125373号公報
 上記の通り、単に医療画像を得るだけでなく、医療画像の解析結果を、または、医療画像の解析結果を利用した機能を提供することにより、鑑別及び診断等を支援する医療装置等が増えてきている。しかし、医療画像の解析結果は、医師の承認を得なければ、鑑別及び診断の判断材料の1つに過ぎない。
 本発明は、医療画像の解析結果について医師から能動的かつ明示的な承認を得ることができる医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置を提供することを目的とする。
 医療画像処理装置は、被検体像を含む医療画像を取得する医療画像取得部と、医療画像を解析した結果を取得する医療画像解析結果取得部と、少なくとも1つの医療画像と、医療画像解析結果取得部が取得した解析結果のうち少なくとも病変の有無または病変の種類に関する情報と、を表示する表示部と、解析結果が含む病変の有無または病変の種類に関する情報が正しいか否かの入力を受け付ける入力受信部と、を備える。
 1以上の医療画像、または、医療画像に係る1以上の解析結果を選択する選択部を有し、入力受信部は、選択部が選択した医療画像に係る病変の有無もしくは病変の種類に関する情報、または、選択部が選択した解析結果に係る病変の有無もしくは病変の種類に関する情報に対して正しいか否かの入力を受け付けることが好ましい。
 入力受信部が正しいか否かの入力を受け付けた病変の有無または病変の種類に関する情報と、入力受信部が正しいか否かの入力を受け付けた病変の有無または病変の種類に関する情報に係る医療画像と、を関連付けて保存する保存部を備えることが好ましい。
 本発明の別の医療画像処理装置は、被検体像を含む医療画像を取得する医療画像取得部と、医療画像を解析した結果を取得する医療画像解析結果取得部と、少なくとも1つの医療画像と、医療画像解析結果取得部が取得した解析結果のうち少なくとも病変の有無または病変の種類に関する情報と、を表示する表示部と、解析結果が含む病変の有無または病変の種類に関する情報を修正する修正情報の入力を受信する入力受信部と、を備える。
 1以上の医療画像、または、医療画像に係る1以上の解析結果を選択する選択部を有し、入力受信部は、選択部が選択した医療画像に係る病変の有無もしくは病変の種類に関する情報、または、選択部が選択した解析結果に係る病変の有無もしくは病変の種類に関する情報に対して、修正情報の入力を受け付けることが好ましい。
 入力受信部が修正情報の入力を受け付けた場合に、解析結果と修正情報の両方を、解析結果及び修正情報に係る医療画像に関連付けて保存する保存部を備えることが好ましい。
 入力受信部が修正情報の入力を受け付けた場合に、一部または全部を修正情報の内容に置き換えた解析結果と、一部または全部を修正情報の内容に置き換えた解析結果に係る医療画像と、を関連付けて保存する保存部を備えることが好ましい。
 表示部は、1以上の医療画像を順次に表示し、または、複数の医療画像を並べて表示し、入力受信部による入力の受け付けは、表示部が、表示すべき全ての医療画像を少なくとも1度表示した後に有効化することが好ましい。
 医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、注目領域について少なくとも病変の有無または病変の種類に関する情報を得る医療画像解析処理部を備え、医療画像解析結果取得部は、医療画像解析処理部から解析結果を取得することが好ましい。
 医療画像解析結果取得部は、医療画像に係る解析結果を記録する記録装置から解析結果を取得することが好ましい。
 医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像であることが好ましい。
 医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域であることが好ましい。
 特定の波長帯域は、可視域の青色帯域または緑色帯域であることが好ましい。
 特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
 特定の波長帯域は、可視域の赤色帯域であることが好ましい。
 特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
 特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することが好ましい。
 特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
 医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することが好ましい。
 蛍光は、ピーク波長が390nm以上470nm以下である励起光を生体内に照射して得る蛍光であることが好ましい。
 医療画像は、生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域であることが好ましい。
 特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
 医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有し、医療画像は特殊光画像であることが好ましい。
 特定の波長帯域の信号は、通常光画像に含むRGBまたはCMYの色情報に基づく演算により得ることが好ましい。
 白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像であることが好ましい。
 本発明の内視鏡装置は、上記医療画像処理装置と、白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える。
 本発明の診断支援装置は、上記医療画像処理装置を備える。
 本発明の医療業務支援装置は、上記医療画像処理装置を備える。
 本発明のレポート作成支援装置は、上記医療画像処理装置と、解析結果を用いてレポートを作成するレポート作成部と、を備える。
 本発明の医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置は、医療画像の解析結果について医師から能動的かつ明示的な承認を得ることができる。
医療画像処理装置のブロック図である。 内視鏡装置のブロック図である。 表示部のブロック図である。 医療画像処理装置の作用を示すフローチャートである。 表示画面である。 解析結果を修正する際の表示画面である。 解析結果表示欄を修正項目表示ボタンにした表示画面である。 解析結果表示欄を修正項目表示ボタンにした表示画面である。 複数の医療画像を表示する表示画面である。 複数の医療画像を表示する表示画面である。 複数の医療画像を表示する表示画面である。 複数の医療画像を表示する表示画面である。 複数の医療画像を表示する表示画面である。 複数の医療画像を表示する表示画面である。 複数の医療画像を表示する表示画面である。 選択部を設けた表示画面である。 縮小画像を表示する表示画面である。 縮小画像を表示する表示画面である。 縮小画像を表示する表示画面である。 メニュー画面である。 保存部による保存態様を示す説明図である。 保存部による保存態様を示す説明図である 保存部による保存態様を示す説明図である 医療画像をグループ化する場合のフローチャートである。 医療画像解析処理部を有する医療画像処理装置のブロック図である。 医療画像処理装置を含む内視鏡装置である。 医療画像処理装置を含む診断支援装置である。 医療画像処理装置を含む医療業務支援装置である。 医療画像処理装置を含むレポート作成支援装置である。 レポートの例である。
 [第1実施形態]
 図1に示すように、医療画像処理装置10は、医療画像取得部11、医療画像解析結果取得部12、表示部13、入力受信部14、保存部16、及び、統括制御部17を備える。
 医療画像取得部11は、例えば、医療装置である内視鏡装置21等のモダリティから直接に、または、各種モダリティが取得した医療画像50(図5等参照)を保存したPACS(Picture Archiving and Communication System)22等の管理システムもしくはその他情報システムを介して、被検体像を含む医療画像50を取得する。医療画像取得部11が取得する医療画像50は、その医療画像50を得たモダリティに依存する。すなわち、内視鏡装置21から取得する医療画像50は、いわゆる内視鏡画像である。超音波検査装置(図示しない)から取得する医療画像50はいわゆる超音波画像である。X線撮影装置(図示しない)から医療画像を取得する場合、取得する医療画像50はいわゆるX線画像である。CT(Computed Tomography)スキャナもしくはMRI(Magnetic Resonance Imaging)検査装置(いずれも図示しない)から医療画像50を取得する場合は再構成画像が医療画像50である。この他のモダリティから医療画像50を取得する場合も同様である。また、PACS22等の管理システムまたはその他情報システムを介して医療画像50を取得する場合も同様である。なお、医療画像50は静止画像または動画である。医療画像50が動画である場合、医療画像50の表示には、動画を構成する1つの代表フレームの静止画を表示することのほか、動画を1または複数回、再生することを含む。
 内視鏡装置21またはPACS22等に複数の医療画像50がある場合、医療画像取得部11は、これら複数の医療画像50の全部を、または、一部を選択して取得することができる。内視鏡装置21またはPACS22等にある複数の医療画像50から、一部の医療画像50を選択して取得する場合、医師等のユーザ操作にしたがって手動で医療画像50を選択することができる。また、医療画像取得部11は、撮影日時、撮影部位、または、その他の予め設定する条件にしたがって自動的に、取得する医療画像50を選択することができる。
 医療画像解析結果取得部12は、例えば、医療装置である内視鏡装置21等のモダリティから直接に、または、各種モダリティが取得した医療画像50を保存したPACS22等の管理システムもしくはその他情報システムを介して、被検体像を含む医療画像50を解析した結果(以下、解析結果という)を取得する。医療画像解析結果取得部12は、内視鏡装置21またはPACS22等から任意に医療画像50の解析結果を取得し得るが、医療画像取得部11が取得する医療画像50についての解析結果がある場合、医療画像解析結果取得部12は少なくとも医療画像取得部11が取得する医療画像50についての解析結果を取得する。
 医療画像の解析結果とは、医療画像50の画像解析により得た結果である。より具体的には、例えば、病変の有無(病変の可能性がある部分の有無を含み、かつ、病変もしくは病変の可能性がある部分の位置、大きさ、または範囲等の情報である場合を含む)、病変の種類(病変でない場合の被検体の性状を含む。例えば、腫瘍(Neoplasm)、非腫瘍(Non-Neoplasm)、正常、不明等である)、処置痕(例えば外科的な処置の痕跡)もしくは治療痕(例えば薬剤または放射線等を用いた治療の痕跡)の有無、処置痕もしくは治療痕の種類、被検体に投与(散布、注入、または塗布等による投与を含む)した薬剤(例えば蛍光薬剤)、処置具等の器具の写り込みの有無、または、写り込んだ処置具等の器具の種類等に関する情報を1または複数含む。
 本実施形態においては、図2に示すように、内視鏡装置21は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡31、内視鏡31を介して被検体内に照明光を照射する光源装置32、プロセッサ装置33、及び、内視鏡31を用いて撮影した医療画像50(内視鏡画像)等を表示するモニタ34を有する。そして、プロセッサ装置33は、医療画像50(内視鏡画像)を生成する画像生成部36と、医療画像50(内視鏡画像)を解析し、その結果、上記解析結果を得る医療画像解析処理部37と、を備える。
 本実施形態においては、医療画像処理装置10は、内視鏡装置21と接続し、内視鏡装置21から医療画像50(内視鏡画像)と、医療画像50(内視鏡画像)の解析結果と、を取得する。具体的には、医療画像処理装置10はプロセッサ装置33と接続する。そして、医療画像取得部11は、画像生成部36から医療画像50(内視鏡画像)を取得し、かつ、医療画像解析結果取得部12は、医療画像解析処理部37から医療画像50(内視鏡画像)の解析結果を得る。上記の通り、医療画像取得部11が取得する医療画像は具体的には内視鏡画像であるが、特に区別が必要な場合を除き、簡便のため、以下では、医療画像取得部11が取得する医療画像50を全て医療画像50という。また、本実施形態においては、医療画像解析処理部37は、医療画像50の解析結果として、少なくとも、病変の有無、または、病変の種類に関する情報を得る。このため、医療画像解析結果取得部
12は、医療画像解析処理部37から、医療画像取得部11が取得する医療画像50について、少なくとも、病変の有無、または、病変の種類に関する情報を、解析結果として取得することができる。
 表示部13は、少なくとも1つの医療画像50と、医療画像解析結果取得部12が取得した解析結果のうち少なくとも病変の有無または病変の種類に関する情報と、を表示する。図3に示すように、表示部13は、ディスプレイ41と、ディスプレイ41の表示画面51における表示態様を制御する表示制御部42と、を備える。そして、表示制御部42は、医療画像表示制御部46と、解析結果表示制御部47と、操作用表示制御部48と、を備える。
 ディスプレイ41は、医療画像取得部11が取得した医療画像50と、医療画像解析結果取得部12が取得した医療画像50の解析結果と、を表示する表示画面51(図5等参照)を有する。図5等において示す通り、医療画像50と医療画像50の解析結果を並べて表示することにより、ユーザは医療画像50を確認して、医療画像50の解析結果の承認及び修正を行うことができる。本実施形態においては、ディスプレイ41は、医療画像処理装置10に備え付けられており、医療画像処理装置10が接続する内視鏡装置21のモニタ34とは別のものである。但し、ディスプレイ41は、医療画像処理装置10が接続する内視鏡装置21等のデバイスまたはシステムのモニタまたはディスプレイと共用することができる。
 医療画像表示制御部46は、医療画像取得部11が取得した医療画像50を表示する位置及び大きさ等を制御する。また、医療画像表示制御部46は、医療画像取得部11が複数の医療画像50を取得した場合、医療画像表示制御部46は、これら複数の医療画像50のうち、1または複数の医療画像50を表示画面51に表示することができる。表示画面51に複数の医療画像を表示する場合、医療画像表示制御部46は、これら複数の医療画像50の表示順序(配列)も制御する。また、医療画像表示制御部46は、表示画面51に表示した医療画像50をクリック等した場合に、例えば、当該医療画像50を拡大して表示する場合がある。この場合に、拡大表示する医療画像50を表示するウィンドウ(表示領域)の生成及び拡大率の制御等は医療画像表示制御部46が制御する。
 解析結果表示制御部47は、表示画面51に表示する医療画像50について医療画像解析結果取得部12が取得した解析結果がある場合に、医療画像50の表示位置等に合わせて、表示画面51に表示する医療画像50に係る解析結果の表示位置等を制御する。また、表示画面51に表示する1つの医療画像50に係る複数の解析結果がある場合、解析結果表示制御部47は、1つの医療画像50について、1または複数の解析結果を選択し、または、全ての解析結果を表示画面51に表示することができる。複数の解析結果のうち一部を表示画面51に表示する場合、解析結果表示制御部47は、解析結果の表示設定にしたがって、表示画面51に表示する1または複数の解析結果を選択する。本実施形態においては、医療画像解析結果取得部12が取得した解析結果のうち、病変の有無または病変の種類に関する情報を表示する。本実施形態において表示する「病変の有無または病変の種類に関する情報」は、「腫瘍」、「非腫瘍」、「正常」、または、「不明」である。
 操作用表示制御部48は、ボタン、スイッチ、チェックボックス、または、スクロールバー等の操作用の表示を表示画面51に設ける。また、操作用表示制御部48は、マウス等のポインティングデバイスの操作に係るポインタまたはカーソル等を制御する。
 本実施形態においては、操作用表示制御部48は、解析結果を表示する解析結果表示欄52をプルダウンメニュー表示ボタン53を設ける。プルダウンメニュー表示ボタン53は、解析結果表示欄52に表示した解析結果である「病変の有無または病変の種類に関する情報」が医学的に見て正しいとは言えない(少なくとも正しい情報として承認できない)場合に操作する。これにより、解析結果表示欄52に表示した解析結果を、プルダウンメニュー54(図6参照)を用いて、医学的に見て正しい(少なくとも誤りでない)情報へと任意に修正可能である。このプルダウンメニュー54を用いた修正操作は、解析結果が含む病変の有無または病変の種類に関する情報を修正する修正情報の入力である。
 また、本実施形態においては、操作用表示制御部48は、表示画面51に承認ボタン55(図5等参照)を設ける。承認ボタン55は、解析結果表示欄52に表示した解析結果に、能動的かつ明示的に承認を与える。したがって、承認ボタン55は、解析結果表示欄52に表示した解析結果が(またはプルダウンメニュー54を用いて入力した内容が)正しいものとして、能動的かつ明示的に承認する場合に操作する。この他、本実施形態においては、操作用表示制御部48は、ポインティンデバイス(図示しない)の操作に係るポインタ56を表示画面51に表示する。
 上記のように表示画面51には医療画像50と医療画像50の解析結果を表示するほか、表示制御部42は、氏名等の患者にかかる情報、医療画像50を識別するID(IDentification)ナンバー、観察部位の名称、または、撮影日時等、医療画像50に係るその他の情報を、表示設定にしたがって、適宜、表示画面51に表示することができる。
 入力受信部14は、操作用表示制御部48が表示画面51に表示する操作用の各種表示を用いる操作入力をするマウス、キーボード、その他操作デバイスからの入力を受け付ける。入力受信部14が入力を受け付ける操作には、解析結果表示欄52におけるプルダウンメニュー表示ボタン53、プルダウンメニュー54、及び、承認ボタン55の操作を含む。プルダウンメニュー表示ボタン53、プルダウンメニュー54、及び、承認ボタン55の操作は、解析結果が含む情報のうち、解析結果表示欄52に表示した「病変の有無または病変の種類に関する情報」が正しいか否かの入力をする操作である。したがって、本実施形態においては、入力受信部14は、少なくとも、解析結果が含む病変の有無または病変の種類に関する情報が正しいか否かの入力を受け付ける。また、プルダウンメニュー54を用いた修正操作の受信は、解析結果が含む病変の有無または病変の種類に関する情報を修正する修正情報の入力の受信である。すなわち、本実施形態においては、入力受信部14は、少なくとも、解析結果が含む病変の有無または病変の種類に関する情報を修正する修正情報の入力を受け付ける。
 保存部16は、承認ボタン55が操作された場合に、表示画面51に表示した医療画像50と、解析結果表示欄52に表示した解析結果(プルダウンメニュー54を用いて内容を修正した場合を含む)と、を関連付けて保存する。本実施形態においては、保存部16は、入力受信部14が正しいか否かの入力を受け付けた病変の有無または病変の種類に関する情報と、入力受信部が正しいか否かの入力を受け付けた病変の有無または病変の種類に関する情報」に係る医療画像50と、を関連付けて保存する。また、本実施形態においては、保存部16は、例えば、メモリ、ハードディスク、その他ストレージを含む。このため、保存部16は、保存部16自身に、医療画像50と解析結果の承認した組み合わせを互いに関連付けて保存する。但し、保存部16は、PACS22等の管理システムもしくはその他情報システム、内視鏡装置21等が有するストレージ(図示しない)、または、NAS(Network Attached Storage)その他の外部ストレージに、医療画像50と解析結果の承認した組み合わせを互いに関連付けて保存することができる。
 統括制御部17は、医療画像処理装置10の各部の動作を統括的に制御する。例えば、表示画面51に表示したプルダウンメニュー表示ボタン53、プルダウンメニュー54、または、承認ボタン55等の各種操作に対応する医療画像処理装置10の動作は、統括制御部17が実現する。
 以下、上記のように構成した医療画像処理装置10の動作の流れを説明する。図4に示すように、医療画像取得部11は、自動的にまたは手動選択により、内視鏡装置21等から1または複数の医療画像50を取得する(ステップS11)。また、医療画像解析結果取得部12は、自動的にまたは手動選択により、内視鏡装置21等から1または複数の医療画像50に係る解析結果を取得する(ステップS12)。
 医療画像50及び解析結果を取得すると、図5に示すように、表示部13は、医療画像50を表示画面51に表示し、かつ、表示画面51に表示した医療画像50に係る解析結果(図5においては「腫瘍」)を解析結果表示欄52に表示する(ステップS13)。このとき、操作用表示制御部48は、解析結果表示欄52にプルダウンメニュー表示ボタン53を表示し、解析結果表示欄52に表示した解析結果の修正を可能とする。また、操作用表示制御部48は、表示画面51に承認ボタン55を表示し、解析結果表示欄52に表示した解析結果もしくはプルダウンメニュー54を用いて修正した解析結果の承認を可能とする。これら承認ボタン55等の操作は、例えば、ポインタ56を用いて行うことができる。
 表示画面51に医療画像50及び解析結果を表示すると、入力受信部14は入力の受信を待機する(ステップS14)。このとき、医師は、表示画面51に表示した医療画像50及び解析結果表示欄52に表示した解析結果(「腫瘍」)等を参照して、被検体の鑑別または診断等をする。
 解析結果表示欄52に表示した解析結果が正しく、そのまま承認し得る場合、医師は、例えばポインティングデバイスを操作し、その結果、ポインタ56で承認ボタン55をクリックする。承認ボタン55をクリックすると、入力受信部14は承認ボタン55のクリックを受付ける。これにより、医師は、解析結果表示欄52に表示した解析結果に能動的かつ明示的に承認を与える(ステップS15:YES)。
 そして、入力受信部14が承認ボタン55のクリックを受け付けると、保存部16は、表示画面51に表示した医療画像50と解析結果表示欄52に表示した解析結果とを関連付けて保存する(ステップS16)。保存部16が医療画像50と解析結果とを関連付けて保存すると、表示部13は次に表示すべき医療画像50及び解析結果等を表示画面51に表示する。これにより、医療画像処理装置10は、1以上の医療画像50等を順次に表示画面51に表示する。
 一方、解析結果表示欄52に表示した解析結果が正しくなく、解析結果表示欄52に表示した解析結果を承認しない場合(ステップS15:NO)、図6に示すように、医師は、ポインタ56でプルダウンメニュー表示ボタン53をクリックする。すると、操作用表示制御部48は、解析結果表示欄52にプルダウンメニュー54を表示する。本実施形態においては、解析結果表示欄52に表示する解析結果は、病変の有無または病変の種類に関する情報」であって、具体的には「腫瘍」、「非腫瘍」、「正常」、または、「不明」である。このため、操作用表示制御部48は、プルダウンメニュー54に「腫瘍」、「非腫瘍」、「正常」、及び、「不明」の項目をリスト表示する。また、操作用表示制御部48は、ポインタ56が重畳する項目(図6においては「非腫瘍」の項目)に選択マーク57を付す。
 入力受信部14が、プルダウンメニュー54の項目をクリックを受け付けると、解析結果表示制御部47は、解析結果表示欄52に表示する項目を、プルダウンメニュー54においてクリックにより選択した項目に修正する。その後、承認ボタン55をクリックし、その結果、修正した解析結果に能動的かつ明示的に承認を与える(ステップS15:YES)。こうして修正した解析結果を承認すると、保存部16は、表示画面51に表示した医療画像50と解析結果表示欄52に表示した解析結果とを関連付けて保存する(ステップS16)。
 上記のように、医療画像処理装置10は、医療画像50の解析結果について医師から能動的かつ明示的な承認を得ることができる。特に、本実施形態においては、医療画像50に係る解析結果のうち、少なくとも病変の有無または病変の種類に関する情報について、能動的かつ明示の承認を得ることができる。病変の有無または病変の種類に関する情報は、医師の承認があってはじめて医学的な正当性を有することになるので、特に承認を得る必要性が高い。
 また、医療画像処理装置10は、医師が医療画像50の解析結果を正しくない場合等において解析結果をそのまま承認しない場合に、承認操作の一態様として、医療画像50の解析結果を修正する修正情報を入力する機会を与える。このため、医師は、医療画像50の解析結果を必ずしも受け入れる必要はなく、自己の医学的見地に基づいた判断にしたがって任意かつ容易に解析結果を修正(修正すべきことをログとして残すことを含む)することができる。
 なお、上記第1実施形態においては、解析結果表示欄52にプルダウンメニュー表示ボタン53を表示し、プルダウンメニュー表示ボタン53及びプルダウンメニュー54を用いて解析結果の修正情報を入力しているが、別の形態で修正情報の入力を受け付けることができる。例えば、図7に示すように、解析結果表示欄52自体を、修正情報を表す項目(修正項目)を表示するための修正項目表示ボタンにする。すなわち、解析結果表示欄52を修正項目表示ボタンにする。そして、図8に示すように、ポインタ56で解析結果表示欄52をクリックした場合に、例えば解析結果表示欄52の周囲に、「腫瘍」「非腫瘍」「正常」「不明」の各修正項目59a~59dを表示し、これらのうちのいずれかをポインタ56でクリック等して選択する。これにより、解析結果の修正項目を入力することができる。この他、例えば解析結果表示欄52を入力可能領域とすれば、修正項目の選択ではなく、キーボード等の文字入力デバイスを用いて任意の文言で修正情報を入力することができる。以下において、プルダウンメニュー表示ボタン53及びプルダウンメニュー54等を用いてを用いて修正情報を入力する場合についても同様である。
 上記第1実施形態においては、表示画面51に承認ボタン55を表示しているが、承認ボタン55の操作の代わりに、ポインタ56の動作奇跡を用いて入力を行うジェスチャ入力によって承認操作をできるようにしても良い。また、ポインティングデバイスに限らず、その他のデバイス(医療画像処理装置10に設けた物理的なボタンまたはスイッチ等)を用いて承認操作をできるようにしても良い。
 [第2実施形態]
 上記第1実施形態においては、一例として表示画面51に1つの医療画像50を表示しているが、表示画面51には複数の医療画像50を並べて表示することができる。本第2実施形態においては、表示画面51に複数の医療画像50を表示する例を挙げるが、医療画像処理装置10の構成は第1実施形態と同様である。
 図9に示すように、表示画面51に複数の医療画像50を表示する場合、例えば、各々の医療画像50についてそれぞれ承認ボタン55を設けることができる。また、解析結果については、医療画像50ごとにそれぞれ異なるから、医療画像50ごとに解析結果表示欄52及びプルダウンメニュー表示ボタン53を設けて解析結果を表示する。この場合、各々の医療画像50についてそれぞれ、解析結果を能動的かつ明示的な承認を得ることができる。
 図10に示すように、表示画面51に複数の医療画像50を表示し、かつ、各々の医療画像50についてそれぞれ承認ボタン55を設ける場合、各々の承認ボタン55は、承認操作をしたか否かを示すことが好ましい。図10においては、承認操作が済んでいない医療画像50についての承認ボタン55には「未承認」を表示し、承認操作が済んでいる医療画像50についての承認ボタン55には「承認済」の表示をしている。こうすれば、表示画面51に複数の医療画像50及び承認ボタン55を表示した場合でも、各々の医療画像50について承認操作を終えたか否かが明白であり、承認操作を忘れてしまうことがない。
 上記図9及び図10においては、各々の医療画像50についてそれぞれ承認ボタン55を表示しているが、各々の医療画像50についてそれぞれ承認ボタン55を表示する代わりに、図11に示すように、全ての医療画像50及び解析結果の組み合わせに同時に承認を与える代表の承認ボタン55を表示することができる。この場合、複数の医療画像50及び解析結果についてそれぞれ承認操作をする必要がないので、より簡便に承認操作をすることができる。
 上記図9~図10においては、表示すべき複数の医療画像50が表示画面51に全て収まっているが、医療画像50及び表示画面51のサイズによっては表示画面51に全ての医療画像50が収まらない場合がある。この場合、図12及び図13に示すように、操作用表示制御部48は、表示画面51の表示内容をスクロールするスクロールバー61を表示する。これにより、表示画面51に一度に収まらない医療画像50を表示可能とすることができる。スクロールバー61を用いて複数の医療画像50を表示可能とする場合であって、かつ、全ての医療画像50及び解析結果の組み合わせに同時に承認を与える代表の承認ボタン55を用いて承認操作を行う場合、代表の承認ボタン55は、スクロール後(図13参照)における表示画面51(特にスクロール後の表示画面51の下端)に表示することが好ましい。このように、スクロール後の表示画面51に代表の承認ボタン55を設けると、表示画面51に表示すべき医療画像50であって未だ表示画面51に表示していない医療画像50を確認しないまま、承認操作をしてしまうことを防ぐことができる。
 また、図12及び図13に示す表示位置以外の表示位置に代表の承認ボタン55を表示する場合においては、操作用表示制御部48は、表示すべき全ての医療画像50を少なくとも1度表示した後に、この代表の承認ボタン55を有効化することが好ましい。例えば、図14及び図15に示すように、スクロールバー61の位置(操作状態)に依存せず、表示画面51に常時表示する常時表示欄62を設け、この常時表示欄62に代表の承認ボタン55を表示する。この場合、操作用表示制御部48は、スクロール前(図14参照)の表示画面51においては、承認操作を無効化する。承認操作を無効化とは、入力受信部14が承認ボタン55のクリック等による承認操作を受け付けない状態にするこという。承認操作の無効化には、入力受信部14が承認ボタン55のクリック操作の入力を受け付け得る状態であっても、操作用表示制御部48が承認ボタン55を表示せず(表示を消し)、承認操作をし得ない状態にすることを含む。
 そして、操作用表示制御部48は、少なくとも1度、スクロール後(図15参照)の表示画面51を表示し、その結果、表示すべき全ての医療画像50を少なくとも1度表示したことが確定した場合に、承認操作を有効化する。承認操作の有効化とは、入力受信部14が承認ボタン55のクリック等による承認操作を受け付け得る状態であって、その他、承認操作に必要な表示等を欠いておらず、承認操作を実行し得る状態にすることをいう。
 上記のように、承認操作を無効化または有効化すれば、表示画面51に表示すべき医療画像50であって未だ表示画面51に表示していない医療画像50を確認しないまま、承認操作をしてしまうことを防ぐことができる。常時表示欄62を設ける代わりに、代表の承認ボタン55をポップアップ表示等する場合も同様である。
 なお、スクロールバー61を表示する図12~図15においては、全ての医療画像50及び解析結果の組み合わせに同時に承認を与える代表の承認ボタン55を設けているが、スクロールバー61を表示する場合であっても、複数の医療画像50の各々に個別の承認ボタン55を設けることができる。
 [第3実施形態]
 上記第2実施形態においては、表示画面51に表示する複数の医療画像50及び解析結果の表示の全てについて、承認操作を実行可能であるが、承認操作を実行可能な医療画像50及び解析結果の組み合わせを任意に選択できるようにすることが好ましい。この場合、操作用表示制御部48は、1以上の医療画像50、または、医療画像50に係る1以上の解析結果を選択する選択部63(図16参照)を表示画面51に設ける。そして、入力受信部14は、選択部63が選択した医療画像50に係る解析結果(本実施形態においては「病変の有無もしくは病変の種類に関する情報」)、または、選択部63が選択した解析結果(本実施形態においては選択した解析結果のうち少なくとも「病変の有無もしくは病変の種類に関する情報」)に対して正しいか否かの入力を受け付ける。また、入力受信部14は、選択部63が選択した医療画像50に係る解析結果、または、選択部63が選択した解析結果に対して、修正情報の入力を受け付ける。
 例えば、図16に示すように、表示画面51に表示する医療画像50ごとに、選択部63としてチェックボックスを設ける。そして、選択部63であるチェックボックスにチェック(図16においては「レ」印)した医療画像50及び解析結果についてのみ、プルダウンメニュー表示ボタン53及び承認ボタン55を有効化し、修正情報の入力及び承認操作を受け付ける。こうすれば、表示画面51に複数の医療画像50を表示する場合においても、医療画像50ごとに承認操作または修正情報の入力をすることができる。
 図16においては、医療画像50ごとに選択部63を設けているが、解析結果ごとに選択部63を設けることができる。この場合、解析結果ごとに、修正情報の入力をすることができる。特に、1つの医療画像50に対して複数の解析結果があり、かつ、1つの医療画像50に対して複数の解析結果を表示画面51に表示する場合、表示する複数の解析結果のそれぞれに選択部63を設ければ、表示する複数の解析結果のうち任意の解析結果について選択的に修正情報を入力することができる。
 なお、選択部63は、医療画像50ごと、かつ、解析情報ごとに設けることができる。また、図16においては、医療画像50ごとに承認ボタン55を設けているが、第2実施形態において示した通り、医療画像50ごとに承認ボタン55を設ける代わりに、代表の承認ボタン55を設けることができる。そうすることにより、選択部63で選択した医療画像50に対して、同時に承認操作をすることができる。
 [第4実施形態]
 上記第1実施形態、第2実施形態、及び、第3実施形態においては、表示画面51に表示すべき医療画像50を表示画面51に表示しているが、承認操作をする表示画面51においては、医療画像50の縮小画像(いわゆるサムネイル画像)71を表示しても良い。この場合、例えば、図17~図19に示すように、表示画面51における一覧性が向上する。このため、解析結果表示欄52に示す解析結果の他に、さらに、解析結果を得る際に使用した指標のスコア72a及びスコア72b等を表示画面51において表示することができる。スコア72a及びスコア72bは、例えば医療画像解析処理部37が出力した解析結果の確からしさ、または、病変らしさ等を表す指標である。また、入力受信部14が縮小画像71のクリックによる操作入力を受けた場合、操作用表示制御部48は、例えば、ポップアップウィンドウ79に、クリック操作をした縮小画像71の元の画像である医療画像50を表示する(図19参照)。このため、承認操作をする表示画面51において、縮小画像71を用いて医療画像50を表示した場合でも、医師は、任意かつ容易に、医療画像50を用いて鑑別または診断をすることができる。
 チェックボックス73は、医療画像50及び解析結果の確認をしたことを示すためのチェックボックスである。そして、入力受信部14または操作用表示制御部48は、全てのチェックボックス73がチェック状態(図17~図19において「レ」印)である場合に、スクロール後(図18参照)の表示画面51における診断完了ボタン74を有効化する。診断完了ボタン74は、診断を完了し、表示画面51を別の画面に遷移するボタンであるが、実質的に承認操作に用いる。すなわち、診断完了ボタン74は、第2実施形態または第3実施形態における代表の承認ボタン55に相当する。
 反映ボタン76は、承認操作に用いるボタンである。具体的には、操作用表示制御部48は、表示画面51に表示すべき縮小画像71のうち少なくとも1つについて、解析結果表示欄52の表示した解析結果を修正した場合、ポップアップウィンドウ79において医療画像50を表示した場合、または、チェックボックス73の状態を変更した場合に、反映ボタン76を有効化する。反映ボタン76をクリックした場合の医療画像処理装置10の動作は、第1実施形態、第2実施形態、または、第3実施形態と同様である。
 また、星印77は、レポートの作成に有用な医療画像50の縮小画像71に対して付される識別フラグである。デフォルトの状態では例えば白抜きであり、レポートの作成に入用が医療画像50の縮小画像71については黒塗りで示す。レポートの作成に有用な医療画像50の縮小画像71であるか否かは、医療画像処理装置10が自動的に、または、医師の判断により手動で行うことができる。医療画像処理装置10が自動的に判断する場合、例えば統括制御部17に有用性判定部(図示しない)を設ける。そして、有用性判定部は、例えば、指標値(スコア72b等)等の解析結果を用いて、医療画像50がレポートの作成に有用であるか否かを判定する。解析結果に、レポートを作成する際に有用であるか否かの判定結果が含まれる場合には、医療画像処理装置10は、判定結果のうち、この有用性の判定結果を用いて、星印77の表示形態を定める。医師の判断により手動で星印77の表示形態を修正する場合、例えば、星印77をポインタ56でクリックする。
 戻るボタン78は、メニュー画面等の前画面に戻るためのボタンである。戻るボタン78をクリックした際に表示する画面は、例えば、図20に示すように、表示画面51に、検査対象リスト81、フォルダ追加ボタン82、及び、診断処理開始ボタン83等を有する。検査対象リスト81は、フォルダ欄81a、診断支援欄81b、状態表示欄81c、及び、その他表示欄81dを含む。状態表示欄81cは、フォルダごとの診断処理等に関するステータスを表示する欄であり、例えば、「修正中」、「修正中(生検あり)」、または「完了」等を表示する。状態表示欄81cの「修正中」、「修正中(生検あり)」、「完了」、または空欄の状態を用いて、検査対象リスト81をソートすることができる。診断処理開始ボタン83をクリックすると、表示画面51は図17の状態に遷移する。また、フォルダ追加ボタン82をクリックすることにより、検査対象リスト81に任意のフォルダを追加することができる。
 上記第1実施形態、第2実施形態、第3実施形態、及び、第4実施形態においては、図21に示すように、保存部16は、医療画像50と解析結果91の組み合わせに対して、承認操作があった場合、医療画像50と解析結果91を関連付け、医療画像50と解析結果91の組101を保存する。また、解析結果91に修正が必要な場合、図22に示すように、保存部16は、医療画像50と、医療画像50に係る解析結果91の一部または全部を修正した修正解析結果92と、を関連付け、医療画像50と修正解析結果92の組102を保存する。
 しかし、保存部16による医療画像50と解析結果91または修正解析結果92の保存形態はこれに限らない。例えば、図23に示すように、医療画像50に係る解析結果91を修正した場合、保存部16は、医療画像50と、修正前の解析結果91と、解析結果91の一部または全部を修正情報の内容に置き換えた修正解析結果92と、を関連付け、これらを組103にして保存することができる。さらに、上記第1実施形態、第2実施形態、第3実施形態、第4実施形態、または、図21~図22に示す各例において、保存部16は、承認したことを表すフラグ(識別用のデータ)を、医療画像50、修正前の解析結果91、または修正解析結果92のうちいずれか1または複数に関連付けて保存してもよい。また、この際に、承認操作を行ったユーザの名前またはIDなどの識別情報を関連付けて保存しても良い。
 上記第1実施形態、第2実施形態、第3実施形態、及び、第4実施形態においては、医療画像取得部11が取得した医療画像50は基本的に全て表示画面51に表示するが、表示部13は、医療画像取得部11が取得した複数の医療画像50のうち一部を選択して表示画面51に表示することができる。この場合、例えば、図24に示すように、医療画像取得部11は、自動的にまたは手動選択により、内視鏡装置21等から複数の医療画像50を取得する(ステップS501)。また、医療画像解析結果取得部12は、自動的にまたは手動選択により、内視鏡装置21等から複数の医療画像50に係る解析結果を取得する(ステップS502)。
 その後、医療画像表示制御部46は、医療画像取得部11が取得した複数の医療画像50をグループ化する(ステップS503)。医療画像表示制御部46は、例えば、複数の医療画像50に係るそれぞれの解析結果、医療画像表示制御部46が独自に算出する特徴量もしくは類似度等のスコア、または、撮影時刻もしくは撮影部位等のその他の情報を用いて、複数の医療画像50をクループ化する。その結果、例えば、複数の医療画像50は、例えば、「腫瘍」のグループ、「非腫瘍」のグループ、「正常」のグループ、または、「不明」のグループのいずれかにグループに属する。また、医療画像表示制御部46は、グループ毎に代表画像を選出する(S504)。各グループの代表画像は、例えば、医療画像50の明るさ、または、腫瘍グループであれば腫瘍の種類または色等を用いて、予め設定したルールにしたがって選出する。
 上記のように、医療画像表示制御部46が各グループの代表画像を選出すると、表示部13は、各グループの代表画像(または代表画像の縮小画像)を表示画面51に表示する。このように、医療画像取得部11が複数の医療画像50を取得する場合に、医療画像取得部11が取得した複数の医療画像50をグループ化し、各グループの代表画像を表示画面51に表示すれば、各グループの代表画像等、少数の特徴的な医療画像50を観察して、鑑別または診断をほぼ完了することができる。したがって、医師は簡便に鑑別または診断を行うことができる。
 なお、各グループの代表画像等の表示態様、及び、各グループの代表画像を表示画面51に表示した後の承認操作等の動作態様(ステップS506~S508)は、第1実施形態等と同様である。
 上記第1実施形態、第2実施形態、第3実施形態、第4実施形態、及び、その他変形例においては、医療画像解析処理部37は内視鏡装置21のプロセッサ装置33に設けているが、図25に示すように、医療画像解析処理部37は、医療画像処理装置10に設けることができる。この場合、医療画像解析結果取得部12は、医療画像処理装置10が有する医療画像解析処理部37から解析結果を取得することができる。
 また、内視鏡装置21は、医療画像処理装置10を含むことができる。この場合、図26に示すように、医療画像処理装置10を構成する各部601は、プロセッサ装置33に設ける。但し、表示部13のディスプレイ41は、内視鏡装置21のモニタ34と共用することができるので、プロセッサ装置33には、表示部13の代わりに、表示部13の一部である表示制御部42を設ければ足りる。また、上記第1実施形態、第2実施形態、第3実施形態、第4実施形態、及び、その他変形例の医療画像処理装置10と、図2の内視鏡装置21と、の全体で新たな内視鏡装置を構成することができる。
 また、図27に示すように、内視鏡装置21その他モダリティと組み合わせて使用する診断支援装置610は、上記第1実施形態、第2実施形態、第3実施形態、第4実施形態、及び、その他変形例の医療画像処理装置10を含むことができる。また、図28に示すように、例えば内視鏡装置21を含む、第1検査装置621、第2検査装置622、…、第N検査装置633等の各種検査装置と任意のネットワーク626を介して接続する医療業務支援装置630は、上記第1実施形態、第2実施形態、第3実施形態、第4実施形態、及び、その他変形例の医療画像処理装置10を含むことができる。
 また、図29に示すように、医師のレポート作成を支援するレポート作成支援装置670は、解析結果を用いてレポートを作成するレポート作成部671と、上記第1実施形態、第2実施形態、第3実施形態、第4実施形態、及び、その他変形例の医療画像処理装置10と、を備えるように構成することができる。図30に示すように、レポート作成部671が作成を支援するレポート680は、例えば、医療画像50の表示欄と、患者または検査等の情報を入力する基本入力欄681と、医師の所見を入力する所見入力欄682と、を有する。レポート作成部671または医療画像処理装置10は、医療画像処理装置10において医師が承認した医療画像50を自動的にレポート680に挿入することができる。また、レポート作成部671または医療画像処理装置10は、医療画像処理装置10において医師が承認した解析結果(修正解析結果92または解析結果91と修正解析結果92の組み合わせを含む)を、基本入力欄681もしくは所見入力欄682、またはこれらの両方の欄に自動的に挿入することができる。このように、医療画像処理装置10において医師が承認した医療画像50もしくは解析結果の情報等を自動挿入する場合、簡便にレポートを作成することができる。
 この他、医療画像処理装置10、及び、医療画像処理装置10を含む各種装置、及び、医療画像処理装置10の機能を内包する各種装置またはシステムは、以下の種々の変更等をして使用することができる。
 医療画像解析処理部37は、医療画像50の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、注目領域について少なくとも病変の有無または病変の種類に関する情報を得ることができる。内視鏡装置21等がこの医療画像解析処理部37を備える場合、医療画像解析結果取得部12は、この医療画像解析処理部37から解析結果を取得することができる。
 医療画像解析結果取得部12は、医療画像50に係る解析結果を記録する記録装置から解析結果から取得することができる。PACS22等の管理システムもしくはその他情報システム、内視鏡装置21等が有するストレージ(図示しない)、または、NAS(Network Attached Storage)その他の外部ストレージは、この記録装置の一例である。
 医療画像50としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
 医療画像50としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
 特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
 特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
 特定の波長帯域は、例えば、可視域の赤色帯域である。
 特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
 特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
 特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
 医療画像50が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
 また、蛍光は、ピーク波長が390nm以上470nm以下である励起光を生体内に照射して得る蛍光を利用できる。
 医療画像50が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
 医療画像50が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
 医療画像取得部11は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像50は特殊光画像を利用できる。
 特定の波長帯域の信号は、通常光画像に含むRGBまたはCMYの色情報に基づく演算により得ることができる。
 白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像50は特徴量画像を利用できる。
 内視鏡装置21については、内視鏡31はカプセル内視鏡を使用することができる。この場合、光源装置32と、プロセッサ装置33の一部と、はカプセル内視鏡に搭載することができる。
 上記実施形態において、医療画像取得部11、医療画像解析結果取得部12、入力受信部14、保存部16、統括制御部17、画像生成部36、医療画像解析処理部37、表示制御部42、医療画像表示制御部46、解析結果表示制御部47、操作用表示制御部48、及び、レポート作成部671といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
 10 医療画像処理装置
 11 医療画像取得部
 12 医療画像解析結果取得部
 13 表示部
 14 入力受信部
 16 保存部
 17 統括制御部
 21 内視鏡装置
 22 PACS
 31 内視鏡
 32 光源装置
 33 プロセッサ装置
 34 モニタ
 36 画像生成部
 37 医療画像解析処理部
 41 ディスプレイ
 42 表示制御部
 46 医療画像表示制御部
 47 解析結果表示制御部
 48 操作用表示制御部
 50 医療画像
 51 表示画面
 52 解析結果表示欄
 53 プルダウンメニュー表示ボタン
 54 プルダウンメニュー
 55 承認ボタン
 56 ポインタ
 57 選択マーク
 61 スクロールバー
 62 常時表示欄
 63 選択部
 71 縮小画像
 72a、72b スコア
 73 チェックボックス
 74 診断完了ボタン
 76 反映ボタン
 77 星印
 78 戻るボタン
 79 ポップアップウィンドウ
 81 検査対象リスト
 81a フォルダ欄
 81b 診断支援欄
 81c 状態表示欄
 81d その他表示欄
 82 フォルダ追加ボタン
 83 診断処理開始ボタン
 91 解析結果
 101 医療画像と解析結果の組
 102 医療画像と修正解析結果の組
 103 医療画像と解析結果と修正解析結果の組
 601 医療画像処理装置を構成する各部
 610 診断支援装置
 621 第1検査装置
 622 第2検査装置
 623 第N検査装置
 626 ネットワーク
 630 医療業務支援装置
 670 レポート作成支援装置
 671 レポート作成部
 680 レポート
 681 基本入力欄
 682 所見入力欄

Claims (29)

  1.  被検体像を含む医療画像を取得する医療画像取得部と、
     前記医療画像を解析した結果を取得する医療画像解析結果取得部と、
     少なくとも1つの前記医療画像と、前記医療画像解析結果取得部が取得した解析結果のうち少なくとも病変の有無または病変の種類に関する情報と、を表示する表示部と、
     前記解析結果が含む前記病変の有無または病変の種類に関する情報が正しいか否かの入力を受け付ける入力受信部と、
     を備える医療画像処理装置。
  2.  1以上の前記医療画像、または、前記医療画像に係る1以上の前記解析結果を選択する選択部を有し、
     前記入力受信部は、前記選択部が選択した前記医療画像に係る前記病変の有無もしくは病変の種類に関する情報、または、前記選択部が選択した前記解析結果に係る前記病変の有無もしくは病変の種類に関する情報に対して正しいか否かの入力を受け付ける請求項1に記載の医療画像処理装置。
  3.  前記入力受信部が正しいか否かの入力を受け付けた前記病変の有無または病変の種類に関する情報と、前記入力受信部が正しいか否かの入力を受け付けた前記病変の有無または病変の種類に関する情報に係る前記医療画像と、を関連付けて保存する保存部を備える請求項1または2に記載の医療画像処理装置。
  4.  被検体像を含む医療画像を取得する医療画像取得部と、
     前記医療画像を解析した結果を取得する医療画像解析結果取得部と、
     少なくとも1つの前記医療画像と、前記医療画像解析結果取得部が取得した解析結果のうち少なくとも病変の有無または病変の種類に関する情報と、を表示する表示部と、
     前記解析結果が含む前記病変の有無または病変の種類に関する情報を修正する修正情報の入力を受信する入力受信部と、
     を備える医療画像処理装置。
  5.  1以上の前記医療画像、または、前記医療画像に係る1以上の前記解析結果を選択する選択部を有し、
     前記入力受信部は、前記選択部が選択した前記医療画像に係る前記病変の有無もしくは病変の種類に関する情報、または、前記選択部が選択した前記解析結果に係る前記病変の有無もしくは病変の種類に関する情報に対して、前記修正情報の入力を受け付ける請求項4に記載の医療画像処理装置。
  6.  前記入力受信部が前記修正情報の入力を受け付けた場合に、前記解析結果と前記修正情報の両方を、前記解析結果及び前記修正情報に係る前記医療画像に関連付けて保存する保存部を備える請求項4または5に記載の医療画像処理装置。
  7.  前記入力受信部が前記修正情報の入力を受け付けた場合に、一部または全部を前記修正情報の内容に置き換えた前記解析結果と、一部または全部を前記修正情報の内容に置き換えた前記解析結果に係る前記医療画像と、を関連付けて保存する保存部を備える請求項4または5に記載の医療画像処理装置。
  8.  前記表示部は、1以上の前記医療画像を順次に表示し、または、複数の前記医療画像を並べて表示し、
     前記入力受信部による入力の受け付けは、前記表示部が、表示すべき全ての前記医療画像を少なくとも1度表示した後に有効化する請求項1~7のいずれか1項に記載の医療画像処理装置。
  9.  前記医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、前記注目領域について少なくとも病変の有無または病変の種類に関する情報を得る医療画像解析処理部を備え、
     前記医療画像解析結果取得部は、前記医療画像解析処理部から前記解析結果を取得する請求項1~8のいずれか1項に記載の医療画像処理装置。
  10.  前記医療画像解析結果取得部は、前記医療画像に係る前記解析結果を記録する記録装置から前記解析結果を取得する請求項1~9のいずれか1項に記載の医療画像処理装置。
  11.  前記医療画像は、白色帯域の光、または前記白色帯域の光として複数の波長帯域の光を照射して得る通常光画像である請求項1~10のいずれか1項に記載の医療画像処理装置。
  12.  前記医療画像は、特定の波長帯域の光を照射して得た画像であり、
     前記特定の波長帯域は、白色の波長帯域よりも狭い帯域である請求項1~10のいずれか1項に記載の医療画像処理装置。
  13.  前記特定の波長帯域は、可視域の青色帯域または緑色帯域である請求項12に記載の医療画像処理装置。
  14.  前記特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、前記特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する請求項13に記載の医療画像処理装置。
  15.  前記特定の波長帯域は、可視域の赤色帯域である請求項12に記載の医療画像処理装置。
  16.  前記特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、前記特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する請求項15に記載の医療画像処理装置。
  17.  前記特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、前記特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する請求項12に記載の医療画像処理装置。
  18.  前記特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、前記特定の波長帯域の光は、前記400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する請求項17に記載の医療画像処理装置。
  19.  前記医療画像は生体内を写した生体内画像であり、
     前記生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する請求項12に記載の医療画像処理装置。
  20.  前記蛍光は、ピーク波長が390nm以上470nm以下である励起光を前記生体内に照射して得る蛍光である請求項19に記載の医療画像処理装置。
  21.  前記医療画像は、生体内を写した生体内画像であり、
     前記特定の波長帯域は、赤外光の波長帯域である請求項12に記載の医療画像処理装置。
  22.  前記特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、前記特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する請求項21に記載の医療画像処理装置。
  23.  前記医療画像取得部は、
     白色帯域の光、または前記白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有し、
     前記医療画像は前記特殊光画像である請求項1~10のいずれか1項に記載の医療画像処理装置。
  24.  前記特定の波長帯域の信号は、前記通常光画像に含むRGBまたはCMYの色情報に基づく演算により得る請求項23に記載の医療画像処理装置。
  25.  白色帯域の光、または前記白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
     前記医療画像は前記特徴量画像である請求項1~10のいずれか1項に記載の医療画像処理装置。
  26.  請求項1~25のいずれか1項に記載の医療画像処理装置と、
     白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
     を備える内視鏡装置。
  27.  請求項1~25のいずれか1項に記載の医療画像処理装置を備える診断支援装置。
  28.  請求項1~25のいずれか1項に記載の医療画像処理装置を備える医療業務支援装置。
  29.  請求項1~25のいずれか1項に記載の医療画像処理装置と、
     前記解析結果を用いてレポートを作成するレポート作成部と、
     を備えるレポート作成支援装置。
PCT/JP2018/020407 2017-07-03 2018-05-28 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置 WO2019008941A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880044612.7A CN110868909B (zh) 2017-07-03 2018-05-28 医疗图像处理装置、内窥镜装置、诊断支持装置、医疗业务支持装置及报告书制作支持装置
EP18828943.3A EP3649917A4 (en) 2017-07-03 2018-05-28 MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC SUPPORT DEVICE, MEDICAL SERVICE SUPPORT DEVICE, AND REPORT GENERATION SUPPORT DEVICE
JP2019528402A JP6834001B2 (ja) 2017-07-03 2018-05-28 医療画像処理装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
US16/724,391 US11450425B2 (en) 2017-07-03 2019-12-23 Medical image processing apparatus, endoscope apparatus, diagnostic support apparatus, medical service support apparatus, and report creation support apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017130691 2017-07-03
JP2017-130691 2017-07-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/724,391 Continuation US11450425B2 (en) 2017-07-03 2019-12-23 Medical image processing apparatus, endoscope apparatus, diagnostic support apparatus, medical service support apparatus, and report creation support apparatus

Publications (1)

Publication Number Publication Date
WO2019008941A1 true WO2019008941A1 (ja) 2019-01-10

Family

ID=64950966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020407 WO2019008941A1 (ja) 2017-07-03 2018-05-28 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置

Country Status (5)

Country Link
US (1) US11450425B2 (ja)
EP (1) EP3649917A4 (ja)
JP (1) JP6834001B2 (ja)
CN (1) CN110868909B (ja)
WO (1) WO2019008941A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021145265A1 (ja) * 2020-01-17 2021-07-22
WO2023058388A1 (ja) * 2021-10-04 2023-04-13 富士フイルム株式会社 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584746A (zh) * 2018-08-23 2021-03-30 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
US20230274422A1 (en) * 2020-09-08 2023-08-31 Given Imaging Ltd. Systems and methods for identifying images of polyps
US20220122010A1 (en) * 2020-10-15 2022-04-21 Adp, Llc Long-short field memory networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148996A (ja) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc レポート作成方法
JP2007125373A (ja) 2005-09-30 2007-05-24 Given Imaging Ltd 生体内のフィーチャーを検出するためのシステム及び方法
JP2008242984A (ja) * 2007-03-28 2008-10-09 Konica Minolta Medical & Graphic Inc 医用情報処理装置及びプログラム
JP2013022341A (ja) * 2011-07-25 2013-02-04 Fujifilm Corp 内視鏡システムおよび内視鏡システムの駆動方法
JP2016062488A (ja) 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60031349T2 (de) * 1999-11-18 2007-05-24 Fuji Photo Film Co., Ltd., Minami-Ashigara Verfahren und Vorrichtung zur Erzeugung von Fluoreszenzbildern
JP2001252241A (ja) * 2000-03-13 2001-09-18 Fuji Photo Film Co Ltd 蛍光撮像装置
JP2004180778A (ja) * 2002-11-29 2004-07-02 Ge Medical Systems Global Technology Co Llc 画像表示方法及び装置
JP4590180B2 (ja) * 2003-11-18 2010-12-01 オリンパス株式会社 医療用画像ファイリングシステム
US7639848B2 (en) * 2004-04-14 2009-12-29 Edda Technology, Inc. Lesion marking and characterization quality assurance method and system
US8014576B2 (en) * 2005-11-23 2011-09-06 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
CA2618379A1 (en) * 2005-12-09 2007-07-19 Valence Broadband, Inc. Methods for redefining patient, staff and visitor profiles used in monitoring quality and performance at a healthcare facility
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
DE102007025401B4 (de) * 2007-05-31 2015-10-01 Siemens Aktiengesellschaft Verfahren zur Auswertung eines Tomographie-Datensatzes und Tomographie-Arbeitsstation
JP5100285B2 (ja) * 2007-09-28 2012-12-19 キヤノン株式会社 医用診断支援装置およびその制御方法、プログラム、記憶媒体
JP2009082442A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体
CN101615224A (zh) * 2008-06-27 2009-12-30 西门子公司 一种计算机辅助识别装置和系统
CN102361585B (zh) * 2009-03-23 2014-06-25 奥林巴斯医疗株式会社 图像处理系统、外部装置以及图像处理系统的图像处理方法
US8799013B2 (en) * 2009-11-24 2014-08-05 Penrad Technologies, Inc. Mammography information system
JP2011194082A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 内視鏡画像補正装置および内視鏡装置
JP4931027B2 (ja) * 2010-03-29 2012-05-16 富士フイルム株式会社 医用画像診断支援装置および方法、並びにプログラム
US10231640B2 (en) * 2011-09-01 2019-03-19 Ka Wing Chan Device for detecting fullness of bladder
TWI483711B (zh) 2012-07-10 2015-05-11 Univ Nat Taiwan Tumor detection system and method of breast ultrasound image
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
KR20140055152A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 병변 진단 보조 장치 및 방법
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
JP6140056B2 (ja) * 2013-09-26 2017-05-31 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
US9396534B2 (en) * 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system
JP6027065B2 (ja) 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
JP6367092B2 (ja) * 2014-11-18 2018-08-01 富士フイルム株式会社 情報収集装置、情報収集装置の作動方法および作動プログラム、並びに情報収集システム
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
US9536054B1 (en) * 2016-01-07 2017-01-03 ClearView Diagnostics Inc. Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations
CN106580368B (zh) * 2016-11-26 2020-06-23 汕头市超声仪器研究所有限公司 一种用于超声波影像设备的辅助扫查方法
JP7054787B2 (ja) * 2016-12-22 2022-04-15 パナソニックIpマネジメント株式会社 制御方法、情報端末、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148996A (ja) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc レポート作成方法
JP2007125373A (ja) 2005-09-30 2007-05-24 Given Imaging Ltd 生体内のフィーチャーを検出するためのシステム及び方法
JP2008242984A (ja) * 2007-03-28 2008-10-09 Konica Minolta Medical & Graphic Inc 医用情報処理装置及びプログラム
JP2013022341A (ja) * 2011-07-25 2013-02-04 Fujifilm Corp 内視鏡システムおよび内視鏡システムの駆動方法
JP2016062488A (ja) 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3649917A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021145265A1 (ja) * 2020-01-17 2021-07-22
JP7289373B2 (ja) 2020-01-17 2023-06-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
EP4091532A4 (en) * 2020-01-17 2023-07-12 FUJIFILM Corporation MEDICAL IMAGING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC SUPPORTING METHOD AND PROGRAM
WO2023058388A1 (ja) * 2021-10-04 2023-04-13 富士フイルム株式会社 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置

Also Published As

Publication number Publication date
US11450425B2 (en) 2022-09-20
CN110868909A (zh) 2020-03-06
JPWO2019008941A1 (ja) 2020-05-07
CN110868909B (zh) 2022-07-12
JP6834001B2 (ja) 2021-02-24
EP3649917A1 (en) 2020-05-13
US20200143936A1 (en) 2020-05-07
EP3649917A4 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
JP6899903B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
JP6834001B2 (ja) 医療画像処理装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
JP6081126B2 (ja) 医用画像処理装置、画像診断装置、コンピュータシステム、医用画像処理プログラム、及び医用画像処理方法
US8306292B2 (en) Image display device and image display program storage medium
US20210153722A1 (en) Medical image processing system
US20190267132A1 (en) Medical image display device, method, and program
US20190279408A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
US11881190B2 (en) Medical image processing apparatus
EP4091532A1 (en) Medical image processing device, endoscope system, diagnosis assistance method, and program
WO2019054265A1 (ja) 医療画像処理装置
CN112584740B (zh) 医疗图像处理装置
US20190189269A1 (en) Medical imaging apparatus and method for displaying medical images
US20210210206A1 (en) Medical image diagnosis support device, method, and program
US20200135327A1 (en) Information processing apparatus, information processing method, and storage medium
US20240136034A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device
US20230095776A1 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium
JP2023032238A (ja) 医用画像表示装置
CN116194027A (zh) 内窥镜系统及其工作方法
KR20220068458A (ko) 학습 데이터 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18828943

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019528402

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018828943

Country of ref document: EP

Effective date: 20200203