WO2025009124A1 - 画像診断支援装置、画像診断支援システム、及び画像診断支援方法 - Google Patents

画像診断支援装置、画像診断支援システム、及び画像診断支援方法 Download PDF

Info

Publication number
WO2025009124A1
WO2025009124A1 PCT/JP2023/025015 JP2023025015W WO2025009124A1 WO 2025009124 A1 WO2025009124 A1 WO 2025009124A1 JP 2023025015 W JP2023025015 W JP 2023025015W WO 2025009124 A1 WO2025009124 A1 WO 2025009124A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
diagnostic
unit
diagnosis support
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/025015
Other languages
English (en)
French (fr)
Inventor
博 鈴木
慎吾 宮澤
朗 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to CN202380099668.3A priority Critical patent/CN121398735A/zh
Priority to JP2025530906A priority patent/JPWO2025009124A1/ja
Priority to PCT/JP2023/025015 priority patent/WO2025009124A1/ja
Publication of WO2025009124A1 publication Critical patent/WO2025009124A1/ja
Priority to US19/416,787 priority patent/US20260100281A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image diagnosis support device, an image diagnosis support system, and an image diagnosis support method.
  • Patent Document 1 image recognition techniques based on AI (Artificial Intelligence) have been proposed in the medical field (see, for example, Patent Document 1).
  • AI Artificial Intelligence
  • Patent Document 1 an estimation process is performed on an image captured by an endoscope using a trained model, thereby estimating a diagnostic candidate region such as a lesion in the captured image.
  • AI-based image recognition technology may not be able to perform sufficiently to accurately estimate candidate diagnostic regions such as lesions. In other words, it may not be possible to provide an image suitable for diagnosis.
  • the present invention has been made in consideration of the above, and aims to provide an image diagnosis support device, an image diagnosis support system, and an image diagnosis support method that can provide images suitable for diagnosis.
  • the image diagnosis support device includes an image selection unit that selects one of a plurality of images that contain the same subject and have been subjected to different processes as a diagnostic image, and an estimation unit that performs estimation processing on the diagnostic image using a trained model to estimate a diagnostic candidate region in the diagnostic image that will become a diagnostic candidate and output the reliability of the diagnostic candidate region, and the image selection unit selects one of the plurality of images as the diagnostic image based on the reliability of the diagnostic candidate region.
  • the image diagnosis support method is an image diagnosis support method executed by an image diagnosis support device, and includes the steps of: selecting one of a plurality of images that contain the same subject and have been subjected to different processes as a diagnostic image; and performing an estimation process on the diagnostic image using a trained model to estimate a diagnostic candidate region in the diagnostic image that will be a diagnostic candidate, and outputting the reliability of the diagnostic candidate region.
  • selecting the diagnostic image one of the plurality of images is selected as the diagnostic image based on the reliability of the diagnostic candidate region.
  • the image diagnosis support device, image diagnosis support system, and image diagnosis support method according to the present invention can provide images suitable for diagnosis.
  • FIG. 1 is a diagram illustrating a configuration of an endoscope system according to an embodiment.
  • FIG. 2 is a diagram illustrating a configuration of an endoscope system according to an embodiment.
  • FIG. 3 is a diagram conceptually showing the function of the control unit.
  • FIG. 4 is a flowchart showing the image diagnosis support method.
  • FIG. 5 is a diagram showing a specific example of a display image.
  • FIG. 6 is a diagram showing a specific example of a display image.
  • FIG. 7 is a diagram showing a specific example of a display image.
  • FIG. 8 is a diagram showing a specific example of a display image.
  • FIG. 9 is a diagram illustrating a first modified example of the embodiment.
  • FIG. 10 is a diagram illustrating a second modification of the embodiment.
  • FIG. 11 is a diagram illustrating a third modified example of the embodiment.
  • FIGS. 1 and 2 are diagrams illustrating a configuration of an endoscope system 1 according to an embodiment.
  • the endoscope system 1 corresponds to an image diagnosis support system according to the present invention.
  • This endoscope system 1 is used in the medical field and is a system for observing the inside (the large intestine in this embodiment) of a subject PA (FIG. 1) who is a patient on a bed BD (FIG. 1).
  • this endoscope system 1 includes an endoscope 2 and a processing device 3.
  • the endoscope 2 corresponds to the imaging device according to the present invention.
  • the endoscope 2 is a so-called flexible endoscope.
  • a portion of the endoscope 2 is inserted into the body of the subject PA, images the inside of the body, and outputs an image signal generated by the imaging.
  • the endoscope 2 comprises an insertion section 21, an operation section 22, a universal cord 23, and a connector section 24. Note that for ease of explanation, the operation section 22, universal cord 23, and connector section 24 are not shown in Figure 2.
  • the insertion section 21 is at least partially flexible and is inserted into the body of the subject PA. As shown in FIG. 2, a light guide 25, an illumination lens 26, and an imaging section 27 are provided within the insertion section 21.
  • the light guide 25 is routed from the insertion section 21 through the operation section 22 and the universal cord 23 to the connector section 24.
  • One end of the light guide 25 is located at the tip portion inside the insertion section 21.
  • the other end of the light guide 25 is located inside the processing device 3.
  • the light guide 25 transmits light supplied from the light source device 4 inside the processing device 3 from the other end to one end.
  • the illumination lens 26 faces one end of the light guide 25 inside the insertion portion 21. The illumination lens 26 irradiates the light transmitted by the light guide 25 onto the inside of the subject PA.
  • the imaging unit 27 is provided at the tip of the insertion unit 21.
  • the imaging unit 27 captures an image of the inside of the subject PA and outputs an image signal generated by the image capture.
  • the imaging unit 27 includes a lens unit 271 and an image sensor 272.
  • the lens unit 271 captures the return light (subject image) of the light irradiated from the illumination lens 26 into the body of the subject PA, and forms the subject image on the light receiving surface of the image sensor 272.
  • the image sensor 272 is composed of a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) that receives the subject image and converts it into an electrical signal, and generates an image signal by capturing the subject image. Note that, hereinafter, the image signal generated by the imaging unit 27 is referred to as a captured image.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the operation unit 22 is connected to the base end portion of the insertion unit 21.
  • the operation unit 22 receives various operations on the endoscope 2.
  • the universal cord 23 extends from the operating section 22 in a direction different from the direction in which the insertion section 21 extends, and is a cord on which a signal line that electrically connects the imaging section 27 and the control device 5 in the processing device 3, a light guide 25, etc. are arranged.
  • the connector portion 24 is provided at the end of the universal cord 23 and is detachably connected to the processing device 3.
  • the processing device 3 includes a light source device 4 and a control device 5.
  • the light source device 4 supplies light to the other end of the light guide 25 under the control of the control device 5.
  • the light source device 4 emits white light as light in the first wavelength band.
  • the light source device 4 may be configured to emit excitation light for exciting a fluorescent agent such as indocyanine green, narrow band light used in NBI (Narrow Band Imaging), etc. as light in a second wavelength band different from the first wavelength band.
  • the control device 5 corresponds to the image diagnosis support device according to the present invention. As shown in FIG. 2, the control device 5 includes a control unit 51, a display unit 52, an input unit 53, a storage unit 54, and a communication unit 55.
  • the control unit 51 includes a controller such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), and controls the operation of the entire endoscope system 1. As shown in FIG. 2, the control unit 51 has the functions of an image selection unit 511, an estimation unit 512, a trimmed image generation unit 513, an image quality improvement processing unit 514, a display control unit 515, and a communication control unit 516.
  • a controller such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array)
  • the control unit 51 has the functions of an image selection unit 511, an estimation unit 512, a trimmed image generation unit 513, an image quality improvement processing unit 514, a display control unit 515, and a communication control unit 516.
  • FIG. 3 is a diagram conceptually showing the function of the control unit 51.
  • input image processing indicated by reference numeral 51B1 to which a captured image (endoscopic image) is input includes an image selection unit 511, a trimmed image generation unit 513, and an image quality improvement processing unit 514.
  • estimation processing indicated by reference numeral 51B2 includes an estimation unit 512.
  • display image generation indicated by reference numeral 51B3 includes a display control unit 515.
  • control unit 51 as the image selection unit 511, the estimation unit 512, the trimmed image generation unit 513, the image quality improvement processing unit 514, the display control unit 515, and the communication control unit 516 will be described in the "Image diagnosis support method" described later.
  • the display unit 52 corresponds to the notification unit according to the present invention.
  • the display unit 52 is an LCD (Liquid Crystal Display) or an EL (Electro Luminescence) display, and displays the display image generated by the control unit 51 under the control of the control unit 51.
  • the input unit 53 corresponds to the operation reception unit according to the present invention.
  • This input unit 53 is configured using a keyboard, a mouse, a switch, a touch panel, etc., and receives user operations by a user such as a surgeon. Then, the input unit 53 outputs an operation signal corresponding to the user operation to the control unit 51.
  • the storage unit 54 stores various programs executed by the control unit 51, as well as information necessary for the processing of the control unit 51.
  • the communication unit 55 is connected to an external device so that communication can be performed.
  • the communication unit 55 transmits predetermined information (data) to the external device under the control of the control unit 51.
  • FIG. 4 is a flowchart showing the image diagnosis support method.
  • the image selection unit 511 acquires an image generated by the imaging unit 27 capturing a return light (subject image) of the white light from inside the subject PA while the light source device 4 is irradiating the inside of the subject PA (step S1).
  • the captured image corresponds to a first captured image according to the present invention.
  • the image selection unit 511 selects the captured image as a diagnostic image and inputs the diagnostic image to the estimation unit 512.
  • the estimation unit 512 After step S1, the estimation unit 512 performs estimation processing on the diagnostic image using the trained model for estimation processing to estimate diagnostic candidate regions that are diagnostic candidates for each specified region in the diagnostic image, and outputs the reliability of the diagnostic candidate regions (step S2).
  • the reliability of a diagnostic candidate region is a value indicating the level of reliability. Specifically, the reliability is a value that indicates the accuracy of image recognition in the diagnostic candidate region, and can also be considered as an index that indicates the probability that the object in the image is predicted to belong to a specific class. From the reliability of the diagnostic candidate region, it is possible to determine whether the object has been accurately recognized in the region.
  • the trained model for estimation processing corresponds to the trained model according to the present invention.
  • This trained model for estimation processing is stored in advance in the storage unit 54.
  • the trained model for estimation processing is a trained model obtained by repeatedly executing a training process on the trained model using multiple sets of training images and teacher data, each set being a training image and teacher data.
  • the training images are images captured inside a living body.
  • the teacher data is data annotated with the classification class, correct position, and size of lesions and the like in the training images.
  • the trained model used in the training process is, for example, a CNN (Convolutional Neural Network).
  • the trained model for estimation processing includes a weight file (learning parameters) having weight values and bias values for each layer of the CNN.
  • the neural network used in the learning process to generate a trained model for estimation processing is not limited to CNN, and other neural networks may be used.
  • neural networks such as DNN (Deep Neural Network), Transformer, and GAN (Generative Adversarial Network) may be used as appropriate.
  • various well-known learning algorithms may be used as machine learning algorithms in neural networks. For example, a supervised learning algorithm using backpropagation may be used.
  • the image selection unit 511 determines whether a predetermined condition has been satisfied a predetermined number of times or for a predetermined period of time based on the reliability of the diagnostic candidate region output from the estimation unit 512 in step S2 (step S3).
  • the predetermined condition is that a part of the diagnostic image contains a "region that may be an abnormal part."
  • a region that may be an abnormal region refers to a region whose reliability is less than a first threshold and is equal to or greater than a second threshold lower than the first threshold.
  • a "region that is a normal region” described below refers to a region whose reliability is less than the second threshold.
  • a “region that is an abnormal region” described below refers to a region whose reliability is equal to or greater than the first threshold.
  • Normal estimation processing estimates whether an area is normal or abnormal using one threshold. Specifically, if the reliability of the area is equal to or greater than the first threshold, it is determined to be an "abnormal area,” and if the reliability of the area is less than the first threshold, it is determined to be a "normal area.” In other words, areas that are less than the first threshold are determined to be "normal areas" regardless of the value. On the other hand, the estimation processing may overlook areas that are less than the first threshold but have a reliability close to the first threshold, that is, "areas that were determined to be normal but may be abnormal.” For example, there is a possibility that accurate estimation processing could not be performed due to low quality of the image input to the estimation processing. In that case, the area will be overlooked even though it was originally an abnormal area.
  • a second threshold that is smaller than the first threshold is set. If the reliability of the area is less than the first threshold but equal to or greater than the second threshold, it is determined to be a "possible abnormal area," and the estimation processing is performed by changing the characteristics of the image input to the estimation processing.
  • the communication control unit 516 causes the communication unit 55 to transmit the diagnostic image including the "areas that may be abnormal" and the reliability of each of the specified areas in the diagnostic image to an external device (step S4).
  • step S5 the control unit 51 (trimmed image generating unit 513 and image quality improvement processing unit 514) generates a trimmed image and an image quality correction image (step S5).
  • the captured image acquired in step S1 and the trimmed image and image quality correction image generated in step S5 correspond to "multiple images that include the same subject and have been subjected to different processes" according to the present invention.
  • the trimmed image generation unit 513 generates a trimmed image by enlarging an area in the diagnostic image that includes a "potentially abnormal area.”
  • the image quality improvement processing unit 514 also performs image quality improvement processing on the trimmed image using a trained model for image quality improvement processing, thereby generating a high-image-quality corrected image that looks as if it had been generated by an endoscope that generates high-image-quality captured images (hereinafter referred to as a high-image-quality endoscope).
  • the image quality improvement processing may be performed by, in addition to the AI processing described above, for example, super-resolution processing or classical image processing (gradation processing, edge enhancement processing, frequency filter processing, etc.).
  • the trained model for image quality improvement processing is stored in advance in the storage unit 54.
  • the trained model for image quality improvement processing is a trained model obtained by repeatedly executing a training process on the trained model using multiple sets of training images and teacher data, each set being a training image and teacher data.
  • the training images are images obtained by lowering the image quality of an image captured by a high-image-quality endoscope (hereinafter referred to as a high-image-quality image) to an image quality corresponding to a trimmed image.
  • the teacher data is the high-image-quality image.
  • the trained model used in the training process is, for example, a CNN.
  • the trained model for image quality improvement processing includes a weight file (learning parameters) having weight values and bias values for each layer of the CNN.
  • the neural network used in the learning process to generate a trained model for image quality improvement processing is not limited to CNN, and other neural networks may be used.
  • various well-known learning algorithms can be used as the machine learning algorithm in the neural network.
  • a supervised learning algorithm using the backpropagation method can be used.
  • the image selection unit 511 switches the diagnostic image to one of the trimmed image or the image quality correction image generated in step S5 (step S6).
  • the image selection unit 511 selects, as the diagnostic image, one of the trimmed images or the image quality correction images generated in step S5 that has been preset by a user operation on the input unit 53.
  • the image selection unit 511 inputs the switched diagnostic image (trimmed image or image quality correction image) to the estimation unit 512. That is, the control unit 51 returns to step S2.
  • FIG. 4 and the above explanation are used, but while the display image generation needs to be constantly running as a moving image, the image input to the estimation process can be a different image from the display image. That is, the image processing for the estimation process only needs to run in the background, and in reality, there is no need to branch and process as in FIG. 4.
  • step S3 If it is determined that the predetermined condition is not satisfied (step S3: No), the display control unit 515 generates a display image to be displayed on the display unit 52 (step S7). Details of the display image will be described later in the section "Specific examples of display images.”
  • FIG. 5 to 8 are diagrams showing specific examples of display images.
  • the display control unit 515 generates a display image F1 shown in Fig. 5. Then, the display control unit 515 causes the display unit 52 to display the display image F1.
  • the display image F1 includes an observation position image F11 and a diagnostic image F12.
  • the observation position image F11 is an image in which the current observation position (the tip position of the insertion portion 21) OP is superimposed on an image showing the shape of the object to be observed (the large intestine in this embodiment).
  • the diagnostic image F12 is an image (a captured image, a cropped image, or an image quality correction image) selected as a diagnostic image by the image selection unit 511. That is, when the diagnostic image is switched by the image selection unit 511 (step S6), the display control unit 515 switches the diagnostic image F12 on the display image F1 to the switched diagnostic image. Furthermore, if the estimation process determines that there is an "abnormal area" in the diagnostic image F12, the display control unit 515 superimposes identification information F13 (FIG. 5) that distinguishes the area corresponding to the "abnormal area” from other areas on the diagnostic image F12. That is, the display control unit 515 corresponds to the notification control unit according to the present invention.
  • the diagnostic image F121 shown in FIG. 6 is a captured image that is determined to satisfy the predetermined conditions in step S3.
  • area Ar1 is a "region that may be an abnormal area.”
  • a cropped image (or image quality correction image) F122 (FIG. 7) is generated by enlarging area Ar2 including area Ar1 (step S5).
  • the cropped image (or image quality correction image) F122 is selected as the diagnostic image (step S6) and input to the estimation unit 512.
  • the diagnostic image F12 of the display image F1 is switched to the cropped image (or image quality correction image) F122.
  • the display control unit 515 then causes the display unit 52 to display the display image F2, for example.
  • the control unit 51 stores the diagnostic image F12 in the storage unit 54 in sequence.
  • the display control unit 515 in response to a user operation on the input unit 53, the display control unit 515 generates a display image F2 that displays a list of thumbnail images FT1 to FT9 of the multiple diagnostic images F12 stored in the storage unit .
  • the image selection unit 511 selects, as a diagnostic image, one of the captured image acquired in step S1 and the trimmed image and image quality correction image generated in step S5, based on the reliability of the diagnostic candidate region. Then, the image selection unit 511 inputs the diagnostic image to the estimation unit 512. Therefore, according to the control device 5 of this embodiment, high-quality images can be input to the estimation unit 512, and diagnostic candidate areas such as lesions can be accurately estimated, thereby providing images suitable for diagnosis.
  • the image input to the estimation process is appropriately and adaptively switched according to the reliability output by the estimation process, making it possible to improve the accuracy of the estimation process without re-learning, even in situations where the input image changes to an image unsuitable for the estimation process.
  • the display control unit 515 superimposes, on the diagnostic image F12, identification information F13 that distinguishes the area corresponding to the "area that is abnormal" from other areas. Therefore, a user such as an operator can make an appropriate diagnosis based on the image in which the identification information F13 is superimposed on the diagnostic image F12.
  • the communication control unit 516 causes the communication unit 55 to transmit a diagnostic image including "areas that may be abnormal" and the reliability of each specified area in the diagnostic image to an external device (step S4). Therefore, by performing a new learning process in the external device using the diagnostic image, it is possible to generate a new trained model for estimation processing that enables lesions, etc. to be estimated with high accuracy.
  • the image selection unit 511 determines whether or not a specified condition has been satisfied a specified number of times or for a specified period of time based on the reliability of the diagnostic candidate region output from the estimation unit 512 in step S2. Therefore, when it is erroneously determined that a predetermined condition is satisfied only once, the diagnostic image is not immediately switched, and erroneous detection can be suppressed.
  • the image diagnosis support device according to the present invention is mounted on the endoscope system 1 in which the insertion section 21 is configured by a flexible endoscope, but the present invention is not limited to this.
  • the image diagnosis support device according to the present invention may be mounted on an endoscope system in which the insertion section 21 is configured by a rigid endoscope.
  • the image diagnosis support device may be mounted on a medical observation system such as a surgical microscope (see, for example, JP 2016-42981 A) that enlarges and observes a predetermined field of view area inside a subject (inside a living body) or on a subject's surface (surface of a living body).
  • a medical observation system such as a surgical microscope (see, for example, JP 2016-42981 A) that enlarges and observes a predetermined field of view area inside a subject (inside a living body) or on a subject's surface (surface of a living body).
  • the “multiple images including the same subject and on which different processes have been performed” may include at least two of the captured image obtained in step S1, the cropped image and image quality correction image generated in step S5, and the second captured image described below.
  • the second captured image is an image generated by the imaging unit 27 capturing the return light (fluorescence, etc.) of the second wavelength band light from the light source device 4 when the light source device 4 irradiates the inside of the subject PA.
  • the display unit 52 is used as the notification unit according to the present invention, but this is not limiting, and an audio output unit such as a speaker that outputs audio may also be used as the notification unit according to the present invention.
  • the predetermined condition according to the present invention is that a part of the diagnostic image has a "region that may be abnormal,” but this is not limited to this.
  • the predetermined condition according to the present invention may be that a part of the diagnostic image has a "region that may be abnormal,” and that the diagnostic image does not have an "region that is abnormal.”
  • FIG. 9 is a diagram for explaining the first modified example of the embodiment. Specifically, FIG. 9 corresponds to FIG. As shown in FIG. 9, in the control unit 51 according to the present modified example 1, a permission/denial setting unit 517 is added to the control unit 51 explained in the above embodiment.
  • the image selection unit 511 in this modification 1 selects the image selected by the user operation to select a captured image or a trimmed image (or an image quality corrected image) on the input unit 53 as a diagnostic image.
  • the permission/prohibition setting section 517 sets the state of the image selection section 511 to a permission state or a prohibition state according to a user operation on the input section 53 , as shown below.
  • the permitted state is a state in which the image selection unit 511 is permitted to select a diagnostic image in response to the above-mentioned user operation. That is, in the permitted state, the image selection unit 511 selects an image selected by the user operation as a diagnostic image.
  • the prohibited state is a state in which the image selection unit 511 is prohibited from selecting a diagnostic image in response to the above-mentioned user operation. That is, in the prohibited state, even if a captured image or a trimmed image (or an image quality correction image) is selected by the user operation, the image selection unit 511 does not select the image selected by the user operation as a diagnostic image.
  • Fig. 10 is a diagram for explaining the second modified example of the embodiment. Specifically, Fig. 10 corresponds to Fig. 4 .
  • the storage unit 54 according to the second modification stores the following first to third learning parameters.
  • the first learning parameters correspond to the captured image acquired in step S1, and are learning parameters of a trained model for estimation processing used when performing estimation processing on the captured image.
  • the second learning parameters correspond to the cropped image generated in step S5, and are learning parameters of the trained model for estimation processing that is used when performing estimation processing on the cropped image.
  • the third learning parameter corresponds to the image quality corrected image generated in step S5, and is a learning parameter of the trained model for estimation processing used when performing estimation processing on the image quality corrected image.
  • the estimation unit 512 executes estimation processing on an input diagnostic image by using a learning parameter corresponding to the input diagnostic image among the first to third learning parameters stored in the storage unit 54. Therefore, by using the learning parameter corresponding to the input diagnostic image, it is possible to estimate a lesion or the like with even greater accuracy.
  • Fig. 11 is a diagram for explaining the third modified example of the embodiment. Specifically, Fig. 11 corresponds to Fig. 4 .
  • the memory unit 54 according to the third modified example stores the first to third trained models shown below.
  • the first trained model corresponds to the captured image acquired in step S1 and is a trained model for estimation processing used when performing estimation processing on the captured image.
  • the third trained model corresponds to the image quality corrected image generated in step S5, and is a trained model for estimation processing used when performing estimation processing on the image quality corrected image.
  • step S2 the estimation unit 512 performs estimation processing on the input diagnostic image using a trained model for estimation processing that corresponds to the input diagnostic image, among the first to third trained models stored in the storage unit 54. That is, when the input diagnostic image is a captured image acquired in step S1, the estimation unit 512 performs estimation processing on the captured image using the first trained model. Furthermore, when the diagnostic image is switched to a cropped image or an image quality corrected image in step S6, the estimation unit 512 switches the trained model for estimation processing from the first trained model to the second trained model or the third trained model (step S9). Then, the estimation unit 512 performs estimation processing on the cropped image or the image quality corrected image using the second trained model or the third trained model.
  • the estimation unit 512 executes estimation processing on an input diagnostic image using a trained model for estimation processing corresponding to the input diagnostic image, among the first to third trained models stored in the storage unit 54. Therefore, by using the trained model for estimation processing corresponding to the input diagnostic image, it is possible to estimate a lesion or the like with even greater accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

画像診断支援装置５は、同一の被写体を含み、互いに異なる処理が実行された複数の画像のいずれかの画像を診断画像として選択する画像選択部５１１と、学習済みモデルを用いて診断画像に対して推定処理を実行することによって、診断画像中の診断候補となる診断候補領域を推定するとともに診断候補領域の信頼度を出力する推定部５１２とを備える。画像選択部５１１は、診断候補領域の信頼度に基づいて、複数の画像のいずれかの画像を診断画像として選択する。

Description

画像診断支援装置、画像診断支援システム、及び画像診断支援方法
　本発明は、画像診断支援装置、画像診断支援システム、及び画像診断支援方法に関する。
　近年、医療分野において、ＡＩ（Artificial　Intelligence）に基づく画像認識技術が提案されている（例えば、特許文献１参照）。
　特許文献１に記載の技術では、内視鏡で撮像された撮像画像に対して学習済みモデルを用いて推定処理を実行することによって、当該撮像画像中の病変等の診断候補領域を推定している。
特許第６９５２２１４号公報
　しかしながら、ＡＩに基づく画像認識技術では、入力する撮像画像の品位によっては、十分な性能を出せずに、病変等の診断候補領域を精度良く推定することができない場合がある。すなわち、診断に適した画像を提供することができない場合がある。
　本発明は、上記に鑑みてなされたものであって、診断に適した画像を提供することができる画像診断支援装置、画像診断支援システム、及び画像診断支援方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像診断支援装置は、同一の被写体を含み、互いに異なる処理が実行された複数の画像のいずれかの画像を診断画像として選択する画像選択部と、学習済みモデルを用いて前記診断画像に対して推定処理を実行することによって、前記診断画像中の診断候補となる診断候補領域を推定するとともに前記診断候補領域の信頼度を出力する推定部とを備え、前記画像選択部は、前記診断候補領域の信頼度に基づいて、前記複数の画像のいずれかの画像を前記診断画像として選択する。
　本発明に係る画像診断支援システムは、被写体を撮像することによって撮像画像を生成する撮像装置と、前記撮像画像を処理する画像診断支援装置とを備え、前記画像診断支援装置は、同一の被写体を含み前記撮像画像に対して互いに異なる処理が実行された複数の画像のいずれかの画像を診断画像として選択する画像選択部と、学習済みモデルを用いて前記診断画像に対して推定処理を実行することによって、前記診断画像中の診断候補となる診断候補領域を推定するとともに前記診断候補領域の信頼度を出力する推定部とを備え、前記画像選択部は、前記診断候補領域の信頼度に基づいて、前記複数の画像のいずれかの画像を前記診断画像として選択する。
　本発明に係る画像診断支援方法は、画像診断支援装置が実行する画像診断支援方法であって、同一の被写体を含み、互いに異なる処理が施された複数の画像のいずれかの画像を診断画像として選択するステップと、学習済みモデルを用いて前記診断画像に対して推定処理を実行することによって、前記診断画像中の診断候補となる診断候補領域を推定するとともに前記診断候補領域の信頼度を出力するステップとを含み、前記診断画像を選択するステップでは、前記診断候補領域の信頼度に基づいて、前記複数の画像のいずれかの画像を前記診断画像として選択する。
　本発明に係る画像診断支援装置、画像診断支援システム、及び画像診断支援方法によれば、診断に適した画像を提供することができる。
図１は、実施の形態に係る内視鏡システムの構成を説明する図である。 図２は、実施の形態に係る内視鏡システムの構成を説明する図である。 図３は、制御部の機能を概念的に示す図である。 図４は、画像診断支援方法を示すフローチャートである。 図５は、表示画像の具体例を示す図である。 図６は、表示画像の具体例を示す図である。 図７は、表示画像の具体例を示す図である。 図８は、表示画像の具体例を示す図である。 図９は、実施の形態の変形例１を説明する図である。 図１０は、実施の形態の変形例２を説明する図である。 図１１は、実施の形態の変形例３を説明する図である。
　以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
　〔内視鏡システムの構成〕
　図１及び図２は、実施の形態に係る内視鏡システム１の構成を説明する図である。
　内視鏡システム１は、本発明に係る画像診断支援システムに相当する。この内視鏡システム１は、医療分野において用いられ、ベッドＢＤ（図１）上の患者である被検体ＰＡ（図１）の体内（本実施の形態では大腸）を観察するシステムである。この内視鏡システム１は、図１及び図２に示すように、内視鏡２と、処理装置３とを備える。
　内視鏡２は、本発明に係る撮像装置に相当する。本実施の形態では、内視鏡２は、所謂、軟性内視鏡である。この内視鏡２は、一部が被検体ＰＡの体内に挿入され、当該体内を撮像し、当該撮像によって生成した画像信号を出力する。そして、内視鏡２は、図１及び図２に示すように、挿入部２１と、操作部２２と、ユニバーサルコード２３と、コネクタ部２４とを備える。なお、図２では、説明の便宜上、操作部２２、ユニバーサルコード２３、及びコネクタ部２４の図示を省略している。
　挿入部２１は、少なくとも一部が可撓性を有し、被検体ＰＡの体内に挿入される部分である。この挿入部２１内には、図２に示すように、ライトガイド２５と、照明レンズ２６と、撮像部２７とが設けられている。
　ライトガイド２５は、挿入部２１から、操作部２２及びユニバーサルコード２３を通って、コネクタ部２４まで引き回されている。そして、ライトガイド２５の一端は、挿入部２１内の先端部分に位置する。また、内視鏡２が処理装置３に対して接続した状態では、ライトガイド２５の他端は、当該処理装置３内に位置する。そして、ライトガイド２５は、処理装置３内の光源装置４から供給された光を他端から一端に伝達する。
　照明レンズ２６は、挿入部２１内において、ライトガイド２５の一端に対向する。そして、照明レンズ２６は、ライトガイド２５によって伝達された光を被検体ＰＡの体内に照射する。
　撮像部２７は、挿入部２１内の先端部分に設けられている。そして、撮像部２７は、被検体ＰＡの体内を撮像し、当該撮像によって生成した画像信号を出力する。この撮像部２７は、図２に示すように、レンズユニット２７１と、撮像素子２７２とを備える。
　レンズユニット２７１は、照明レンズ２６から被検体ＰＡの体内に照射された光の戻り光（被写体像）を取り込み、当該被写体像を撮像素子２７２の受光面に結像する。
　撮像素子２７２は、被写体像を受光して電気信号に変換するＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等によって構成され、当該被写体像を撮像することによって画像信号を生成する。なお、以下では、撮像部２７によって生成された画像信号を撮像画像と記載する。
　操作部２２は、挿入部２１における基端部分に対して接続されている。そして、操作部２２は、内視鏡２に対する各種の操作を受け付ける。
　ユニバーサルコード２３は、操作部２２から挿入部２１の延在方向とは異なる方向に延在し、撮像部２７及び処理装置３内の制御装置５を電気的に接続する信号線、及びライトガイド２５等が配設されたコードである。
　コネクタ部２４は、ユニバーサルコード２３の端部に設けられ、処理装置３に対して着脱自在に接続される。
　処理装置３は、図２に示すように、光源装置４と、制御装置５とを備える。
　光源装置４は、制御装置５による制御の下、光をライトガイド２５の他端に対して供給する。本実施の形態では、光源装置４は、第１の波長帯域の光として白色光を出射する。なお、光源装置４としては、第１の波長帯域とは異なる第２の波長帯域の光として、インドシアニングリーン等の蛍光薬剤を励起する励起光、ＮＢＩ（Narrow　Band　Imaging）で用いられる狭帯域光等を出射可能に構成しても構わない。
　制御装置５は、本発明に係る画像診断支援装置に相当する。この制御装置５は、図２に示すように、制御部５１と、表示部５２と、入力部５３と、記憶部５４と、通信部５５とを備える。
　制御部５１は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等のコントローラ、または、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路を含んで構成され、内視鏡システム１全体の動作を制御する。この制御部５１は、図２に示すように、画像選択部５１１と、推定部５１２と、トリミング画像生成部５１３と、高画質化処理部５１４と、表示制御部５１５と、通信制御部５１６としての機能を有する。
　図３は、制御部５１の機能を概念的に示す図である。
　図３において、撮像画像（内視鏡画像）が入力される符号５１Ｂ１で示した「入力画像処理」は、画像選択部５１１、トリミング画像生成部５１３、及び高画質化処理部５１４を含む。また、図３において、符号５１Ｂ２で示した「推定処理」は、推定部５１２を含む。さらに、図３において、符号５１Ｂ３で示した「表示画像生成」は、表示制御部５１５を含む。
　なお、制御部５１における画像選択部５１１、推定部５１２、トリミング画像生成部５１３、高画質化処理部５１４、表示制御部５１５、及び通信制御部５１６としての機能は、後述する「画像診断支援方法」において説明する。
　表示部５２は、本発明に係る報知部に相当する。この表示部５２は、ＬＣＤ（Liquid　Crystal　Display）またはＥＬ（Electro　Luminescence）ディスプレイ等であり、制御部５１による制御の下、当該制御部５１によって生成された表示画像を表示する。
　入力部５３は、本発明に係る操作受付部に相当する。この入力部５３は、キーボード、マウス、スイッチ、タッチパネル等を用いて構成され、術者等のユーザによるユーザ操作を受け付ける。そして、入力部５３は、当該ユーザ操作に応じた操作信号を制御部５１に対して出力する。
　記憶部５４は、制御部５１が実行する各種プログラム、及び当該制御部５１の処理に必要な情報等を記憶する。
　通信部５５は、外部機器との間で通信可能に接続する。そして、通信部５５は、制御部５１による制御の下、所定の情報（データ）を外部機器に送信する。
　〔画像診断支援方法〕
　次に、上述した制御装置５が実行する画像診断支援方法について図３及び図４を参照しつつ説明する。
　図４は、画像診断支援方法を示すフローチャートである。
　先ず、画像選択部５１１は、光源装置４から第１の波長帯域の光である白色光が被検体ＰＡの体内に照射された状態で当該体内からの当該白色光の戻り光（被写体像）を撮像部２７が撮像することによって生成された撮像画像を取得する（ステップＳ１）。当該撮像画像は、本発明に係る第１の撮像画像に相当する。そして、画像選択部５１１は、当該撮像画像を診断画像として選択し、当該診断画像を推定部５１２に入力させる。
　ステップＳ１の後、推定部５１２は、推定処理用学習済みモデルを用いて診断画像に対して推定処理を実行することによって、当該診断画像中の所定の領域毎に診断候補となる診断候補領域を推定するとともに当該診断候補領域の信頼度を出力する（ステップＳ２）。
　なお、診断候補領域の信頼度は、信頼度の高さを示す値である。
　具体的には、信頼度は、診断候補領域における画像の認識の正確さを示す値であり、画像となる物体が、特定のクラスに属していると予測された確率を示す値を意味する指標ともいえる。診断候補領域の信頼度から、領域内で物体を正確に認識されているかを判定することができる。
　ここで、推定処理用学習済みモデルは、本発明に係る学習済みモデルに相当する。この推定処理用学習済みモデルは、記憶部５４に予め記憶されている。具体的に、推定処理用学習済みモデルは、訓練画像及び教師データを１組とする複数組の訓練画像及び教師データを用いて、学習モデルに対する学習処理が繰り返し実行され、その学習後の学習モデルである。当該訓練画像は、生体内を撮像した撮像画像である。当該教師データは、当該訓練画像中の病変等の分類クラス、正解位置及びサイズをアノテーションしたデータである。当該学習処理に用いる学習モデルは、例えば、ＣＮＮ（Convolutional　Neural　Network）である。そして、推定処理用学習済みモデルは、当該ＣＮＮの各層の重み値とバイアス値とを有するウェイトファイル（学習パラメータ）を含む。
　なお、推定処理用学習済みモデルを生成する際の学習処理に用いられるニューラルネットワークとしては、ＣＮＮに限らず、その他のニューラルネットワークを採用しても構わない。例えば、ＤＮＮ（Deep　Neural　Network）、Ｔｒａｎｓｆｏｒｍｅｒ、ＧＡＮ（Generative　Adversarial　Network）等のニューラルネットワークを適宜採用しても構わない。また、ニューラルネットワークにおける機械学習のアルゴリズムとしては、公知の種々な学習アルゴリズムを採用することができる。例えば、誤差逆伝搬法を用いた教師有り学習アルゴリズムを採用することができる。
　ステップＳ２の後、画像選択部５１１は、ステップＳ２において推定部５１２から出力される診断候補領域の信頼度に基づいて、所定回数または所定時間の間、所定の条件を満足したか否かを判断する（ステップＳ３）。
　ステップＳ３で用いられる所定の条件としては、以下の条件を例示することができる。
　当該所定の条件は、診断画像中の一部の領域に「異常部である可能性がある領域」があることである。
　ここで、「異常部である可能性がある領域」は、当該領域の信頼度が第１の閾値未満であり、かつ、当該第１の閾値よりも低い第２の閾値以上である領域を意味する。また、以下で説明する「正常部である領域」は、当該領域の信頼度が第２の閾値未満である領域を意味する。さらに、以下で説明する「異常部である領域」は、当該領域の信頼度が第１の閾値以上である領域を意味する。
　通常の推定処理は、１つの閾値により正常部であるか異常部であるかを推定する。具体的には、当該領域の信頼度が第１の閾値以上であれば「異常部である領域」と判定し、当該領域の信頼度が第１の閾値未満であれば「正常部である領域」と判定する。つまり、第１の閾値未満となる領域は、その値の大小によらず同様に「正常部である領域」と判定される。一方で、前記推定処理では、第１の閾値未満であるが第１の閾値に近しい信頼度となる領域、つまり「正常部と判定したが異常部である可能性のある領域」が見落とされることがある。例えば、推定処理に入力された画像の品位が低いがために、正確な推定処理ができなかった可能性がある。その場合、本来異常部であったのにも関わらず見落とされることになる。本発明では、そのリスクを回避するため第１の閾値よりも小さな値である第２の閾値を設けている。第１の閾値未満であるが第２の閾値以上である場合は、「異常部である可能性がある領域」と判定し、推定処理に入力する画像の特性を変えて推定処理を行う構成とする。
　所定の条件を満足したと判断された場合（ステップＳ３：Ｙｅｓ）には、通信制御部５１６は、「異常部である可能性がある領域」を含む診断画像と当該診断画像中の所定の領域毎の信頼度とを通信部５５から外部機器に送信させる（ステップＳ４）。
　ステップＳ４の後、制御部５１（トリミング画像生成部５１３及び高画質化処理部５１４）は、トリミング画像及び画質補正画像を生成する（ステップＳ５）。ここで、ステップＳ１において取得された撮像画像と、ステップＳ５において生成されたトリミング画像及び画質補正画像とは、本発明に係る「同一の被写体を含み、互いに異なる処理が実行された複数の画像」に相当する。
　具体的に、トリミング画像生成部５１３は、ステップＳ５において、診断画像中の「異常部である可能性がある領域」を含む領域を拡大したトリミング画像を生成する。また、高画質化処理部５１４は、高画質化処理用学習済みモデルを用いて当該トリミング画像に対して高画質化処理を実行することによって、あたかも高画質の撮像画像を生成する内視鏡（以下、高画質内視鏡と記載）によって生成されたかのような高画質化された画質補正画像を生成する。なお、高画質化処理は、上記したＡＩ処理の他に、例えば超解像処理や古典的な画像処理（階調処理、エッジ強調処理、周波数フィルタ処理等）で行っても構わない。
　ここで、高画質化処理用学習済みモデルは、記憶部５４に予め記憶されている。具体的に、高画質化処理用学習済みモデルは、訓練画像及び教師データを１組とする複数組の訓練画像及び教師データを用いて、学習モデルに対する学習処理が繰り返し実行され、その学習後の学習モデルである。当該訓練画像は、高画質内視鏡によって生成された撮像画像（以下、高画質画像と記載）をトリミング画像に応じた画質に低画質化された画像である。当該教師データは、当該高画質画像である。当該学習処理に用いる学習モデルは、例えば、ＣＮＮである。そして、高画質化処理用学習済みモデルは、当該ＣＮＮの各層の重み値とバイアス値とを有するウェイトファイル（学習パラメータ）を含む。
　なお、高画質化処理用学習済みモデルを生成する際の学習処理に用いられるニューラルネットワークとしては、ＣＮＮに限らず、その他のニューラルネットワークを採用しても構わない。また、ニューラルネットワークにおける機械学習のアルゴリズムとしては、公知の種々な学習アルゴリズムを採用することができる。例えば、誤差逆伝搬法を用いた教師有り学習アルゴリズムを採用することができる。
　ステップＳ５の後、画像選択部５１１は、診断画像をステップＳ５において生成されたトリミング画像または画質補正画像の一方の画像に切り替える（ステップＳ６）。例えば、画像選択部５１１は、ステップＳ５において生成されたトリミング画像または画質補正画像のうち、入力部５３へのユーザ操作において予め設定された画像を診断画像として選択する。そして、画像選択部５１１は、当該切り替えた診断画像（トリミング画像または画質補正画像）を推定部５１２に入力させる。すなわち、制御部５１は、ステップＳ２に戻る。なお、説明の都合から、図４及び上記の説明としたが、表示画像生成は動画として常に動いている必要がある一方で、推定処理へ入力する画像は表示画像と別の画像で構わない。すなわち、推定処理のための画像処理はバックグラウンドで動いていればよく、実際には図４のように分岐して処理する必要はない。
　所定の条件を満足していないと判断された場合（ステップＳ３：Ｎｏ）には、表示制御部５１５は、表示部５２に表示させるための表示画像を生成する（ステップＳ７）。
　なお、表示画像の詳細については、後述する「表示画像の具体例」において説明する。
　〔表示画像の具体例〕
　次に、表示部５２に表示される表示画像の具体例について説明する。
　図５ないし図８は、表示画像の具体例を示す図である。
　例えば、表示制御部５１５は、上述した画像診断支援方法において、図５に示す表示画像Ｆ１を生成する。そして、表示制御部５１５は、当該表示画像Ｆ１を表示部５２に表示させる。
　表示画像Ｆ１は、図５に示すように、観察位置画像Ｆ１１及び診断画像Ｆ１２を含む。
　観察位置画像Ｆ１１は、観察対象（本実施の形態の場合には大腸）の形状を示す画像上に現時点の観察位置（挿入部２１の先端位置）ＯＰが重畳された画像である。
　診断画像Ｆ１２は、画像選択部５１１によって診断画像として選択された画像（撮像画像、トリミング画像、または画質補正画像）である。すなわち、表示制御部５１５は、画像選択部５１１によって診断画像が切り替えられる（ステップＳ６）と、表示画像Ｆ１上の診断画像Ｆ１２を当該切り替えられた診断画像に切り替える。また、推定処理によって診断画像Ｆ１２中に「異常部である領域」があると判断された場合には、表示制御部５１５は、当該「異常部である領域」に該当する領域を他の領域と識別する識別情報Ｆ１３（図５）を当該診断画像Ｆ１２上に重畳する。すなわち、表示制御部５１５は、本発明に係る報知制御部に相当する。
　例えば、図６に示す診断画像Ｆ１２１は、ステップＳ３において所定の条件を満足したと判断された撮像画像である。この診断画像Ｆ１２１において、領域Ａｒ１は、「異常部である可能性がある領域」である。この診断画像Ｆ１２１の場合には、ステップＳ３において所定の条件を満足したと判断されるため、領域Ａｒ１を含む領域Ａｒ２を拡大したトリミング画像（または画質補正画像）Ｆ１２２（図７）が生成される（ステップＳ５）。そして、当該トリミング画像（または画質補正画像）Ｆ１２２が診断画像として選択され（ステップＳ６）、推定部５１２に入力される。また、表示画像Ｆ１の診断画像Ｆ１２は、当該トリミング画像（または画質補正画像）Ｆ１２２に切り替えられる。
　また、例えば、表示制御部５１５は、図８に示す表示画像Ｆ２を生成する。そして、表示制御部５１５は、当該表示画像Ｆ２を表示部５２に表示させる。
　ここで、推定処理によって診断画像Ｆ１２中に「異常部である領域」があると判断された場合には、制御部５１は、当該診断画像Ｆ１２を順次、記憶部５４に記憶する。
　そして、表示制御部５１５は、入力部５３へのユーザ操作に応じて、記憶部５４に記憶された複数の診断画像Ｆ１２のサムネイル画像ＦＴ１～ＦＴ９を一覧表示した表示画像Ｆ２を生成する。
　以上説明した本実施の形態によれば、以下の効果を奏する。
　本実施の形態に係る制御装置５では、画像選択部５１１は、診断候補領域の信頼度に基づいて、ステップＳ１において取得される撮像画像、ステップＳ５において生成されるトリミング画像及び画質補正画像のいずれかの画像を診断画像として選択する。そして、画像選択部５１１は、当該診断画像を推定部５１２に入力させる。
　したがって、本実施の形態に係る制御装置５によれば、品位の高い画像を推定部５１２に入力させることができ、病変等の診断候補領域を精度良く推定し、診断に適した画像を提供することができる。
　また、一般的に推定処理の精度を高めるためには、適切な教師データを用意し学習を繰り返し行う必要がある。それに対して本構成では、推定処理で出力された信頼度に応じて、当該推定処理に入力する画像を適切かつ適応的に切り替えることで、入力画像が当該推定処理に不向きな画像に変化するような状況においても、再学習を行うことなく当該推定処理の精度を高めることが可能となる。
　本実施の形態に係る制御装置５では、表示制御部５１５は、「異常部である領域」に該当する領域を他の領域と識別する識別情報Ｆ１３を診断画像Ｆ１２上に重畳する。
　このため、術者等のユーザは、診断画像Ｆ１２上に識別情報Ｆ１３が重畳された画像に基づいて、適切に診断を行うことができる。
　本実施の形態に係る制御装置５では、通信制御部５１６は、「異常部である可能性がある領域」を含む診断画像と当該診断画像中の所定の領域毎の信頼度とを通信部５５から外部機器に送信させる（ステップＳ４）。
　このため、当該外部機器において、当該診断画像を用いて改めて学習処理を行うことにより、病変等を精度良く推定可能とする推定処理用学習済みモデルを改めて生成することができる。
　本実施の形態に係る制御装置５では、画像選択部５１１は、ステップＳ２において推定部５１２から出力される診断候補領域の信頼度に基づいて、所定回数または所定時間の間、所定の条件を満足したか否かを判断する。
　このため、１回だけ所定の条件を満足したと誤って判断された場合に診断画像が即座に切り替わることがなく、誤検出を抑制することができる。
（その他の実施形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
　上述した実施の形態では、挿入部２１を軟性内視鏡によって構成した内視鏡システム１に本発明に係る画像診断支援装置を搭載していたが、これに限らない。例えば、挿入部２１を硬性内視鏡によって構成した内視鏡システムに本発明に係る画像診断支援装置を搭載しても構わない。また、被写体内（生体内）や被写体表面（生体表面）の所定の視野領域を拡大して観察する手術用顕微鏡（例えば、特開２０１６－４２９８１号公報参照）等の医療用観察システムに本発明に係る画像診断支援装置を搭載しても構わない。
　上述した実施の形態において、本発明に係る「同一の被写体を含み、互いに異なる処理が実行された複数の画像」としては、ステップＳ１において取得された撮像画像と、ステップＳ５において生成されたトリミング画像及び画質補正画像と、以下に示す第２の撮像画像とのうち、少なくとも２つを含んでいればよい。
　第２の撮像画像は、光源装置４から第２の波長帯域の光（励起光や狭帯域光）が被検体ＰＡの体内に照射された状態で当該体内からの当該第２の波長帯域の光の戻り光（蛍光等）を撮像部２７が撮像することによって生成された撮像画像である。
　上述した実施の形態では、本発明に係る報知部として表示部５２を採用していたが、これに限らず、音声を出力するスピーカ等の音声出力部を本発明に係る報知部として採用しても構わない。
　上述した実施の形態では、本発明に係る所定の条件として、診断画像中の一部の領域に「異常部である可能性がある領域」があることを採用していたが、これに限らない。診断画像中の一部の領域が「異常部である可能性がある領域」であり、かつ、当該診断画像中に「異常部である領域」がないことを本発明に係る所定の条件としても構わない。
　また、上述した実施の形態において、以下に示す変形例１～３を採用しても構わない。
（変形例１）
　図９は、実施の形態の変形例１を説明する図である。具体的に、図９は、図２に対応した図である。
　本変形例１に係る制御部５１では、図９に示すように、上述した実施の形態において説明した制御部５１に対して、許否設定部５１７が追加されている。
　本変形例１に係る画像選択部５１１は、入力部５３への撮像画像またはトリミング画像（または画質補正画像）を選択するユーザ操作に応じて、当該ユーザ操作によって選択された画像を診断画像として選択する。
　そして、許否設定部５１７は、入力部５３へのユーザ操作に応じて、画像選択部５１１の状態を以下に示す許可状態または禁止状態に設定する。
　許可状態は、画像選択部５１１による上述したユーザ操作に応じた診断画像の選択を許可した状態である。すなわち、当該許可状態では、画像選択部５１１は、ユーザ操作によって選択された画像を診断画像として選択する。
　禁止状態は、画像選択部５１１による上述したユーザ操作に応じた診断画像の選択を禁止した状態である。すなわち、当該禁止状態では、ユーザ操作によって撮像画像またはトリミング画像（または画質補正画像）が選択された場合であっても、画像選択部５１１は、ユーザ操作によって選択された画像を診断画像として選択しない。
　以上説明した本変形例１の構成を採用した場合であっても、上述した実施の形態と同様の効果を奏する。
（変形例２）
　図１０は、実施の形態の変形例２を説明する図である。具体的に、図１０は、図４に対応した図である。
　本変形例２に係る記憶部５４には、以下に示す第１～第３の学習パラメータが記憶されている。
　第１の学習パラメータは、ステップＳ１において取得される撮像画像に対応し、当該撮像画像に対して推定処理を実行する際に用いられる推定処理用学習済みモデルの学習パラメータである。
　第２の学習パラメータは、ステップＳ５において生成されるトリミング画像に対応し、当該トリミング画像に対して推定処理を実行する際に用いられる推定処理用学習済みモデルの学習パラメータである。
　第３の学習パラメータは、ステップＳ５において生成される画質補正画像に対応し、当該画質補正画像に対して推定処理を実行する際に用いられる推定処理用学習済みモデルの学習パラメータである。
　そして、本変形例２では、推定部５１２は、ステップＳ２において、記憶部５４に記憶された第１～第３の学習パラメータのうち、入力された診断画像に対応する学習パラメータを用いて当該診断画像に対して推定処理を実行する。すなわち、推定部５１２は、入力された診断画像がステップＳ１において取得された撮像画像である場合には、推定処理用学習済みモデルの学習パラメータを第１の学習パラメータにして当該撮像画像に対して推定処理を実行する。また、推定部５１２は、ステップＳ６において診断画像がトリミング画像または画質補正画像に切り替えられた場合には、学習パラメータを第１の学習パラメータから第２の学習パラメータまたは第３の学習パラメータに切り替える（ステップＳ８）。そして、推定部５１２は、推定処理用学習済みモデルの学習パラメータを第２の学習パラメータまたは第３の学習パラメータにして当該トリミング画像または当該画質補正画像に対して推定処理を実行する。
　以上説明した本変形例２によれば、上述した実施の形態と同様の効果の他、以下の効果を奏する。
　本変形例２では、推定部５１２は、記憶部５４に記憶された第１～第３の学習パラメータのうち、入力された診断画像に対応する学習パラメータを用いて当該診断画像に対して推定処理を実行する。このため、入力された診断画像に対応する学習パラメータを用いることで、病変等をさらに精度良く推定することができる。
（変形例３）
　図１１は、実施の形態の変形例３を説明する図である。具体的に、図１１は、図４に対応した図である。
　本変形例３に係る記憶部５４には、以下に示す第１～第３の学習済みモデルが記憶されている。
　第１の学習済みモデルは、ステップＳ１において取得される撮像画像に対応し、当該撮像画像に対して推定処理を実行する際に用いられる推定処理用学習済みモデルである。
　第２の学習済みモデルは、ステップＳ５において生成されるトリミング画像に対応し、当該トリミング画像に対して推定処理を実行する際に用いられる推定処理用学習済みモデルである。
　第３の学習済みモデルは、ステップＳ５において生成される画質補正画像に対応し、当該画質補正画像に対して推定処理を実行する際に用いられる推定処理用学習済みモデルである。
　そして、本変形例３では、推定部５１２は、ステップＳ２において、記憶部５４に記憶された第１～第３の学習済みモデルのうち、入力された診断画像に対応する推定処理用学習済みモデルを用いて当該診断画像に対して推定処理を実行する。すなわち、推定部５１２は、入力された診断画像がステップＳ１において取得された撮像画像である場合には、第１の学習済みモデルを用いて当該撮像画像に対して推定処理を実行する。また、推定部５１２は、ステップＳ６において診断画像がトリミング画像または画質補正画像に切り替えられた場合には、推定処理用学習済みモデルを第１の学習済みモデルから第２の学習済みモデルまたは第３の学習済みモデルに切り替える（ステップＳ９）。そして、推定部５１２は、第２の学習済みモデルまたは第３の学習済みモデルを用いて当該トリミング画像または当該画質補正画像に対して推定処理を実行する。
　以上説明した本変形例３によれば、上述した実施の形態と同様の効果の他、以下の効果を奏する。
　本変形例３では、推定部５１２は、記憶部５４に記憶された第１～第３の学習済みモデルのうち、入力された診断画像に対応する推定処理用学習済みモデルを用いて当該診断画像に対して推定処理を実行する。このため、入力された診断画像に対応する推定処理用学習済みモデルを用いることで、病変等をさらに精度良く推定することができる。
　１　内視鏡システム
　２　内視鏡
　３　処理装置
　４　光源装置
　５　制御装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　コネクタ部
　２５　ライトガイド
　２６　照明レンズ
　２７　撮像部
　５１　制御部
　５２　表示部
　５３　入力部
　５４　記憶部
　５５　通信部
　２７１　レンズユニット
　２７２　撮像素子
　５１１　画像選択部
　５１２　推定部
　５１３　トリミング画像生成部
　５１４　高画質化処理部
　５１５　表示制御部
　５１６　通信制御部
　５１７　許否設定部
　Ａｒ１，Ａｒ２　領域
　ＢＤ　ベッド
　Ｆ１，Ｆ２　表示画像
　Ｆ１１　観察位置画像
　Ｆ１２，Ｆ１２１　診断画像
　Ｆ１２２　トリミング画像
　Ｆ１３　識別情報
　ＦＴ１～ＦＴ９　サムネイル画像
　ＯＰ　観察位置
　ＰＡ　被検体

Claims (14)

  1. 　同一の被写体を含み、互いに異なる処理が実行された複数の画像のいずれかの画像を診断画像として選択する画像選択部と、
    　学習済みモデルを用いて前記診断画像に対して推定処理を実行することによって、前記診断画像中の診断候補となる診断候補領域を推定するとともに前記診断候補領域の信頼度を出力する推定部とを備え、
    　前記画像選択部は、
    　前記診断候補領域の信頼度に基づいて、前記複数の画像のいずれかの画像を前記診断画像として選択する画像診断支援装置。
  2. 　所定の情報を報知する報知部と、
    　前記診断候補領域を前記報知部から報知させる報知制御部とをさらに備える請求項１に記載の画像診断支援装置。
  3. 　前記複数の画像は、
    　第１の波長帯域の光が照射された前記被写体からの前記第１の波長帯域の光の戻り光を撮像した第１の撮像画像と、前記第１の撮像画像中の一部の領域を拡大したトリミング画像と、前記トリミング画像の画質を補正した画質補正画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被写体からの前記第２の波長帯域の光の戻り光を撮像した第２の撮像画像との少なくとも２つを含む請求項１に記載の画像診断支援装置。
  4. 　前記トリミング画像は、
    　前記第１の撮像画像中の前記診断候補領域を含む領域を拡大した画像である請求項３に記載の画像診断支援装置。
  5. 　前記複数の画像のいずれかの画像を選択するユーザ操作を受け付ける操作受付部をさらに備え、
    　前記画像選択部は、
    　前記ユーザ操作に応じて前記複数の画像のいずれかの画像を前記診断画像として選択する請求項１に記載の画像診断支援装置。
  6. 　前記画像選択部による前記ユーザ操作に応じた前記複数の画像のいずれかの画像の選択を許可した許可状態、または禁止した禁止状態に設定する許否設定部をさらに備える請求項５に記載の画像診断支援装置。
  7. 　前記診断候補領域の信頼度は、
    　前記診断候補領域における認識の正確さを示す値であり、
    　前記画像選択部は、
    　前記診断候補領域の信頼度が第１の閾値未満であり、かつ、前記第１の閾値よりも低い第２の閾値以上である場合に、現時点で選択している前記診断画像を前記複数の画像のうち他の画像に切り替える請求項１に記載の画像診断支援装置。
  8. 　所定の画像を表示する表示部と、
    　前記画像選択部によって選択された前記診断画像を前記表示部に表示させる表示制御部とをさらに備える請求項１に記載の画像診断支援装置。
  9. 　前記画像選択部は、
    　前記診断候補領域の信頼度が所定回数または所定時間の間、所定の条件を満足した場合に、現時点で選択している前記診断画像を前記複数の画像のうち他の画像に切り替える請求項１に記載の画像診断支援装置。
  10. 　外部機器との間で通信可能に接続する通信部と、
    　前記診断画像と前記診断候補領域の信頼度とを前記通信部から前記外部機器に送信させる通信制御部とをさらに備える請求項１に記載の画像診断支援装置。
  11. 　前記推定部は、
    　前記画像選択部によって前記診断画像が切り替えられた場合には、前記推定処理に用いる前記学習済みモデルの学習パラメータを当該切り替えられた前記診断画像に応じた学習パラメータに切り替える請求項１に記載の画像診断支援装置。
  12. 　前記推定部は、
    　前記画像選択部によって前記診断画像が切り替えられた場合には、前記推定処理に用いる前記学習済みモデルを当該切り替えられた前記診断画像に応じた学習済みモデルに切り替える請求項１に記載の画像診断支援装置。
  13. 　被写体を撮像することによって撮像画像を生成する撮像装置と、
    　前記撮像画像を処理する画像診断支援装置とを備え、
    　前記画像診断支援装置は、
    　同一の被写体を含み前記撮像画像に対して互いに異なる処理が実行された複数の画像のいずれかの画像を診断画像として選択する画像選択部と、
    　学習済みモデルを用いて前記診断画像に対して推定処理を実行することによって、前記診断画像中の診断候補となる診断候補領域を推定するとともに前記診断候補領域の信頼度を出力する推定部とを備え、
    　前記画像選択部は、
    　前記診断候補領域の信頼度に基づいて、前記複数の画像のいずれかの画像を前記診断画像として選択する画像診断支援システム。
  14. 　画像診断支援装置が実行する画像診断支援方法であって、
    　同一の被写体を含み、互いに異なる処理が施された複数の画像のいずれかの画像を診断画像として選択するステップと、
    　学習済みモデルを用いて前記診断画像に対して推定処理を実行することによって、前記診断画像中の診断候補となる診断候補領域を推定するとともに前記診断候補領域の信頼度を出力するステップとを含み、
    　前記診断画像を選択するステップでは、
    　前記診断候補領域の信頼度に基づいて、前記複数の画像のいずれかの画像を前記診断画像として選択する画像診断支援方法。
PCT/JP2023/025015 2023-07-05 2023-07-05 画像診断支援装置、画像診断支援システム、及び画像診断支援方法 Ceased WO2025009124A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380099668.3A CN121398735A (zh) 2023-07-05 2023-07-05 图像诊断辅助装置、图像诊断辅助系统以及图像诊断辅助方法
JP2025530906A JPWO2025009124A1 (ja) 2023-07-05 2023-07-05
PCT/JP2023/025015 WO2025009124A1 (ja) 2023-07-05 2023-07-05 画像診断支援装置、画像診断支援システム、及び画像診断支援方法
US19/416,787 US20260100281A1 (en) 2023-07-05 2025-12-11 Image diagnosis assistance apparatus, image diagnosis assistance system and image diagnosis assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/025015 WO2025009124A1 (ja) 2023-07-05 2023-07-05 画像診断支援装置、画像診断支援システム、及び画像診断支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/416,787 Continuation US20260100281A1 (en) 2023-07-05 2025-12-11 Image diagnosis assistance apparatus, image diagnosis assistance system and image diagnosis assistance method

Publications (1)

Publication Number Publication Date
WO2025009124A1 true WO2025009124A1 (ja) 2025-01-09

Family

ID=94171318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025015 Ceased WO2025009124A1 (ja) 2023-07-05 2023-07-05 画像診断支援装置、画像診断支援システム、及び画像診断支援方法

Country Status (4)

Country Link
US (1) US20260100281A1 (ja)
JP (1) JPWO2025009124A1 (ja)
CN (1) CN121398735A (ja)
WO (1) WO2025009124A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042981A (ja) 2014-08-21 2016-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置および医療用観察システム
WO2020090002A1 (ja) * 2018-10-30 2020-05-07 オリンパス株式会社 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法
JP6952214B2 (ja) 2019-03-28 2021-10-20 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2021229684A1 (ja) * 2020-05-12 2021-11-18 オリンパス株式会社 画像処理システム、内視鏡システム、画像処理方法及び学習方法
WO2022071413A1 (ja) * 2020-10-02 2022-04-07 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2022181748A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042981A (ja) 2014-08-21 2016-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置および医療用観察システム
WO2020090002A1 (ja) * 2018-10-30 2020-05-07 オリンパス株式会社 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法
JP6952214B2 (ja) 2019-03-28 2021-10-20 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2021229684A1 (ja) * 2020-05-12 2021-11-18 オリンパス株式会社 画像処理システム、内視鏡システム、画像処理方法及び学習方法
WO2022071413A1 (ja) * 2020-10-02 2022-04-07 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2022181748A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Also Published As

Publication number Publication date
JPWO2025009124A1 (ja) 2025-01-09
CN121398735A (zh) 2026-01-23
US20260100281A1 (en) 2026-04-09

Similar Documents

Publication Publication Date Title
CN100577088C (zh) 图像显示装置
CN113543694B (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
JP2024153783A (ja) 画像処理装置
JP7143504B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7451680B2 (ja) 処理システム、画像処理方法、学習方法及び処理装置
CN115066196B (zh) 医用图像处理装置、内窥镜系统、医用图像处理方法及记录介质
CN110536629B (zh) 手术图像处理设备、图像处理方法和手术系统
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
CN116777786A (zh) 基于内窥镜成像的视频图像生成方法和装置及内窥镜系统
WO2022186109A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP7225417B2 (ja) 医療画像処理システム及び医療画像処理装置の作動方法
JP7774610B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、医療画像処理プログラム、及び記録媒体
US20250194910A1 (en) Endoscope control device, method of changing wavelength characteristics of illumination light, and information storage medium
WO2025009124A1 (ja) 画像診断支援装置、画像診断支援システム、及び画像診断支援方法
WO2022191058A1 (ja) 内視鏡画像処理装置、方法及びプログラム
WO2019146079A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US12604076B2 (en) Endoscope system, control method, and program
WO2021033215A1 (ja) 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
WO2022186111A1 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
CN118647300A (zh) 信息输出方法以及信息输出装置
WO2025009147A1 (ja) 画像診断支援装置、画像診断支援システム、及び画像診断支援方法
JPWO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
CN105899123B (zh) 用于内窥镜的视频处理器和具有该视频处理器的内窥镜系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23944372

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025530906

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025530906

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2023944372

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023944372

Country of ref document: EP

Effective date: 20260205