WO2023275974A1 - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
WO2023275974A1
WO2023275974A1 PCT/JP2021/024505 JP2021024505W WO2023275974A1 WO 2023275974 A1 WO2023275974 A1 WO 2023275974A1 JP 2021024505 W JP2021024505 W JP 2021024505W WO 2023275974 A1 WO2023275974 A1 WO 2023275974A1
Authority
WO
WIPO (PCT)
Prior art keywords
metadata
image processing
display control
display
inspection
Prior art date
Application number
PCT/JP2021/024505
Other languages
English (en)
French (fr)
Inventor
亮作 志野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/024505 priority Critical patent/WO2023275974A1/ja
Priority to JP2023531184A priority patent/JPWO2023275974A5/ja
Priority to EP21948283.3A priority patent/EP4364636A1/en
Publication of WO2023275974A1 publication Critical patent/WO2023275974A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the present disclosure relates to the technical field of image processing apparatuses, image processing methods, and storage media that process images acquired in endoscopy.
  • Patent Literature 1 discloses a technique of generating three-dimensional model data of an inspection object based on an image captured by an endoscope and displaying the data as a three-dimensional model image.
  • Patent Document 2 discloses a technique of generating volume data representing the large intestine by imaging a three-dimensional imaging region including the large intestine with an X-ray CT apparatus.
  • Non-Patent Document 1 discloses a method of restoring the three-dimensional shape of the stomach from a photographed image using SfM (Structure from Motion).
  • SfM Structure from Motion
  • Non-Patent Literature 2 discloses a non-rigid positioning method for three-dimensional shapes.
  • a preliminary examination using CT, MRI, etc. may be performed before the endoscopy.
  • the information identified in the preliminary examination can also be used in the endoscopy.
  • one object of the present disclosure is to provide an image processing apparatus, an image processing method, and a storage medium that can suitably use information obtained in advance in endoscopy. do.
  • a three-dimensional reconstruction means for generating reconstruction data obtained by three-dimensionally reconstructing the inspection target based on an endoscopic image of the inspection target captured by an imaging unit provided in the endoscope; matching means for matching the three-dimensional model to be inspected and the reconstructed data; display control means for displaying information about metadata associated with the three-dimensional model based on the matching result; It is an image processing apparatus having
  • the image processing method by computer generating reconstruction data obtained by three-dimensionally reconstructing the inspection target based on an endoscopic image of the inspection target captured by an imaging unit provided in the endoscope; performing matching between the three-dimensional model to be inspected and the reconstructed data; displaying information about metadata associated with the three-dimensional model based on the matching results; It is an image processing method.
  • One aspect of the storage medium is generating reconstruction data obtained by three-dimensionally reconstructing the inspection target based on an endoscopic image of the inspection target captured by an imaging unit provided in the endoscope; performing matching between the three-dimensional model to be inspected and the reconstructed data;
  • a storage medium storing a program that causes a computer to display information about metadata associated with the three-dimensional model based on the matching result.
  • information obtained in advance can be suitably used in endoscopy.
  • FIG. 1 shows a schematic configuration of an endoscopy system
  • 2 shows the hardware configuration of an image processing apparatus
  • 1 is a functional block diagram of an image processing device
  • FIG. FIG. 4 is a diagram showing an overview of processing by a three-dimensional reconstruction unit and a matching unit
  • 6 is an example of a flowchart showing an overview of display processing executed by the image processing apparatus during an endoscopy in the first embodiment
  • 4 shows a first display example of an inspector confirmation screen.
  • FIG. 11 shows a second display example of the inspector confirmation screen.
  • FIG. FIG. 11 shows a third display example of an inspector confirmation screen.
  • FIG. FIG. 15 shows a fourth display example of the inspector confirmation screen.
  • FIG. FIG. 15 shows a fifth display example of the inspector confirmation screen.
  • FIG. 15 shows a sixth display example of the inspector confirmation screen.
  • FIG. FIG. 11 is a block diagram of an image processing apparatus according to a second embodiment;
  • FIG. 11 is an example of a flowchart showing a processing procedure of an image processing apparatus according to a second embodiment;
  • FIG. 1 shows a schematic configuration of an endoscopy system 100.
  • the endoscopy system 100 relates to a suspected lesion (lesion site) detected based on a preliminary examination performed before an endoscopy in an examination (including treatment) using an endoscope. Information is presented along with real-time endoscopic images. Thereby, the endoscopy system 100 supports an examiner such as a doctor who performs an endoscopy.
  • the preliminary examination is an examination in which scan data of an organ to be examined is generated by CT, MRI, or the like, and diagnosis is performed based on the generated data.
  • the diagnosis described above may be performed by a doctor or may be performed by a computer.
  • the endoscopy system 100 mainly includes an image processing device 1, a display device 2, and an endoscope 3 connected to the image processing device 1.
  • the image processing apparatus 1 acquires images captured by the endoscope 3 in time series (also referred to as “endoscopic images Ic”) from the endoscope 3, and the endoscopy examiner confirms the images.
  • a screen also referred to as an “inspector confirmation screen” is displayed on the display device 2 .
  • the endoscope image Ic is an image captured at predetermined time intervals during at least one of the process of inserting the endoscope 3 into the subject and the process of ejecting the endoscope 3 .
  • the image processing apparatus 1 reconstructs data (also referred to as “reconstruction data Mr”) of the three-dimensional shape of an organ (digestive organ) to be inspected of the subject from the endoscopic image Ic.
  • the image processing apparatus 1 causes the display device 2 to display an inspector confirmation screen in which the position of the lesion site detected in the preliminary examination is highlighted on the endoscopic image Ic.
  • the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1 .
  • the endoscope 3 mainly includes an operation unit 36 for an examiner to perform predetermined input, a flexible shaft 37 inserted into an organ to be examined of a subject, and an ultra-compact imaging device. It has a tip portion 38 containing an imaging unit such as an element, and a connection portion 39 for connecting to the image processing apparatus 1 .
  • endoscopes targeted in the present disclosure include, for example, pharyngeal endoscopes, bronchoscopes, upper gastrointestinal endoscopes, duodenal endoscopes, small intestine endoscopes, colonoscopes, capsule endoscopes, thoracic scopes, laparoscopes, cystoscopes, choledoscopes, arthroscopes, spinal endoscopes, angioscopes, epidural endoscopes, and the like.
  • the part to be detected in the preliminary examination and the endoscopic examination is not limited to the lesion part, and may be any part that the examiner needs to pay attention to (also called “part of attention").
  • Such points of interest include a lesion site, an inflamed site, a surgical scar or other cut site, a fold or projection site, and the tip portion 38 of the endoscope 3 in the lumen. It may be a place where it is easy to contact (easy to break) on the wall surface of the wall.
  • the point of interest is a lesion site
  • the disease condition of the lesion site to be detected is exemplified as (a) to (f) below.
  • FIG. 2 shows the hardware configuration of the image processing apparatus 1.
  • the image processing device 1 mainly includes a processor 11 , a memory 12 , an interface 13 , an input section 14 , a light source section 15 and a sound output section 16 . Each of these elements is connected via a data bus 19 .
  • the processor 11 executes a predetermined process by executing a program or the like stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • Processor 11 may be composed of a plurality of processors.
  • Processor 11 is an example of a computer.
  • the memory 12 is composed of various volatile memories used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory for storing information necessary for processing of the image processing apparatus 1. be done.
  • the memory 12 may include an external storage device such as a hard disk connected to or built into the image processing apparatus 1, or may include a storage medium such as a detachable flash memory.
  • the memory 12 stores a program for the image processing apparatus 1 to execute each process in this embodiment.
  • the memory 12 functionally has an endoscope image storage section 21 and a preliminary examination information storage section 22 .
  • the endoscopic image storage unit 21 stores a series of endoscopic images Ic captured by the endoscope 3 during endoscopic examination. These endoscopic images Ic are images used for generating the reconstructed data Mr. For example, the endoscopic images are associated with subject identification information (e.g., patient ID), time stamp information, and the like. It is stored in the image storage unit 21 .
  • subject identification information e.g., patient ID
  • time stamp information e.g., time stamp information
  • the pre-examination information storage unit 22 stores pre-examination information, which is information about the results of pre-examination using CT, MRI, or the like for the subject.
  • the pre-examination information includes scan data (also referred to as "pre-scan data") of organs to be examined of the subject by CT or MRI, etc., and the three-dimensional shape of the organ to be examined generated from the pre-scan data. It includes a model pre-inspected model Mp and metadata associated with the pre-scan data and the pre-inspected model Mp.
  • Metadata is, for example, data annotated by a doctor in charge of a preliminary examination to preliminary scan data, or data obtained by applying CAD (Computer Aided Diagnosis) to preliminary scan data.
  • the above-mentioned annotation work is, for example, a work in which the doctor in charge of the preliminary examination refers to the preliminary scan data displayed on a display or the like, designates a point of interest in the preliminary scan data, and inputs a comment or the like about the point of interest into a computer.
  • Metadata includes information about a point of interest such as a lesion detected in a preliminary examination.
  • the metadata includes position information (for example, coordinate values in a coordinate system representing pre-scan data) that designates a point of interest to be noted in an endoscopy, and the diagnosis results related to the position indicated by the position information (that is, the point of interest). and content information representing the
  • position information for example, coordinate values in a coordinate system representing pre-scan data
  • diagnosis results related to the position indicated by the position information that is, the point of interest
  • content information representing the metadata may also include information on the attributes of the doctor in charge of the preliminary examination (including information on the name and affiliation of the doctor in charge), as will be described later.
  • the pre-inspection model Mp is generated by extracting the three-dimensional shape of the organ to be inspected from pre-scan data such as three-dimensional CT images or MRI data.
  • the pre-inspection model Mp is represented, for example, in a predetermined three-dimensional coordinate system.
  • the pre-inspection information storage unit 22 may further include coordinate conversion information between the three-dimensional coordinate system of the pre-inspection model Mp and the coordinate system (two-dimensional or three-dimensional coordinate system) representing the pre-scan data. .
  • This coordinate transformation information is generated in the process of generating the pre-inspection model Mp from the pre-scan data.
  • the process of generating the preliminary inspection model Mp from the preliminary scan data may be performed in advance by the image processing apparatus 1 before the endoscopy, or may be performed by an apparatus other than the image processing apparatus 1 before the endoscopy. good.
  • At least one of the endoscope image storage unit 21 and the preliminary examination information storage unit 22 may be provided in an external device capable of wired or wireless data communication with the image processing apparatus 1 instead of the memory 12. good.
  • the external device may be one or a plurality of server devices capable of data communication with the image processing device 1 via a communication network.
  • the memory 12 may store various information necessary for the processing in this embodiment.
  • the memory 12 may further store parameters of the lesion detection model required for executing CAD.
  • the lesion detection model is, for example, a machine learning model such as a neural network or a support vector machine. This model is configured to output positional information (or region information) within the endoscopic image Ic when the presence or absence of a lesion site exists.
  • the lesion detection model is composed of a neural network
  • the memory 12 stores various parameters such as the layer structure, the neuron structure of each layer, the number and size of filters in each layer, and the weight of each element of each filter. do.
  • the interface 13 performs an interface operation between the image processing device 1 and an external device.
  • the interface 13 supplies the display information “Id” generated by the processor 11 to the display device 2 .
  • the interface 13 also supplies the endoscope 3 with light or the like generated by the light source unit 15 .
  • the interface 13 also supplies the processor 11 with electrical signals indicating the endoscopic image Ic supplied from the endoscope 3 .
  • the interface 13 may be a communication interface such as a network adapter for performing wired or wireless communication with an external device, and may be a hardware interface conforming to USB (Universal Serial Bus), SATA (Serial AT Attachment), or the like. may
  • the input unit 14 generates an input signal based on the operation by the inspector.
  • the input unit 14 is, for example, a button, touch panel, remote controller, voice input device, or the like.
  • the light source unit 15 generates light to be supplied to the distal end portion 38 of the endoscope 3 .
  • the light source unit 15 may also incorporate a pump or the like for sending out water or air to be supplied to the endoscope 3 .
  • the sound output unit 16 outputs sound under the control of the processor 11 .
  • FIG. 3 is a functional block diagram of the image processing apparatus 1.
  • the processor 11 of the image processing apparatus 1 functionally includes an endoscopic image acquisition unit 30, a three-dimensional reconstruction unit 31, a matching unit 32, and a display control unit 33.
  • the blocks that exchange data are connected by solid lines, but the combinations of blocks that exchange data are not limited to those shown in FIG. The same applies to other functional block diagrams to be described later.
  • the endoscopic image acquisition unit 30 acquires endoscopic images Ic captured by the endoscope 3 via the interface 13 at predetermined intervals. Then, the endoscopic image acquisition section 30 supplies the acquired endoscopic image Ic to the three-dimensional reconstruction section 31 . In addition, the endoscopic image acquisition unit 30 stores the acquired endoscopic image Ic in the endoscopic image storage unit 21 in association with a time stamp, patient ID, and the like. In addition, the endoscopic image acquisition unit 30 supplies the acquired latest endoscopic image Ic to the display control unit 33 .
  • the three-dimensional reconstruction unit 31 generates reconstruction data Mr representing the three-dimensional shape of the photographed organ based on a plurality of endoscope images Ic acquired by the endoscope image acquisition unit 30 during endoscopy. do.
  • the reconstruction data Mr includes, for example, point cloud data having three-dimensional position information.
  • the three-dimensional reconstruction unit 31 calculates the three-dimensional shape of the subject and the relative position of the imaging unit from the plurality of images.
  • reconstructed data Mr is constructed using a method for reconstructing
  • a technique for example, there is a technique such as Structure from Motion (SfM).
  • the three-dimensional reconstruction unit 31 updates the generated reconstruction data Mr, for example, each time a predetermined number of endoscopic images Ic are acquired.
  • the above predetermined number of sheets may be one or more, and is set in advance to a value that takes into account the processing capability of the image processing apparatus 1, for example.
  • the three-dimensional reconstruction unit 31 supplies the generated (including updated) reconstruction data Mr to the matching unit 32 .
  • a method of generating the reconstructed data Mr will be described later.
  • the matching unit 32 performs matching between the reconstruction data Mr supplied from the three-dimensional reconstruction unit 31 and the pre-inspection model Mp stored in the pre-inspection information storage unit 22, and obtains a matching result “Rm ” is supplied to the display control unit 33 .
  • the matching unit 32 performs non-rigid alignment, and stores the reconstructed data Mr and the pre-inspection model Mp subjected to non-rigid alignment in a common three-dimensional coordinate system (also referred to as a “common coordinate system”). Generate the data represented in Then, for example, the matching unit 32 generates the above-described data and/or coordinate conversion information regarding the common coordinate system as the matching result Rm.
  • the above coordinate transformation information includes, for example, coordinate transformation information from the coordinate system adopted by the reconstruction data Mr to the common coordinate system, and coordinate transformation information from the coordinate system adopted by the pre-inspection model Mp to the common coordinate system.
  • the display control unit 33 generates the display information Id of the inspector confirmation screen based on the matching result Rm generated by the matching unit 32, and supplies the generated display information Id to the display device 2 to display the inspector confirmation screen. It is displayed on the display device 2.
  • the display control unit 33 associates the information about the attention point indicated by the metadata included in the preliminary examination information storage unit 22 with the endoscopic image Ic supplied from the endoscopic image acquisition unit 30, and displays it to the examiner. Display on the confirmation screen. Further, the display control unit 33 may output information for guiding or warning about imaging by the endoscope 3 by the examiner. This information may be output on the inspector confirmation screen or by the sound output unit 16 .
  • FIG. 4 is a diagram showing an overview of the processing of the three-dimensional reconstruction unit 31 and the matching unit 32.
  • FIG. 4 shows a case where the stomach is the object of examination, but the outline of the processing shown in FIG. 4 is similarly applied to the large intestine and other digestive tracts.
  • locations 80 to 83 targeted by metadata are specified.
  • the metadata target locations 80 to 83 are locations specified by the position information included in the metadata, and are locations targeted by the content information of the metadata.
  • the metadata target locations 80 to 83 can be expressed in the coordinate system of the pre-inspection model Mp based on the metadata stored in the pre-inspection information storage unit 22 .
  • the three-dimensional reconstruction unit 31 calculates a region of the gastrointestinal tract that has been imaged by the endoscope 3 (imaged region) based on a plurality of endoscopic images Ic that have been acquired so far during the endoscopy. generates reconstruction data Mr corresponding to the three-dimensional shape of .
  • the matching unit 32 performs matching (non-rigid alignment) between the pre-inspection model Mp stored in the pre-inspection information storage unit 22 and the reconstructed data Mr. Thereby, the matching unit 32 associates the pre-inspection model Mp representing the whole with the reconstructed data Mr corresponding to the photographed area in the common coordinate system, and the result of the association (for example, coordinates from each data to the common coordinate system A matching result Rm representing the conversion information) is generated. Furthermore, the metadata target portions 80 to 83 expressed in the coordinate system of the pre-inspection model Mp are also transformed into the reconstructed data Mr (that is, the endoscopic image constituting the reconstructed data Mr) by coordinate conversion to the common coordinate system. Ic) is identified. In the post-matching diagram shown in FIG. 4, metadata target portions 81 and 82 that are duplicated in the reconstructed data Mr are clearly shown.
  • the display control unit 33 generates display information Id regarding the inspector confirmation screen including the endoscopic image Ic in which the metadata target portion is highlighted.
  • Each component of the endoscopic image acquisition unit 30, the three-dimensional reconstruction unit 31, the matching unit 32, and the display control unit 33 can be realized by the processor 11 executing a program, for example. Further, each component may be realized by recording necessary programs in an arbitrary nonvolatile storage medium and installing them as necessary. Note that at least part of each of these components may be realized by any combination of hardware, firmware, and software, without being limited to being implemented by program software. Also, at least part of each of these components may be implemented using a user-programmable integrated circuit, such as an FPGA (Field-Programmable Gate Array) or a microcontroller. In this case, this integrated circuit may be used to implement a program composed of the above components.
  • FPGA Field-Programmable Gate Array
  • each component may be configured by an ASSP (Application Specific Standard Produce), an ASIC (Application Specific Integrated Circuit), or a quantum processor (quantum computer control chip).
  • ASSP Application Specific Standard Produce
  • ASIC Application Specific Integrated Circuit
  • quantum processor quantum computer control chip
  • FIG. 5 is an example of a flow chart showing an outline of display processing executed by the image processing apparatus 1 during endoscopy in the first embodiment.
  • the image processing device 1 acquires an endoscopic image Ic (step S11).
  • the endoscope image acquisition unit 30 of the image processing apparatus 1 receives the endoscope image Ic from the endoscope 3 via the interface 13 .
  • the image processing apparatus 1 generates reconstructed data Mr obtained by three-dimensionally reconstructing the inspection target from the plurality of endoscopic images Ic acquired in step S11 (step S12).
  • the three-dimensional reconstruction unit 31 of the image processing apparatus 1 generates reconstruction data Mr using a technique such as SfM based on the endoscopic image Ic acquired from the start of the examination to the current processing time.
  • the image processing apparatus 1 performs matching between the pre-inspection model Mp and the reconstructed data Mr (step S13).
  • the matching unit 32 of the image processing apparatus 1 performs non-rigid registration between the pre-inspection model Mp acquired from the pre-inspection information storage unit 22 and the reconstruction data Mr generated by the three-dimensional reconstruction unit 31. to generate a matching result Rm.
  • the image processing device 1 determines whether or not the endoscopic image Ic displayed on the display device 2 has a metadata target portion (step S14).
  • the endoscopic image Ic displayed on the display device 2 is, for example, the latest endoscopic image Ic among the endoscopic images Ic used to generate the reconstructed data Mr.
  • the image processing apparatus 1 first recognizes a metadata target location in the common coordinate system based on the matching result Rm and metadata, and then displays the metadata target location on the display device 2 as an endoscope image. Convert to the coordinate system of Ic. Then, if there is a metadata target location belonging to the display range of the endoscopic image Ic to be displayed on the display device 2 among the metadata target locations after the coordinate conversion, the image processing device 1 displays the metadata target location on the display device 2. It is determined that there is a metadata target portion in the endoscopic image Ic.
  • the image processing apparatus 1 when generating three-dimensional data from a plurality of images using a technique such as SfM, since coordinate transformation information between the generated three-dimensional data and the original image can be obtained, the image processing apparatus 1 , by using this coordinate conversion information, it is possible to convert the metadata object part of the common coordinate system into the coordinate system of each endoscopic image Ic.
  • the image processing apparatus 1 determines that there is a metadata target portion in the endoscopic image Ic displayed on the display device 2 (step S14; Yes)
  • the endoscopic image Ic indicating information about the metadata is displayed on the display device 2 (step S15).
  • the display control unit 33 of the image processing apparatus 1 displays an endoscopic image Ic in which the metadata target portion is highlighted and an inspector confirmation screen clearly indicating the content of the metadata target portion, as will be described later. It generates display information Id for the display device 2 and supplies the display information Id to the display device 2 .
  • the image processing apparatus 1 determines that there is no metadata target portion in the endoscopic image Ic displayed on the display device 2 (step S14; No)
  • the image processing device 1 displays the target endoscopic image Ic on the display device 2. is displayed (step S16).
  • the image processing apparatus 1 determines whether or not the endoscopy has ended (step S17). For example, the image processing apparatus 1 determines that the endoscopy has ended when a predetermined input or the like to the input unit 14 or the operation unit 36 is detected. When the image processing apparatus 1 determines that the endoscopy has ended (step S17; Yes), the processing of the flowchart ends. On the other hand, when the image processing apparatus 1 determines that the endoscopy has not ended (step S17; No), the process returns to step S11. Then, in step S11, the image processing apparatus 1 acquires the endoscopic image Ic newly generated by the endoscope 3, includes the endoscopic image Ic in the processing target, and performs steps S12 to S17. Re-execute the process.
  • the image processing device 1 will be described as the processing subject, but any device other than the image processing device 1 may be the processing subject.
  • the generated pre-inspection model Mp is stored in the memory 12 (specifically, the pre-inspection information storage unit 22) via data communication or a removable storage medium. remembered.
  • the image processing device 1 acquires pre-scan data such as a 3D-CT image or MRI data of an organ to be inspected of the subject. Then, the image processing apparatus 1 extracts the region of the organ to be inspected from the preliminary scan data based on the user's input. In this case, the image processing apparatus 1 displays the pre-scan data on the display device 2, for example, and receives a user input designating the region of the organ to be inspected through the input unit 14. FIG. Then, the image processing apparatus 1 generates volume data representing a region of an organ to be inspected extracted from the preliminary scan data of the subject. This volume data is, for example, three-dimensional voxel data in which the area of the organ to be inspected is represented by binary values of 0 and 1.
  • the image processing apparatus 1 creates a three-dimensional pre-inspection model Mp, which is a surface model, from the volume data described above.
  • the image processing apparatus 1 converts the volume data into the preliminary inspection model Mp using any algorithm for converting voxel data into polygon data. Algorithms include, for example, the marching cube method and the marching tetrahedra method.
  • the generated pre-inspection model Mp is stored in the memory 12 (specifically, the pre-inspection information storage unit 22) that the image processing apparatus 1 can refer to.
  • step S13 a supplementary explanation of the matching process in step S13 will be provided.
  • the matching unit 32 extracts feature points that serve as landmarks from the pre-inspection model Mp and the reconstructed data Mr, respectively.
  • the matching unit 32 performs, for example, three-dimensional smoothing of the reconstructed data Mr, and based on the point group constituting the smoothed reconstructed data Mr and its connection graph, characteristic points in the point group
  • the feature points are extracted as follows.
  • the matching unit 32 uses various point cloud feature extraction methods such as point cloud principal component analysis (PCA: Principal Component Analysis) and DoCoG (Difference of Center of Gravity) to extract the feature points described above. is extracted.
  • PCA point cloud principal component analysis
  • DoCoG DoCoG
  • the matching unit 32 matches the feature points extracted from the pre-inspection model Mp and the reconstructed data Mr, and performs rigid matching between the pre-inspection model Mp and the reconstructed data Mr.
  • the matching unit 32 translates (including rotates) at least one of the pre-inspection model Mp and the reconstructed data Mr such that the distance between the corresponding feature points is minimized.
  • the matching unit 32 performs morphing of the pre-inspection model Mp using the reconstructed data Mr as a reference.
  • the matching unit 32 uses a matching technique between point groups such as ICPD (Iterative Coherent Point Drift) to perform matching between the pre-inspection model Mp and the reconstructed data Mr, and obtain feature points in the pre-inspection model Mp. Move points other than those considered as (landmarks).
  • ICPD Intelligent Coherent Point Drift
  • the display control unit 33 generates display information Id for displaying an inspector confirmation screen including the endoscopic image Ic in which the metadata target portion is highlighted, and supplies the display information Id to the display device 2. , causes the display device 2 to display an inspector confirmation screen.
  • FIG. 6 shows a first display example of the inspector confirmation screen.
  • the display control unit 33 displays a mark for highlighting the metadata target location. And information such as diagnostic results linked to the metadata target location is displayed.
  • the display control unit 33 mainly displays the latest endoscopic image Ic captured by the endoscope 3 and the metadata object part of the endoscopic image Ic on the examiner confirmation screen.
  • a mark 41 surrounded by a dashed circle and a metadata display field 42 indicating the content of metadata related to the metadata target portion highlighted by the mark 41 are displayed.
  • the display control unit 33 displays in the metadata display field 42 the diagnostic result of the preliminary examination (here, the comment "Possible XX lesion site") for the metadata target location indicated by the mark 41. ), the date and time of diagnosis, and attributes of doctors (here, doctor name “A” and hospital name “ ⁇ Hospital”) are displayed.
  • the metadata the above-described information on the diagnosis result, the diagnosis date and time, the attributes of the doctor, etc., is positional information representing the metadata object part of the center position of the mark 41 (for example, it is expressed in a coordinate system such as pre-scan data). coordinate information) and stored in the preliminary inspection information storage unit 22 .
  • the display control unit 33 displays the information related to the metadata generated in the preliminary examination in association with the endoscopic image Ic captured in the endoscopic examination. can be done.
  • the examiner of the endoscopy can accurately grasp the lesion site and other attention points detected in the preliminary examination during the endoscopy.
  • the inspector of the endoscopy can also preferably grasp the attribute of the doctor who performed the preliminary inspection on the inspector confirmation screen.
  • the display control unit 33 highlights the metadata target location with a mark of an arbitrary shape other than the dashed circle (for example, a star or other figure) instead of highlighting the metadata target location with the dashed circle mark 41 surrounding the metadata target location. It may be highlighted on the endoscopic image Ic. Further, when the metadata target location is recorded in the metadata as an area, the display control unit 33 may highlight the line bordering the area or the entire area on the endoscopic image Ic. .
  • FIG. 7 shows a second display example of the inspector confirmation screen.
  • the display control unit 33 makes the display mode of the metadata different for each doctor who has performed the preliminary examination.
  • the display control unit 33 displays a dashed circle mark 41A surrounding the metadata target location based on the metadata attached by the doctor A in the preliminary examination and the metadata target location based on the metadata attached by the doctor B in the preliminary examination. is displayed on the latest endoscopic image Ic. Further, the display control unit 33 provides a metadata display field 42A that indicates the content of the metadata corresponding to the metadata target location highlighted by the mark 41A, and a metadata display field 42A that indicates the content of the metadata corresponding to the metadata target location highlighted by the mark 41B.
  • a metadata display field 42B indicating the content of data is displayed on the inspector confirmation screen.
  • the metadata display field 42A displays the diagnosis result (here, the comment "Possibly XX lesion site") for the target metadata target part, the date and time of diagnosis, and the attributes of doctor A who made the diagnosis.
  • the metadata display column 42B displays the diagnosis result (here, the comment "It is a surgical scar") for the target metadata target part, the date and time of the diagnosis, and the attribute of the doctor B who made the diagnosis.
  • the display control unit 33 indicates the mark 41A and the metadata display column 42A, which are the display objects based on the metadata attached to the doctor A, by broken lines, and the display objects based on the metadata attached to the doctor B.
  • a mark 41B and a metadata display field 42B are indicated by a dashed line.
  • the display control unit 33 makes the line type of the mark surrounding the metadata target location different for each doctor who performed the preliminary examination. In this case, any line type such as a dashed line, a dashed line, and a solid line may be used.
  • the display control unit 33 causes the display mode of the information (display object) regarding the metadata to differ for each doctor who performed the preliminary examination.
  • the display control unit 33 can make the examiner of the endoscopy clearly recognize the difference between the doctors in charge to whom the metadata is attached.
  • the display control unit 33 changes the shape of the mark surrounding the metadata target location. , may be different for each doctor who performed the preliminary examination.
  • the shape of the mark in this case may be any shape such as a circle, triangle, square, or the like.
  • the display mode when the display mode regarding metadata is changed for each doctor who has performed a preliminary examination is not limited to the examples given here.
  • Any display mode may be used as long as the doctor in charge of the pre-examination corresponding to the metadata target part is distinguished and recognized by the examiner. This is the same when the display mode of information to be superimposed on the endoscopic image is changed in arbitrary display examples other than the second display example (for example, a fourth display example and a sixth display example which will be described later). This makes it possible to change the display mode of the information to be distinguished and recognized by the inspector, thereby supporting the inspection by the inspector.
  • the display control unit 33 may, for example, display the marks (marks 41A and 41B in FIG. 7) representing the metadata target locations in a display mode that does not overlap the target metadata target locations.
  • the display control unit 33 increases the transparency of the display of the mark representing the metadata target location and the mark in the overlapping portion of the target metadata target location and the display (specifically, the mark and the mark are displayed). It is preferable to increase the transparency to the extent that overlapping metadata target locations can be visually recognized).
  • the display control unit 33 makes the inside of the mark indicating the metadata target location white (transparent). As a result, the display control unit 33 can facilitate visual recognition of the metadata target portion by the inspector.
  • FIG. 8 shows a third display example of the inspector confirmation screen.
  • the display control unit 33 displays the degree of matching, which indicates the degree of matching between the reconstructed data Mr by the matching unit 32 and the pre-inspection model Mp, as the metadata object highlighted on the endoscopic image Ic. It is displayed as the positional accuracy of the location (also called "positional accuracy").
  • the above matching degree indicates a higher value as the degree of matching between the reconstructed data Mr and the pre-inspection model Mp is higher.
  • the display control unit 33 displays the expected reachable distance from the distal end portion 38 of the endoscope 3 to the metadata target location.
  • the display control unit 33 displays a mark 41B enclosing a metadata target portion on the endoscopic image Ic, and displays a metadata display field 42C representing the content of metadata related to the metadata target portion. it's shown.
  • the display control unit 33 displays the diagnosis result of the preliminary examination (here, the comment "Possible lesion site") in the metadata display field 42C.
  • the display control unit 33 displays an expected reachable distance display field 45 that indicates the expected reachable distance from the tip 38 to the location where the metadata being displayed is present. Note that, for example, in SfM or the like used to generate the reconstructed data Mr, a parameter representing the shooting position can be obtained, so the display control unit 33 calculates the position between the parameter and the metadata target location as the above-mentioned expected arrival distance. .
  • the display control unit 33 displays a numerical value representing the positional accuracy (here, 65 in the range of 0 to 100) and a positional accuracy display field 46 representing a gauge corresponding to the numerical value on the inspector confirmation screen.
  • the display control unit 33 corresponds to the solution (optimal solution) of the evaluation function (for example, the sum of the distances between the feature points of the pre-inspection model Mp and the reconstructed data Mr) used in matching by the matching unit 32.
  • a value is obtained as the degree of matching, and the degree of positional accuracy is calculated by normalizing the degree of matching so that it falls within the value range of 0 to 100 by an arbitrary normalization method.
  • the display control unit 33 increases the positional accuracy as the value of the evaluation function in the solution decreases, and when maximizing the evaluation function in matching, The higher the value of the evaluation function, the higher the positional accuracy.
  • the display control unit 33 displays the positional accuracy of the position of the metadata target location on the endoscopic image Ic and the endoscopic image Ic in which the metadata target location is highlighted.
  • the display control unit 33 displays the positional accuracy along with the endoscopic image Ic in which the metadata target location is highlighted, thereby increasing the reliability of the position of the highlighted metadata target location.
  • the degree can be recognized by the examiner.
  • the display control unit 33 displays the expected reaching distance, which is useful information for operating the endoscope 3, so that the operation of the examiner for endoscopy can be favorably supported.
  • the position accuracy may be calculated by any processing block in the image processing apparatus 1 other than the display control unit 33 based on the matching result by the matching unit 32 .
  • FIG. 9 shows a fourth display example of the inspector confirmation screen.
  • the display control unit 33 detects a lesion site in the endoscopic image Ic by executing CAD in real time, and compares the position of the lesion site based on CAD with the metadata target position. Display information based on results.
  • the display control unit 33 encloses the position where the metadata target portion (that is, the position of the lesion detected in the preliminary examination) and the position of the lesion detected by CAD using the endoscopic image Ic overlap.
  • a mark 41D and a mark 41E enclosing a position detected as a lesion site by CAD rather than a metadata target site are displayed superimposed on the endoscopic image Ic.
  • the display control unit 33 creates a comment display field 42D that displays the comment corresponding to the position highlighted by the mark 41D and a comment display field 42E that displays the comment corresponding to the position highlighted by the mark 41E. indicate.
  • the display control unit 33 displays in the comment display field 42D corresponding to the mark 41D that the position indicated by the mark 41D has been detected as a lesion site in both the diagnosis in the preliminary examination and the real-time CAD.
  • the display control unit 33 displays in the comment display field 42E corresponding to the mark 41E that a lesion site that was not detected in the preliminary examination was detected by real-time CAD.
  • the display control unit 33 similarly provides a mark and comment display field when there is a portion that was detected as a lesion site in the preliminary examination but was not detected by the real-time CAD, and The presence of such a site may be presented to the endoscopist.
  • the display control unit 33 notifies the endoscopy examiner of information based on the results of comparison between the preliminary examination diagnosis and the real-time CAD diagnosis.
  • the display control unit 33 can favorably support the endoscopy by the examiner.
  • FIG. 10 shows a fifth display example of the inspector confirmation screen.
  • the display control unit 33 performs a process of extracting the lesion area including the metadata target location from the endoscopic image Ic, and highlights the extracted lesion area on the endoscopic image Ic.
  • the display control unit 33 highlights the lesion area 41F in the endoscopic image Ic including the metadata target portion on the endoscopic image Ic, and displays the content of the metadata related to the lesion area 41F.
  • the metadata display field 42F shown is displayed.
  • the display control unit 33 when there is a metadata target location in the displayed endoscopic image Ic, the display control unit 33 extracts the lesion area 41F in the endoscopic image Ic including the metadata target location. Execute the processing to be performed.
  • the display control unit 33 inputs the endoscopic image Ic to be displayed and the metadata target portion to the lesion area extraction model, and extracts the lesion area 41F based on the information output by the model. .
  • the lesion area extraction model extracts the entire area of the lesion site including the position indicated by the position information.
  • the learned parameters are stored in the memory 12 or the like in advance.
  • the display control unit 33 may display the lesion area 41F based on the metadata when the area is already specified in the metadata as the metadata target location.
  • the lesion area can be accurately extracted based on the metadata generated by the preliminary inspection, and the lesion area can be displayed on the inspector confirmation screen together with the diagnostic results of the preliminary inspection. can be done.
  • FIG. 11 shows a sixth display example of the inspector confirmation screen.
  • the display control unit 33 determines the display mode of the metadata target location according to the type of the attention location indicated by the metadata when the metadata includes information about any attention location other than the lesion site. do.
  • the display control unit 33 controls the endoscopic image Ic superimposed with the marks 41G and 41H having a display mode corresponding to the type of the point of interest, and the correspondence between the types of marks that may be used and the types of the point of interest. and a past history display field 44 for displaying the past history of the subject are displayed on the inspector confirmation screen.
  • the display control unit 33 recognizes based on metadata that a lesion site and a surgical scar exist in the displayed endoscopic image Ic, and selects a metadata target site corresponding to the lesion site.
  • a circular mark 41G enclosing and a triangular mark 41H enclosing the metadata target portion corresponding to the surgical scar are displayed on the endoscopic image Ic. Thereby, the display control unit 33 can allow the inspector to easily grasp the type of the spot of interest detected in the preliminary inspection.
  • the display control unit 33 also has a past history display field 44 that shows the past history of the subject (here, "subject Z").
  • the display control unit 33 receives, for example, information about the subject's past history from the memory 12 or an external device that stores the past history, and displays the past history display field 44 based on the received information.
  • information is preferably referred to by the examiner as reference information during endoscopy.
  • the image processing apparatus 1 detects the lesion site using both the pre-scan data and the endoscopic image Ic. Detection may be performed.
  • the image processing apparatus 1 generates an endoscopic image Ic and an image (for example, a CT image) of pre-scan data corresponding to the endoscopic image Ic (that is, the endoscopic image Ic and an area to be photographed are common).
  • a lesion detection model with input is used.
  • the lesion detection model determines whether or not there is a lesion in the endoscopic image Ic, and if the lesion exists, the position of the lesion. Learned to output information.
  • the endoscopic image Ic and the pre-scan data image may be superimposed in the channel direction and input to the lesion detection model. It may be input into a lesion detection model.
  • the image processing apparatus 1 identifies an image of pre-scan data corresponding to each endoscopic image Ic based on the matching result Rm of the matching unit 32, for example. Then, the image processing apparatus 1 inputs the endoscopic image Ic and the image of the pre-scan data to the lesion detection model, and determines whether or not there is a lesion in the endoscopic image Ic output by the lesion detection model. Then, the position information of the lesion site is acquired.
  • the image processing apparatus 1 can detect the lesion site with higher accuracy using both the pre-scan data and the endoscopic image Ic.
  • FIG. 12 is a block diagram of an image processing device 1X according to the second embodiment.
  • the image processing device 1X mainly includes a three-dimensional reconstruction means 31X, a matching means 32X, and a display control means 33X.
  • the image processing device 1X may be composed of a plurality of devices.
  • the three-dimensional reconstruction means 31X generates reconstruction data obtained by three-dimensionally reconstructing the inspection target based on an endoscopic image of the inspection target captured by an imaging unit provided in the endoscope.
  • the three-dimensional reconstruction means 31X may receive the endoscopic image directly from the imaging unit, or acquire the endoscopic image from a storage device that stores endoscopic images captured by the imaging unit. good.
  • the “test object” may be the large intestine or other organs such as the stomach.
  • the three-dimensional reconstruction means 31X can be the three-dimensional reconstruction section 31 in the first embodiment.
  • the matching means 32X performs matching between the three-dimensional model to be inspected and the reconstructed data.
  • the matching means 32X may acquire the three-dimensional model of the inspection object from the memory of the image processing device 1X, or from an external device different from the image processing device 1X.
  • the matching means 32X can be the matching section 32 in the first embodiment.
  • the display control means 33X displays information about metadata associated with the 3D model based on the matching result.
  • the display control means 33X may display the above-mentioned information on the display section of the image processing device 1X, or may display the above-mentioned information on a display device separate from the image processing device 1X.
  • the display control means 33X can be the display control section 33 in the first embodiment.
  • FIG. 13 is an example of a flowchart showing a processing procedure executed by the image processing apparatus 1X in the second embodiment.
  • the three-dimensional reconstruction means 31X generates reconstruction data obtained by three-dimensionally reconstructing the inspection object based on the endoscopic image of the inspection object photographed by the imaging unit provided in the endoscope (step S21).
  • the matching means 32X performs matching between the three-dimensional model to be inspected and the reconstructed data (step S22).
  • the display control means 33X displays information about metadata associated with the three-dimensional model based on the matching result (step S23).
  • the image processing device 1X can display information related to metadata associated in advance with the three-dimensional model to be inspected.
  • [Appendix 1] a three-dimensional reconstruction means for generating reconstruction data obtained by three-dimensionally reconstructing the inspection target based on an endoscopic image of the inspection target captured by an imaging unit provided in the endoscope; matching means for matching the three-dimensional model to be inspected and the reconstructed data; display control means for displaying information about metadata associated with the three-dimensional model based on the matching result;
  • the metadata includes position information representing a metadata target location targeted by the metadata, When the display control means determines that the metadata target location exists in the endoscopic image based on the matching result and the position information, the display control means displays the metadata target location on the endoscopic image. 1.
  • the image processing apparatus according to appendix 5, wherein when there are a plurality of diagnosticians, the display control means causes the information on the metadata to be displayed differently for each diagnostician.
  • the display control means displays the accuracy of the position of the metadata target location on the endoscopic image and the endoscopic image in which the metadata target location is highlighted; 7.
  • the image processing apparatus according to any one of appendices 2 to 6, wherein the accuracy is calculated based on the matching result.
  • the metadata target location is a location diagnosed as a lesion site, 8.
  • Device is a comparison result between the detection position of the lesion site based on the endoscopic image and the metadata target site.
  • the image processing apparatus according to any one of appendices 1 to 10, wherein the metadata is data generated based on inspection results of the preliminary inspection.
  • Appendix 12 by computer generating reconstruction data obtained by three-dimensionally reconstructing the inspection target based on an endoscopic image of the inspection target captured by an imaging unit provided in the endoscope; performing matching between the three-dimensional model to be inspected and the reconstructed data; displaying information about metadata associated with the three-dimensional model based on the matching results; Image processing method.
  • Appendix 13 generating reconstruction data obtained by three-dimensionally reconstructing the inspection target based on an endoscopic image of the inspection target captured by an imaging unit provided in the endoscope; performing matching between the three-dimensional model to be inspected and the reconstructed data;
  • a storage medium storing a program that causes a computer to display information about metadata associated with the three-dimensional model based on the matching result.
  • Reference Signs List 1 1X image processing device 2 display device 3 endoscope 11 processor 12 memory 13 interface 14 input unit 15 light source unit 16 sound output unit 100 endoscopy system

Abstract

画像処理装置１Ｘは、主に、３次元再構成手段３１Ｘと、マッチング手段３２Ｘと、表示制御手段３３Ｘとを備える。３次元再構成手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、検査対象を３次元再構成した再構成データを生成する。マッチング手段３２Ｘは、検査対象の３次元モデルと再構成データとのマッチングを行う。表示制御手段３３Ｘは、マッチングの結果に基づき、３次元モデルに関連付けられたメタデータに関する情報を表示する。

Description

画像処理装置、画像処理方法及び記憶媒体
　本開示は、内視鏡検査において取得される画像の処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。
　従来から、臓器の管腔内を撮影した画像を表示する内視鏡システムが知られている。例えば、特許文献１には、内視鏡により撮影した画像に基づき、検査対象の３次元モデルデータを生成し、３次元モデル画像として表示する技術が開示されている。また、特許文献２には、Ｘ線ＣＴ装置により大腸が含まれる３次元の撮影領域を撮影することで、大腸を表すボリュームデータを生成する技術が開示されている。また、非特許文献１には、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）を用いて撮影画像から胃の３次元形状を復元する手法が開示されている。さらに、非特許文献２には、３次元形状同士の非剛体の位置合わせ手法が開示されている。
国際公開ＷＯ２０１７／２０３８１４ 特開２０１１－１３９７９７号
Aji Resindra Widya et al. "3D Reconstruction of Whole Stomach from Endoscope Video Using Structure-from-Motion",2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 3900-3904. Dai,H et al. "Non-rigid 3D Shape Registration using an Adaptive Template", The European Conference on Computer Vision (ECCV) Workshops, 2018.
　内視鏡検査の前にＣＴやＭＲＩなどを用いて事前の検査を行う場合がある。その場合に、事前の検査において特定された情報を内視鏡検査においても利用できることが好ましい。
　本開示は、上述した課題を鑑み、内視鏡検査において、事前に得られた情報を好適に利用することが可能な画像処理装置、画像処理方法及び記憶媒体を提供することを目的の一つとする。
　画像処理装置の一の態様は、
　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
　前記検査対象の３次元モデルと前記再構成データとのマッチングを行うマッチング手段と、
　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する表示制御手段と、
を有する画像処理装置である。
　画像処理方法の一の態様は、
　コンピュータにより、
　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
　前記検査対象の３次元モデルと前記再構成データとのマッチングを行い、
　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する、
画像処理方法である。
　記憶媒体の一の態様は、
　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
　前記検査対象の３次元モデルと前記再構成データとのマッチングを行い、
　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する処理をコンピュータに実行させるプログラムを格納した記憶媒体である。
　本発明の効果の一例では、内視鏡検査において、事前に得られた情報を好適に利用することができる。
内視鏡検査システムの概略構成を示す。 画像処理装置のハードウェア構成を示す。 画像処理装置の機能ブロック図である。 ３次元再構成部及びマッチング部の処理の概要を示す図である。 第１実施形態において内視鏡検査時に画像処理装置が実行する表示処理の概要を示すフローチャートの一例である。 検査者確認画面の第１表示例を示す。 検査者確認画面の第２表示例を示す。 検査者確認画面の第３表示例を示す。 検査者確認画面の第４表示例を示す。 検査者確認画面の第５表示例を示す。 検査者確認画面の第６表示例を示す。 第２実施形態における画像処理装置のブロック図である。 第２実施形態における画像処理装置の処理手順を示すフローチャートの一例である。
　以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、内視鏡検査システム１００の概略構成を示す。内視鏡検査システム１００は、内視鏡を利用した検査（治療を含む）において、内視鏡検査の前に行われる事前検査に基づき検出された病変の疑いがある部位（病変部位）等に関する情報を、リアルタイムで得られる内視鏡画像と共に提示する。これにより、内視鏡検査システム１００は、内視鏡検査を行う医師等の検査者を支援する。なお、事前検査は、検査対象の臓器のスキャンデータをＣＴ又はＭＲＩ等により生成し、生成したデータに基づく診断を行う検査である。上述の診断は医師が行ってもよく、コンピュータにより行われてもよい。
　図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。
　画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「内視鏡画像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、内視鏡検査の検査者が確認するための画面（「検査者確認画面」とも呼ぶ。）を表示装置２に表示させる。内視鏡画像Ｉｃは、被検者への内視鏡スコープ３の挿入工程又は排出工程の少なくとも一方において所定の時間間隔により撮影された画像である。本実施形態においては、画像処理装置１は、内視鏡画像Ｉｃから被検者の検査対象となる臓器（消化器）の３次元形状を再構成したデータ（「再構成データＭｒ」とも呼ぶ。）を生成し、ＣＴやＭＲＩなどを用いた事前検査の結果に基づき生成した被検者の検査対象となる臓器の３次元モデル（「事前検査モデルＭｐ」とも呼ぶ。）とのマッチングを行う。そして、画像処理装置１は、マッチング結果に基づき、事前検査にて検出された病変部位等の位置を内視鏡画像Ｉｃ上において強調表示した検査者確認画面を表示装置２に表示させる。
　表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
　内視鏡スコープ３は、主に、検査者が所定の入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８と、画像処理装置１と接続するための接続部３９とを有する。
　なお、以後では、主に胃の内視鏡検査における処理を前提として説明を行うが、検査対象は、胃に限らず、大腸、食道、小腸、十二指腸などの消化管（消化器）であってもよい。また、本開示において対象となる内視鏡は、例えば、咽頭内視鏡、気管支鏡、上部消化管内視鏡、十二指腸内視鏡、小腸内視鏡、大腸内視鏡、カプセル内視鏡、胸腔鏡、腹腔鏡、膀胱鏡、胆道鏡、関節鏡、脊椎内視鏡、血管内視鏡、硬膜外腔内視鏡などが挙げられる。
　また、事前検査及び内視鏡検査において検出対象となる部位は、病変部位に限らず、検査者が注目する必要がある任意の箇所（「注目箇所」とも呼ぶ。）であってもよい。このような注目箇所は、病変部位、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、内視鏡スコープ３の先端部３８が管腔内の壁面において接触しやすい（閊えやすい）箇所などであってもよい。また、注目箇所が病変部位の場合、検出対象となる病変部位の病状は、以下の（ａ）～（ｆ）ように例示される。
　（ａ）頭頚部：咽頭ガン、悪性リンパ腫、乳頭腫
　（ｂ）食道：食道ガン、食道炎、食道裂孔ヘルニア、バレット食道、食道静脈瘤、食道アカラシア、食道粘膜下腫瘍、食道良性腫瘍
　（ｃ）胃：胃ガン、胃炎、胃潰瘍、胃ポリープ、胃腫瘍
　（ｄ）十二指腸：十二指腸ガン、十二指腸潰瘍、十二指腸炎、十二指腸腫瘍、十二指腸リンパ腫
　（ｅ）小腸：小腸ガン、小腸腫瘍性疾患、小腸炎症性疾患、小腸血管性疾患
　（ｆ）大腸：大腸ガン、大腸腫瘍性疾患、大腸炎症性疾患、大腸ポリープ、大腸ポリポーシス、クローン病、大腸炎、腸結核、痔
　（２）ハードウェア構成
　図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、機能的には、内視鏡画像記憶部２１と、事前検査情報記憶部２２とを有している。
　内視鏡画像記憶部２１は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡画像Ｉｃを記憶する。これらの内視鏡画像Ｉｃは、再構成データＭｒの生成に用いられる画像であり、例えば、被検者の識別情報（例えば患者ＩＤ）、及び、タイムスタンプの情報等と関連付けられて内視鏡画像記憶部２１に記憶される。
　事前検査情報記憶部２２は、被検者を対象としたＣＴ又はＭＲＩ等を用いた事前検査の検査結果に関する情報である事前検査情報を記憶する。事前検査情報は、ＣＴ又はＭＲＩ等による被検者の検査対象となる臓器のスキャンデータ（「事前スキャンデータ」とも呼ぶ。）と、事前スキャンデータから生成された検査対象となる臓器の３次元形状モデルである事前検査モデルＭｐと、事前スキャンデータ及び事前検査モデルＭｐに関連付けられたメタデータと、を含んでいる。
　メタデータは、例えば、事前検査の担当医師がアノテーション作業により事前スキャンデータに付したデータ、又は、事前スキャンデータに対してＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ：コンピュータ支援診断）を適用することで得られたデータである。上述のアノテーション作業は、例えば、事前検査の担当医師がディスプレイ等に表示された事前スキャンデータを参照し、事前スキャンデータにおいて注目箇所を指定して当該注目箇所に関するコメント等をコンピュータに入力する作業である。そして、メタデータは、事前検査において検出された病変部位などの注目箇所に関する情報を含んでいる。例えば、メタデータは、内視鏡検査において注目すべき注目箇所を指定した位置情報（例えば事前スキャンデータを表す座標系における座標値）と、位置情報が示す位置（即ち注目箇所）に関する診断結果等を表す内容情報とを含んでいる。また、メタデータには、後述するように、事前検査の担当医師の属性に関する情報（担当医師の名前及び所属の情報も含む）が含まれてもよい。
　事前検査モデルＭｐは、３次元ＣＴ画像又はＭＲＩのデータ等である事前スキャンデータから検査対象となる臓器の３次元形状を抽出することで生成される。ここで、事前検査モデルＭｐは、例えば所定の３次元座標系において表されている。事前検査情報記憶部２２には、事前検査モデルＭｐの３次元座標系と事前スキャンデータを表す座標系（２次元又は３次元座標系）との間の座標変換情報がさらに含まれていてもよい。この座標変換情報は、事前スキャンデータから事前検査モデルＭｐを生成する処理において生成される。なお、事前スキャンデータから事前検査モデルＭｐを生成する処理は、画像処理装置１が内視鏡検査前に予め行ってもよく、画像処理装置１以外の装置が内視鏡検査前に行ってもよい。
　ここで、内視鏡画像記憶部２１又は事前検査情報記憶部２２の少なくともいずれかは、メモリ１２に代えて、画像処理装置１と有線又は無線によりデータ通信が可能な外部装置に設けられてもよい。この場合、外部装置は、画像処理装置１と通信網を介してデータ通信が可能な１又は複数のサーバ装置であってもよい。
　また、メモリ１２は、上述した情報の他、本実施形態における処理に必要な種々の情報を記憶してもよい。例えば、画像処理装置１が内視鏡画像Ｉｃに基づいてＣＡＤを実行する場合には、メモリ１２は、ＣＡＤを実行するために必要な病変検出モデルのパラメータ等をさらに記憶してもよい。この場合、病変検出モデルは、例えば、ニューラルネットワークやサポートベクターマシーンなどの機械学習モデルであって、内視鏡画像Ｉｃが入力された場合に、入力された内視鏡画像Ｉｃ内での病変部位の有無及び病変部位が存在する場合の内視鏡画像Ｉｃ内での位置情報（領域情報であってもよい）を出力するように構成されたモデルである。なお、病変検出モデルがニューラルネットワークにより構成される場合、メモリ１２は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを記憶する。
　インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報「Ｉｄ」を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡画像Ｉｃを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　（３）機能ブロック
　図３は、画像処理装置１の機能ブロック図である。図３に示すように、画像処理装置１のプロセッサ１１は、機能的には、内視鏡画像取得部３０と、３次元再構成部３１と、マッチング部３２と、表示制御部３３とを有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。
　内視鏡画像取得部３０は、インターフェース１３を介して内視鏡スコープ３が撮影した内視鏡画像Ｉｃを所定間隔により取得する。そして、内視鏡画像取得部３０は、取得した内視鏡画像Ｉｃを、３次元再構成部３１に供給する。また、内視鏡画像取得部３０は、取得した内視鏡画像Ｉｃを、タイムスタンプや患者ＩＤなどと関連付けて内視鏡画像記憶部２１に記憶する。また、内視鏡画像取得部３０は、取得した最新の内視鏡画像Ｉｃを、表示制御部３３に供給する。
　３次元再構成部３１は、内視鏡画像取得部３０が内視鏡検査時に取得した複数の内視鏡画像Ｉｃに基づいて、撮影された臓器の３次元形状を示す再構成データＭｒを生成する。再構成データＭｒは、例えば、３次元位置情報を有する点群データを含む。
　この場合、例えば、再構成データＭｒの生成に必要な枚数の内視鏡画像Ｉｃを取得後、３次元再構成部３１は、複数枚の画像から被写体の３次元形状、及び撮影部の相対位置を復元する手法を用いて、再構成データＭｒを構成する。このような手法として、例えば、Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ（ＳｆＭ）などの手法が存在する。その後、３次元再構成部３１は、例えば、所定枚数の内視鏡画像Ｉｃを取得する度に、生成した再構成データＭｒを更新する。上記の所定枚数は、１枚以上であればよく、例えば画像処理装置１の処理能力等を勘案した値に予め定められている。そして、３次元再構成部３１は、生成（更新も含む）した再構成データＭｒを、マッチング部３２に供給する。再構成データＭｒの生成方法については後述する。
　マッチング部３２は、３次元再構成部３１から供給される再構成データＭｒと、事前検査情報記憶部２２に記憶された事前検査モデルＭｐとのマッチングを行い、マッチングの結果であるマッチング結果「Ｒｍ」を、表示制御部３３に供給する。この場合、例えば、マッチング部３２は、非剛体位置合わせを行い、非剛体位置合わせがなされた再構成データＭｒ及び事前検査モデルＭｐを共通の３次元座標系（「共通座標系」とも呼ぶ。）において表したデータを生成する。そして、例えば、マッチング部３２は、上述のデータ又は／及び共通座標系に関する座標変換情報を、マッチング結果Ｒｍとして生成する。ここで、上述の座標変換情報は、例えば、再構成データＭｒが採用する座標系から共通座標系への座標変換情報と、事前検査モデルＭｐが採用する座標系から共通座標系への座標変換情報とを含んでいる。
　表示制御部３３は、マッチング部３２が生成したマッチング結果Ｒｍに基づき、検査者確認画面の表示情報Ｉｄを生成し、生成した表示情報Ｉｄを表示装置２に供給することで、検査者確認画面を表示装置２に表示させる。この場合、表示制御部３３は、事前検査情報記憶部２２に含まれるメタデータが示す注目箇所に関する情報を、内視鏡画像取得部３０から供給される内視鏡画像Ｉｃに対応付けて検査者確認画面上に表示させる。また、表示制御部３３は、検査者による内視鏡スコープ３の撮影に関する案内又は警告をするための情報を出力してもよい。この情報の出力は、検査者確認画面上において行ってもよく、音出力部１６により行ってもよい。
　図４は、３次元再構成部３１及びマッチング部３２の処理の概要を示す図である。図４は、説明便宜上、胃を検査対象とする場合について示しているが、大腸その他の消化管においても図４に示される処理の概要が同様に適用される。
　図４に示される事前検査モデルＭｐ上には、メタデータが対象とする箇所（「メタデータ対象箇所」とも呼ぶ。）８０～８３が明示されている。メタデータ対象箇所８０～８３は、言い換えると、メタデータに含まれる位置情報により特定される箇所であり、メタデータの内容情報が対象とする箇所である。メタデータ対象箇所８０～８３は、事前検査情報記憶部２２に記憶されるメタデータに基づき、事前検査モデルＭｐの座標系において表すことが可能である。
　また、３次元再構成部３１は、内視鏡検査時において現在までに取得された複数の内視鏡画像Ｉｃに基づき、内視鏡スコープ３により撮影済みの消化管内の領域（撮影済み領域）の３次元形状に相当する再構成データＭｒを生成する。
　そして、マッチング部３２は、事前検査情報記憶部２２に記憶された事前検査モデルＭｐと、再構成データＭｒとのマッチング（非剛体位置合わせ）を行う。これにより、マッチング部３２は、全体を表す事前検査モデルＭｐと撮影済み領域に相当する再構成データＭｒとを共通座標系において対応付け、その対応付け結果（例えば各データから共通座標系への座標変換情報）を表すマッチング結果Ｒｍを生成する。さらに、事前検査モデルＭｐの座標系において表されたメタデータ対象箇所８０～８３についても、共通座標系への座標変換により、再構成データＭｒ（即ち、再構成データＭｒを構成する内視鏡画像Ｉｃ）との対応位置関係が特定される。図４に示されるマッチング後の図では、再構成データＭｒに重複するメタデータ対象箇所８１、８２が明示されている。
　そして、マッチング結果Ｒｍ及びメタデータに基づき、表示制御部３３は、メタデータ対象箇所を強調表示した内視鏡画像Ｉｃ等を含む検査者確認画面に関する表示情報Ｉｄを生成する。
　なお、内視鏡画像取得部３０、３次元再構成部３１、マッチング部３２及び表示制御部３３の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（４）処理フロー
　図５は、第１実施形態において内視鏡検査時に画像処理装置１が実行する表示処理の概要を示すフローチャートの一例である。
　まず、画像処理装置１は、内視鏡画像Ｉｃを取得する（ステップＳ１１）。この場合、画像処理装置１の内視鏡画像取得部３０は、インターフェース１３を介して内視鏡スコープ３から内視鏡画像Ｉｃを受信する。
　次に、画像処理装置１は、ステップＳ１１で取得した複数の内視鏡画像Ｉｃから、検査対象を３次元再構成した再構成データＭｒを生成する（ステップＳ１２）。この場合、画像処理装置１の３次元再構成部３１は、検査開始から現処理時点までに取得した内視鏡画像Ｉｃに基づき、ＳｆＭなどの手法を用いて、再構成データＭｒを生成する。
　次に、画像処理装置１は、事前検査モデルＭｐと再構成データＭｒとのマッチングを行う（ステップＳ１３）。この場合、画像処理装置１のマッチング部３２は、事前検査情報記憶部２２から取得した事前検査モデルＭｐと、３次元再構成部３１が生成した再構成データＭｒとの非剛体位置合わせを行うことで、マッチング結果Ｒｍを生成する。
　そして、画像処理装置１は、マッチング結果Ｒｍに基づき、表示装置２に表示する内視鏡画像Ｉｃ中にメタデータ対象箇所が存在するか否か判定する（ステップＳ１４）。この場合、表示装置２に表示する内視鏡画像Ｉｃは、例えば、再構成データＭｒの生成に用いた内視鏡画像Ｉｃのうち最新の内視鏡画像Ｉｃである。
　ここで、表示装置２に表示する内視鏡画像Ｉｃ中にメタデータ対象箇所が存在するか否かの判定方法ついて補足説明する。例えば、画像処理装置１は、まず、マッチング結果Ｒｍ及びメタデータに基づき、共通座標系でのメタデータ対象箇所を認識し、さらに当該メタデータ対象箇所を、表示装置２に表示する内視鏡画像Ｉｃの座標系に変換する。そして、画像処理装置１は、座標変換後のメタデータ対象箇所のうち、表示装置２に表示する内視鏡画像Ｉｃの表示範囲に属するメタデータ対象箇所が存在する場合に、表示装置２に表示する内視鏡画像Ｉｃ中にメタデータ対象箇所が存在すると判定する。なお、一般的に、ＳｆＭなどの手法を用いて複数の画像から３次元データを生成する場合、生成した３次元データと元画像との間の座標変換情報が得られるため、画像処理装置１は、この座標変換情報を用いることで、共通座標系のメタデータ対象箇所を、個々の内視鏡画像Ｉｃの座標系に変換することが可能である。
　そして、画像処理装置１は、表示装置２に表示する内視鏡画像Ｉｃ中にメタデータ対象箇所が存在すると判定した場合（ステップＳ１４；Ｙｅｓ）、メタデータに関する情報を示した内視鏡画像Ｉｃを表示装置２に表示させる（ステップＳ１５）。この場合、画像処理装置１の表示制御部３３は、後述するように、メタデータ対象箇所が強調表示された内視鏡画像Ｉｃ及び当該メタデータ対象箇所に関する内容を明示した検査者確認画面を表示するための表示情報Ｉｄを生成し、表示情報Ｉｄを表示装置２に供給する。一方、画像処理装置１は、表示装置２に表示する内視鏡画像Ｉｃ中にメタデータ対象箇所が存在しないと判定した場合（ステップＳ１４；Ｎｏ）、対象の内視鏡画像Ｉｃを表示装置２に表示させる（ステップＳ１６）。
　次に、画像処理装置１は、内視鏡検査が終了したか否か判定する（ステップＳ１７）。例えば、画像処理装置１は、入力部１４又は操作部３６への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１７；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１７；Ｎｏ）、ステップＳ１１へ処理を戻す。そして、画像処理装置１は、ステップＳ１１において、内視鏡スコープ３が新たに生成する内視鏡画像Ｉｃを取得し、当該内視鏡画像Ｉｃを処理対象に含めて、ステップＳ１２～ステップＳ１７の処理を再実行する。
　ここで、事前検査情報記憶部２２に記憶する事前検査モデルＭｐの生成処理について補足説明する。以後では、説明の便宜上、画像処理装置１を処理主体として説明するが、画像処理装置１以外の任意の装置が処理主体であってもよい。その場合、任意の装置で事前検査モデルＭｐが生成された後、生成された事前検査モデルＭｐがデータ通信又は着脱自在な記憶媒体等を介してメモリ１２（詳しくは事前検査情報記憶部２２）に記憶される。
　まず、画像処理装置１は、被検者の検査対象の臓器を撮影した３Ｄ－ＣＴ画像又はＭＲＩデータなどの事前スキャンデータを取得する。そして、画像処理装置１は、ユーザ入力に基づき、事前スキャンデータから検査対象の臓器の領域を抽出する。この場合、画像処理装置１は、例えば、表示装置２に事前スキャンデータを表示し、検査対象の臓器の領域を指定するユーザ入力を入力部１４により受け付ける。そして、画像処理装置１は、被検者の事前スキャンデータから抽出した検査対象の臓器の領域を表すボリュームデータを生成する。このボリュームデータは、例えば、検査対象の臓器の領域を０及び１の２値により表した３次元ボクセルデータである。次に、画像処理装置１は、上述のボリュームデータから、サーフェスモデルである３次元の事前検査モデルＭｐを作成する。この場合、画像処理装置１は、ボクセルデータをポリゴンデータに変換する任意のアルゴリズムを用いて、ボリュームデータを事前検査モデルＭｐに変換する。上記アルゴリズムは、例えば、マーチングキューブ法、マーチングテトラヘドラ法などが存在する。そして、生成された事前検査モデルＭｐは、画像処理装置１が参照可能なメモリ１２（詳しくは事前検査情報記憶部２２）に記憶される。
　次に、ステップＳ１３でのマッチング処理について補足説明する。
　まず、マッチング部３２は、事前検査モデルＭｐ及び再構成データＭｒから、それぞれ、ランドマークとなる特徴点の抽出を行う。この場合、マッチング部３２は、例えば、再構成データＭｒの３次元での平滑化を行い、平滑化した再構成データＭｒを構成する点群とその連結グラフに基づき、点群において特徴的な点となる特徴点の抽出を行う。この場合、マッチング部３２は、例えば、点群の主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）やＤｏＣｏＧ（Ｄｉｆｆｅｒｅｎｃｅ　ｏｆ　Ｃｅｎｔｅｒ　ｏｆ　Ｇｒａｖｉｔｙ）などの種々の点群特徴抽出手法を用いることで、上述の特徴点の抽出を行う。なお、事前検査モデルＭｐには、抽出すべき特徴点に対して所定の識別ラベル等が予め付されていてもよい。
　次に、マッチング部３２は、事前検査モデルＭｐ及び再構成データＭｒから夫々抽出した特徴点同士の対応を取り、事前検査モデルＭｐと再構成データＭｒとの剛体マッチングを行う。この場合、マッチング部３２は、対応する特徴点同士の距離が最小となるように、事前検査モデルＭｐ又は再構成データＭｒの少なくとも一方を並進移動（回転を含む）させる。次に、マッチング部３２は、再構成データＭｒを基準として事前検査モデルＭｐのモーフィングを行う。この場合、マッチング部３２は、ＩＣＰＤ（Ｉｔｅｒａｔｉｖｅ　Ｃｏｈｅｒｅｎｔ　Ｐｏｉｎｔ　Ｄｒｉｆｔ）などの点群同士のマッチング手法を用いることで、事前検査モデルＭｐと再構成データＭｒとのマッチングを行い、事前検査モデルＭｐにおいて特徴点（ランドマーク）とみなされた点以外の点を移動させる。
　（５）検査者確認画面
　次に、表示制御部３３が表示装置２に表示させる検査者確認画面の各表示例（第１表示例～第６表示例）について詳しく説明する。表示制御部３３は、メタデータ対象箇所を強調表示した内視鏡画像Ｉｃ等を含む検査者確認画面を表示するための表示情報Ｉｄを生成し、表示情報Ｉｄを表示装置２に供給することで、検査者確認画面を表示装置２に表示させる。
　図６は、検査者確認画面の第１表示例を示す。第１表示例では、表示制御部３３は、内視鏡スコープ３が生成した最新の内視鏡画像Ｉｃに対応するメタデータ対象箇所が存在する場合に、当該メタデータ対象箇所を強調表示するマーク及びメタデータ対象箇所に紐付いた診断結果等の情報を表示する。
　図６では、表示制御部３３は、主に、検査者確認画面上に、内視鏡スコープ３が撮影した最新の内視鏡画像Ｉｃと、当該内視鏡画像Ｉｃでのメタデータ対象箇所を囲む破線円のマーク４１と、マーク４１により強調表示されたメタデータ対象箇所に関するメタデータの内容を示すメタデータ表示欄４２と、を表示している。
　ここで、表示制御部３３は、メタデータ表示欄４２に、マーク４１により示されるメタデータ対象箇所に関し、事前検査での診断結果（ここでは「〇〇病変部位である可能性あり」とのコメント）、診断日時及び医師の属性（ここでは医師名「Ａ」と病院名「〇×病院」）を表示している。この場合、メタデータとして、上述の診断結果、診断日時及び医師の属性等に関する情報が、マーク４１の中心位置のメタデータ対象箇所を表す位置情報（例えば事前スキャンデータ等の座標系で表された座標情報）に関連付けられて事前検査情報記憶部２２に記憶されている。
　このように、第１表示例によれば、表示制御部３３は、事前検査において生成されたメタデータに関する情報を、内視鏡検査において撮影された内視鏡画像Ｉｃと対応付けて表示することができる。これにより、内視鏡検査の検査者は、事前検査において検出された病変部位その他の注目箇所を、内視鏡検査時において的確に把握することができる。また、第１表示例では、内視鏡検査の検査者は、事前検査を行った医師の属性についても検査者確認画面上において好適に把握することができる。
　なお、表示制御部３３は、メタデータ対象箇所を囲む破線円のマーク４１により強調表示する代わりに、破線円以外の任意の形状（例えば星印、その他の図形）のマークによりメタデータ対象箇所を内視鏡画像Ｉｃ上で強調表示してもよい。また、メタデータ対象箇所が領域としてメタデータに記録されている場合には、表示制御部３３は、当該領域を縁取った線又は領域全体を内視鏡画像Ｉｃ上で強調表示してもよい。
　図７は、検査者確認画面の第２表示例を示す。第２表示例では、表示制御部３３は、事前検査を行った医師が複数人存在した場合に、事前検査を行った医師ごとにメタデータに関する表示態様を異ならせる。
　図７では、内視鏡スコープ３が撮影した最新の内視鏡画像Ｉｃの撮影範囲内に、異なる医師Ａと医師Ｂとが夫々アノテーション作業により付したメタデータに基づくメタデータ対象箇所が存在している。ここでは、表示制御部３３は、事前検査において医師Ａが付したメタデータに基づくメタデータ対象箇所を囲む破線円のマーク４１Ａと、事前検査において医師Ｂが付したメタデータに基づくメタデータ対象箇所を囲む一点鎖線円のマーク４１Ｂとを、最新の内視鏡画像Ｉｃ上に表示している。さらに、表示制御部３３は、マーク４１Ａにより強調表示されたメタデータ対象箇所に対応するメタデータの内容を示すメタデータ表示欄４２Ａと、マーク４１Ｂにより強調表示されたメタデータ対象箇所に対応するメタデータの内容を示すメタデータ表示欄４２Ｂとを検査者確認画面上に表示している。ここで、メタデータ表示欄４２Ａは、対象のメタデータ対象箇所に対する診断結果（ここでは「〇〇病変部位である可能性あり」とのコメント）、診断日時及び診断した医師Ａの属性を表示しており、メタデータ表示欄４２Ｂは、対象のメタデータ対象箇所に対する診断結果（ここでは「手術痕である」とのコメント）、診断日時及び診断した医師Ｂの属性を表示している。
　上述したように、表示制御部３３は、医師Ａが付したメタデータに基づく表示オブジェクトであるマーク４１Ａ及びメタデータ表示欄４２Ａを破線により示し、医師Ｂが付したメタデータに基づく表示オブジェクトであるマーク４１Ｂ及びメタデータ表示欄４２Ｂを一点鎖線により示している。このように、第２表示例では、表示制御部３３は、メタデータ対象箇所を囲むマークの線種を、事前検査を行った医師ごとに異ならせている。なお、この場合、破線、一点鎖線、実線などの任意の線種が用いられてもよい。
　このように、第２表示例では、表示制御部３３は、事前検査を行った医師ごとにメタデータに関する情報（表示オブジェクト）の表示態様を異ならせる。これにより、表示制御部３３は、メタデータを付した担当医師の違いを明確に内視鏡検査の検査者に認識させることができる。なお、表示制御部３３は、メタデータ対象箇所を囲むマークの線種を、事前検査を行った医師ごとに異ならせることに代えて又はこれに加えて、メタデータ対象箇所を囲むマークの形状を、事前検査を行った医師ごとに異ならせてもよい。この場合のマークの形状は、丸、三角、四角などの任意の形状が用いられてもよい。また、事前検査を行った医師ごとにメタデータに関する表示態様を異ならせる場合の表示態様は、ここに挙げた例に限られない。メタデータ対象箇所に対応する事前検査の担当医師を区別して検査者に認識させる表示態様であれば何でもよい。このことは、第２表示例以外の任意の表示例（例えば後述する第４表示例及び第６表示例）において内視鏡画像に重畳させる情報の表示態様を異ならせる場合においても同様である。これにより、検査者が区別して認識すべき情報の表示態様を異ならせ、検査者による検査を支援することができる。
　また、表示制御部３３は、例えば、メタデータ対象箇所を表すマーク（図７ではマーク４１Ａ、４１Ｂ）の表示を、対象のメタデータ対象箇所と表示が重畳しない表示態様にするとよい。他の例では、表示制御部３３は、メタデータ対象箇所を表すマークの表示と、対象のメタデータ対象箇所と表示との重畳部分におけるマークの透過性を高くする（具体的には、マークと重複するメタデータ対象箇所が視認できる程度に透過性を高くする）とよい。例えば、この場合、表示制御部３３は、メタデータ対象箇所を示すマークの内部を白抜き（透明）にする。これにより、表示制御部３３は、検査者によるメタデータ対象箇所の視認を容易にすることができる。
　図８は、検査者確認画面の第３表示例を示す。第３表示例では、表示制御部３３は、マッチング部３２による再構成データＭｒと事前検査モデルＭｐとのマッチングの度合いを示すマッチ度を、内視鏡画像Ｉｃ上において強調表示されたメタデータ対象箇所の位置の正確度（「位置正確度」とも呼ぶ。）として表示する。上記のマッチ度は、再構成データＭｒと事前検査モデルＭｐとのマッチングの度合いが高い程高い値を示すものとする。さらに、第３表示例では、表示制御部３３は、内視鏡スコープ３の先端部３８からメタデータ対象箇所までの到達予想距離を表示する。
　図８の例では、表示制御部３３は、メタデータ対象箇所を囲むマーク４１Ｂを内視鏡画像Ｉｃ上に表示すると共に、当該メタデータ対象箇所に関するメタデータの内容を表すメタデータ表示欄４２Ｃを表示している。ここで、表示制御部３３は、メタデータ表示欄４２Ｃにおいて、事前検査における診断結果（ここでは、「病変部位の可能性あり」のコメント）を表示している。
　さらに、表示制御部３３は、先端部３８から表示中のメタデータ存在箇所までの到達予想距離を表す到達予想距離表示欄４５を表示している。なお、例えば、再構成データＭｒの生成に用いるＳｆＭ等では撮影位置を表すパラメータが得られるため、表示制御部３３は、当該パラメータとメタデータ対象箇所との位置を上述の到達予想距離として算出する。
　さらに、表示制御部３３は、位置正確度を表す数値（ここでは０～１００の値域における６５）及び当該数値に応じたゲージを表す位置正確度表示欄４６を、検査者確認画面上に表示している。この場合、例えば、表示制御部３３は、マッチング部３２によるマッチングにおいて用いる評価関数（例えば、事前検査モデルＭｐ及び再構成データＭｒの特徴点同士の距離の和）の解（最適解）に対応する値をマッチ度として取得し、当該マッチ度を任意の正規化手法により０～１００の値域になるように正規化した値を位置正確度として算出する。なお、表示制御部３３は、マッチングにおいて評価関数を最小化する場合には、解における評価関数の値が低いほど位置正確度を高くし、マッチングにおいて評価関数を最大化する場合には、解における評価関数の値が高いほど位置正確度を高くするとよい。
　以上のように、表示制御部３３は、内視鏡画像Ｉｃ上でのメタデータ対象箇所の位置の位置正確度と、メタデータ対象箇所が強調表示された内視鏡画像Ｉｃとを表示する。そして、第３表示例によれば、表示制御部３３は、メタデータ対象箇所を強調表示した内視鏡画像Ｉｃと共に位置正確度を表示することで、強調表示したメタデータ対象箇所の位置の信頼度を検査者に認識させることができる。また、表示制御部３３は、内視鏡スコープ３の操作に有用な情報である到達予想距離を表示することで、内視鏡検査の検査者の操作を好適に支援することができる。なお、位置正確度の算出は、表示制御部３３以外の画像処理装置１内の任意の処理ブロックがマッチング部３２によるマッチング結果に基づき実行してもよい。
　図９は、検査者確認画面の第４表示例を示す。第４表示例では、表示制御部３３は、リアルタイムでのＣＡＤを実行することにより内視鏡画像Ｉｃ中での病変部位を検出し、ＣＡＤに基づく病変部位の位置とメタデータ対象位置との比較結果に基づく情報を表示する。
　図９では、表示制御部３３は、メタデータ対象箇所（即ち事前検査で検出された病変部位の位置）と内視鏡画像Ｉｃを用いたＣＡＤにより検出した病変部位の位置とが重なる位置を囲んだマーク４１Ｄと、メタデータ対象箇所ではなくＣＡＤで病変部位として検出された位置を囲んだマーク４１Ｅとを、内視鏡画像Ｉｃに重ねて表示している。さらに、表示制御部３３は、マーク４１Ｄにより強調表示された位置に対応するコメントを表したコメント表示欄４２Ｄと、マーク４１Ｅにより強調表示された位置に対応するコメントを表したコメント表示欄４２Ｅとを表示する。
　ここで、表示制御部３３は、マーク４１Ｄに対応するコメント表示欄４２Ｄにおいて、事前検査での診断及びリアルタイムでのＣＡＤの両方でマーク４１Ｄが示す位置が病変部位として検出された旨を表示している。また、表示制御部３３は、マーク４１Ｅに対応するコメント表示欄４２Ｅにおいて、事前検査では検出されなかった病変部位がリアルタイムでのＣＡＤにより検出された旨を表示している。なお、表示制御部３３は、事前検査において病変部位として検出された箇所であって、リアルタイムでのＣＡＤによって検出されなかった箇所が存在する場合にも同様に、マーク及びコメント表示欄を設け、そのような個所の存在を内視鏡検査の検査者に提示してもよい。
　このように、第４表示例では、表示制御部３３は、事前検査での診断及びリアルタイムでのＣＡＤの診断との比較結果に基づく情報を内視鏡検査の検査者に通知する。これにより、表示制御部３３は、検査者による内視鏡検査を好適に支援することができる。
　図１０は、検査者確認画面の第５表示例を示す。第５表示例では、表示制御部３３は、メタデータ対象箇所を含む病変領域を内視鏡画像Ｉｃから抽出する処理を行い、抽出した病変領域を内視鏡画像Ｉｃ上において強調表示する。
　図１０では、表示制御部３３は、メタデータ対象箇所を含む内視鏡画像Ｉｃ内の病変領域４１Ｆを、内視鏡画像Ｉｃ上において強調表示し、かつ、病変領域４１Ｆに関するメタデータの内容を示したメタデータ表示欄４２Ｆを表示している。
　第５表示例では、表示制御部３３は、表示する内視鏡画像Ｉｃ内にメタデータ対象箇所が存在する場合に、当該メタデータ対象箇所を含む内視鏡画像Ｉｃ内の病変領域４１Ｆを抽出する処理を実行する。この場合、表示制御部３３は、例えば、表示する内視鏡画像Ｉｃ及びメタデータ対象箇所を病変領域抽出モデルに入力することで当該モデルが出力する情報に基づき、上述の病変領域４１Ｆを抽出する。この場合、病変領域抽出モデルは、内視鏡画像Ｉｃ及び当該内視鏡画像Ｉｃ内の病原部位を示す位置情報が入力された場合に、当該位置情報が示す位置を含む病変部位の全体領域を示す情報を出力するように学習され、学習されたパラメータがメモリ１２等に予め記憶されている。なお、表示制御部３３は、メタデータ対象箇所として既に領域がメタデータにおいて指定されていた場合には、メタデータに基づき病変領域４１Ｆを表示してもよい。
　このように、第５表示例によれば、事前検査により生成されたメタデータに基づき病変領域を的確に抽出し、その病変領域を事前検査の診断結果等と共に検査者確認画面上に表示することができる。
　図１１は、検査者確認画面の第６表示例を示す。第６表示例では、表示制御部３３は、メタデータが病変部位以外の任意の注目箇所に関する情報を含む場合に、メタデータが示す注目箇所の種類に応じてメタデータ対象箇所の表示態様を決定する。
　表示制御部３３は、注目箇所の種類に応じた表示態様を有するマーク４１Ｇ、４１Ｈが重畳された内視鏡画像Ｉｃと、使用される可能性があるマークの種類と注目箇所の種類との対応を示すマーク説明表示領域４３と、被検者の既往歴を表示する既往歴表示欄４４とを検査者確認画面上に表示している。図１０の例では、表示制御部３３は、表示されている内視鏡画像Ｉｃ中に病変部位と手術痕が存在することをメタデータに基づき認識し、病変部位に対応するメタデータ対象箇所を囲む円形のマーク４１Ｇと、手術痕に対応するメタデータ対象箇所を囲む三角形のマーク４１Ｈとを内視鏡画像Ｉｃ上に表示している。これにより、表示制御部３３は、事前検査で検出された注目箇所の種類を容易に検査者に把握させることができる。
　また、表示制御部３３は、被検者（ここでは「被検者Ｚ」）の既往歴を示す既往歴表示欄４４を設けている。この場合、表示制御部３３は、例えば、被検者の既往歴に関する情報をメモリ１２又は当該既往歴を記憶する外部装置から受信し、受信した情報に基づき既往歴表示欄４４を表示する。このような情報は、内視鏡検査において参考情報として好適に検査者により参照される。
　（６）変形例
　第４表示例等において内視鏡画像Ｉｃに基づく病変部位の検出を行う場合、画像処理装置１は、事前スキャンデータと内視鏡画像Ｉｃとの両方を用いて病変部位の検出を行ってもよい。
　この場合、画像処理装置１は、内視鏡画像Ｉｃと、内視鏡画像Ｉｃに対応する（即ち内視鏡画像Ｉｃと被撮影領域が共通する）事前スキャンデータの画像（例えばＣＴ画像）とを入力とする病変検出モデルを用いる。この場合、病変検出モデルは、内視鏡画像Ｉｃ及び事前スキャンデータの画像が入力された場合に、内視鏡画像Ｉｃ内の病変部位の有無及び病変部位が存在する場合に当該病変部位の位置情報を出力するように学習される。この場合、内視鏡画像Ｉｃ及び事前スキャンデータの画像は、チャンネル方向に重ねられて病変検出モデルに入力されてもよく、これらの画像を一枚の画像として縦又は横に連結された画像が病変検出モデルに入力されてもよい。なお、画像処理装置１は、各内視鏡画像Ｉｃに対応する事前スキャンデータの画像を、例えば、マッチング部３２でのマッチング結果Ｒｍに基づき特定する。そして、画像処理装置１は、内視鏡画像Ｉｃ及び事前スキャンデータの画像を病変検出モデルに入力し、当該病変検出モデルが出力する内視鏡画像Ｉｃ内の病変部位の有無及び病変部位が存在する場合に当該病変部位の位置情報を取得する。
　本変形例によれば、画像処理装置１は、事前スキャンデータと内視鏡画像Ｉｃとの両方を用いて病変部位をより高精度に検出することができる。
　＜第２実施形態＞
　図１２は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、主に、３次元再構成手段３１Ｘと、マッチング手段３２Ｘと、表示制御手段３３Ｘとを備える。画像処理装置１Ｘは、複数の装置から構成されてもよい。
　３次元再構成手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、検査対象を３次元再構成した再構成データを生成する。この場合、３次元再構成手段３１Ｘは、内視鏡画像を撮影部から直接受信してもよく、撮影部が撮影した内視鏡画像を蓄積する記憶装置から内視鏡画像を取得してもよい。また、「検査対象」は、大腸であってもよく、胃などの他の臓器であってもよい。３次元再構成手段３１Ｘは、第１実施形態における３次元再構成部３１とすることができる。
　マッチング手段３２Ｘは、検査対象の３次元モデルと再構成データとのマッチングを行う。ここで、マッチング手段３２Ｘは、検査対象の３次元モデルを画像処理装置１Ｘが有するメモリから取得してもよく、画像処理装置１Ｘとは異なる外部装置から取得してもよい。マッチング手段３２Ｘは、第１実施形態におけるマッチング部３２とすることができる。
　表示制御手段３３Ｘは、マッチングの結果に基づき、３次元モデルに関連付けられたメタデータに関する情報を表示する。表示制御手段３３Ｘは、画像処理装置１Ｘが有する表示部に上述の情報を表示してもよく、画像処理装置１Ｘとは別体の表示装置に上述の情報を表示してもよい。表示制御手段３３Ｘは、第１実施形態における表示制御部３３とすることができる。
　図１３は、第２実施形態において画像処理装置１Ｘが実行する処理手順を示すフローチャートの一例である。３次元再構成手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、検査対象を３次元再構成した再構成データを生成する（ステップＳ２１）。マッチング手段３２Ｘは、検査対象の３次元モデルと再構成データとのマッチングを行う（ステップＳ２２）。表示制御手段３３Ｘは、マッチングの結果に基づき、３次元モデルに関連付けられたメタデータに関する情報を表示する（ステップＳ２３）。
　第２実施形態によれば、画像処理装置１Ｘは、事前に検査対象の３次元モデルに関連付けられたメタデータに関する情報を表示することができる。
　その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
　［付記１］
　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
　前記検査対象の３次元モデルと前記再構成データとのマッチングを行うマッチング手段と、
　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する表示制御手段と、
を有する画像処理装置。
　［付記２］
　前記メタデータは、当該メタデータが対象とするメタデータ対象箇所を表す位置情報を含み、
　前記表示制御手段は、前記マッチングの結果と前記位置情報とに基づき、前記内視鏡画像内に前記メタデータ対象箇所が存在すると判定した場合に、前記メタデータ対象箇所を前記内視鏡画像上において強調表示する、付記１に記載の画像処理装置。
　［付記３］
　前記メタデータ対象箇所は、病変部位と診断された箇所を少なくとも含む、付記２に記載の画像処理装置。
　［付記４］
　前記メタデータは、前記メタデータ対象箇所に関する診断結果を表す情報を含み、
　前記表示制御手段は、前記診断結果を表す情報を、前記メタデータ対象箇所が強調表示された前記内視鏡画像と対応付けて表示する、付記２または３に記載の画像処理装置。
　［付記５］
　前記メタデータは、前記メタデータ対象箇所に関する診断結果及び診断者の属性を表す情報を含み、
　前記表示制御手段は、前記診断結果及び前記属性を表す情報を、前記メタデータ対象箇所が強調表示された前記内視鏡画像と対応付けて表示する、付記４に記載の画像処理装置。
　［付記６］
　前記表示制御手段は、前記診断者が複数存在する場合、前記診断者ごとに、前記メタデータに関する情報の表示態様を異ならせる、付記５に記載の画像処理装置。
　［付記７］
　前記表示制御手段は、前記内視鏡画像上での前記メタデータ対象箇所の位置の正確度と、前記メタデータ対象箇所が強調表示された前記内視鏡画像とを表示し、
　前記正確度は、前記マッチングの結果に基づき算出される
付記２～６のいずれか一項に記載の画像処理装置。
　［付記８］
　前記メタデータ対象箇所は、病変部位と診断された箇所であり、
　前記表示制御手段は、前記内視鏡画像に基づく病変部位の検出位置と、前記メタデータ対象箇所との比較結果に基づく情報を表示する、付記２～７のいずれか一項に記載の画像処理装置。
　［付記９］
　前記表示制御手段は、前記メタデータ対象箇所の種類に基づき、前記メタデータ対象箇所に関する表示態様を決定する、付記２～８のいずれか一項に記載の画像処理装置。
　［付記１０］
　前記表示制御手段は、前記メタデータ対象箇所が病変部位と診断された箇所である場合、前記メタデータ対象箇所を含む病変領域を抽出し、前記病変領域を前記内視鏡画像上において強調表示する、付記２～９のいずれか一項に記載の画像処理装置。
　［付記１１］
　前記３次元モデルは、前記内視鏡による検査前に行った事前検査において得られた前記検査対象のスキャンデータに基づき生成されたデータであり、
　前記メタデータは、前記事前検査の検査結果に基づき生成されたデータである、付記１～１０のいずれか一項に記載の画像処理装置。
　［付記１２］
　コンピュータにより、
　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
　前記検査対象の３次元モデルと前記再構成データとのマッチングを行い、
　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する、
画像処理方法。
　［付記１３］
　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
　前記検査対象の３次元モデルと前記再構成データとのマッチングを行い、
　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する処理をコンピュータに実行させるプログラムを格納した記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ｘ　画像処理装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　１４　入力部
　１５　光源部
　１６　音出力部
　１００　内視鏡検査システム

Claims (13)

  1. 　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
    　前記検査対象の３次元モデルと前記再構成データとのマッチングを行うマッチング手段と、
    　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する表示制御手段と、
    を有する画像処理装置。
  2. 　前記メタデータは、当該メタデータが対象とするメタデータ対象箇所を表す位置情報を含み、
    　前記表示制御手段は、前記マッチングの結果と前記位置情報とに基づき、前記内視鏡画像内に前記メタデータ対象箇所が存在すると判定した場合に、前記メタデータ対象箇所を前記内視鏡画像上において強調表示する、請求項１に記載の画像処理装置。
  3. 　前記メタデータ対象箇所は、病変部位と診断された箇所を少なくとも含む、請求項２に記載の画像処理装置。
  4. 　前記メタデータは、前記メタデータ対象箇所に関する診断結果を表す情報を含み、
    　前記表示制御手段は、前記診断結果を表す情報を、前記メタデータ対象箇所が強調表示された前記内視鏡画像と対応付けて表示する、請求項２または３に記載の画像処理装置。
  5. 　前記メタデータは、前記メタデータ対象箇所に関する診断結果及び診断者の属性を表す情報を含み、
    　前記表示制御手段は、前記診断結果及び前記属性を表す情報を、前記メタデータ対象箇所が強調表示された前記内視鏡画像と対応付けて表示する、請求項４に記載の画像処理装置。
  6. 　前記表示制御手段は、前記診断者が複数存在する場合、前記診断者ごとに、前記メタデータに関する情報の表示態様を異ならせる、請求項５に記載の画像処理装置。
  7. 　前記表示制御手段は、前記内視鏡画像上での前記メタデータ対象箇所の位置の正確度と、前記メタデータ対象箇所が強調表示された前記内視鏡画像とを表示し、
    　前記正確度は、前記マッチングの結果に基づき算出される
    請求項２～６のいずれか一項に記載の画像処理装置。
  8. 　前記メタデータ対象箇所は、病変部位と診断された箇所であり、
    　前記表示制御手段は、前記内視鏡画像に基づく病変部位の検出位置と、前記メタデータ対象箇所との比較結果に基づく情報を表示する、請求項２～７のいずれか一項に記載の画像処理装置。
  9. 　前記表示制御手段は、前記メタデータ対象箇所の種類に基づき、前記メタデータ対象箇所に関する表示態様を決定する、請求項２～８のいずれか一項に記載の画像処理装置。
  10. 　前記表示制御手段は、前記メタデータ対象箇所が病変部位と診断された箇所である場合、前記メタデータ対象箇所を含む病変領域を抽出し、前記病変領域を前記内視鏡画像上において強調表示する、請求項２～９のいずれか一項に記載の画像処理装置。
  11. 　前記３次元モデルは、前記内視鏡による検査前に行った事前検査において得られた前記検査対象のスキャンデータに基づき生成されたデータであり、
    　前記メタデータは、前記事前検査の検査結果に基づき生成されたデータである、請求項１～１０のいずれか一項に記載の画像処理装置。
  12. 　コンピュータにより、
    　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
    　前記検査対象の３次元モデルと前記再構成データとのマッチングを行い、
    　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する、
    画像処理方法。
  13. 　内視鏡に設けられた撮影部により検査対象を撮影した内視鏡画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
    　前記検査対象の３次元モデルと前記再構成データとのマッチングを行い、
    　前記マッチングの結果に基づき、前記３次元モデルに関連付けられたメタデータに関する情報を表示する処理をコンピュータに実行させるプログラムを格納した記憶媒体。
PCT/JP2021/024505 2021-06-29 2021-06-29 画像処理装置、画像処理方法及び記憶媒体 WO2023275974A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/024505 WO2023275974A1 (ja) 2021-06-29 2021-06-29 画像処理装置、画像処理方法及び記憶媒体
JP2023531184A JPWO2023275974A5 (ja) 2021-06-29 画像処理装置、画像処理方法及びプログラム
EP21948283.3A EP4364636A1 (en) 2021-06-29 2021-06-29 Image processing device, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024505 WO2023275974A1 (ja) 2021-06-29 2021-06-29 画像処理装置、画像処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2023275974A1 true WO2023275974A1 (ja) 2023-01-05

Family

ID=84691604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024505 WO2023275974A1 (ja) 2021-06-29 2021-06-29 画像処理装置、画像処理方法及び記憶媒体

Country Status (2)

Country Link
EP (1) EP4364636A1 (ja)
WO (1) WO2023275974A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2011139797A (ja) 2010-01-07 2011-07-21 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2012235983A (ja) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
JP2017507708A (ja) * 2014-02-11 2017-03-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 最小侵襲バイパス術中の内胸動脈の空間的な視覚化
WO2017203814A1 (ja) 2016-05-25 2017-11-30 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2018515197A (ja) * 2015-04-29 2018-06-14 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 腹腔鏡および内視鏡による２ｄ／２．５ｄ画像データにおけるセマンティックセグメンテーションのための方法およびシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2011139797A (ja) 2010-01-07 2011-07-21 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2012235983A (ja) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
JP2017507708A (ja) * 2014-02-11 2017-03-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 最小侵襲バイパス術中の内胸動脈の空間的な視覚化
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
JP2018515197A (ja) * 2015-04-29 2018-06-14 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 腹腔鏡および内視鏡による２ｄ／２．５ｄ画像データにおけるセマンティックセグメンテーションのための方法およびシステム
WO2017203814A1 (ja) 2016-05-25 2017-11-30 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AJI RESINDRA WIDYA ET AL.: "3D Reconstruction of Whole Stomach from Endoscope Video Using Structure-from-Motion", 41ST ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, 2019, pages 3900 - 3904, XP033625875, DOI: 10.1109/EMBC.2019.8857964
DAI, H ET AL.: "Non-rigid 3D Shape Registration using an Adaptive Template", THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV) WORKSHOPS, 2018
WIDYA AJI RESINDRA; MONNO YUSUKE; IMAHORI KOSUKE; OKUTOMI MASATOSHI; SUZUKI SHO; GOTODA TAKUJI; MIKI KENJI: "3D Reconstruction of Whole Stomach from Endoscope Video Using Structure-from-Motion", 2019 41ST ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC), IEEE, 23 July 2019 (2019-07-23), pages 3900 - 3904, XP033625875, DOI: 10.1109/EMBC.2019.8857964 *

Also Published As

Publication number Publication date
EP4364636A1 (en) 2024-05-08
JPWO2023275974A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
JP7313512B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
US11191423B1 (en) Endoscopic system and methods having real-time medical imaging
US8767057B2 (en) Image processing device, image processing method, and program
US20220254017A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
US10092216B2 (en) Device, method, and non-transitory computer-readable medium for identifying body part imaged by endoscope
JP7377769B2 (ja) プログラム、情報処理方法及び情報処理装置
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP2014230612A (ja) 内視鏡観察支援装置
JP2016143194A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP7254742B2 (ja) プログラム、情報処理方法、情報処理装置及び診断支援システム
WO2020183936A1 (ja) 検査装置、検査方法及び記憶媒体
JP2011024913A (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023148812A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023089715A1 (ja) 画像表示装置、画像表示方法、及び、記録媒体
WO2022239518A1 (ja) プログラム、情報処理方法及び内視鏡システム
WO2023089717A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2023181175A1 (ja) 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体
WO2023089716A1 (ja) 情報表示装置、情報表示方法、及び、記録媒体
Vemuri Inter-operative biopsy site relocalization in gastroscopy: Application to oesophagus
CN116368573A (zh) 医疗装置实时体积图像数据的转换与传输

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948283

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531184

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2021948283

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021948283

Country of ref document: EP

Effective date: 20240129