WO2022202400A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2022202400A1
WO2022202400A1 PCT/JP2022/010892 JP2022010892W WO2022202400A1 WO 2022202400 A1 WO2022202400 A1 WO 2022202400A1 JP 2022010892 W JP2022010892 W JP 2022010892W WO 2022202400 A1 WO2022202400 A1 WO 2022202400A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
scope
image
scope information
landmark
Prior art date
Application number
PCT/JP2022/010892
Other languages
English (en)
French (fr)
Inventor
美沙紀 後藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023509016A priority Critical patent/JPWO2022202400A1/ja
Publication of WO2022202400A1 publication Critical patent/WO2022202400A1/ja
Priority to US18/468,748 priority patent/US20240000299A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program, and more particularly to an image processing device, an image processing method, and a program for acquiring depth information of an intraluminal image.
  • an endoscopic system endoscopic device
  • a technique that displays the position of the endoscopic scope of the endoscopic system, the shape of the lumen, and the position of the lesion in correspondence.
  • This technique can effectively assist the user in comprehensively observing a lumen (for example, the large intestine) that is an observation target.
  • a lumen for example, the large intestine
  • it is necessary to accurately estimate the depth from the camera provided at the tip of the scope to the target object.
  • Patent Document 1 proposes a technique of acquiring distance information (depth information) and constructing a three-dimensional image based on luminance information of an endoscopic image. Further, Japanese Patent Laid-Open No. 2002-200002 describes a technique of acquiring the amount of change in the axial direction and the amount of change in the circumferential direction of an endoscope with a motion detection sensor, and correcting a developed image based on the acquired amount of change. .
  • scope information related to changes in the endoscope scope (for example, the length of insertion of the scope into the lumen, the bending angle and the amount of rotation of the scope within the lumen) ) must be obtained accurately.
  • the scope information of the measured values obtained by the sensor or the like described in Patent Document 1 may not be accurate.
  • the scope information acquired by a sensor or the like may differ from the actual relative amount of change in the scope inside the lumen.
  • the depth information obtained using the scope information will also be inaccurate.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to obtain an image processing apparatus and an image processing method capable of obtaining accurate scope information and obtaining accurate depth information from an intraluminal image. and provide programs.
  • An image processing apparatus for achieving the above object is an image processing apparatus comprising a processor, wherein the processor acquires time-series intraluminal images taken with a scope of an endoscope.
  • Scope information acquisition processing for acquiring scope information related to scope changes, landmark recognition processing for recognizing landmarks in intraluminal images, and landmark recognition processing for recognizing landmarks and a depth information acquisition process of acquiring depth information of the intraluminal image using the intraluminal image and the scope information corrected by the scope information correcting process.
  • the landmarks in the intraluminal image are recognized, and the information about the recognized landmarks is used to correct the scope information. Accordingly, it is possible to obtain accurate depth information of an intraluminal image based on accurate scope information.
  • the amount of change in the insertion length of the scope at time T+ ⁇ and the amount of change in bending and rotation of the scope are acquired.
  • the scope information acquisition process acquires information about the insertion length of the scope and the amount of bending and rotation of the scope from the operation of the operating section of the scope.
  • the landmark recognition processing recognizes temporal changes in the corresponding points of the landmarks
  • the scope information correction processing corrects the scope information using the temporal changes in the corresponding points.
  • the landmark recognition process outputs the recognition reliability of the recognized landmark
  • the scope information correction process determines whether or not to correct the scope information based on the recognition reliability, and the result of the determination is Correction is made based on
  • the landmark recognition reliability is output, and it is determined whether or not to correct the scope information based on the recognition reliability. This makes it possible to perform highly accurate correction and obtain highly accurate distance information.
  • the scope information correction process outputs a correction value obtained from the landmark-related information, determines whether or not to execute correction based on the correction value, and performs correction based on the determination result.
  • the correction value is output from the information regarding the landmark, and it is determined whether or not to execute the correction based on the output correction value.
  • accurate correction can be performed, and accurate distance information can be obtained.
  • the processor performs display control processing for displaying geometric information about the lumen on the display unit based on the depth information acquired by the depth information acquisition processing.
  • the geometric information related to the lumen is displayed on the display unit based on the acquired depth information, so it is possible to provide the user with accurate geometric information related to the scope.
  • the geometric information is at least one of lumen shape, lesion position, scope position, and treatment instrument position.
  • An image processing method is an image processing method using an image processing apparatus having a processor, wherein the processor acquires time-series intraluminal images captured by an endoscope scope.
  • a scope information correcting step of correcting the scope information and a depth information obtaining step of obtaining depth information of the intraluminal image using the intraluminal image and the scope information corrected in the scope information correcting step are performed. .
  • a program for executing an image processing method using an image processing device having a processor wherein the processor is provided with time-series intraluminal images captured by an endoscope scope.
  • landmarks in an intraluminal image are recognized, and scope information is corrected using information about the recognized landmarks.
  • Image depth information can be obtained.
  • FIG. 1 is a diagram schematically showing an endoscopic image and a depth image obtained from the endoscopic image.
  • FIG. 2 is a diagram showing geometric information about the large intestine and corresponding endoscopic images.
  • FIG. 3 is a diagram illustrating acquisition of depth information from an endoscopic image and scope information.
  • FIG. 4 is a schematic diagram showing the overall configuration of an endoscope system including an image processing device.
  • FIG. 5 is a block diagram showing an embodiment of an image processing device.
  • FIG. 6 is a diagram illustrating acquisition of scope information.
  • FIG. 7 is a diagram illustrating acquisition of scope information.
  • FIG. 8 is a diagram illustrating an example of landmarks.
  • FIG. 9 is a diagram for explaining information about landmarks.
  • FIG. 1 is a diagram schematically showing an endoscopic image and a depth image obtained from the endoscopic image.
  • FIG. 2 is a diagram showing geometric information about the large intestine and corresponding endoscopic images.
  • FIG. 3 is a diagram illustrating acquisition of depth information from
  • FIG. 10 is a diagram illustrating acquisition of a depth image from corrected scope information and an intraluminal image.
  • FIG. 11 is a diagram showing an example of the geometric information F of the lumen displayed on the display unit.
  • FIG. 12 is a diagram illustrating the flow of obtaining depth information.
  • FIG. 13 is a diagram illustrating the flow of acquiring depth information.
  • FIG. 14 is a flow diagram showing an image processing method.
  • FIG. 15 is a flow diagram showing an image processing method.
  • Fig. 1 is a diagram schematically showing an endoscopic image and a depth image obtained from the endoscopic image.
  • FIG. 1 shows an intraluminal image P, which is an example of an endoscopic image acquired by the endoscope system 9 (FIG. 4).
  • the intraluminal image P is, for example, an image of the inside of the large intestine.
  • the intraluminal image P shows a fold 101 in the large intestine, which continues in the direction of the arrow.
  • the depth image I is an image having depth information corresponding to the intraluminal image P.
  • the depth image I has information about the depth (distance) from the camera (eg image sensor 28 (FIG. 4)).
  • the depth image I shows depth information in the form of a heat map. Note that the depth image I is shown in a simplified manner, specifically showing seven regions having different depth information.
  • the depth image I may actually show depth information in a more detailed region in the form of a heat map, and for example, different depth information may be shown for each pixel.
  • an intraluminal image a case of observing the large intestine with the endoscope system 9 will be described, but an example of the intraluminal image is not limited to this.
  • the intraluminal image may be an image obtained by capturing another luminal organ.
  • the acquisition of the depth image I from the depth information described above is performed using images from multiple viewpoints whose relative positional relationships are known, such as stereo cameras.
  • the endoscope system 9 is equipped with a monocular camera, when acquiring depth information, it is necessary to acquire depth information based on an endoscopic image acquired by the monocular camera. .
  • the relative depth is calculated while estimating the amount of movement of the endoscopic scope 10 (see FIG. 4) between adjacent frames.
  • the shape of the lumen may be deformed for each frame, causing an error in the depth information.
  • FIG. 2 is a diagram showing geometric information about the large intestine and the corresponding endoscopic image.
  • the current position of the insertion section 20 of the endoscope 10 is shown in the geometric information 500 regarding the large intestine.
  • An endoscopic image acquired at the position of the endoscope 10 indicated by the geometric information 500 of the large intestine is also shown.
  • an intraluminal image P1 is acquired at the position of the insertion section 20 indicated by the geometric information 500 .
  • an intraluminal image P2 is acquired when the endoscope 10 is translated, curved, and rotated from the position shown in FIG. 2(A).
  • the viewpoint and the shape of the lumen change due to the movement of the endoscope 10 and the influence of the non-rigid observation target (large intestine).
  • an error may occur in the depth information.
  • the object to be observed is a non-rigid body. may be lost.
  • FIG. 3 is a diagram explaining acquisition of depth information from an endoscopic image and scope information.
  • the scope information S and the intraluminal image P are input to the depth information acquisition unit 45 (see FIG. 5), and the depth image I having depth information is output.
  • the scope information S is information indicating changes in the endoscope 10 and is actual measurement values.
  • the scope information S is the insertion length of the endoscope 10 and the bending angle and rotation amount of the endoscope 10 .
  • the depth information acquisition unit 45 is a trained model configured by CNN, and is trained to output a depth image I in response to input of the scope information S and the intraluminal image P.
  • the depth information acquisition unit 45 by inputting the scope information S of the actually measured values to the depth information acquisition unit 45, it is possible to calibrate the amount of change in movement of the endoscope 10 (more specifically, the position of the imaging element 28). , it is possible to obtain more accurate depth information.
  • the scope information S is an actual measurement value, and basically the amount of change and error of the endoscope scope 10 in the actual lumen do not occur. However, since the object to be observed is a non-rigid organ, the scope information S obtained as an actual measurement does not necessarily match the relative amount of change of the scope within the lumen. In such a case, the depth image I output from the depth information acquisition unit 45 based on the scope information S and the intraluminal image P may have low accuracy.
  • the present invention proposes a method of correcting the actually measured scope information S using landmarks in the endoscopic image and obtaining more accurate depth information based on the corrected scope information T.
  • FIG. 4 is a schematic diagram showing the overall configuration of an endoscope system including an image processing device.
  • the endoscope system 9 includes an endoscope 10 which is an electronic endoscope, a light source device 11, an endoscope processor device 12, a display device 13, and an image processing device 14. , an operation unit 15 , and a display unit 16 .
  • the endoscope 10 captures time-series endoscopic images including a subject image, and is, for example, a scope for lower or upper gastrointestinal tract.
  • the endoscope 10 includes an insertion section 20 which is inserted into a subject (for example, the stomach) and has a distal end and a proximal end, and an insertion section 20 connected to the proximal end side and held by a doctor who is an operator. and a universal cord 22 connected to the hand operation unit 21 for performing various operations.
  • the endoscope 10 is provided with a rotary scale 24 . The user can obtain the amount of rotation of the endoscope 10 in the circumferential direction by reading the rotation scale 24 .
  • the circumferential direction is the circumferential direction of a circle centered on the axis of the endoscope 10 .
  • the insertion portion 20 is formed in a long shape with a small diameter as a whole.
  • the insertion portion 20 includes a flexible portion 25 that is flexible in order from the base end side to the distal end side, a bending portion 26 that can be bent by operating the hand operation portion 21, and an imaging optical system (not shown) (objective lens ) and a distal end portion 27 in which an imaging device 28 and the like are built in are arranged in series.
  • the insertion portion 20 is provided with a length scale 34 indicating the insertion length (push amount) of the insertion portion 20 . The user can obtain the insertion length of the insertion portion 20 by reading the length scale 34 .
  • the imaging device 28 is a CMOS (complementary metal oxide semiconductor) type or CCD (charge coupled device) type imaging device.
  • Image light of the site to be observed passes through an observation window (not shown) opened on the distal end surface of the distal end portion 27 and an objective lens (not shown) arranged behind the observation window. is incident.
  • the imaging device 28 captures (converts into an electrical signal) the image light of the site to be observed that has entered its imaging surface, and outputs an imaging signal. That is, endoscopic images are sequentially captured by the imaging device 28 . Note that the endoscopic images are acquired as a moving image 38 and a still image 39, which will be described later.
  • the hand operation unit 21 is provided with various operation members operated by a doctor (user). Specifically, the hand operation unit 21 has two types of bending operation knobs 29 used for bending operation of the bending portion 26, an air/water supply button 30 for air/water supply operation, and a suction button 31 for suction operation. , is provided.
  • the hand operation unit 21 also includes a still image photographing instruction unit 32 for instructing photographing of a still image 39 of the site to be observed, A treatment instrument introduction port 33 into which a treatment instrument (not shown) is inserted is provided.
  • the universal cord 22 is a connection cord for connecting the endoscope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35, a signal cable 36, and a fluid tube (not shown) that are inserted through the insertion section 20.
  • a connector 37a connected to the light source device 11 and a connector 37b branched from the connector 37a and connected to the endoscope processor device 12 are provided.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11 .
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 via the light guide 35 and the fluid tube (not shown).
  • illumination light is emitted from an illumination window (not shown) on the distal end surface of the distal end portion 27 toward the site to be observed.
  • gas or water is jetted from an air/water supply nozzle (not shown) on the distal end surface of the distal end portion 27 toward an observation window (not shown) on the distal end surface. be.
  • the signal cable 36 and the endoscope processor device 12 are electrically connected.
  • an imaging signal of the site to be observed is output from the imaging device 28 of the endoscope 10 to the endoscope processor device 12 via the signal cable 36, and the endoscope processor device 12 outputs an image signal of the endoscope.
  • a control signal is output to 10 .
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope 10 via the connector 37a.
  • the illumination light may be white light (light in a white wavelength band or light in a plurality of wavelength bands), light in one or more specific wavelength bands, or light in various wavelength bands according to the purpose of observation, such as a combination thereof. selected.
  • the endoscope processor device 12 controls the operation of the endoscope 10 via the connector 37b and the signal cable 36.
  • the endoscope processor device 12 also generates an image ( (also referred to as “moving image 38”).
  • an image also referred to as “moving image 38”.
  • the endoscope processor device 12 in parallel with the generation of the moving image 38, reproduces one image in the moving image 38.
  • the frame image 38a is assumed to be a still image 39 corresponding to the timing of the photographing instruction.
  • the moving image 38 and still image 39 are endoscopic images captured inside the subject, that is, inside the living body. Furthermore, when the moving image 38 and the still image 39 are images obtained by light of the above-described specific wavelength band (special light), both are special light images.
  • the endoscope processor device 12 then outputs the generated moving image 38 and still image 39 to the display device 13 and the image processing device 14 .
  • the endoscope processor device 12 may generate (acquire) a special light image having information on the specific wavelength band described above, based on the normal light image obtained with the white light described above. In this case, the endoscope processor device 12 functions as a special light image acquisition section. Then, the endoscope processor unit 12 converts the signals in the specific wavelength band into red, green, and blue [RGB (Red, Green, Blue)] or cyan, magenta, and yellow [CMY ( Cyan, Magenta, Yellow)] by performing an operation based on the color information.
  • RGB Red, Green, Blue
  • CMY Cyan, Magenta, Yellow
  • the endoscope processor device 12 for example, based on at least one of the normal light image obtained by the above-described white light and the special light image obtained by the above-described light of the specific wavelength band (special light) Then, a feature amount image such as a known oxygen saturation image may be generated.
  • the endoscope processor device 12 functions as a feature image generator.
  • the moving image 38 or still image 39 including the in vivo image, the normal light image, the special light image, and the feature amount image are all captured or measured for the purpose of image diagnosis and inspection. It is an endoscopic image imaging the result.
  • the display device 13 is connected to the endoscope processor device 12 and functions as a display section 16 that displays the moving image 38 and the still image 39 input from the endoscope processor device 12 .
  • the doctor (user) performs forward/backward operations of the insertion section 20 while confirming the moving image 38 displayed on the display device 13, and operates the still image photographing instruction section 32 when a lesion or the like is found in the site to be observed. Then, a still image of the site to be observed is captured, and treatment such as diagnosis and biopsy is performed.
  • a moving image 38 and a still image 39 are similarly displayed on the display unit 16 connected to the image processing device 14 to be described later. Further, when the moving image 38 and the still image 39 are displayed on the display unit 16, notification display, which will be described later, is also performed together. Therefore, it is preferable for the user to perform diagnosis and the like while viewing the display on the display unit 16 .
  • FIG. 5 is a block diagram showing an embodiment of the image processing device 14. As shown in FIG. The image processing device 14 sequentially acquires endoscopic images in time series, and displays the endoscopic images and geometric information about the lumen on the display unit 16 .
  • the image processing device 14 is composed of, for example, a computer.
  • the operation unit 15 includes a keyboard and a mouse that are wired or wirelessly connected to the computer, as well as buttons provided on the hand operation unit 21 of the endoscope 10.
  • the display unit 16 can be connected to the computer. Various monitors such as liquid crystal monitors are used.
  • the image processing device 14 includes an image acquisition unit 40, a CPU (Central Processing Unit) 41, a scope information acquisition unit 42, a landmark recognition unit 43, a scope information correction unit 44, a depth information acquisition unit 45, a display control unit 46, and an audio control unit. It is composed of a unit 47 and a memory 48 . Processing of each unit is implemented by one or more processors.
  • the processor may be composed of the CPU 41, or may be composed of one or a plurality of CPUs (not shown).
  • the CPU 41 operates based on various programs including an operating system and an endoscope image processing program stored in the memory 48, and operates an image acquisition section 40, a scope information acquisition section 42, a landmark recognition section 43, and a scope information correction section. 44, depth information acquisition unit 45, display control unit 46, and audio control unit 47, and functions as a part of these units.
  • the image acquisition unit 40 performs image acquisition processing and sequentially acquires time-series endoscopic images.
  • the image acquisition unit 40 uses an image input/output interface (not shown) wired or wirelessly connected to the endoscope processor device 12 (FIG. 4) to obtain time-series data including subject images from the endoscope processor device 12. Acquire a scopic image.
  • a moving image 38 captured by the endoscope 10 is acquired.
  • the image acquisition unit 40 acquires the moving image 38 and the still image 39 from the endoscope processor device 12. do.
  • an intraluminal image P (FIG. 1) obtained by photographing a large intestine will be used as an example of an endoscopic image.
  • the memory 48 includes flash memory, ROM (Read-only Memory), RAM (Random Access Memory), hard disk device, and the like.
  • the flash memory, ROM, and hard disk device are non-volatile memories that store an operating system, various programs such as an endoscope image processing program, and captured still images 39 and the like.
  • the RAM is a volatile memory capable of high-speed data reading and writing, which functions as an area for temporarily storing various programs stored in the nonvolatile memory and as a work area for the CPU 41 .
  • the scope information acquisition unit 42 performs scope information acquisition processing and acquires scope information related to changes in the endoscope 10 .
  • the scope information is information indicating the operation of the insertion section 20 of the endoscope 10 . Specifically, the insertion length indicating the length by which the insertion portion 20 of the endoscope 10 is pushed into the lumen, the bending angle indicating the bending of the bending portion 26, and the circumferential rotation of the endoscope 10 are is the amount of rotation shown.
  • the scope information S can be obtained by actual measurement, and the scope information obtaining unit 42 can obtain the scope information S by various methods.
  • the insertion length may be acquired by photographing the length scale 34 attached to the insertion unit 20 with a camera, or the length scale may be The insertion length may be obtained by a sensor (not shown) provided with 34 .
  • the bending angle may be acquired based on the amount of rotation of the bending operation knob 29, or a sensor (not shown) provided in the bending section 26 may be used.
  • the bending angle may be obtained by Further, for example, when the scope information acquiring unit 42 acquires the amount of rotation, the rotating scale 24 provided on the endoscope 10 may be photographed with a camera to acquire the read amount of rotation, or the hand operation may be performed.
  • the amount of rotation of the endoscope 10 in the circumferential direction may be acquired by a gyro sensor (not shown) incorporated in the section 21 .
  • FIG. 6 and 7 are diagrams explaining acquisition of scope information S.
  • FIG. FIG. 6 is a diagram for explaining acquisition of the insertion length of the scope information S
  • FIG. 7 is a diagram for explaining the bending angle and the amount of rotation of the scope information S.
  • the insertion portion 20 is inserted into the lumen by a length a.
  • the insertion portion 20 has been inserted into the lumen by a length of a+b.
  • the scope information acquisition unit 42 acquires, as scope information S, the amount of change in the insertion length at time T+ ⁇ using the insertion length of the insertion unit 20 at time T as a reference. That is, the scope information acquisition unit 42 acquires the length b as the scope information S as the amount of change in the insertion length.
  • the distal end of the insertion portion 20 has a bending angle of 0° and the amount of rotation in the circumferential direction is also 0.
  • the distal end of the insertion portion 20 has an angle of curvature c and an amount of rotation d in the circumferential direction.
  • the scope information acquisition unit 42 acquires the amount of change in the bending angle and the amount of rotation at time T+ ⁇ as scope information S, using the bending angle and the amount of rotation at time T as a reference. In this case, the scope information acquiring unit 42 acquires c as the amount of change in the bending angle and d as the amount of change in the amount of rotation in the circumferential direction as the scope information S.
  • the landmark recognition unit 43 (FIG. 5) performs landmark recognition processing to recognize landmarks in the endoscopic image.
  • a landmark is a mark in an endoscopic image, and by tracking the landmark in chronological order, the operation (change amount) of the endoscope 10 can be grasped.
  • Specific examples of landmarks include folds of the large intestine and duodenum, lesions such as polyps, and start points, end points, and midpoints of organs (in the case of the large intestine, the splenic flexure, liver flexure, ileocecal region, etc.).
  • the landmark recognition unit 43 can recognize landmarks in the endoscopic image by various methods.
  • the landmark recognition unit 43 is composed of a recognizer (learned model) composed of a CNN and subjected to machine learning, and recognizes a landmark from an input endoscopic image.
  • FIG. 8 is a diagram illustrating an example of landmarks recognized by the landmark recognition unit 43.
  • FIG. 8 is a diagram illustrating an example of landmarks recognized by the landmark recognition unit 43.
  • the landmark recognition unit 43 recognizes landmarks L, which are lesions, in the intraluminal image P. Note that when the landmark recognition unit 43 is composed of a recognizer, a score regarding the recognition of the landmark L may be output. This score is used as the recognition reliability described in the second embodiment.
  • the scope information correction unit 44 ( FIG. 5 ) performs scope information correction processing, and corrects the scope information S using the information regarding the landmarks recognized by the landmark recognition unit 43 .
  • the information about landmarks is specifically information about changes in the temporal position of landmarks recognized in each of the intraluminal images P that are consecutive in time series.
  • the scope information correcting unit 44 can correct the scope information S using information about landmarks in various ways. For example, the scope information correcting unit 44 replaces the amount of change of the endoscope 10 obtained based on the information about the landmark with the scope information obtained by the scope information obtaining unit 42, thereby correcting scope information T to get
  • FIG. 9 is a diagram explaining information about landmarks acquired by the scope information correction unit 44.
  • FIG. 9 is a diagram explaining information about landmarks acquired by the scope information correction unit 44.
  • the scope information correction unit 44 tracks landmarks in time series, uses depth information corresponding to the landmarks as information about the landmarks, and determines the amount of change in the endoscope 10 within the lumen. to get
  • the landmark recognition unit 43 recognizes the landmark L in the intraluminal image P1.
  • the landmark recognition unit 43 also recognizes the landmarks L (corresponding points of the landmarks L) in the depth image I1 corresponding to the intraluminal image P1.
  • the scope information correction unit 44 acquires the depth information of the landmark L at the time T.
  • the landmark recognition unit 43 also recognizes the landmark L recognized at time T in the intraluminal image P2.
  • the landmark recognition unit 43 also recognizes the landmarks L (corresponding points of the landmarks L) in the depth image I2 corresponding to the intraluminal image P2.
  • the scope information correction unit 44 acquires the depth information of the landmark L at time T+ ⁇ .
  • the scope information correction unit 44 calculates the amount of change in the insertion length of the endoscope 10 based on the temporal change in the depth information of the landmark L (the point corresponding to the landmark L) from time T to time T+ ⁇ . X is obtained, the amount of change Y in the bending angle of the scope is obtained, and the amount of change Z in the circumferential rotation amount of the scope is obtained.
  • the amounts of change X, Y, and Z were acquired based on the temporal changes in the position of the landmark L at times T and T+ ⁇ , but the temporal changes in the position of the landmark L at three or more times You may acquire change amount X, Y, and Z based on.
  • the scope information correction unit 44 corrects the scope information based on the amount of change in the scope acquired based on the landmark L.
  • the scope information correction unit 44 replaces the scope information S acquired by the scope information acquisition unit 42 with the change amount of the endoscope 10 acquired based on the landmark L.
  • FIG. Specifically, the scope information correction unit 44 corrects the change amount b of the insertion length acquired by the scope information acquisition unit 42 to the change amount X of the insertion length based on the landmark.
  • the scope information correction unit 44 corrects the change amount c of the bending angle acquired by the scope information acquisition unit 42 to the change amount Y of the bending angle based on the landmark.
  • the scope information correction unit 44 also corrects the circumferential change amount d acquired by the scope information acquisition unit 42 to the circumferential change amount Z based on the landmarks.
  • landmarks in the depth image are used to acquire the amount of change in the endoscope 10, but the invention is not limited to this.
  • the movement of landmarks in the intraluminal image P and the amount of change in the endoscope 10 may be estimated by machine learning or the like.
  • a recognizer is prepared in advance by machine-learning movement (variation) of landmarks in the intraluminal image P with respect to multiple patterns of variation (translation, rotation, and bending) of the endoscope 10 . Then, this recognizer calculates and estimates the amount of translation of the endoscope 10 from the amount of change in the intraluminal image P of the landmark from time T to T+ ⁇ .
  • the depth information acquisition unit 45 (FIG. 5) performs depth information acquisition processing, and acquires depth information of the endoscopic image based on the endoscopic image and the scope information T corrected by the scope information correction unit 44. do.
  • the depth information acquisition unit 45 is a trained model configured by CNN and subjected to machine learning.
  • the depth information acquisition unit 45 outputs depth images having depth information by receiving corrected scope information T (or scope information S) and time-series intraluminal images.
  • FIG. 10 is a diagram explaining acquisition of the depth image I from the corrected scope information T and the intraluminal image P.
  • the scope information T corrected by the scope information correction unit 44 and the intraluminal image P are input to the depth information acquisition unit 45 .
  • the scope information T corrected by the scope information correction unit 44 more accurately indicates the amount of change in the scope inside the lumen. Therefore, the depth information acquisition unit 45 can output a depth image I having more accurate depth information.
  • the display control unit 46 ( FIG. 5 ) generates display image data based on the endoscopic image (moving image 38 ) acquired by the image acquisition unit 40 and outputs the image data to the display unit 16 .
  • the display control unit 46 also generates geometric information about the lumen and outputs it to the display unit 16 .
  • the audio controller 47 ( FIG. 5 ) controls audio output from the speaker 17 .
  • the audio control unit 47 controls the speaker 17 to output a notification sound to the user.
  • FIG. 11 is a diagram showing an example of the intraluminal image P and the geometric information F of the lumen displayed on the display unit 16. As shown in FIG.
  • An intraluminal image P captured by the endoscope system 9 is displayed in the main area of the display unit 16 .
  • a sub-region of the display 16 shows the geometric information F of the lumen.
  • the lumen geometric information F is generated by the display control unit 46 and output to the display unit 16 .
  • the geometric information F is generated based on the corrected scope information T and highly accurate depth information acquired by the depth information acquisition unit 45 .
  • the geometric information F indicates the shape of the lumen to be observed (the shape of the large intestine) and the current position of the endoscope 10 .
  • the geometric information F may indicate a lesion position, a treatment instrument position, and the like. In this way, the depth information acquisition unit 45 acquires accurate depth information, so that the geometric information F using the depth information can accurately indicate position information and the like.
  • FIG. 12 is a diagram showing the flow of data in the functional block diagram of the image processing device 14.
  • FIG. 13 is a flowchart showing an image processing method using the image processing device 14. As shown in FIG.
  • the image acquisition unit 40 acquires an intraluminal image P (image acquisition step: step S101).
  • the intraluminal image P is a frame image 38a that constitutes the moving image 38.
  • the scope information acquisition unit 42 acquires scope information S (scope information acquisition step: step S102).
  • the landmark recognition unit 43 recognizes the landmark L in the intraluminal image P (landmark recognition step: step S103).
  • the scope information correction unit 44 corrects the scope information S (scope information correction step: step S104).
  • the scope information correction unit 44 acquires scope information T, which is the amount of change in the endoscope 10 acquired based on the landmark L.
  • the depth information acquiring unit 45 acquires a depth image I having depth information of the intraluminal image using the intraluminal image P and the scope information T (depth information acquiring step: step S105). After that, the display unit 16 displays geometric information about the lumen on the display unit 16 based on the depth information (display control processing step: step S106).
  • scope information T obtained by correcting scope information S acquired by the scope information acquiring unit 42 using information relating to landmarks
  • the scope information S acquired by the scope information acquisition unit 42 may not require correction.
  • a description of such an embodiment is provided below.
  • the scope information correcting unit 44 corrects the scope information S according to the landmark recognition reliability.
  • FIG. 14 is a flowchart showing the image processing method according to this embodiment.
  • the image acquisition unit 40 acquires an intraluminal image P (step S201). Also, the scope information acquisition unit 42 acquires scope information S (step S202). Next, the landmark recognition unit 43 recognizes the landmarks L in the intraluminal image P (step S203).
  • the landmark recognition unit 43 acquires the recognition reliability of the recognized landmark (step S204).
  • the landmark recognition reliability is acquired by various methods.
  • the landmark recognition unit 43 is composed of a machine-learned recognizer (learned model), and can use the score when recognizing a landmark as the landmark recognition reliability.
  • the scope information correction unit 44 determines whether the landmark recognition reliability is equal to or higher than the threshold (step S205). The scope information correction unit 44 does not correct the scope information S when the landmark recognition reliability is less than the threshold. In this case, the depth information acquiring unit 45 acquires the depth information using the uncorrected measured scope information S (step S207). On the other hand, the scope information correction unit 44 corrects the scope information S when the landmark recognition reliability is equal to or higher than the threshold (step S206). Then, the depth information acquisition unit 45 acquires depth information based on the corrected scope information T (step S207). After that, the display unit 16 displays geometric information about the lumen on the display unit 16 based on the depth information (step S208).
  • the scope information correction unit 44 accurately acquires the change amount of the endoscope 10 based on the landmark. can be done.
  • the landmark recognition unit 43 cannot accurately recognize the landmark, it may be difficult for the scope information correction unit 44 to accurately acquire the amount of change in the endoscope scope 10 based on the landmark. . Therefore, in this embodiment, since the scope information S is corrected according to the recognition reliability of the landmark, it is possible to obtain highly accurate depth information.
  • the scope information is corrected according to the correction value obtained by the scope information corrector 44 .
  • FIG. 15 is a flowchart showing the image processing method according to this embodiment.
  • the image acquisition unit 40 acquires an intraluminal image P (step S301). Also, the scope information acquisition unit 42 acquires scope information S (step S302). Next, the landmark recognition unit 43 recognizes the landmarks L in the intraluminal image P (step S303). Next, the scope information correction unit 44 acquires correction values (step S304).
  • the scope information correction unit 44 outputs a correction value obtained from information regarding landmarks. For example, as described in the first embodiment, when the landmark information is depth information corresponding to the landmark L, the scope information correcting unit 44 performs endoscopic observations obtained based on the landmark information. A change amount of the mirror scope 10 is obtained, and a difference between scope information T corrected by the change amount and scope information S before correction is obtained as a correction value. The scope information correction unit 44 then determines whether the correction value is equal to or greater than the threshold (step S305). If the correction value is less than the threshold, the scope information correction unit 44 does not correct the scope information S, and the depth information acquisition unit 45 acquires depth information (step S307).
  • the scope information correction unit 44 corrects the scope information S (step S306), and the depth information acquisition unit 45 acquires depth information (step S307). After that, the display unit 16 displays geometric information about the lumen on the display unit 16 based on the depth information (step S308).
  • the scope information correction unit 44 corrects the scope information S.
  • the scope information correction unit 44 does not correct the scope information S because the effect on the accuracy of the depth information is small even if the scope information S is used as it is.
  • the scope information is corrected according to the correction value, so it is possible to efficiently acquire accurate depth information.
  • a processing unit that executes various processes (for example, image acquisition unit 40, scope information acquisition unit 42, landmark recognition unit 43, scope information correction unit 44, depth information acquisition unit 45, display control unit 46, voice
  • the hardware structure of the control unit 47) is various processors as shown below.
  • the circuit configuration can be changed after manufacturing such as CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) and functions as various processing units, FPGA (Field Programmable Gate Array), etc.
  • Programmable Logic Device which is a processor, ASIC (Application Specific Integrated Circuit), etc. be
  • One processing unit may be composed of one of these various processors, or composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • Endoscope system 10 Endoscope scope 11: Light source device 12: Endoscope processor device 13: Display device 14: Image processing device 15: Operation unit 16: Display unit 17: Speaker 20: Insertion unit 21: Hand Operation unit 22 : Universal cord 24 : Rotating scale 25 : Flexible portion 26 : Bending portion 27 : Tip portion 28 : Imaging device 29 : Bending operation knob 30 : Air/water supply button 31 : Suction button 32 : Still image shooting instruction unit 33 : Treatment instrument introduction port 34 : Length scale 35 : Light guide 36 : Signal cable 37a : Connector 37b : Connector 40 : Image acquisition unit 41 : CPU 42: scope information acquisition unit 43: landmark recognition unit 44: scope information correction unit 45: depth information acquisition unit 46: display control unit 47: audio control unit 48: memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)

Abstract

正確なスコープ情報を取得して管腔内画像から精度の良い深度情報を取得することができる画像処理装置、画像処理方法及びプログラムを提供する。プロセッサを備えた画像処理装置（１４）において、プロセッサは、内視鏡のスコープで撮影された時系列の管腔内画像を取得する画像取得処理と、スコープの変化に関するスコープ情報を取得するスコープ情報取得処理と、管腔内画像中のランドマークを認識するランドマーク認識処理と、ランドマーク認識処理で認識したランドマークに関する情報を用いて、スコープ情報を補正するスコープ情報補正処理と、管腔内画像とスコープ情報補正処理で補正したスコープ情報とを用いて管腔内画像の深度情報を取得する深度情報取得処理と、を行う。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に管腔内画像の深度情報を取得する画像処理装置、画像処理方法、及びプログラムに関する。
　内視鏡システム（内視鏡装置）を用いて行う観察において、内視鏡システムの内視鏡スコープの位置、管腔の形状、病変位置を対応させて表示する技術が知られている。この技術は、観察対象である管腔（例えば大腸）を網羅的に観察する際にユーザを有効に補助することができる。内視鏡スコープの現在位置、管腔の形状、病変位置を幾何的に把握するためには、スコープの先端部に備えられるカメラから対象物体までの深度を精度良く推定する必要がある。
　特許文献１では、内視鏡画像の輝度情報に基づいて、距離情報（深度情報）を取得し３次元画像を構築する技術が提案されている。また、特許文献１では、内視鏡スコープの軸方向の変化量及び周方向の変化量を動き検出センサにより取得し、取得した変化量に基づいて展開画像の補正を行う技術が記載されている。
国際公開第２００７／１３９１８７号公報
　ここで上述した技術において、正確な深度情報を取得するためには、内視鏡スコープの変化に関するスコープ情報（例えばスコープの管腔への挿入長、管腔内でのスコープの湾曲角度及び回転量）を正確に取得する必要がある。
　しかしながら、内視鏡システムの観察対象の管腔は非剛体であるので、特許文献１に記載されているセンサ等で取得した実測値のスコープ情報が正確でない場合がある。すなわち、センサ等で取得したスコープ情報と、実際に管腔内でのスコープの相対的な変化量とが異なる場合がある。このように、スコープ情報が正確に得ることができない場合には、スコープ情報を用いて取得する深度情報も不正確となってしまう。
　本発明はこのような事情に鑑みてなされたもので、その目的は、正確なスコープ情報を取得して管腔内画像から精度の良い深度情報を取得することができる画像処理装置、画像処理方法及びプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である画像処理装置は、プロセッサを備えた画像処理装置において、プロセッサは、内視鏡のスコープで撮影された時系列の管腔内画像を取得する画像取得処理と、スコープの変化に関するスコープ情報を取得するスコープ情報取得処理と、管腔内画像中のランドマークを認識するランドマーク認識処理と、ランドマーク認識処理で認識したランドマークに関する情報を用いて、スコープ情報を補正するスコープ情報補正処理と、管腔内画像とスコープ情報補正処理で補正したスコープ情報とを用いて管腔内画像の深度情報を取得する深度情報取得処理と、を行う。
　本態様によれば、管腔内画像中のランドマークが認識され、認識したランドマークに関する情報を用いてスコープ情報が補正される。これにより、精度の良いスコープ情報に基づいて、精度の良い管腔内画像の深度情報を取得することができる。
　好ましくは、スコープ情報取得処理は、時刻Ｔのスコープの位置を基準として、時刻Ｔ＋αでのスコープの挿入長の変化量、及びスコープの湾曲及び回転に関する変化量を取得する。
　好ましくは、スコープ情報取得処理は、スコープの操作部の動作からスコープの挿入長、及びスコープの湾曲及び回転量に関する情報を取得する。
　好ましくは、ランドマーク認識処理は、ランドマークの対応点の時間的な変化を認識し、スコープ情報補正処理は、対応点の時間的な変化を用いて、スコープ情報を補正する。
　好ましくは、ランドマーク認識処理は、認識したランドマークの認識信頼度を出力し、スコープ情報補正処理は、認識信頼度に基づいてスコープ情報の補正を実行するか否かを判定し、判定の結果に基づいて補正を行う。
　本態様によれば、ランドマークの認識信頼度が出力され、認識信頼度に基づいてスコープ情報の補正を実行するか否かが判定される。これにより、精度の良い補正を実行することができ、精度の良い距離情報を取得することが可能である。
　好ましくは、スコープ情報補正処理は、ランドマークに関する情報から得られる補正値を出力し、補正値に基づいて補正を実行するか否かを判定し、判定の結果に基づいて補正を行う。
　本態様によれば、ランドマークに関する情報から補正値を出力し、出力された補正値に基づいて補正を実行するか否かを判定される。これにより、精度の良い補正を実行することができ、精度の良い距離情報を取得することができる。
　好ましくは、プロセッサは、深度情報取得処理により取得した深度情報に基づいて、管腔に関する幾何情報を表示部に表示する表示制御処理を行う。
　本態様によれば、取得した深度情報に基づいて、管腔に関する幾何情報を表示部に表示されるので、ユーザに正確なスコープに関連する幾何情報を提供することができる。
　好ましくは、幾何情報は、管腔の形状、病変位置、スコープの位置、処置具位置のうち少なくとも一つである。
　本発明の他の態様である画像処理方法は、プロセッサを備えた画像処理装置を用いた画像処理方法において、プロセッサにより、内視鏡のスコープで撮影された時系列の管腔内画像を取得する画像取得工程と、スコープの変化に関するスコープ情報を取得するスコープ情報取得工程と、管腔内画像中のランドマークを認識するランドマーク認識工程と、ランドマーク認識工程で認識したランドマークに関する情報を用いて、スコープ情報を補正するスコープ情報補正工程と、管腔内画像とスコープ情報補正工程で補正したスコープ情報とを用いて管腔内画像の深度情報を取得する深度情報取得工程と、が行われる。
　本発明の他の態様であるプログラムは、プロセッサを備えた画像処理装置を用いて画像処理方法を実行させるプログラムにおいて、プロセッサに、内視鏡のスコープで撮影された時系列の管腔内画像を取得する画像取得工程と、スコープの変化に関するスコープ情報を取得するスコープ情報取得工程と、管腔内画像中のランドマークを認識するランドマーク認識工程と、ランドマーク認識工程で認識したランドマークに関する情報を用いて、スコープ情報を補正するスコープ情報補正工程と、管腔内画像とスコープ情報補正工程で補正したスコープ情報とを用いて管腔内画像の深度情報を取得する深度情報取得工程と、を実行させる。
　本発明によれば、管腔内画像中のランドマークが認識され、認識したランドマークに関する情報を用いてスコープ情報が補正されるので、精度の良いスコープ情報に基づいて、精度の良い管腔内画像の深度情報を取得することができる。
図１は、内視鏡画像とその内視鏡画像から得れた深度画像を模式的に示した図である。 図２は、大腸に関する幾何情報及び対応する内視鏡画像を示す図である。 図３は、内視鏡画像及びスコープ情報から深度情報を取得することを説明する図である。 図４は、画像処理装置を含む内視鏡システムの全体構成を示す概略図である。 図５は、画像処理装置の実施形態を示すブロック図である。 図６は、スコープ情報の取得に関して説明する図である。 図７は、スコープ情報の取得に関して説明する図である。 図８は、ランドマークの一例に関して説明する図である。 図９は、ランドマークに関する情報について説明する図である。 図１０は、補正されたスコープ情報と管腔内画像から深度画像を取得することを説明する図である。 図１１は、表示部に表示される管腔の幾何情報Ｆの一例を示す図である。 図１２は、深度情報の取得の流れを説明する図である。 図１３は、深度情報の取得の流れを説明する図である。 図１４は、画像処理方法を示すフロー図である。 図１５は、画像処理方法を示すフロー図である。
　以下、添付図面にしたがって本発明に係る画像処理装置、画像処理方法、及びプログラムの好ましい実施の形態について説明する。
　［内視鏡画像からの深度情報の取得］
　先ず、内視鏡画像からの深度情報の取得に関して説明する。
　図１は、内視鏡画像とその内視鏡画像から得れた深度画像を模式的に示した図である。
　図１には、内視鏡システム９（図４）で取得される内視鏡画像の一例である管腔内画像Ｐが示されている。管腔内画像Ｐは、例えば大腸の内部が撮影された画像である。管腔内画像Ｐでは、大腸内のひだ１０１が示されており、矢印方向に管状が続いている。深度画像Ｉは、管腔内画像Ｐに対応する深度情報を有する画像である。深度画像Ｉは、カメラ（例えば撮像素子２８（図４））からの深度（距離）に関する情報を有する。深度画像Ｉでは、深度情報がヒートマップ状に示されている。なお、深度画像Ｉは単純化して示されており、具体的には互いに異なる深度情報を有する７つの領域が示されている。なお、深度画像Ｉは、実際にはより細かい領域でヒートマップ状に深度情報が示されていてもよく、例えば画素単位毎に異なる深度情報が示されてもよい。また、本例では管腔内画像の例として、大腸を内視鏡システム９で観察する場合について説明するが管腔内画像の例はこれに限定されない。管腔内画像は、他の管腔臓器が撮影された画像であってもよい。
　通常、上述した深度情報を深度画像Ｉの取得は、ステレオカメラのような相対的な位置関係が既知の複数視点の画像を使用して行われる。しかしながら、内視鏡システム９は単眼のカメラを備えているので、深度情報の取得を行う場合には、単眼のカメラで取得された内視鏡画像に基づいて深度情報の取得を行う必要がある。
　例えば、文献（Daniel Freedman et al, “Detecting Deficient Coverage in Colonoscopies”, CVPR2020, https://arxiv.org/pdf/2001.08589.pdf）では、ＣＮＮ（Convolutional Neural Network）で構成された認識器を用いて、単眼のカメラで取得された内視鏡画像から深度情報を有する深度画像を取得する技術が記載されている。
　上述の単眼のカメラで撮影された内視鏡画像のみで深度情報の取得を行う場合には、近接するフレーム間の内視鏡スコープ１０（図４参照）の移動量を推定しながら相対深度を推定する。この場合、臓器は非剛体であるので、管腔形状がフレームごとに変形し、深度情報に誤差が生じてしまう場合ある。
　図２は、大腸に関する幾何情報及び対応する内視鏡画像を示す図である。
　大腸に関する幾何情報５００には、内視鏡スコープ１０の挿入部２０の現在位置が示されている。また、大腸の幾何情報５００に示された内視鏡スコープ１０の位置において取得された内視鏡画像が示されている。
　図２（Ａ）に示すように、幾何情報５００に示された挿入部２０の位置において管腔内画像Ｐ１が取得される。図２（Ｂ）に示すように、内視鏡スコープ１０が図２（Ａ）で示した位置から並進、湾曲、及び回転した場合に、管腔内画像Ｐ２が取得される。管腔内画像Ｐ１と管腔内画像Ｐ２との間では、内視鏡スコープ１０の移動及び非剛体である観察対象（大腸）の影響により視点及び管腔形状が変化している。このような場合には、上述した単眼のカメラで撮影された管腔内画像のみで深度情報の取得を行うと、深度情報に誤差が生じてしまう可能性がある。
　以上で説明したように、管腔内画像からの深度情報を取得する場合には、観察対象が非剛体であるので、管腔内画像のみで深度情報を取得してしまうと精度が低下してしまう場合がある。
　［内視鏡画像及びスコープ情報からの深度情報の取得］
　上述した深度情報の低下を抑制するために、スコープ情報の実測値を取得し、スコープ情報と内視鏡画像とから深度情報を取得することが考えられる。
　図３は、内視鏡画像及びスコープ情報から深度情報を取得することを説明する図である。
　図３に示すように、スコープ情報Ｓと管腔内画像Ｐが深度情報取得部４５（図５参照）に入力され、深度情報を有する深度画像Ｉを出力する。ここで、スコープ情報Ｓは、内視鏡スコープ１０の変化を示す情報であり実測値である。例えば、スコープ情報Ｓは、内視鏡スコープ１０の挿入長、及び内視鏡スコープ１０の湾曲角度及び回転量である。また、深度情報取得部４５は、ＣＮＮで構成された学習済みモデルであり、スコープ情報Ｓ及び管腔内画像Ｐの入力に対して、深度画像Ｉを出力するように学習が行われている。このように、実測値のスコープ情報Ｓを深度情報取得部４５に入力することで、内視鏡スコープ１０（詳細には撮像素子２８の位置）の移動変化量のキャリブレーションを行うことが可能となり、より正確な深度情報を取得することが可能となる。
　［スコープ情報の補正］
　次に、上述した実測値のスコープ情報Ｓの補正について説明する。
　スコープ情報Ｓは、実測値であり、基本的には実際の管腔内での内視鏡スコープ１０の変化量と誤差は生じない。しかしながら、観察対象は非剛体の臓器であるために実測値として得られたスコープ情報Ｓと管腔内でスコープが変化した相対的な変化量とが必ずしも一致しないことがある。そのような場合に、スコープ情報Ｓ及び管腔内画像Ｐに基づいて、深度情報取得部４５から出力される深度画像Ｉは、精度が低い場合がある。
　ここで、実測値であるスコープ情報Ｓを内視鏡画像中のランドマークに関する情報を用いて補正することにより、管腔内での相対的な内視鏡スコープ１０の変化量により近い情報とすることができる。そこで本発明では、内視鏡画像中のランドマークを使用して実測値のスコープ情報Ｓを補正し、補正したスコープ情報Ｔに基づいて、より正確な深度情報を取得する手法を提案する。
　＜第１の実施形態＞
　［画像処理装置を含む内視鏡システムの全体構成］
　図４は、画像処理装置を含む内視鏡システムの全体構成を示す概略図である。
　図４に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、画像処理装置１４と、操作部１５と、表示部１６と、を備える。
　内視鏡スコープ１０は、被写体像を含む時系列の内視鏡画像を撮影するものであり、例えば、下部又は上部消化管用スコープである。この内視鏡スコープ１０は、被検体（例えば胃）内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者である医師が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。また、内視鏡スコープ１０には、回転目盛り２４が付されている。ユーザは、回転目盛り２４を読み取ることにより、内視鏡スコープ１０の周方向の回転量を得ることができる。ここで、周方向とは、内視鏡スコープ１０の軸を中心とする円の円周方向のことである。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。なお、挿入部２０には、挿入部２０の挿入長（押し込み量）を示す長さ目盛り３４が付されている。ユーザは、長さ目盛り３４を読み取ることにより、挿入部２０の挿入長を得ることができる。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。すなわち、撮像素子２８により内視鏡画像が順次撮影される。なお、内視鏡画像は後で説明する動画３８及び静止画３９として取得される。
　手元操作部２１には、医師（ユーザ）によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
　コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
　光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。
　内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａからなる画像（「動画３８」ともいう）を生成する。更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮影指示のタイミングに応じた静止画３９とする。
　動画３８及び静止画３９は、被検体内、即ち生体内を撮像した内視鏡画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と画像処理装置１４とに出力する。
　なお、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。
　また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した内視鏡画像である。
　表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する表示部１６として機能する。医師（ユーザ）は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等の処置を行う。なお、後で説明する画像処理装置１４に接続されている表示部１６にも、同様に動画３８及び静止画３９が表示される。また、表示部１６に動画３８及び静止画３９が表示される場合には、後で説明する報知表示も一緒に行われる。したがって、ユーザは、表示部１６の表示を見て診断等を行うことが好ましい。
　［画像処理装置］
　図５は、画像処理装置１４の実施形態を示すブロック図である。画像処理装置１４は、時系列の内視鏡画像を順次取得し、表示部１６に内視鏡画像及び管腔に関する幾何情報を表示する。画像処理装置１４は、例えばコンピュータで構成される。操作部１５は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等の他に、内視鏡スコープ１０の手元操作部２１に設けられたボタン類を含み、表示部１６はコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　画像処理装置１４は、画像取得部４０、ＣＰＵ（Central Processing Unit）４１、スコープ情報取得部４２、ランドマーク認識部４３、スコープ情報補正部４４、深度情報取得部４５、表示制御部４６、音声制御部４７及びメモリ４８から構成される。各部の処理は、１又は複数のプロセッサにより実現される。ここでプロセッサはＣＰＵ４１で構成されてもよいし、図示しない１又は複数のＣＰＵで構成されてもよい。
　ＣＰＵ４１は、メモリ４８に記憶されたオペレーションシステム、内視鏡画像処理プログラムを含む各種のプログラムに基づいて動作し、画像取得部４０、スコープ情報取得部４２、ランドマーク認識部４３、スコープ情報補正部４４、深度情報取得部４５、表示制御部４６、音声制御部４７を統括制御し、また、これらの各部の一部として機能する。
　画像取得部４０は、画像取得処理を行い、時系列の内視鏡画像を順次取得する。画像取得部４０は、内視鏡プロセッサ装置１２（図４）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列の内視鏡画像を、取得する。本例では、内視鏡スコープ１０により撮影される動画３８を取得する。また、内視鏡スコープ１０にて動画３８の撮影途中に既述の静止画３９の撮像が行われた場合、画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。なお、本例では、内視鏡画像の一例として、大腸を撮影した管腔内画像Ｐ（図１）を用いて説明する。
　メモリ４８は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、ＲＡＭ(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ及びハードディスク装置は、オペレーションシステム、内視鏡画像処理プログラム等の各種のプログラム、及び撮影された静止画３９等を記憶する不揮発性メモリである。また、ＲＡＭは、不揮発性メモリに記憶された各種のプログラムを一時的に記憶される領域及びＣＰＵ４１の作業領域として機能する、データの高速読み書きが可能な揮発性メモリである。
　スコープ情報取得部４２は、スコープ情報取得処理を行い、内視鏡スコープ１０の変化に関するスコープ情報を取得する。スコープ情報は、内視鏡スコープ１０の挿入部２０の動作を示す情報である。具体的には、内視鏡スコープ１０の挿入部２０が管腔に押し込まれた長さを示す挿入長、湾曲部２６の湾曲を示す湾曲角度、及び内視鏡スコープ１０の周方向の回転を示す回転量である。スコープ情報Ｓは実測により取得することができ、スコープ情報取得部４２は様々な手法によりスコープ情報Ｓを取得することができる。例えば、スコープ情報取得部４２が挿入長を取得する場合には、挿入部２０に付されている長さ目盛り３４がカメラで撮影されることにより挿入長が取得されてもよいし、長さ目盛り３４と共に設けられるセンサ（不図示）により挿入長が取得されてもよい。また例えば、スコープ情報取得部４２が湾曲角度を取得する場合には、湾曲操作ノブ２９の回転量に基づいて湾曲角度が取得されてもよいし、湾曲部２６に設けられたセンサ（不図示）により湾曲角度が取得されてもよい。また例えば、スコープ情報取得部４２が回転量を取得する場合には、内視鏡スコープ１０に設けられた回転目盛り２４をカメラで撮影し、読み取った回転量を取得してもよいし、手元操作部２１に内蔵されるジャイロセンサ（不図示）により、内視鏡スコープ１０の周方向の回転量を取得してもよい。
　図６及び図７は、スコープ情報Ｓの取得に関して説明する図である。図６はスコープ情報Ｓのうち挿入長の取得に関して説明する図であり、図７はスコープ情報Ｓのうち湾曲角度及び回転量に関して説明する図である。
　図６に示すように、時刻Ｔでは挿入部２０は管腔に長さａ挿入されている。時刻Ｔ＋αでは挿入部２０は、管腔に長さａ＋ｂ挿入されている。スコープ情報取得部４２は、時刻Ｔでの挿入部２０の挿入長を基準として、時刻Ｔ＋αでの挿入長の変化量をスコープ情報Ｓとして取得する。すなわち、スコープ情報取得部４２は、挿入長の変化量として長さｂをスコープ情報Ｓとして取得する。
　また図７に示すように、時刻Ｔでは挿入部２０の先端は湾曲角度０°であり周方向の回転量も０である。時刻Ｔ＋αでは、挿入部２０の先端は湾曲角度ｃを有し、周方向の回転量ｄを有する。スコープ情報取得部４２は、時刻Ｔでの湾曲角度及び回転量を基準として、時刻Ｔ＋αでの湾曲角度及び回転量の変化量をスコープ情報Ｓとして取得する。この場合、スコープ情報取得部４２は、湾曲角度の変化量としてｃを及び周方向の回転量の変化量としてｄをスコープ情報Ｓとして取得する。
　ランドマーク認識部４３（図５）は、ランドマーク認識処理を行い、内視鏡画像中のランドマークを認識する。ここでランドマークとは内視鏡画像中で目印となる箇所であり、そのランドマークを時系列的に追尾することにより、内視鏡スコープ１０の動作（変化量）を把握することができる。ランドマークの具体例は、大腸や十二指腸などのひだ、ポリープ等の病変、臓器の始点、終点、中間点（大腸の場合だと脾彎曲、肝彎曲、回盲部等）などである。ランドマーク認識部４３は、様々な手法により内視鏡画像中のランドマークを認識することができる。例えば、ランドマーク認識部４３は、ＣＮＮで構成され機械学習が行われた認識器（学習済みモデル）で構成され、入力された内視鏡画像中からランドマークを認識する。
　図８は、ランドマーク認識部４３で認識されるランドマークの一例に関して説明する図である。
　ランドマーク認識部４３は、管腔内画像Ｐにおいて病変部であるランドマークＬを認識する。なお、ランドマーク認識部４３が認識器で構成される場合には、ランドマークＬの認識に関してスコアを出力してもよい。このスコアは第２の実施形態で説明する認識信頼度として用いられる。
　スコープ情報補正部４４（図５）は、スコープ情報補正処理を行い、ランドマーク認識部４３で認識したランドマークに関する情報を用いて、スコープ情報Ｓを補正する。ここでランドマークに関する情報とは、具体的には時系列に連続する管腔内画像Ｐの各々で認識されたランドマークの時間的な位置の変化に関する情報である。スコープ情報補正部４４は、様々な態様によりランドマークに関する情報を用いて、スコープ情報Ｓを補正することができる。例えば、スコープ情報補正部４４は、ランドマークに関する情報に基づいて得られた内視鏡スコープ１０の変化量を、スコープ情報取得部４２で取得されたスコープ情報に置き換えることにより、補正したスコープ情報Ｔを取得する。
　図９は、スコープ情報補正部４４で取得されるランドマークに関する情報について説明する図である。
　スコープ情報補正部４４は、以下に説明するように、ランドマークを時系列に追跡し、ランドマークに対応する深度情報をランドマークに関する情報とし、管腔内での内視鏡スコープ１０の変化量を取得する。
　先ずランドマーク認識部４３は、時刻Ｔにおいて、管腔内画像Ｐ１にランドマークＬを認識する。また、ランドマーク認識部４３は、管腔内画像Ｐ１に対応する深度画像Ｉ１においてもランドマークＬ（ランドマークＬの対応点）を認識する。そして、スコープ情報補正部４４は、時刻ＴにおけるランドマークＬの深度情報を取得する。
　また、ランドマーク認識部４３は、時刻Ｔ＋αにおいて、時刻Ｔで認識したランドマークＬを管腔内画像Ｐ２においても認識する。また、ランドマーク認識部４３は、管腔内画像Ｐ２に対応する深度画像Ｉ２においてもランドマークＬ（ランドマークＬの対応点）を認識する。そして、スコープ情報補正部４４は、時刻Ｔ＋αにおけるランドマークＬの深度情報を取得する。その後、スコープ情報補正部４４は、時刻Ｔから時刻Ｔ＋αでのランドマークＬ（ランドマークＬの対応点）の深度情報の時間的な変化に基づいて、内視鏡スコープ１０の挿入長の変化量Ｘを取得し、スコープの湾曲角度の変化量Ｙを取得し、スコープの周方向の回転量の変化量Ｚを取得する。なお、本例では時刻Ｔ及びＴ＋αでのランドマークＬの位置の時間的変化に基づいて変化量Ｘ、Ｙ、Ｚを取得したが、３以上の時刻でのランドマークＬの位置の時間的変化に基づいて変化量Ｘ、Ｙ、Ｚを取得してもよい。
　そして、スコープ情報補正部４４は、ランドマークＬに基づいて取得したスコープの変化量により、スコープ情報を補正する。例えば、スコープ情報補正部４４は、スコープ情報取得部４２で取得されたスコープ情報Ｓを、ランドマークＬに基づいて取得した内視鏡スコープ１０の変化量に置き換える。具体的にはスコープ情報補正部４４は、スコープ情報取得部４２が取得した挿入長の変化量ｂをランドマークに基づく挿入長の変化量Ｘに補正する。またスコープ情報補正部４４は、スコープ情報取得部４２が取得した湾曲角度の変化量ｃをランドマークに基づく湾曲角度の変化量Ｙに補正する。またスコープ情報補正部４４は、スコープ情報取得部４２が取得した周方向の変化量ｄをランドマークに基づく周方向の変化量Ｚに補正する。
　なお、上述した例では、深度画像におけるランドマークを使用して、内視鏡スコープ１０の変化量を取得したがこれに限定されるものではない。例えば、管腔内画像Ｐのランドマークの動きと内視鏡スコープ１０の変化量とを機械学習等で推定してもよい。予め複数パターンの内視鏡スコープ１０の変化量（並進、回転、及び湾曲）に対する管腔内画像Ｐのランドマークの動き（変化量）を機械学習した認識器を準備する。そして、この認識器により、時刻ＴからＴ＋αでのランドマークの管腔内画像Ｐでの変化量から内視鏡スコープ１０の並進量を演算し推定する。
　深度情報取得部４５（図５）は、深度情報取得処理を行い、内視鏡画像とスコープ情報補正部４４で補正が行われたスコープ情報Ｔに基づいて、内視鏡画像の深度情報を取得する。深度情報取得部４５は、ＣＮＮで構成され機械学習が行われた学習済みモデルである。深度情報取得部４５は、補正されたスコープ情報Ｔ（又はスコープ情報Ｓ）と時系列の管腔内画像とが入力されることにより、深度情報を有する深度画像を出力する。
　図１０は、補正されたスコープ情報Ｔと管腔内画像Ｐから深度画像Ｉを取得することを説明する図である。
　図１０に示すように、深度情報取得部４５には、スコープ情報補正部４４で補正されたスコープ情報Ｔと管腔内画像Ｐとが入力される。スコープ情報補正部４４で補正されたスコープ情報Ｔは、より正確に管腔内でのスコープの変化量を示している。したがって、深度情報取得部４５は、より正確な深度情報を有する深度画像Ｉを出力することができる。
　表示制御部４６（図５）は、画像取得部４０が取得した内視鏡画像（動画３８）に基づいて表示用の画像データを生成して表示部１６に出力する。また、表示制御部４６は、管腔に関する幾何情報を生成して表示部１６に出力する。音声制御部４７（図５）は、スピーカ１７で出力される音声を制御する。例えば、音声制御部４７は、ユーザへの報知音をスピーカ１７を制御して出力する。
　図１１は、表示部１６に表示される管腔内画像Ｐ及び管腔の幾何情報Ｆの一例を示す図である。
　表示部１６のメイン領域には、内視鏡システム９で撮影される管腔内画像Ｐが表示される。表示部１６のサブ領域には、管腔の幾何情報Ｆが示されている。管腔の幾何情報Ｆは、表示制御部４６により生成され、表示部１６に出力される。幾何情報Ｆは、補正されたスコープ情報Ｔに基づいて、深度情報取得部４５で取得された精度の高い深度情報に基づいて生成されている。幾何情報Ｆでは、観察対象である管腔の形状（大腸の形状）、内視鏡スコープ１０の現在位置が示されている。また、幾何情報Ｆには、病変位置、処置具位置等が示されてもよい。このように、深度情報取得部４５で精度の良い深度情報が取得されることにより、その深度情報を使用した幾何情報Ｆは、正確に位置情報等を示すことができる。
　［画像処理方法及びプログラム］
　次に、画像処理装置１４を用いた画像処理方法及び画像処理装置１４に画像処理方法を実行させるプログラムに関して説明する。
　図１２及び図１３は、深度情報の取得の流れを説明する図である。図１２は、画像処理装置１４の機能ブロック図におけるデータの流れを示す図である。図１３は、画像処理装置１４を用いた画像処理方法を示すフロー図である。
　先ず画像取得部４０は、管腔内画像Ｐを取得する（画像取得工程：ステップＳ１０１）。ここで管腔内画像Ｐは、動画３８を構成するフレーム画像３８ａである。また、スコープ情報取得部４２は、スコープ情報Ｓを取得する（スコープ情報取得工程：ステップＳ１０２）。次に、ランドマーク認識部４３は、管腔内画像ＰにおけるランドマークＬを認識する（ランドマーク認識工程：ステップＳ１０３）。その後、スコープ情報補正部４４は、スコープ情報Ｓを補正する（スコープ情報補正工程：ステップＳ１０４）。例えば、スコープ情報補正部４４は、ランドマークＬに基づいて取得された内視鏡スコープ１０の変化量であるスコープ情報Ｔを取得する。そして、深度情報取得部４５は、管腔内画像Ｐとスコープ情報Ｔとを用いて管腔内画像の深度情報を有する深度画像Ｉを取得する（深度情報取得工程：ステップＳ１０５）。その後、表示部１６は、深度情報に基づいて管腔に関する幾何情報を表示部１６に表示する（表示制御処理工程：ステップＳ１０６）。
　以上で説明したように、本実施形態では、管腔内画像中のランドマークが認識され、認識したランドマークに関する情報を用いてスコープ情報Ｓが補正される。これにより、補正が行われた精度の良いスコープ情報Ｔに基づいて、精度の良い管腔内画像の深度情報を取得することができる。
　上述した実施形態では、スコープ情報取得部４２で取得されたスコープ情報Ｓを、ランドマークに関する情報を用いて補正したスコープ情報Ｔを取得する例について説明をした。しかし、スコープ情報取得部４２で取得されたスコープ情報Ｓは、補正が必要とならない場合がある。すなわち、スコープ情報補正部４４で補正が行われることにより正確なスコープ情報Ｔを得られるときには、スコープ情報Ｓを補正することが好ましい。以下にこのような実施形態に関して説明をする。
　＜第２の実施形態＞
　次に、第２の実施形態に関して説明する。本実施形態では、スコープ情報補正部４４はランドマークの認識信頼度に応じてスコープ情報Ｓの補正を行う。
　図１４は、本実施形態における画像処理方法を示すフロー図である。
　先ず画像取得部４０は、管腔内画像Ｐを取得する（ステップＳ２０１）。また、スコープ情報取得部４２は、スコープ情報Ｓを取得する（ステップＳ２０２）。次に、ランドマーク認識部４３は、管腔内画像ＰにおけるランドマークＬを認識する（ステップＳ２０３）。
　次に、ランドマーク認識部４３は、認識したランドマークの認識信頼度を取得する（ステップＳ２０４）。ここで、ランドマークの認識信頼度は、様々な手法により取得される。例えば、ランドマーク認識部４３は、機械学習が行われた認識器（学習済みモデル）で構成され、ランドマークを認識した際のスコアをランドマークの認識信頼度とすることができる。
　その後、スコープ情報補正部４４は、ランドマークの認識信頼度が閾値以上であるかを判定する（ステップＳ２０５）。スコープ情報補正部４４は、ランドマークの認識信頼度が閾値未満である場合には、スコープ情報Ｓを補正しない。この場合には、深度情報取得部４５は、補正されていない実測値のスコープ情報Ｓを使用して深度情報を取得する（ステップＳ２０７）。一方、スコープ情報補正部４４は、ランドマークの認識信頼度が閾値以上である場合には、スコープ情報Ｓを補正する（ステップＳ２０６）。そして、深度情報取得部４５は、補正されたスコープ情報Ｔに基づいて深度情報を取得する（ステップＳ２０７）。その後、表示部１６は、深度情報に基づいて管腔に関する幾何情報を表示部１６に表示する（ステップＳ２０８）。
　以上で説明したように、ランドマーク認識部４３が正確にランドマークを認識した場合には、スコープ情報補正部４４はそのランドマークに基づいて内視鏡スコープ１０の変化量を正確に取得することができる。一方、ランドマーク認識部４３がランドマークを正確に認識できない場合には、スコープ情報補正部４４はそのランドマークに基づいて内視鏡スコープ１０の変化量を正確に取得することが難しい場合がある。したがって、本実施形態では、ランドマークの認識信頼度に応じてスコープ情報Ｓの補正が行われるので、精度の良い深度情報を取得することができる。
　＜第３の実施形態＞
　次に、第３の実施形態に関して説明する。本実施形態では、スコープ情報補正部４４で得られる補正値に応じて、スコープ情報の補正が行われる。
　図１５は、本実施形態における画像処理方法を示すフロー図である。
　先ず画像取得部４０は、管腔内画像Ｐを取得する（ステップＳ３０１）。また、スコープ情報取得部４２は、スコープ情報Ｓを取得する（ステップＳ３０２）。次に、ランドマーク認識部４３は、管腔内画像ＰにおけるランドマークＬを認識する（ステップＳ３０３）。次に、スコープ情報補正部４４は補正値を取得する（ステップＳ３０４）。
　スコープ情報補正部４４は、ランドマークに関する情報から得られる補正値を出力する。例えば、スコープ情報補正部４４は、第１の実施形態で説明したように、ランドマークに関する情報がランドマークＬに対応する深度情報である場合に、ランドマークに関する情報に基づいて得られた内視鏡スコープ１０の変化量取得し、その変化量で補正を行ったスコープ情報Ｔと補正前のスコープ情報Ｓとの差を補正値として取得する。そしてスコープ情報補正部４４は、補正値が閾値以上であるかを判定する（ステップＳ３０５）。スコープ情報補正部４４は、補正値が閾値未満である場合には、スコープ情報Ｓを補正せず、深度情報取得部４５は深度情報を取得する（ステップＳ３０７）。一方、スコープ情報補正部４４は補正値が閾値以上である場合には、スコープ情報Ｓを補正し（ステップＳ３０６）、深度情報取得部４５は深度情報を取得する（ステップＳ３０７）。その後、表示部１６は、深度情報に基づいて管腔に関する幾何情報を表示部１６に表示する（ステップＳ３０８）。
　以上で説明したように、補正値が閾値以上である場合には、実測値であるスコープ情報ＳとランドマークＬに基づいて得られる内視鏡スコープ１０の変化量で補正されたスコープ情報Ｔとの差が大きい。したがって、スコープ情報補正部４４はスコープ情報Ｓについて補正を行う。一方、補正値が閾値未満である場合には、実測値であるスコープ情報ＳとランドマークＬに基づいて得られる内視鏡スコープ１０の変化量で補正されたスコープ情報Ｔとの差が小さい。したがって、スコープ情報Ｓをそのまま用いても深度情報の精度に与える影響が小さいので、スコープ情報補正部４４はスコープ情報Ｓの補正を行わない。これにより、本実施形態では、補正値に応じてスコープ情報の補正が行われるので、効率的に精度の良い深度情報を取得することができる。
　［その他］
　上記実施形態において、各種の処理を実行する処理部（例えば画像取得部４０、スコープ情報取得部４２、ランドマーク認識部４３、スコープ情報補正部４４、深度情報取得部４５、表示制御部４６、音声制御部４７）（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
９　　　　：内視鏡システム
１０　　　：内視鏡スコープ
１１　　　：光源装置
１２　　　：内視鏡プロセッサ装置
１３　　　：表示装置
１４　　　：画像処理装置
１５　　　：操作部
１６　　　：表示部
１７　　　：スピーカ
２０　　　：挿入部
２１　　　：手元操作部
２２　　　：ユニバーサルコード
２４　　　：回転目盛り
２５　　　：軟性部
２６　　　：湾曲部
２７　　　：先端部
２８　　　：撮像素子
２９　　　：湾曲操作ノブ
３０　　　：送気送水ボタン
３１　　　：吸引ボタン
３２　　　：静止画撮影指示部
３３　　　：処置具導入口
３４　　　：長さ目盛り
３５　　　：ライトガイド
３６　　　：信号ケーブル
３７ａ　　：コネクタ
３７ｂ　　：コネクタ
４０　　　：画像取得部
４１　　　：ＣＰＵ
４２　　　：スコープ情報取得部
４３　　　：ランドマーク認識部
４４　　　：スコープ情報補正部
４５　　　：深度情報取得部
４６　　　：表示制御部
４７　　　：音声制御部
４８　　　：メモリ

Claims (11)

  1. 　プロセッサを備えた画像処理装置において、
    　前記プロセッサは、
    　内視鏡のスコープで撮影された時系列の管腔内画像を取得する画像取得処理と、
    　前記スコープの変化に関するスコープ情報を取得するスコープ情報取得処理と、
    　前記管腔内画像中のランドマークを認識するランドマーク認識処理と、
    　前記ランドマーク認識処理で認識した前記ランドマークに関する情報を用いて、前記スコープ情報を補正するスコープ情報補正処理と、
    　前記管腔内画像と前記スコープ情報補正処理で補正した前記スコープ情報とを用いて前記管腔内画像の深度情報を取得する深度情報取得処理と、
    　を行う画像処理装置。
  2. 　前記スコープ情報取得処理は、時刻Ｔの前記スコープの位置を基準として、時刻Ｔ＋αでの前記スコープの挿入長の変化量、及び前記スコープの湾曲及び回転に関する変化量を取得する請求項１に記載の画像処理装置。
  3. 　前記スコープ情報取得処理は、前記スコープの操作部の動作から前記スコープの挿入長、及び前記スコープの湾曲及び回転に関する情報を取得する請求項１又は２に記載の画像処理装置。
  4. 　前記ランドマーク認識処理は、前記ランドマークの対応点の時間的な変化を認識し、
    　前記スコープ情報補正処理は、前記対応点の時間的な変化を用いて、前記スコープ情報を補正する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記ランドマーク認識処理は、認識した前記ランドマークの認識信頼度を出力し、
    　前記スコープ情報補正処理は、前記認識信頼度に基づいて前記スコープ情報の補正を実行するか否かを判定し、前記判定の結果に基づいて補正を行う請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記スコープ情報補正処理は、前記ランドマークに関する情報から得られる補正値を出力し、前記補正値に基づいて補正を実行するか否かを判定し、前記判定の結果に基づいて補正を行う請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記プロセッサは、
    　前記深度情報取得処理により取得した前記深度情報に基づいて、管腔に関する幾何情報を表示部に表示する表示制御処理を行う請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記幾何情報は、前記管腔の形状、病変位置、前記スコープの位置、処置具位置のうち少なくとも一つである請求項７に記載の画像処理装置。
  9. 　プロセッサを備えた画像処理装置を用いた画像処理方法において、
    　前記プロセッサにより、
    　内視鏡のスコープで撮影された時系列の管腔内画像を取得する画像取得工程と、
    　前記スコープの変化に関するスコープ情報を取得するスコープ情報取得工程と、
    　前記管腔内画像中のランドマークを認識するランドマーク認識工程と、
    　前記ランドマーク認識工程で認識した前記ランドマークに関する情報を用いて、前記スコープ情報を補正するスコープ情報補正工程と、
    　前記管腔内画像と前記スコープ情報補正工程で補正した前記スコープ情報とを用いて前記管腔内画像の深度情報を取得する深度情報取得工程と、
    　が行われる画像処理方法。
  10. 　プロセッサを備えた画像処理装置を用いて画像処理方法を実行させるプログラムにおいて、
    　前記プロセッサに、
    　内視鏡のスコープで撮影された時系列の管腔内画像を取得する画像取得工程と、
    　前記スコープの変化に関するスコープ情報を取得するスコープ情報取得工程と、
    　前記管腔内画像中のランドマークを認識するランドマーク認識工程と、
    　前記ランドマーク認識工程で認識した前記ランドマークに関する情報を用いて、前記スコープ情報を補正するスコープ情報補正工程と、
    　前記管腔内画像と前記スコープ情報補正工程で補正した前記スコープ情報とを用いて前記管腔内画像の深度情報を取得する深度情報取得工程と、
    　を実行させるプログラム。
  11. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１０に記載のプログラムが記録された記録媒体。
PCT/JP2022/010892 2021-03-22 2022-03-11 画像処理装置、画像処理方法、及びプログラム WO2022202400A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023509016A JPWO2022202400A1 (ja) 2021-03-22 2022-03-11
US18/468,748 US20240000299A1 (en) 2021-03-22 2023-09-18 Image processing apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-047136 2021-03-22
JP2021047136 2021-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/468,748 Continuation US20240000299A1 (en) 2021-03-22 2023-09-18 Image processing apparatus, image processing method, and program

Publications (1)

Publication Number Publication Date
WO2022202400A1 true WO2022202400A1 (ja) 2022-09-29

Family

ID=83397121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010892 WO2022202400A1 (ja) 2021-03-22 2022-03-11 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240000299A1 (ja)
JP (1) JPWO2022202400A1 (ja)
WO (1) WO2022202400A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024201746A1 (ja) * 2023-03-28 2024-10-03 日本電気株式会社 表示装置、表示方法、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004097696A (ja) * 2002-09-12 2004-04-02 Olympus Corp 内視鏡観測装置
JP2019207222A (ja) * 2018-03-30 2019-12-05 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 蛍光撮像装置
WO2019244345A1 (ja) * 2018-06-22 2019-12-26 オリンパス株式会社 ランドマーク推定方法、及び、内視鏡装置
JP2020014711A (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 検査支援装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004097696A (ja) * 2002-09-12 2004-04-02 Olympus Corp 内視鏡観測装置
JP2019207222A (ja) * 2018-03-30 2019-12-05 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 蛍光撮像装置
WO2019244345A1 (ja) * 2018-06-22 2019-12-26 オリンパス株式会社 ランドマーク推定方法、及び、内視鏡装置
JP2020014711A (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 検査支援装置、方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024201746A1 (ja) * 2023-03-28 2024-10-03 日本電気株式会社 表示装置、表示方法、及び、プログラム

Also Published As

Publication number Publication date
US20240000299A1 (en) 2024-01-04
JPWO2022202400A1 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
US12114832B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5750669B2 (ja) 内視鏡システム
JP2017508529A (ja) 内視鏡測定システム及び方法
JP6774552B2 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
US20240000299A1 (en) Image processing apparatus, image processing method, and program
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
US20240013389A1 (en) Medical information processing apparatus, endoscope system, medical information processing method, and medical information processing program
JP6987243B2 (ja) ランドマーク推定方法、内視鏡装置、及び、位置推定プログラム
US20220358750A1 (en) Learning device, depth information acquisition device, endoscope system, learning method, and program
WO2022191058A1 (ja) 内視鏡画像処理装置、方法及びプログラム
JPWO2022202520A5 (ja)
CN116940274A (zh) 内窥镜用形状测量系统及内窥镜用形状测量方法
JP2008093213A (ja) 医療用画像処理装置及び医療用画像処理方法
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
US11978209B2 (en) Endoscope system, medical image processing device, and operation method therefor
WO2024029502A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP4776919B2 (ja) 医療画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22775192

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023509016

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22775192

Country of ref document: EP

Kind code of ref document: A1