WO2018128028A1 - 内視鏡装置及び内視鏡装置の画像生成方法 - Google Patents

内視鏡装置及び内視鏡装置の画像生成方法 Download PDF

Info

Publication number
WO2018128028A1
WO2018128028A1 PCT/JP2017/042293 JP2017042293W WO2018128028A1 WO 2018128028 A1 WO2018128028 A1 WO 2018128028A1 JP 2017042293 W JP2017042293 W JP 2017042293W WO 2018128028 A1 WO2018128028 A1 WO 2018128028A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
structured
image
subject
unit
Prior art date
Application number
PCT/JP2017/042293
Other languages
English (en)
French (fr)
Inventor
鶴　大輔
高橋　健治
高橋　康昭
雄生 杉江
健太郎 深沢
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/470,988 priority Critical patent/US20190385007A1/en
Priority to EP17889985.2A priority patent/EP3566635A4/en
Publication of WO2018128028A1 publication Critical patent/WO2018128028A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0068—Confocal scanning

Definitions

  • the present disclosure relates to an endoscope apparatus and an image generation method for the endoscope apparatus.
  • Patent Document 1 a light source lamp for supplying illumination light, a light transmission means for transmitting the illumination light, and an imaging for imaging a subject illuminated with the illumination light transmitted by the light transmission means
  • An endoscopic device having the device is described.
  • the depth information can be applied to many applications, and the higher the accuracy and resolution, the more useful it becomes.
  • the depth information can be applied to organ segmentation / registration and object recognition.
  • a distance measuring technique for acquiring depth information there are a TOF (Time of Flight) method, a two-lens parallax method, a SLAM (Simultaneous Localization and mapping) method, a structured light (structured light) method, and the like.
  • the TOF method the resolution of the TOF is VGA level, and a high-definition image cannot be obtained.
  • the binocular parallax method requires two lens holes at the tip of the rigid mirror, making it difficult to reduce the diameter, and there is a problem in terms of resolution and image quality when trying to reduce the lens diameter.
  • SLAM is based on the premise that the subject and the camera are stationary, and the illumination conditions such as the movement of the soft object and the bright spot are severe in the living body, and it is difficult to track the change of the feature point between images.
  • the structured light method requires separate illumination openings at the tip of the rigid mirror tip for normal illumination and structured light illumination, making it difficult to reduce the diameter and time division of regular illumination and structured illumination. Therefore, in order to obtain a structured image, there is a problem that the frame rate of a normal image is halved.
  • Patent Document 1 relates to an endoscope apparatus having an imaging device that images a subject illuminated with illumination light transmitted by a light transmission unit.
  • an imaging device that images a subject illuminated with illumination light transmitted by a light transmission unit.
  • an irradiation unit that irradiates a subject with illumination light and irradiates a structured pattern for acquiring depth information of the subject, and an acquisition unit that acquires reflected light of the light irradiated by the irradiation unit An endoscopic device is provided.
  • the subject is irradiated with the illumination light
  • the irradiation unit that irradiates the structured pattern for acquiring the depth information of the subject
  • the reflected light of the light irradiated by the irradiation unit is acquired.
  • An image generation method in an endoscope apparatus comprising: an acquisition unit, imaging the reflected light to acquire a captured image, and separating and observing structured pixels based on the structured pattern from the captured image
  • An image generation method for an endoscopic device comprising: generating an image.
  • FIG. 3 is a schematic diagram illustrating a method for estimating a structure (distance information) of a subject from a change in the structured pattern reflected on the subject by irradiating the subject with a structured pattern.
  • FIG. 3 is a schematic diagram showing an example in which both a normal illumination port and a structured light illumination port are provided at the tip of the rigid mirror 100. It is a schematic diagram which shows the example which provided two camera mouths at the front-end
  • FIG. 10 It is a schematic diagram which shows a regular and uniformly sparse structured pattern. It is a schematic diagram which shows the method of isolate
  • FIG. 1 is a schematic diagram illustrating a configuration of a system 1000 according to an embodiment of the present disclosure.
  • the system 1000 includes a rigid endoscope 100, a camera head 200, a camera control unit 300, and a monitor 400.
  • the rigid endoscope 100 includes a relay lens 102 and a fiber 104.
  • the camera head 200 has an image sensor (imaging device) 202.
  • the image sensor 202 is composed of a CMOS sensor or the like.
  • the rigid endoscope 100 is illustrated, but the present embodiment can also be applied to other endoscopes such as a flexible endoscope.
  • the fiber 104 propagates the illumination light into the rigid mirror 100 and irradiates the subject with light.
  • the reflected light from the subject reaches the imaging surface of the image sensor 202 via the relay lens 102, and an image signal is acquired.
  • the optical axes of the fiber 104 and the relay lens 102 are not arranged in parallel, and when the structured pattern 510 described later is irradiated from the fiber 104, the position of the structured pattern 510 is the position of the subject.
  • the fiber 104 and the relay lens 102 are arranged with a predetermined angle so as to change according to the shape. When the distance from the rigid endoscope 100 to the subject is small, the fiber 104 and the relay lens 102 may be parallel.
  • the camera control unit 300 includes an image signal processing unit 320, a DMD drive control unit 304, a DMD 306, a fiber 308, and a light source 310.
  • the DMD drive control unit 304 and the DMD 306 constitute a DLP light source (irradiation pattern output unit 330) that can appropriately switch between observation illumination and structured pattern illumination.
  • the resolution of the DMD 306 is about 2560 ⁇ 1600 pixels, and the diameter of the fiber 308 is about 966 pixels.
  • a condenser lens is provided between the DMD 306 and the fiber 308.
  • the DLP method is suitable for application to this embodiment because it has the characteristics of a short response time and a bright light source.
  • other methods such as a transmission type and a reflection type liquid crystal method can be applied to the present embodiment as long as the requirements of response time and brightness are satisfied.
  • the image signal processing unit 320 includes an observation image generation unit 312, a distance measurement image extraction unit 314, a subject recognition unit 316, and an irradiation pattern generation unit 318.
  • FIG. 2 is a schematic diagram showing the distal end of the rigid endoscope 100.
  • a camera port (acquisition unit) 106 that propagates light to the relay lens 102, and an illumination port (irradiation unit) 108 that irradiates the subject with light from the fiber 104.
  • the illumination port (irradiation unit) 108 irradiates the subject with illumination light and irradiates a structured pattern for acquiring depth information of the subject.
  • the camera port (acquisition unit) 106 acquires reflected light of the light emitted from the illumination port (irradiation unit) 108.
  • the structured pattern 510 is irradiated from the fiber 104 to the subject, and the deviation of the structured pattern 510 corresponding to the unevenness of the subject is detected from the change in the structured pattern 510 reflected in the subject. Detect and estimate the structure (distance information) of the subject.
  • a method is known as a structured light (structured light) method.
  • an image obtained by photographing the structured pattern 510 is not appropriate as an observation image because a geometric pattern is superimposed on the subject.
  • both the normal illumination port 108a and the structured light illumination port 108b are connected to the rigid endoscope 100. It will be provided at the tip. In this case, distance information can be obtained from the structured pattern 510, but since the number of illumination openings is larger than that in FIG. 2, it is difficult to reduce the diameter of the tip of the rigid endoscope 100. Furthermore, since it is necessary to switch the normal illumination and the illumination of the structured pattern 510 in a time-sharing manner, the frame rate of the normal image is halved in order to acquire a structured image.
  • two camera ports 106a and 106b are provided at the distal end of the rigid endoscope 100 in order to acquire left and right images as shown in FIG. 4B.
  • the distance information of the subject can be obtained from the parallax of the left and right images, but since the number of camera openings is larger than in FIG. 2, it is still difficult to reduce the diameter of the tip of the rigid endoscope 100.
  • one illumination port 108 is provided at the tip of the rigid endoscope 100, and the object is irradiated on the camera control unit 300 side by switching between observation illumination and illumination of the structured pattern 510. Then, the observation image and the structured image are separated from the image acquired by the image sensor 202 by signal processing. Accordingly, distance information can be obtained from the structured pattern 510 and it is not necessary to separately provide an illumination port for irradiating the structured pattern 510, so that the diameter of the distal end of the rigid endoscope 100 can be reduced. Is possible.
  • the structured pattern 510 is switched in time series. More specifically, the subject is irradiated with an irradiation pattern 500 in which the phase of the structured pattern 510 and the observation illumination is reversed in units of frames, and the subject is imaged by the image sensor 202.
  • the captured image 530 obtained by imaging includes structured pixels 532 in which the position of the structured pattern 510 has changed in accordance with the shape of the subject.
  • the image signal processing unit 320 extracts the ranging image 540 obtained by separating the structured pixels 532 from the captured image 530 and generates an observation image 550 that does not include the structured pixels 532.
  • FIG. 5 is a schematic diagram showing an irradiation pattern 500 in the present embodiment.
  • the irradiation pattern 500 is irradiated with a pattern in which the phase of the structured pattern 510 and the observation illumination 520 is inverted in units of frames (frames 0 to 3). . Then, an image is captured by the image sensor 202 in each frame (frames 0 to 3).
  • FIG. 5 shows a captured image 530 in each frame under the irradiation pattern 500.
  • the captured image 530 includes structured pixels 532 that are captured by distorting the structured pattern 510 according to the shape of the subject. Then, the structured pixel 532 and the observation image 550 are separated from the captured images 530 of the frames 0 and 1. Similarly, the structured pixel 532 and the observation image 550 are separated from the captured images 530 of the frames 1 and 2.
  • the ranging image 540 is an image obtained by separating the structured pixels 532.
  • FIG. 6 is a schematic diagram showing a method for separating the ranging image 540 and the observation image 550 from the captured image 530.
  • a ranging image 540 is extracted from the captured image 530 of frame 0 and the captured image 530 of frame 1.
  • an observation image 550 is generated from the captured image 530 of frame 0, the captured image 530 of frame 1, and the distance measurement image 540.
  • FIG. 7 is a flowchart showing a process of separating the ranging image 540 and the observation image 550 based on FIG.
  • the processing in FIG. 7 is performed on the pixel values of individual pixels input to the image signal processing unit 320.
  • step S10 it is determined whether or not any one pixel input to the image signal processing unit 320 is a pixel of the structured pattern 510 (structured pixel 532). If it is determined in step S10 that the pixel is the structured pattern 510, the process proceeds to step S12, and the interpolation pixel value is output as the output pixel value. On the other hand, if it is determined in step S10 that the pixel is not a pixel of the structured pattern 510, the process proceeds to step S14, and the input pixel value is set as the output pixel value.
  • step S10 whether or not the pixel is the structured pixel 532 can be determined based on the color of the pixel.
  • the color of the pixel is a color that does not normally exist in the human body (for example, blue)
  • the pixel can be determined as the structured pixel 532.
  • the determination of whether or not the pixel is the structured pixel 532 can also be performed based on the determination result of the previous frame. As described above, since the phases of the structured pattern 510 and the observation illumination 520 are reversed in units of frames, it is possible to determine that a pixel that is not the structured pixel 532 in the previous frame is the structured pixel 532 in the current frame.
  • the interpolation pixel value is calculated by the following method.
  • the peripheral pixel value that is not the structured pixel 532 is set as the interpolation pixel value in the pixels of the input frame.
  • the pixel value of the pixel 600 in the frame 1 of FIG. 6 is obtained by interpolating with the pixel value of the pixel 602 that is not the surrounding structured pattern 510.
  • a general method such as distributing and averaging pixel values according to the distance from each pixel 602 can be used.
  • pixel values of pixels in the same phase in the captured image 530 one frame before are used.
  • the pixel value of the pixel 604 in the frame 0 one frame before is used as the pixel value of the pixel 600 in the frame 1 of FIG. If there is no significant change in pixel value between frames, it is possible to use pixel values of pixels in the same phase in the captured image 530 one frame before.
  • the image is generated using in-phase pixels of the observation synthesized image one frame before. In this case, if the previous frame is the structured pixel 532, the pixel obtained by interpolating the structured pixel 532 is not the structured pixel 532, and therefore, the current frame is obtained using the pixel obtained by interpolating the structured pixel 532 one frame before. The structured pixel 532 is interpolated.
  • the observation image generation unit 312 of the image signal processing unit 320 generates the observation image 550 by separating the structured pixels 532 based on the structured pattern 510 from the captured image 530.
  • the ranging image extraction unit 314 acquires the ranging image 540 by extracting the structured pixels 532 based on the structured pattern 510 from the captured image 530.
  • the structured pattern 510 is a spatially uniform geometric pattern, and the organ 700 is irradiated.
  • the texture of the organ is recognized, and the pattern has a shape greatly different from the texture.
  • 8A to 8C show a case where the organ is the liver 710 as an example.
  • FIG. 8A since the surface layer of the liver 710 has a characteristic mesh pattern, the structured pattern 510 is not overlapped with the pattern.
  • FIG. 8B shows a case where the structured pattern 510 is a linear pattern.
  • the structured pattern 510 When the structured pattern 510 is a linear pattern, the structured pattern 510 may overlap the mesh pattern on the surface layer of the liver 710, and the ranging image 540 (structured pixel 532) may not be detected.
  • FIG. 8C shows a case where the structured pattern 510 is a concentric pattern.
  • the density of the structured pattern 510 at the portion assumed to be the boundary of the organ 700 is increased.
  • the boundary of the organ 700 is acquired in advance by image processing (edge detection or the like), and is arranged so that the density of the structured pattern 510 is high in a region corresponding to the boundary. Thereby, the shape of the depth in the boundary part of the organ 700 can be acquired with high accuracy.
  • the subject recognition unit 316 of the image signal processing unit 320 recognizes the subject from the captured image 530.
  • the irradiation pattern generation unit 318 adaptively arranges the structured pattern 510 based on the recognition result of the subject by the subject recognition unit 316 and generates the irradiation pattern 500. More specifically, the subject recognition unit 316 recognizes the contour of the subject from the captured image 530, and the irradiation pattern generation unit 318 generates the irradiation pattern 500 by arranging the structured pattern 510 at the position of the contour.
  • the subject recognition unit 316 recognizes the pattern on the surface of the subject from the captured image 530, and the irradiation pattern generation unit 318 generates the irradiation pattern 500 by arranging the structured pattern 510 so as not to overlap the pattern.
  • Information on the irradiation pattern 500 is sent to an irradiation pattern output unit 330 including a DMD drive control unit 304 and a DMD 306, and the irradiation pattern 500 is irradiated to the subject via the fibers 104 and 308.
  • the color of the structured pattern 510 is a single color.
  • a blue color having a small existence probability (small spectral distribution) in a living body is used.
  • the structured pattern 510 and the observation image 550 can be reliably separated in step S10 of FIG.
  • the color of the structured pattern 510 is adaptively switched according to the color of the organ 700 of the subject. For example, when the subject is an organ, the structured pattern 510 is blue, and when the subject is a forceps, the structured pattern 510 is yellow, so that the separability of the ranging image 540 and the observation image 550 is improved. .
  • an infrared (IR) light source may be added to irradiate the structured pattern 510 with infrared light.
  • IR infrared
  • the depth information is estimated from the distance measurement image 540.
  • the depth information can be estimated by a known structured light method.
  • FIG. 10 is a schematic diagram showing a structured pattern 510 that is regularly and uniformly sparse.
  • the blue structured pattern 510 is uniformly and sparsely irradiated on a pixel basis.
  • the structured pattern 510 is configured in units of dots composed of one pixel unit or a plurality of pixels (for example, about four pixels).
  • FIG. 11 is a schematic diagram showing a method of separating the distance measurement image 540 and the observation image 550 when the steady structured pattern 510 as shown in FIG. 10 is irradiated.
  • a ranging image 540 is extracted from a captured image 530 of an arbitrary frame.
  • the distance measurement image 540 can be extracted based on the color of the captured image 530.
  • the captured image 530 includes a pixel that does not exist in the human body, it can be determined that the pixel is the structured pixel 532.
  • the observation image 550 can be obtained by interpolating the surrounding pixels of the structured pixel 532 corresponding to the structured pattern 510 in the ranging image 540.
  • step S10 it is determined whether an arbitrary pixel of the captured image 530 is a pixel of the structured pattern 510 (structured pixel 532). If it is determined in step S10 that the pixel is the structured pattern 510, the process proceeds to step S12, and the interpolation pixel value is output as the output pixel value. On the other hand, if it is determined in step S10 that the pixel is not a pixel of the structured pattern 510, the process proceeds to step S14, and the input pixel value is set as the output pixel value.
  • the ranging mode by irradiation of the structured pattern 510 may be switched on / off adaptively. For example, when a large movement is detected in the observation image 550, the distance measurement mode is turned off in order to avoid an adverse effect due to erroneous detection. Thereby, the irradiation of the structured pattern 510 is not performed. Further, when mist is generated in the subject, the distance measurement mode is turned off and irradiation of the structured pattern 510 is not performed because there is a possibility of erroneous detection of distance measurement due to light reflection or the like. As a result, adverse effects due to erroneous detection can be avoided. In addition, the distance measurement mode may be normally turned off, and the structured pattern 510 may be irradiated with the distance measurement mode turned on only in a scene that requires precise procedures such as suturing.
  • An irradiation unit that irradiates a subject with illumination light and irradiates a structured pattern for acquiring depth information of the subject;
  • An acquisition unit for acquiring reflected light of the light irradiated by the irradiation unit;
  • An endoscopic device comprising: (2) an image sensor that images the reflected light;
  • An image signal processing unit that processes an image signal of a captured image captured by the image sensor,
  • the image signal processor is The endoscope apparatus according to (1), further including an observation image generation unit that generates an observation image by separating structured pixels based on the structured pattern from the captured image.
  • the image signal processing unit according to (2) further including a ranging image extracting unit that extracts a structured pixel based on the structured pattern from the captured image and acquires a ranging image.
  • Endoscopic device (4) The endoscope apparatus according to (2), wherein the observation image generation unit generates the observation image by interpolating image information of a pixel from which the structured pixel is separated. (5) The endoscope apparatus according to (4), wherein the observation image generation unit interpolates image information of pixels from which the structured pixels are separated with image information of peripheral pixels. (6) The endoscope apparatus according to (4), wherein the observation image generation unit interpolates image information of a pixel from which the structured pixel is separated with image information of a corresponding pixel in another frame.
  • the endoscope apparatus further including an irradiation pattern output unit that outputs an irradiation pattern including the illumination light and the structured pattern to the irradiation unit.
  • an irradiation pattern output unit that outputs an irradiation pattern including the illumination light and the structured pattern to the irradiation unit.
  • the irradiation pattern output unit outputs the irradiation pattern by inverting a pixel that outputs the structured pattern and a pixel that does not output the structured pattern in units of frames.
  • Mirror device (9) The endoscope apparatus according to (7), wherein the irradiation pattern output unit outputs the irradiation pattern as a stationary pixel that does not change from frame to frame for outputting the structured pattern.
  • the predetermined color is a color that does not exist inside the human body.
  • the predetermined color includes blue or yellow.
  • the image signal processing unit includes a subject recognition unit that recognizes a subject from the captured image;
  • the subject recognition unit recognizes the contour of the subject from the captured image, The endoscope apparatus according to (13), wherein the irradiation pattern generation unit generates the irradiation pattern by arranging the structured pattern at the position of the contour.
  • the subject recognition unit recognizes a pattern on the surface of the subject from the captured image, The endoscope apparatus according to (13), wherein the irradiation pattern generation unit generates the irradiation pattern by arranging the structured pattern so as not to overlap the pattern.
  • An irradiation unit that irradiates a subject with illumination light and irradiates a structured pattern for acquiring depth information of the subject, and an acquisition unit that acquires reflected light of the light irradiated by the irradiation unit.
  • An image generation method in an endoscope apparatus comprising: Capturing the reflected light to obtain a captured image; Separating the structured pixels according to the structured pattern from the captured image to generate an observation image;
  • An image generation method for an endoscope apparatus comprising:

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすこと。 【解決手段】被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える、内視鏡装置が提供される。この構成により、高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすことが可能となる。

Description

内視鏡装置及び内視鏡装置の画像生成方法
　本開示は、内視鏡装置及び内視鏡装置の画像生成方法に関する。
　従来、例えば下記の特許文献１には、照明光を供給するための光源ランプと、照明光を伝達する光伝達手段及びこの光伝達手段により伝達される照明光で照明された被写体を撮像する撮像装置を有する内視鏡装置が記載されている。
特開２００２－１１９４６８号公報
　内視鏡画像において、観察画像に加えて奥行情報を取得できると、奥行情報は多くのアプリケーションに適用可能で、その精度と解像度が高いほど有用になる。奥行情報は、例えば、臓器のセグメンテーション・レジストレーションや物体認識などへの多くの応用が考えられる。奥行情報を取得する測距用技術として、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式、２眼視差方式、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）方式、ストラクチャードライト(構造化光)方式などがある。しかしながら、ＴＯＦ方式は、ＴＯＦの解像度がＶＧＡレベルであり、高精細な画像を得ることができない。２眼視差方式は、硬性鏡先端にレンズ孔が２つ必要になり、細径化が困難であり、レンズ径を小さくしようとすると、解像度や画質の点で難点がある。ＳＬＡＭは、被写体やカメラが静止していることが前提となり、生体内は軟性物体の動きや輝点などの照明条件が厳しく、画像間の特徴点の変化を追跡するのは困難が伴う。ストラクチャードライト方式は、通常の照明とストラクチャードライト用の照明とで独立した照明口が硬性鏡先端の先端に必要となるため、細径化が困難であるとともに、通常照明と構造化照明を時分割で切り替るため、構造化画像を取得するためには、通常画像のフレームレートが半分になる問題がある。
　近年の医療では低侵襲性のニーズが高まりっており、術後のＱｏＬにも影響することから、切開創の最小化が求められている。そのため、人体内部に挿入される内視鏡をより細径化することが求められている。
　上記特許文献１に記載された技術は、光伝達手段により伝達される照明光で照明された被写体を撮像する撮像装置を有する内視鏡装置に関するものであるが、奥行情報を取得しようとすると、奥行情報を取得するために被写体に照明を照射する照射口を設ける必要があり、内視鏡先端を細径化することが困難となる。立体視画像のように複数視点の画像を取得することで奥行情報を取得する方法もあるが、この場合においても、複数視点の画像を取得するためには内視鏡先端を細径化することが困難となる。
　そこで、高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすことが求められていた。
　本開示によれば、被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える、内視鏡装置が提供される。
　また、本開示によれば、被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える内視鏡装置における画像生成方法であって、前記反射光を撮像して撮像画像を取得することと、前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成することと、を備える、内視鏡装置の画像生成方法が提供される。
　本開示によれば、高解像、高精度な奥行情報の取得と、内視鏡先端の細径化を同時に満たすことが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成を示す模式図である。 硬性鏡の先端を示す模式図である。 被写体に構造化パターンを照射し、被写体に写った構造化パターンの変化から被写体の構造（距離情報）を推定する方法を示す模式図である。 通常の照明口とストラクチャードライト用の照明口の双方を硬性鏡１００の先端に設けた例を示す模式図である。 左右画像を取得するために硬性鏡の先端に２つのカメラ口を設けた例を示す模式図である。 本実施形態における照射パターンを示す模式図である。 撮像画像から測距用画像と観察画像とを分離する手法を示す模式図である。 図６に基づいて測距用画像と観察画像とを分離する処理を示すフローチャートである。 肝臓の表層に特徴的な網目状の模様を示す模式図である。 構造化パターンを直線状のパターンとした場合を示す模式図である。 構造化パターンを同心円状のパターンとした場合を示す模式図である。 臓器の境界と想定される部分の構造化パターンの密度を高くした例を示す模式図である。 定常的に一様に疎な構造化パターンを示す模式図である。 図１０に示すような定常的な構造化パターンを照射した場合に、測距用画像と観察画像とを分離する手法を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムの構成例
　２．硬性鏡先端の構成
　３．本実施形態のシステムによる具体的な処理について
　４．構造化パターンのバリエーション
　１．システムの構成例
　図１は、本開示の一実施形態に係るシステム１０００の構成を示す模式図である。図１に示すように、システム１０００は、硬性鏡１００、カメラヘッド２００、カメラコントロールユニット３００、モニタ４００を有して構成されている。硬性鏡１００は、リレーレンズ１０２とファイバー１０４を有している。カメラヘッド２００は、イメージセンサ（撮像素子）２０２を有している。イメージセンサ２０２は、ＣＭＯＳセンサ等から構成されている。なお、本実施形態では硬性鏡１００を例示するが、本実施形態は軟性鏡など他の内視鏡にも適用可能である。
　ファイバー１０４は、硬性鏡１００内に照明光を伝搬させ、被写体に光を照射する。ファイバー１０４から被写体に光が照射されると、被写体からの反射光はリレーレンズ１０２を介してイメージセンサ２０２の撮像面に到達し、画像信号が取得される。図１に示すように、ファイバー１０４とリレーレンズ１０２の光軸は平行には配置されておらず、後述する構造化パターン５１０をファイバー１０４から照射した際に、構造化パターン５１０の位置が被写体の形状に応じて変化するように、ファイバー１０４とリレーレンズ１０２は所定の角度を有して配置されている。なお、硬性鏡１００から被写体までの距離が小さい場合は、ファイバー１０４とリレーレンズ１０２が平行であっても良い。
　カメラコントロールユニット３００は、画像信号処理部３２０、ＤＭＤ駆動制御部３０４、ＤＭＤ３０６、ファイバー３０８、光源３１０を有して構成されている。ＤＭＤ駆動制御部３０４、ＤＭＤ３０６は、観察照明と構造化パターン照明を適宜に切り替えることが可能なＤＬＰ方式の光源（照射パターン出力部３３０）を構成する。一例として、ＤＭＤ３０６の解像度は２５６０×１６００画素程度であり、ファイバー３０８の直径は９６６画素程度である。このため、ＤＭＤ３０６とファイバー３０８の間には集光レンズが設けられる。ＤＬＰ方式は、応答時間が短く、且つ光源が明るいという特色があるため、本実施形態へ適用して好適である。一方、透過型、反射型液晶方式などの他の方式においても、応答時間と明るさの要件を満たしていれば本実施形態に適用可能である。
　画像信号処理部３２０は、観察画像生成部３１２、測距用画像抽出部３１４、被写体認識部３１６、照射パターン生成部３１８を備えている。
　２．硬性鏡先端の構成
　図２は、硬性鏡１００の先端を示す模式図である。図２に示すように、硬性鏡１００の先端には、リレーレンズ１０２に光を伝播するカメラ口（取得部）１０６と、ファイバー１０４からの光を被写体に照射する照明口（照射部）１０８とが設けられている。照明口（照射部）１０８は、被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する。カメラ口（取得部）１０６は、照明口（照射部）１０８により照射された光の反射光を取得する。
　硬性鏡１００を人体内部に挿入して内臓などの被写体を撮像した際に、被写体の距離情報を取得したいといった要望がある。本実施形態では、図３に示すように、ファイバー１０４から被写体に構造化パターン５１０を照射し、被写体に写った構造化パターン５１０の変化から、被写体の凹凸に応じた構造化パターン５１０のずれを検出し、被写体の構造（距離情報）を推定する。このような手法は、ストラクチャードライト(構造化光)方式として知られている。一方、構造化パターン５１０を撮影した画像（構造化画像）は、被写体に幾何模様が重畳されているので、観察画像としては適切ではない。
　一方、通常の観察用の観察照明と、ストラクチャードライト用に独立した照明の双方を行う場合、図４Ａに示すように、通常の照明口１０８ａとストラクチャードライト用の照明口１０８ｂの双方を硬性鏡１００の先端に設けることになる。この場合、構造化パターン５１０から距離情報を得ることができるが、図２に比べて照明口の数が多くなるため、硬性鏡１００の先端を細径化することが困難になる。更に、通常照明と構造化パターン５１０の照明を時分割で切り替える必要があるため、構造化画像を取得するためには、通常画像のフレームレートが半分になる。
　また、カメラヘッド２００を立体視可能な構成にした場合は、図４Ｂに示すように、左右画像を取得するために硬性鏡１００の先端に２つのカメラ口１０６ａ，１０６ｂを設けることになる。この場合、左右画像の視差から被写体の距離情報を得ることができるが、図２に比べてカメラ口の数が多くなるため、硬性鏡１００の先端を細径化することはやはり困難である。
　本実施形態では、硬性鏡１００の先端に１つの照明口１０８を設け、カメラコントロールユニット３００側で観察照明と構造化パターン５１０の照明を切り替えて被写体に照射する。そして、イメージセンサ２０２で取得した画像から、信号処理により観察画像と構造化画像を分離する。これにより、構造化パターン５１０から距離情報を得ることができるとともに、構造化パターン５１０を照射するための照明口を別途設ける必要がないため、硬性鏡１００の先端の細径化を達成することが可能である。
　３．本実施形態のシステムによる具体的な処理について
　以下では、構造化パターン５１０の切り替えについて説明する。本実施形態では、構造化パターン５１０を時系列で切り換える。より詳細には、構造化パターン５１０と観察照明の位相をフレーム単位で反転させた照射パターン５００を被写体に照射し、イメージセンサ２０２で被写体を撮像する。撮像により得られた撮像画像５３０には、構造化パターン５１０の位置が被写体の形状に倣って変化した構造化画素５３２が含まれている。画像信号処理部３２０は、撮像画像５３０から構造化画素５３２を分離した測距用画像５４０を抽出するとともに、構造化画素５３２を含まない観察画像５５０を生成する。
　図５は、本実施形態における照射パターン５００を示す模式図である。図５の最上段の「照射パターン」の図に示すように、照射パターン５００として、構造化パターン５１０と観察照明５２０の位相がフレーム（ｆｒａｍｅ　０～３）の単位で反転されたパターンを照射する。そして、各フレーム（ｆｒａｍｅ　０～３）でイメージセンサ２０２により画像を撮像する。
　図５では、照射パターン５００の下に各フレームにおける撮像画像５３０を示している。図５に示すように、撮像画像５３０には、被写体の形状に倣って、構造化パターン５１０が歪んで撮像された構造化画素５３２が含まれている。そして、フレーム０とフレーム１の撮像画像５３０から、構造化画素５３２と観察画像５５０とを分離する。同様に、フレーム１とフレーム２の撮像画像５３０から、構造化画素５３２と観察画像５５０とを分離する。測距用画像５４０は、構造化画素５３２を分離して得られた画像である。
　図６は、撮像画像５３０から測距用画像５４０と観察画像５５０とを分離する手法を示す模式図である。ここでは、フレーム０とフレーム１の撮像画像５３０から、構造化パターン５１０に起因する測距用画像５４０と、観察画像５５０とを分離する場合について説明する。図６に示すように、先ずフレーム０の撮像画像５３０とフレーム１の撮像画像５３０とから測距用画像５４０を抽出する。次に、フレーム０の撮像画像５３０、フレーム１の撮像画像５３０、及び測距用画像５４０から、観察画像５５０を生成する。
　図７は、図６に基づいて測距用画像５４０と観察画像５５０とを分離する処理を示すフローチャートである。図７の処理は、画像信号処理部３２０に入力された個々の画素の画素値について行われる。先ず、ステップＳ１０では、画像信号処理部３２０に入力された任意の１の画素について、構造化パターン５１０の画素（構造化画素５３２）であるか否かを判定する。そして、ステップＳ１０の判定の結果、構造化パターン５１０の画素であればステップＳ１２へ進み、補間画素値を出力画素値として出力する。一方、ステップＳ１０の判定の結果、構造化パターン５１０の画素でない場合はステップＳ１４へ進み、入力画素値を出力画素値とする。
　ステップＳ１０において、構造化画素５３２であるか否かの判定は、当該画素の色に基づいて行うことができる。当該画素の色が通常は人体内に存在しない色（例えば、青色）である場合は、構造化画素５３２と判定できる。また、構造化画素５３２であるか否かの判定は、前フレームの判定結果に基づいて行うこともできる。上述のように構造化パターン５１０と観察照明５２０の位相がフレーム単位で反転しているため、前フレームで構造化画素５３２でなかった画素は、現フレームで構造化画素５３２であると判定できる。
　ステップＳ１２において、補間画素値の算出は、以下の方法により行う。第１の方法は、入力されたフレームの画素において、構造化画素５３２ではない周辺画素値を補間画素値とする。例えば、図６のフレーム１における画素６００の画素値は、周辺の構造化パターン５１０ではない画素６０２の画素値により補間することで得られる。補間の際は、各画素６０２からの距離に応じて画素値を配分し、平均するなど一般的な手法を用いることができる。第２の方法では、１フレーム前の撮像画像５３０における同位相の画素の画素値を用いる。例えば、図６のフレーム１における画素６００の画素値として、１フレーム前のフレーム０における画素６０４の画素値を用いる。フレーム間で画素値に大きな変化がなければ、１フレーム前の撮像画像５３０における同位相の画素の画素値を用いることが可能である。第３の方法では、１フレーム前の観察合成画像の同位相画素等を使って生成する。この場合、１フレーム前が構造化画素５３２であれば、この構造化画素５３２を補間した画素は構造化画素５３２ではないため、１フレーム前が構造化画素５３２を補間した画素を用いて現フレームの構造化画素５３２を補間する。
　以上のような処理を行うため、画像信号処理部３２０の観察画像生成部３１２は、撮像画像５３０から構造化パターン５１０による構造化画素５３２を分離して観察画像５５０を生成する。測距用画像抽出部３１４は、撮像画像５３０から構造化パターン５１０による構造化画素５３２を抽出して測距用画像５４０を取得する。
　４．構造化パターンのバリエーション
　構造化パターン５１０について、以下のバリエーションが考えられる。第１のバリエーションでは、構造化パターン５１０を空間的に均一な幾何パターンとし、臓器７００に照射する。第２のバリエーションでは、図８Ａ～図８Ｃに示すように、臓器のテクスチャを認識し、そのテクスチャと大きく異なる形状をもつパターンとする。図８Ａ～図８Ｃは、一例として、臓器が肝臓７１０の場合を示している。図８Ａに示すように、肝臓７１０の表層は特徴的な網目状の模様があるため、この模様と、構造化パターン５１０が重ならないようにする。図８Ｂは、構造化パターン５１０を直線状のパターンとした場合を示している。構造化パターン５１０を直線状のパターンとした場合、構造化パターン５１０が肝臓７１０の表層の網目状の模様と重なり、測距用画像５４０（構造化画素５３２）を検出できない可能性がある。図８Ｃは、構造化パターン５１０を同心円状のパターンとした場合を示している。構造化パターン５１０を同心円状のパターンとすることで、肝臓７１０の表面の網目上の模様と構造化パターン５１０が重なる確率を軽減し、構造化画素５３２の検出率を向上することができる。以上により、臓器のテクスチャに起因する形状の誤認識を確実に抑止することができる。
　第３のバリエーションでは、図９に示すように、臓器７００の境界と想定される部分の構造化パターン５１０の密度を高くする。臓器７００の境界を予め画像処理（エッジ検出等）で取得し、境界に相当する領域で構造化パターン５１０の密度が高くなるように配置する。これにより、臓器７００の境界部における奥行きの形状を高精度に取得することができる。
　このため、画像信号処理部３２０の被写体認識部３１６は、撮像画像５３０から被写体を認識する。照射パターン生成部３１８は、被写体認識部３１６による被写体の認識結果に基づいて適応的に構造化パターン５１０を配置して、照射パターン５００を生成する。より具体的には、被写体認識部３１６は、撮像画像５３０から被写体の輪郭を認識し、照射パターン生成部３１８は、輪郭の位置に構造化パターン５１０を配置して照射パターン５００を生成する。また、被写体認識部３１６は、撮像画像５３０から被写体の表面の模様を認識し、照射パターン生成部３１８は、模様と重ならないように構造化パターン５１０を配置して照射パターン５００を生成する。照射パターン５００の情報は、ＤＭＤ駆動制御部３０４、ＤＭＤ３０６から構成される照射パターン出力部３３０に送られて、照射パターン５００がファイバー１０４，３０８を経て被写体に照射される。
　また、構造化パターン５１０の色については、以下のバリエーションを想定する。第１のバリエーションでは、構造化パターン５１０の色を単色とする。例えば、生体内で存在確率の小さい(分光分布の小さい)青色とする。これにより、図７のステップＳ１０において、構造化パターン５１０と観察画像５５０を確実に分離することができる。第２のバリエーションでは、被写体の臓器７００の色に応じて構造化パターン５１０の色を適応的に切り替える。例えば、被写体が臓器の場合は構造化パターン５１０を青色とし、被写体が鉗子の場合は構造化パターン５１０を黄色とすることにより、測距用画像５４０と観察画像５５０の画素の分離性が向上する。第３のバリエーションとして、赤外線（ＩＲ）の光源を追加し、構造化パターン５１０を赤外線による照射することもできる。赤外光を用いることにより、測距用画像５４０と観察画像５５０を確実に分離することが可能である。
　測距用画像５４０と観察画像５５０を分離した後、測距用画像５４０から奥行情報を推定する。奥行情報の推定は、公知のストラクチャードライト方式により行うことができる。
　次に、定常的に一様に疎な構造化パターン５１０を照射する例について説明する。図５では、フレーム単位で構造化パターン５１０と観察照明５２０の位相を反転させたが、ここでは、図１０に示す構造化パターン５１０を定常的に照射する。図１０は、定常的に一様に疎な構造化パターン５１０を示す模式図である。図１０では、青色の構造化パターン５１０を一様に、画素単位で疎に照射している。構造化パターン５１０は、１画素単位、または複数の画素（例えば、４画素程度）からなるドット単位で構成される。
　図１１は、図１０に示すような定常的な構造化パターン５１０を照射した場合に、測距用画像５４０と観察画像５５０とを分離する手法を示す模式図である。図１１に示すように、任意のフレームの撮像画像５３０から測距用画像５４０を抽出する。測距用画像５４０の抽出は、撮像画像５３０の色に基づいて行うことができる。構造化パターン５１０の色を人体内に存在しない青色などとすることで、撮像画像５３０に人体内に存在しない画素があれば、その画素が構造化画素５３２であると判断できる。測距用画像５４０が抽出できれば、測距用画像５４０中の構造化パターン５１０に対応する構造化画素５３２を周囲の画素の補間することで、観察画像５５０を得ることができる。
　観察画像５５０を生成する基本的な処理は、図７と同様である。すなわち、ステップＳ１０において、撮像画像５３０の任意の画素について、構造化パターン５１０の画素（構造化画素５３２）であるか否かを判定する。そして、ステップＳ１０の判定の結果、構造化パターン５１０の画素であればステップＳ１２へ進み、補間画素値を出力画素値として出力する。一方、ステップＳ１０の判定の結果、構造化パターン５１０の画素でない場合はステップＳ１４へ進み、入力画素値を出力画素値とする。
　構造化パターン５１０の照射による測距モードは、適応的にオン／オフを切り換えてもよい。例えば、観察画像５５０内に大きな動きを検出した場合は、誤検出による弊害を回避するために測距モードがオフにされる。これにより、構造化パターン５１０の照射は行われない。また、被写体にミストが発生した場合は、光の反射等により測距の誤検出が行われる可能性があるため、測距モードがオフにされ、構造化パターン５１０の照射は行われない。これにより、誤検出による弊害を回避することができる。また、通常は測距モードをオフにしておき、スーチャリングなどの精密な手技が必要なシーンのみ測距モードをオンにして構造化パターン５１０を照射するようにしても良い。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、
　前記照射部により照射された光の反射光を取得する取得部と、
　を備える、内視鏡装置。
（２）　前記反射光を撮像する撮像素子と、
　前記撮像素子により撮像された撮像画像の画像信号を処理する画像信号処理部と、を備え、
　前記画像信号処理部は、
　前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成する観察画像生成部を有する、前記（１）に記載の内視鏡装置。
（３）　前記画像信号処理部は、前記撮像画像から前記構造化パターンによる構造化画素を抽出して測距用画像を取得する測距用画像抽出部を有する、前記（２）に記載の内視鏡装置。
（４）　前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を補間して前記観察画像を生成する、前記（２）に記載の内視鏡装置。
（５）　前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を周辺画素の画像情報で補間する、前記（４）に記載の内視鏡装置。
（６）　前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を別フレームの対応する画素の画像情報で補間する、前記（４）に記載の内視鏡装置。
（７）　前記照明光及び前記構造化パターンを含む照射パターンを前記照射部に出力する照射パターン出力部を備える、前記（２）に記載の内視鏡装置。
（８）　前記照射パターン出力部は、前記構造化パターンを出力する画素と前記構造化パターンを出力しない画素をフレーム単位で反転させて前記照射パターンを出力する、前記（７）に記載の内視鏡装置。
（９）　前記照射パターン出力部は、前記構造化パターンを出力する画素をフレーム毎に変化しない定常的な画素として前記照射パターンを出力する、前記（７）に記載の内視鏡装置。
（１０）　前記照射パターン出力部は、所定の色の前記構造化パターンを含む前記照射パターンを出力する、前記（７）に記載の内視鏡装置。
（１１）　前記所定の色は、人体内部に存在しない色である、前記（１０）に記載の内視鏡装置。
（１２）　前記所定の色は、青色又は黄色を含む、前記（１１）に記載の内視鏡装置。
（１３）　前記画像信号処理部は、前記撮像画像から被写体を認識する被写体認識部と、
　前記被写体認識部による被写体の認識結果に基づいて前記構造化パターンを配置して、前記照射パターンを生成する照射パターン生成部と、を有する、前記（７）に記載の内視鏡装置。
（１４）　前記被写体認識部は、前記撮像画像から被写体の輪郭を認識し、
　前記照射パターン生成部は、前記輪郭の位置に前記構造化パターンを配置して前記照射パターンを生成する、前記（１３）に記載の内視鏡装置。
（１５）　前記被写体認識部は、前記撮像画像から被写体の表面の模様を認識し、
　前記照射パターン生成部は、前記模様と重ならないように前記構造化パターンを配置して前記照射パターンを生成する、前記（１３）に記載の内視鏡装置。
（１６）　被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える内視鏡装置における画像生成方法であって、
　前記反射光を撮像して撮像画像を取得することと、
　前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成することと、
　を備える、内視鏡装置の画像生成方法。
　１０６　　カメラ口
　１０８　　照明口
　３１２　　観察画像生成部
　３１４　　測距用画像抽出部
　３１６　　被写体認識部
　３１８　　照射パターン生成部
　３２０　　画像信号処理部
　３３０　　照射パターン出力部

Claims (16)

  1. 　被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、
    　前記照射部により照射された光の反射光を取得する取得部と、
    　を備える、内視鏡装置。
  2. 　前記反射光を撮像する撮像素子と、
    　前記撮像素子により撮像された撮像画像の画像信号を処理する画像信号処理部と、を備え、
    　前記画像信号処理部は、
    　前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成する観察画像生成部を有する、請求項１に記載の内視鏡装置。
  3. 　前記画像信号処理部は、前記撮像画像から前記構造化パターンによる構造化画素を抽出して測距用画像を取得する測距用画像抽出部を有する、請求項２に記載の内視鏡装置。
  4. 　前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を補間して前記観察画像を生成する、請求項２に記載の内視鏡装置。
  5. 　前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を周辺画素の画像情報で補間する、請求項４に記載の内視鏡装置。
  6. 　前記観察画像生成部は、前記構造化画素が分離された画素の画像情報を別フレームの対応する画素の画像情報で補間する、請求項４に記載の内視鏡装置。
  7. 　前記照明光及び前記構造化パターンを含む照射パターンを前記照射部に出力する照射パターン出力部を備える、請求項２に記載の内視鏡装置。
  8. 　前記照射パターン出力部は、前記構造化パターンを出力する画素と前記構造化パターンを出力しない画素をフレーム単位で反転させて前記照射パターンを出力する、請求項７に記載の内視鏡装置。
  9. 　前記照射パターン出力部は、前記構造化パターンを出力する画素をフレーム毎に変化しない定常的な画素として前記照射パターンを出力する、請求項７に記載の内視鏡装置。
  10. 　前記照射パターン出力部は、所定の色の前記構造化パターンを含む前記照射パターンを出力する、請求項７に記載の内視鏡装置。
  11. 　前記所定の色は、人体内部に存在しない色である、請求項１０に記載の内視鏡装置。
  12. 　前記所定の色は、青色又は黄色を含む、請求項１１に記載の内視鏡装置。
  13. 　前記画像信号処理部は、前記撮像画像から被写体を認識する被写体認識部と、
    　前記被写体認識部による被写体の認識結果に基づいて前記構造化パターンを配置して、前記照射パターンを生成する照射パターン生成部と、を有する、請求項７に記載の内視鏡装置。
  14. 　前記被写体認識部は、前記撮像画像から被写体の輪郭を認識し、
    　前記照射パターン生成部は、前記輪郭の位置に前記構造化パターンを配置して前記照射パターンを生成する、請求項１３に記載の内視鏡装置。
  15. 　前記被写体認識部は、前記撮像画像から被写体の表面の模様を認識し、
    　前記照射パターン生成部は、前記模様と重ならないように前記構造化パターンを配置して前記照射パターンを生成する、請求項１３に記載の内視鏡装置。
  16. 　被写体に照明光を照射するとともに、被写体の奥行情報を取得するための構造化パターンを照射する照射部と、前記照射部により照射された光の反射光を取得する取得部と、を備える内視鏡装置における画像生成方法であって、
    　前記反射光を撮像して撮像画像を取得することと、
    　前記撮像画像から前記構造化パターンによる構造化画素を分離して観察画像を生成することと、
    　を備える、内視鏡装置の画像生成方法。
PCT/JP2017/042293 2017-01-04 2017-11-24 内視鏡装置及び内視鏡装置の画像生成方法 WO2018128028A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/470,988 US20190385007A1 (en) 2017-01-04 2017-11-24 Endoscope apparatus and image generation method for an endoscope apparatus
EP17889985.2A EP3566635A4 (en) 2017-01-04 2017-11-24 ENDOSCOPIC DEVICE AND IMAGE GENERATION METHOD FOR ENDOSCOPIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-000117 2017-01-04
JP2017000117A JP2018108274A (ja) 2017-01-04 2017-01-04 内視鏡装置及び内視鏡装置の画像生成方法

Publications (1)

Publication Number Publication Date
WO2018128028A1 true WO2018128028A1 (ja) 2018-07-12

Family

ID=62789416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042293 WO2018128028A1 (ja) 2017-01-04 2017-11-24 内視鏡装置及び内視鏡装置の画像生成方法

Country Status (4)

Country Link
US (1) US20190385007A1 (ja)
EP (1) EP3566635A4 (ja)
JP (1) JP2018108274A (ja)
WO (1) WO2018128028A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209156A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 医療用観察装置、情報処理装置、医療用観察方法及び内視鏡手術システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd ３次元形状計測装置
JP2002119468A (ja) 2000-10-13 2002-04-23 Olympus Optical Co Ltd 内視鏡装置
US20120262548A1 (en) * 2011-04-14 2012-10-18 Wonhee Choe Method of generating three-dimensional image and endoscopic apparatus using the same
JP2016007336A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
JP2016193144A (ja) * 2015-04-01 2016-11-17 オリンパス株式会社 内視鏡システムおよび計測方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237498A1 (en) * 2008-03-20 2009-09-24 Modell Mark D System and methods for the improvement of images generated by fiberoptic imaging bundles
JP2014518710A (ja) * 2011-05-16 2014-08-07 ユニヴェルシテ・リーブル・ドゥ・ブリュクセル 内視鏡検査における可視化と三次元復元のための装置
CN202648632U (zh) * 2012-06-28 2013-01-02 耿征 结构光发生装置及微型三维成像装置
US9107578B2 (en) * 2013-03-31 2015-08-18 Gyrus Acmi, Inc. Panoramic organ imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd ３次元形状計測装置
JP2002119468A (ja) 2000-10-13 2002-04-23 Olympus Optical Co Ltd 内視鏡装置
US20120262548A1 (en) * 2011-04-14 2012-10-18 Wonhee Choe Method of generating three-dimensional image and endoscopic apparatus using the same
JP2016007336A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
JP2016193144A (ja) * 2015-04-01 2016-11-17 オリンパス株式会社 内視鏡システムおよび計測方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3566635A4

Also Published As

Publication number Publication date
EP3566635A4 (en) 2020-01-01
JP2018108274A (ja) 2018-07-12
US20190385007A1 (en) 2019-12-19
EP3566635A1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
US10966592B2 (en) 3D endoscope apparatus and 3D video processing apparatus
US11216941B2 (en) Medical image processing apparatus, medical image processing method, and program
US10867367B2 (en) Image processing apparatus, image processing method, computer-readable recording medium, and endoscope apparatus
US11004197B2 (en) Medical image processing apparatus, medical image processing method, and program
WO2017145788A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
US20170112360A1 (en) Observation system
JP2011120916A (ja) 医療用画像形成のためのシステム
WO2017057039A1 (ja) 画像処理装置、画像処理方法、手術システム、及び、手術糸
EP2549226A1 (en) Endoscope and endoscope system
US20200081235A1 (en) Medical observation system and medical observation device
US20200093350A1 (en) Image processing device, image processing method, program, and endoscope system
JP2015231498A (ja) 内視鏡装置
US20220007942A1 (en) Medical imaging systems and methods that facilitate use of different fluorescence imaging agents
WO2018128028A1 (ja) 内視鏡装置及び内視鏡装置の画像生成方法
TWI342201B (ja)
US11699215B2 (en) Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2020112726A1 (en) Medical imaging systems and methods
US20220222840A1 (en) Control device, image processing method, and storage medium
WO2021140923A1 (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
WO2018163499A1 (ja) 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
CN115311405A (zh) 一种双目内窥镜的三维重建方法
JP2018152657A (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17889985

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017889985

Country of ref document: EP

Effective date: 20190805