WO2022224859A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2022224859A1
WO2022224859A1 PCT/JP2022/017485 JP2022017485W WO2022224859A1 WO 2022224859 A1 WO2022224859 A1 WO 2022224859A1 JP 2022017485 W JP2022017485 W JP 2022017485W WO 2022224859 A1 WO2022224859 A1 WO 2022224859A1
Authority
WO
WIPO (PCT)
Prior art keywords
size
area
attention area
subject image
processor
Prior art date
Application number
PCT/JP2022/017485
Other languages
English (en)
French (fr)
Inventor
将人 吉岡
剛志 福田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023516450A priority Critical patent/JPWO2022224859A1/ja
Publication of WO2022224859A1 publication Critical patent/WO2022224859A1/ja
Priority to US18/490,785 priority patent/US20240049942A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an endoscope system for estimating the size of a region of interest such as a lesion and its operating method.
  • the size of a region of interest such as a detected lesion is important information as one of the criteria for determining diagnosis or treatment methods.
  • size estimation by visual observation is difficult due to problems such as distortion peculiar to the image obtained by the endoscope and the lack of existing size landmarks. Therefore, in Patent Document 1, the size of the attention area can be estimated by referring to the size of the treatment tool that is displayed simultaneously with the attention area.
  • An object of the present invention is to provide an endoscope system and an operation method thereof that can accurately estimate the size of an attention area when the attention area is detected from an image.
  • the processor detects a region of interest from a subject image, estimates the size of the region of interest when the position of the region of interest in the subject image is included in the specific region, and at least When the position of the attention area is not included in the specific area, control is performed so as not to estimate the size.
  • the processor sets the position, size, or range of the specific area using optical information included in the imaging optical system used to acquire the subject image.
  • a processor preferably receives endoscope information about an endoscope and identifies optical information from the endoscope information. It is preferable that the processor sets the position, size, or range of the specific region using an observation distance that indicates the distance from the region of interest. It has an endoscope that irradiates a laser for distance measurement so as to intersect with the optical axis of the imaging optical system used to acquire the subject image, and the processor determines the irradiation position of the laser for distance measurement in the subject image. It is preferable to measure the viewing distance from . It is preferable that the processor sets the position, size, or range of the specific area using the optical information included in the imaging optical system used to acquire the subject image and the observation distance indicating the distance from the area of interest. .
  • the processor preferably reports the detection of the attention area or the size of the attention area.
  • the processor performs movement guidance notification for notifying the direction in which the attention area is to be moved so that the attention area is included in the specific area.
  • the processor notifies that the size cannot be estimated when the position of the attention area is not included in the specific area, or when the size of the attention area is larger than the size of the specific area and the size is not estimated. It is preferable to perform inference impossibility notification. It is preferable that the estimation impossibility notification is displayed on the subject image or by voice.
  • the specific area is preferably included in an area within a certain distance from the center of the subject image.
  • the specific region is defined by a first lower limit boundary line indicating the lower limit of the first axis, A rectangular area surrounded by a first upper boundary line indicating the upper limit value of the first axis, a second lower boundary line indicating the lower limit value of the second axis, and a second upper boundary line indicating the upper limit value of the second axis
  • the specific area is preferably a circular or elliptical area.
  • the processor displays the specified area on the display.
  • the operating method of the endoscope system of the present invention comprises the step of detecting a region of interest from a subject image; estimating, and performing control not to estimate the size at least when the position of the attention area is not included in the specific area.
  • the present invention when a region of interest is detected from an image, it is possible to estimate the size of the region of interest more accurately than in the past.
  • FIG. 1 is a schematic diagram of an endoscope system;
  • FIG. 1 is a block diagram showing functions of an endoscope system;
  • FIG. FIG. 4 is an image diagram showing a state (A) in which the digital zoom function is OFF and a state (B) in which it is ON;
  • 3 is a block diagram showing functions of a signal processing unit;
  • FIG. 9 is an explanatory diagram showing area notification information displayed when an attention area is detected;
  • FIG. 10 is an image diagram showing size information;
  • FIG. 4 is an image diagram showing a specific area;
  • FIG. 10 is an image diagram when the position of the attention area is included in the specific area;
  • FIG. 10 is an image diagram when the position of the attention area is not included in the specific area; It is explanatory drawing which shows the read-out method of endoscope information.
  • (A) is an explanatory diagram showing a method for setting a specific area from first optical information
  • (B) is an explanatory diagram showing a method for setting a specific area from second optical information.
  • (A) shows a method for setting a specific region from the first observation distance
  • (B) shows a method for setting a specific region from a second observation distance
  • (C) shows a method for setting a specific region from a third observation distance.
  • FIG. 4 is an explanatory diagram showing laser irradiation for distance measurement
  • FIG. 10 is an image diagram showing a movement guidance direction;
  • FIG. 10 is an image diagram displaying a message for guiding an attention area to a specific area
  • FIG. 11 is an image diagram showing an estimation impossibility notification outside the size estimation possible area
  • FIG. 10 is an image diagram showing an estimation impossibility notification based on a size of which size estimation is not possible.
  • 4 is a flow chart showing a series of flows in a length measurement mode
  • FIG. 10 is an image diagram when the specific region is an elliptical region
  • an endoscope system 10 includes an endoscope 12, a light source device 13, a processor device 14, a display 15, a user interface 16, an expansion processor device 17, and an expansion display 18. have.
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14 .
  • the endoscope 12 includes an insertion portion 12a to be inserted into the body of an observation target, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end portion. and a portion 12d.
  • the bending portion 12c bends by operating the operation portion 12b.
  • the distal end portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation unit 12b also includes an observation mode switching switch 12f used to switch observation modes, a still image acquisition instruction switch 12g used to instruct acquisition of a still image of an observation target, and a zoom lens used to operate the zoom lens 21b.
  • An operation unit 12h is provided. If the zoom lens 21b is not provided, the zoom operation section 12h is also not provided.
  • the processor device 14 is electrically connected with the display 15 and the user interface 16 .
  • the display 15 outputs and displays an observation target image or information processed by the processor device 14 .
  • the user interface 16 has a keyboard, mouse, touch pad, microphone, etc., and has a function of receiving input operations such as function settings.
  • Extended processor unit 17 is electrically connected to processor unit 14 .
  • the extended display 18 outputs and displays images or information processed by the extended processor device 17 .
  • the endoscope 12 has a normal observation mode, a special light observation mode, and a length measurement mode.
  • the normal observation mode and the special light observation mode are switched by the observation mode changeover switch 12f.
  • the length measurement mode can be executed in either the normal observation mode or the special light observation mode, and is switched ON and OFF by a changeover switch (not shown) provided on the user interface 16 in addition to the observation mode changeover switch 12f.
  • the normal observation mode is a mode in which an observation target is illuminated with illumination light.
  • the special light observation mode is a mode in which the observation target is illuminated with special light different from the illumination light. In the length measurement mode, when an attention area such as a lesion is detected in an observation target, the size of the attention area is estimated and the estimated size of the attention area is displayed on the extended display 18 .
  • the observation target is illuminated with illumination light or special light.
  • illumination light is light used for giving brightness to the entire observation target and observing the entire observation target.
  • Special light is light used for emphasizing a specific region of the observation target.
  • the screen of the display 15 freezes and an alert sound (for example, "beep") indicating that the still image is to be acquired is emitted.
  • Still images of the subject image obtained before and after the operation timing of the still image acquisition instruction switch 12g are stored in the still image storage unit 42 (see FIG. 2) in the processor device 14.
  • FIG. 2 the still image storage unit 42 is a storage unit such as a hard disk or a USB (Universal Serial Bus) memory. If the processor device 14 can be connected to a network, the still image of the subject image is saved in a still image saving server (not shown) connected to the network instead of or in addition to the still image saving unit 42. may
  • the still image acquisition instruction may be issued using an operation device other than the still image acquisition instruction switch 12g.
  • a foot pedal may be connected to the processor unit 14, and a still image acquisition instruction may be issued when the user operates the foot pedal (not shown) with his or her foot.
  • a foot pedal for mode switching may be used.
  • a gesture recognition unit (not shown) that recognizes a user's gesture is connected to the processor device 14, and when the gesture recognition unit recognizes a specific gesture performed by the user, a still image acquisition instruction is issued. can be Mode switching may also be performed using the gesture recognition unit.
  • a line-of-sight input unit (not shown) provided near the display 15 is connected to the processor device 14, and the line-of-sight input unit recognizes that the user's line of sight is within a predetermined area of the display 15 for a predetermined time or more.
  • a still image acquisition instruction may be given.
  • a voice recognition unit (not shown) may be connected to the processor device 14, and the still image acquisition instruction may be issued when the voice recognition unit recognizes a specific voice uttered by the user. Mode switching may also be performed using the speech recognition unit.
  • an operation panel such as a touch panel may be connected to the processor device 14, and a still image acquisition instruction may be issued when the user performs a specific operation on the operation panel. Mode switching may also be performed using the operation panel.
  • the light source device 13 includes a light source section 30 and a light source processor 31 .
  • the light source unit 30 generates illumination light or special light for illuminating a subject.
  • the illumination light or special light emitted from the light source unit 30 enters the light guide LG, passes through the illumination lens 22a included in the illumination optical system 22, and illuminates the subject.
  • the light source unit 30 includes, as a light source of illumination light, a white light source that emits white light, or a plurality of light sources including a white light source and a light source that emits light of other colors (for example, a blue light source that emits blue light). is used.
  • a light source that emits broadband light including blue narrowband light for emphasizing surface layer information such as superficial blood vessels is used as a light source for special light.
  • the illumination light may be light obtained by combining at least one of violet light, blue light, green light, and red light (for example, white light or special light).
  • the light source processor 31 controls the light source section 30 based on instructions from the system control section 41 of the processor device 14 .
  • the system control unit 41 instructs the light source processor 31 regarding light source control.
  • the system control unit 41 performs control to turn on the illumination light in the normal observation mode.
  • the system control unit 41 controls lighting of the special light.
  • the system control unit 41 controls lighting of illumination light or special light.
  • the imaging optical system 23 has an objective lens 23a, a zoom lens 23b, and an imaging device 32. Reflected light from the observation target enters the imaging element 32 via the objective lens 23a and the zoom lens 23b. As a result, a reflected image of the observation target is formed on the imaging device 32 . Note that the imaging optical system 23 may not be provided with the zoom lens 23b.
  • the zoom lens 23b has an optical zoom function that enlarges or reduces the subject by moving between the telephoto end and the wide end. ON and OFF of the optical zoom function can be switched by a zoom operation unit 12h (see FIG. 1) provided in the operation unit 12b of the endoscope. By manipulating 12h, the subject is enlarged or reduced at a specific magnification. Note that the optical zoom function is not provided when the zoom lens 23b is not provided.
  • the imaging element 32 is a color imaging sensor that captures a reflected image of the subject and outputs an image signal.
  • the imaging device 32 is preferably a CCD (Charge Coupled Device) imaging sensor, a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor, or the like.
  • the imaging element 32 used in the present invention is a color imaging sensor for obtaining a red image, a green image, and a red image of three colors of R (red), G (green) and B (blue).
  • a red image is an image output from a red pixel provided with a red color filter in the imaging device 32 .
  • a green image is an image output from green pixels provided with a green color filter in the imaging device 32 .
  • a blue image is an image output from blue pixels provided with a blue color filter in the imaging device 32 .
  • the imaging device 32 is controlled by the imaging control section 33 .
  • the image signal output from the imaging device 32 is transmitted to the CDS/AGC circuit 34.
  • the CDS/AGC circuit 34 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal.
  • the image signal that has passed through the CDS/AGC circuit 34 is converted into a digital image signal by an A/D converter (A/D (Analog/Digital) converter) 35 .
  • the A/D-converted digital image signal is input to a communication I/F (Interface) 37 of the light source device 13 via a communication I/F (Interface) 36 .
  • the processor device 14 has a program storage memory (not shown) in which programs related to various processes or controls are incorporated.
  • a system control unit 41 configured by a processor on the processor device 14 side operates a program incorporated in a program storage memory, and a receiving unit 38 connected to a communication I/F (Interface) 37 of the light source device 13 . , the functions of the signal processing unit 39 and the display control unit 40 are realized.
  • the receiving section 38 receives the image signal transmitted from the communication I/F 37 and transmits it to the signal processing section 39 .
  • the signal processing section 39 has a built-in memory for temporarily storing the image signals received from the receiving section 38, and processes an image signal group, which is a set of image signals stored in the memory, to generate a subject image. Note that the receiving section 38 may directly send control signals related to the light source processor 31 to the system control section 41 .
  • the blue image of the subject image is sent to the B channel of the display 15, the green image of the subject image to the G channel of the display 15, and the red image of the subject image to A color subject image is displayed on the display 15 by performing signal allocation processing for allocating the signals to the R channels of the display 15 . Also for the length measurement mode, the same signal allocation processing as that for the normal observation mode is performed.
  • the signal processing unit 39 when the special light observation mode is set, the red image of the subject image is not used for display on the display 15, and the blue image of the subject image is displayed on the B channel and G channel of the display 15. A pseudo-color subject image is displayed on the display 15 by assigning the green image of the subject image to the R channel of the display 15 .
  • the signal processing unit 39 transmits the subject image to the data transmission/reception unit 43 when the length measurement mode is set.
  • the data transmission/reception unit 43 transmits data regarding the subject image to the extended processor device 17 .
  • the data transmission/reception unit 43 can receive data, etc. from the extended processor device 17 .
  • the received data can be processed by the signal processing section 39 or the system control section 41 .
  • FIG. 3A shows a subject image with the digital zoom function OFF
  • FIG. 3B shows a subject with the digital zoom function ON, which is an enlarged central portion of the subject image in FIG. 3A. showing the image. Note that when the digital zoom function is OFF, the subject is not enlarged or reduced by cropping the subject image.
  • the display control unit 40 displays the subject image generated by the signal processing unit 39 on the display 15.
  • the system control unit 41 performs various controls on the endoscope 12 , light source device 13 , processor device 14 , and extended processor device 17 .
  • the imaging device 32 is controlled via the imaging control unit 33 provided in the endoscope 12 .
  • the imaging control unit 33 also controls the CDS/AGC circuit 34 and the A/D converter 35 in accordance with the control of the imaging element 32 .
  • the extended processor device 17 receives the data transmitted from the processor device 14 at the data transmission/reception unit 44 .
  • the data received by the data transmission/reception unit 44 includes a subject image.
  • the signal processing section 45 performs processing related to the length measurement mode based on the data received by the data transmission/reception section 44 . Specifically, when the attention area is detected from the subject image, the size of the attention area is estimated, and the estimated size of the attention area is superimposed on the subject image.
  • the display control unit 46 displays the subject image on the extended display 18 when the attention area is not detected, and causes the extended display 18 to display the subject image on which the size of the attention area is superimposed and displayed when the attention area is detected. Note that the data transmission/reception unit 44 can transmit data and the like to the processor device 14 .
  • the signal processing unit 45 includes an attention area detection unit 50, a size estimation unit 51, a first notification unit 52, a size estimation control unit 53, a specific area setting unit 54, and an optical information acquisition unit.
  • a section 55 , an observation distance acquisition section 56 and a second notification section 57 are provided.
  • the extended processor device 17 has programs related to various processes or controls incorporated in a program storage memory (not shown).
  • a central control unit (not shown) configured by a processor on the extended processor device 17 side operates a program incorporated in a program storage memory to perform a region-of-interest detection unit 50, a size estimation unit 51, and a first notification. Functions of the unit 52, the size estimation control unit 53, the specific area setting unit 54, the optical information acquisition unit 55, the observation distance acquisition unit 56, and the second notification unit 57 are realized.
  • the attention area detection unit 50 detects an attention area from the subject image. As shown in FIG. 5, when a region of interest ROI (Region Of Interest) is detected in the subject image PS, the first notification unit 52 displays an area indicating that the region of interest ROI exists around the region of interest ROI. Notification information 61 is displayed on the extended display 18 . In FIG. 5, a rectangular bounding box is used as the area notification information 61 .
  • the attention area detection processing performed by the attention area detection unit 50 includes, for example, a learning model for attention area detection obtained by learning using NN (Neural Network), CNN (Convolutional Neural Network), Adaboost, and random forest. Treatment is preferred. That is, when a subject image is input to a learning model for detecting a region of interest, it is preferable to output detection of a region of interest such as a lesion from the learning model for detecting the region of interest. Further, as the attention area detection processing, the attention area may be detected based on the feature amount (parameter) obtained from the color information of the subject image, the gradient of the pixel value, or the like.
  • the pixel value gradient and the like are, for example, subject shapes (global undulations of mucous membranes, local depressions or elevations, etc.), colors (whitening caused by inflammation, bleeding, redness, or atrophy). , tissue characteristics (blood vessel thickness, depth, density, or a combination thereof, etc.), or structural characteristics (pit pattern, etc.).
  • the region of interest detected by the region-of-interest processing includes, for example, a lesion typified by cancer, a trace of processing, a scar of surgery, a bleeding site, a benign tumor, an inflammatory site (so-called inflammation, bleeding or atrophy). (including parts with changes such as), cauterization scars due to heating or coloring agents, marking areas marked by coloring with fluorescent agents, etc., or biopsy areas where biopsy (so-called biopsy) was performed .
  • Recognition processing detects, as a region of interest, an area including at least one of a lesion, a trace of processing, a trace of surgery, a bleeding site, a benign tumor, an inflamed area, a marked area, or a biopsy-implemented area.
  • the size estimation unit 51 estimates the size of the attention area.
  • the size information 62 is displayed on the extended display 18 near the attention area ROI by the first notification unit 52 as shown in FIG.
  • the size information is represented by, for example, "numerical value + size unit" such as "5 mm”.
  • the size estimation processing performed by the size estimation unit 51 is, for example, processing using a learning model for size estimation obtained by learning using NN (Neural Network), CNN (Convolutional Neural Network), Adaboost, and random forest. is preferred. That is, when a subject image including a region of interest is input to a learning model for size estimation, it is preferable to output size information about the region of interest from the learning model for size estimation. Further, as the size estimation process, the size may be estimated based on the feature amount (parameter) obtained from the color information of the subject image, the gradient of the pixel value, or the like.
  • the size estimation control unit 53 estimates the size when the position of the region of interest in the subject image is included in the specific region, and estimates the size when the position of the region of interest is not included in the specific region. Control without estimation.
  • the inside of the specific region is a region where size estimation can be performed with a certain accuracy
  • the outside of the specific region is a region where it is difficult to perform size estimation with a certain accuracy.
  • the X axis (first axis) in the X direction (first direction) and the Y axis (second axis) in the Y direction (second direction orthogonal to the first direction) are When defined, the specific region 64 includes a first lower boundary line X1 indicating the lower limit of the X-axis, a first upper boundary line X2 indicating the upper limit of the X-axis, and a second lower boundary line indicating the lower limit of the Y-axis. It is a rectangular area surrounded by Y1 and a second upper limit boundary line Y2 indicating the upper limit of the Y axis.
  • the size estimation control unit 53 when the position (Xat, Yat) of the region of interest ROI is inside the specific region 64 (X1 ⁇ Xat ⁇ X2 and Y1 ⁇ Yat ⁇ Y2), the size estimation control unit 53 , to make a size estimate.
  • the position of the region of interest ROI is outside the specific region 64 (Xat ⁇ X1, X2 ⁇ Xat and Yat ⁇ Y1, Y2 ⁇ Yat) does not perform size estimation.
  • the specific area setting unit 54 sets the position, size, or range of the specific area. Specifically, the specific area setting unit 54 sets the position, size, or range of the specific area using optical information included in the imaging optical system 23 used to acquire the subject image.
  • the optical information includes objective lens 23a and zoom lens 23b. Since the aberration of the objective lens 23a or the zoom lens 23b varies from imaging optical system 23 to imaging optical system 23, the shape of the peripheral image of the subject image, such as distortion, also varies from imaging optical system 23 to imaging optical system 23. FIG. Therefore, the position, size, or range of the specific area 64 that determines the accuracy of size estimation of the attention area also differs for each imaging optical system 23 .
  • the optical information may include the zoom magnification of the digital zoom function. In this case, the specific area setting unit 54 may set the position, size, or range of the specific area according to the zoom magnification of the digital zoom function.
  • the specific region setting unit 54 identifies optical information from the endoscope information regarding the endoscope 12 .
  • the endoscope information includes model information of the endoscope 12 and the like. As shown in FIG. 10 , the endoscope information is stored in the endoscope information memory 65 of the endoscope 12 .
  • An endoscope information acquisition unit 66 provided in the processor device 14 reads endoscope information from the endoscope information storage memory 63 of the endoscope 12 . The read endoscope information is sent to the specific region setting section 54 of the extended processor device 17 .
  • the specific area setting unit 54 has an optical information table (not shown) that associates endoscope information and optical information, and refers to the optical information table to obtain the endoscope information received from the processor device 14. Identify the corresponding optical information. For example, when the optical information is the first optical information, a specific area 64a having the first size is set as shown in FIG. As shown in 11(B), a specific area 64b having a second size different from the first size is set. Here, the second optical information is set in the specific region 64b having a second size smaller than the first size because the shape distortion in the image peripheral portion is larger than that of the first optical information. Note that when optical information is included in the endoscope information, the specific area may be set based on the endoscope information (in this case, the optical information table is unnecessary).
  • the specific area setting unit 54 may set the position, size, or range of the specific area using an observation distance that indicates the distance from the attention area.
  • the observation distance is preferably the distance between the distal end 12d of the endoscope 12 and the region of interest. For example, when the observation distance is the first observation distance for a distant view, a specific region 64c having a first size is set as shown in FIG. 12(A). Also, when the observation distance is the second observation distance between the distant view and the near view, as shown in FIG. 12B, a specific area 64d having a second size smaller than the first size is set. Further, when the observation distance is the third observation distance of the near view, as shown in FIG. 12C, a specific area 64e having a third size smaller than the second size is set.
  • the specific area setting unit 54 may use both the optical information included in the imaging optical system 23 and the observation distance to set the position, size, or range of the specific area.
  • the observation distance is obtained by the observation distance obtaining unit 56.
  • the observation distance acquisition section 56 acquires the observation distance by the observation distance measurement section 68 provided in the endoscope 12 or the processor device 14 .
  • the acquired observation distance is transmitted to the observation distance acquisition unit 56 of the extended display 18 .
  • the observation distance measuring unit 68 is preferably, for example, a stereo camera, TOF (Time Of Flight), an ultrasonic device, a forceps device, or the like.
  • the laser Lm for distance measurement is irradiated so as to intersect the optical axis Ax of the imaging optical system 23 of the endoscope, and the irradiation of the laser Lm for distance measurement in the subject image is performed.
  • the viewing distance may be measured from the position.
  • This method of measuring the observation distance utilizes the fact that the irradiation position of the laser Lm for distance measurement changes according to the change in the observation distance by irradiating the laser Lm for distance measurement. Note that the distance measuring laser Lm is emitted from the distance measuring laser emitting unit 69 .
  • the second notification unit 57 performs movement guidance notification that notifies the direction in which the attention area is moved so that the attention area is included in the specific area.
  • a movement guidance direction 70 toward a specific area may be displayed as movement notification information for the area notification information 61 .
  • the extended display 18 may display a message M2 for guiding the attention area to the specific area as the movement notification information.
  • the message M2 is a message prompting the user to operate the endoscope 12 so that the region of interest ROI is inside the specific region 64 displayed by the dashed line on the extended display 18 .
  • the extended display 18 corresponds to the "display" of the present invention.
  • the second notification unit 57 performs estimation-impossible notification to notify that the size cannot be estimated. It is preferable that the estimation impossibility notification is performed by display on the subject image or by voice. Specifically, as shown in FIG. 17, when the position of the attention area is outside the specific area 64, a message M3 notifying that the attention area is outside the size estimation possible area is displayed as an estimation impossibility notification. The message M2 includes user guidance for placing the attention area within the size-estimable area. Also, as shown in FIG. 18, when the size of the attention area is larger than the size of the specific area 64, a message M4 indicating that the size of the attention area is a size that cannot be estimated is displayed as an estimation failure notification. . Message M4 contains user guidance to allow the size to be estimated.
  • the user operates the user interface 16 to switch to the length measurement mode.
  • a process of detecting an attention area from the subject image is performed.
  • area notification information 61 is displayed for the attention area ROI on the extended display 18 in order to notify that the attention area ROI has been detected.
  • the size of the region of interest ROI is estimated. After estimating the size of the region of interest ROI, size information 62 is displayed for the region of interest ROI on the extended display 18 . On the other hand, if the position of the region of interest ROI is not included in the specific region 64, the size of the region of interest ROI is not estimated. The above series of processes are repeated while the length measurement mode continues.
  • the specific region 64 is a rectangular region (see FIG. 8, etc.), but as shown in FIG. It is sufficient if it is included in Rp.
  • an elliptical area included in area Rp may be used as specific area 72 .
  • the specific area may be a circular area.
  • the receiving unit 38, the signal processing unit 39, the display control unit 40, the system control unit 41, the still image storage unit 42, the data transmission/reception unit 43, the data transmission/reception unit 44, the signal processing unit 45, the display control unit 46 (The hardware structure of the processing unit that executes various processes such as various control units or processing units provided in these control units etc. is.
  • Various processors include CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that run software (programs) and function as various processing units.
  • Programmable Logic Devices PLDs
  • PLDs Programmable Logic Devices
  • One processing unit may be composed of one of these various processors, or composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units may be configured by one processor.
  • this processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disc drive) or SSD (solid state drive).
  • Endoscope system 12 Endoscope 12a Insertion section 12b Operation section 12c Bending section 12d Tip section 12f Observation mode switching switch 12g Still image acquisition instruction switch 12h Zoom operation section 13
  • Light source device 14 Processor device 15 Display 16 User interface 17 Extension processor Device 18 Extended display 22 Illumination optical system 22a Illumination lens 23 Imaging optical system 23a Objective lens 23b Zoom lens 30
  • Light source unit 31 Light source processor 32 Imaging element 33 Imaging control unit 34 CDS/AGC circuit 35 A/D converter 36 Communication I/ F.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像から注目領域を検出した場合において、精度良く注目領域のサイズ推定を行うことができる内視鏡システム及びその作動方法を提供する。　被写体画像から注目領域を検出する。被写体画像における注目領域ＲＯＩの位置が特定領域（６４）に含まれている場合には、注目領域ＲＯＩのサイズの推定を行う。少なくとも注目領域ＲＯＩの位置が特定領域（６４）に含まれていない場合に、注目領域ＲＯＩのサイズの推定を行わない。

Description

内視鏡システム及びその作動方法
　本発明は、病変部などの注目領域のサイズを推定する内視鏡システム及びその作動方法に関する。
　内視鏡等の分野では、発見した病変部などの注目領域のサイズは診断又は処置方法決定のための判断基準の一つとして重要な情報となる。しかし、内視鏡で得られる画像特有の歪み、又は既存サイズのランドマークが無いなどの問題により、目視によるサイズ推定は難しい。そこで、特許文献１では、注目領域と同時表示される処置具のサイズを参考にして、注目領域のサイズを推定できるようにしている。
米国特許出願公開第２０２０／０２７９３７３号明細書
　近年では、人工知能（ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ））を用いたサイズ推定が提案されている。しかしながら、内視鏡分野においては、サイズ推定する際に下記の問題がある。内視鏡の撮像光学系としては、広視野で観察ができる広角レンズを用いているため、近接観察する場合、観察対象が内視鏡の画像の端に表示される場合などには、画像が大きく歪む。このため、同一の対象物であっても、観察する距離又は配置などによってサイズが異なって表示されるため、サイズ推定する際に大きな誤差が生じることがあった。
　本発明は、画像から注目領域を検出した場合において、精度良く注目領域のサイズ推定を行うことができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、プロセッサが、被写体画像から注目領域を検出し、被写体画像における注目領域の位置が特定領域に含まれている場合には、注目領域のサイズの推定を行い、少なくとも注目領域の位置が特定領域に含まれていない場合に、サイズの推定を行わない制御を行う。
　プロセッサが、被写体画像の取得に用いた撮像光学系に含まれる光学情報を用いて、特定領域の位置、大きさ、又は範囲を設定することが好ましい。プロセッサが、内視鏡に関する内視鏡情報を受信し、内視鏡情報から光学情報を特定することが好ましい。プロセッサが、注目領域との距離を示す観察距離を用いて、特定領域の位置、大きさ、又は範囲を設定することが好ましい。被写体画像の取得に用いた撮像光学系の光軸に対して交差するように、測距用のレーザーを照射する内視鏡を有し、プロセッサは、被写体画像における測距用のレーザーの照射位置から観察距離を測定することが好ましい。プロセッサが、被写体画像の取得に用いた撮像光学系に含まれる光学情報、及び、注目領域との距離を示す観察距離を用いて、特定領域の位置、大きさ、又は範囲を設定することが好ましい。
　プロセッサは、注目領域の検出、又は、注目領域のサイズを報知することが好ましい。プロセッサは、注目領域の位置が特定領域に含まれない場合に、注目領域が特定領域に含まれるように、注目領域を移動させる方向を報知する移動誘導報知を行うことが好ましい。
　プロセッサは、注目領域の位置が特定領域に含まれない場合、又は、注目領域のサイズが特定領域の大きさよりも大きくて、サイズの推定を行わない場合に、サイズの推定ができないことを報知する推定不可報知を行うことが好ましい。推定不可報知は、被写体画像上に表示、又は、音声で行うことが好ましい。
　特定領域は、被写体画像の中心から一定距離の範囲内の領域に含まれていることが好ましい。被写体画像に対して第１方向の第１軸と第１方向と直交する第２方向の第２軸を定義した場合において、特定領域は、第１軸の下限値を示す第１下限境界線、第１軸の上限値を示す第１上限境界線、第２軸の下限値を示す第２下限境界線、及び、第２軸の上限値を示す第２上限境界線によって囲まれる矩形状領域であることが好ましい。特定領域は円又は楕円領域であることが好ましい。プロセッサは、特定領域をディスプレイに表示することが好ましい。
　本発明の内視鏡システムの作動方法は、プロセッサが、被写体画像から注目領域を検出するステップと、被写体画像における注目領域の位置が特定領域に含まれている場合には、注目領域のサイズの推定を行い、少なくとも注目領域の位置が特定領域に含まれていない場合に、サイズの推定を行わない制御を行うステップとを有する。
　本発明によれば、画像から注目領域を検出した場合において、従来よりも精度良く注目領域のサイズ推定を行うことができる。
内視鏡システムの概略図である。 内視鏡システムの機能を示すブロック図である。 デジタルズーム機能がＯＦＦの状態（Ａ）とＯＮの状態（Ｂ）を示す画像図である。 信号処理部の機能を示すブロック図である。 注目領域が検出された場合に表示する領域報知情報を示す説明図である。 サイズ情報を示す画像図である。 特定領域を示す画像図である。 注目領域の位置が特定領域に含まれる場合の画像図である。 注目領域の位置が特定領域に含まれない場合の画像図である。 内視鏡情報の読み出し方法を示す説明図である。 （Ａ）は第１光学情報から特定領域を設定する方法を、（Ｂ）は第２光学情報から特定領域を設定する方法を示す説明図である。 （Ａ）は第１観察距離から特定領域を設定する方法を、（Ｂ）は第２観察距離から特定領域を設定する方法を、（Ｃ）は第３観察距離から特定領域を設定する方法を示す説明図である。 観察距離の取得方法を示す説明図である。 測距用のレーザーの照射を示す説明図である。 移動誘導方向を示す画像図である。 注目領域を特定領域に誘導するためのメッセージを表示する画像図である。 サイズ推定可能領域外の推定不可報知を示す画像図である。 サイズ推定不可のサイズによる推定不可報知を示す画像図である。 測長モードの一連の流れを示すフローチャートである。 特定領域が楕円状領域である場合の画像図である。
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、ユーザーインターフェース１６と、拡張プロセッサ装置１７と、拡張ディスプレイ１８とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。
　また、操作部１２ｂには、観察モードの切り替え操作に用いる観察モード切替スイッチ１２ｆと、観察対象の静止画の取得指示に用いられる静止画取得指示スイッチ１２ｇと、ズームレンズ２１ｂの操作に用いられるズーム操作部１２ｈとが設けられている。なお、ズームレンズ２１ｂを設けない場合には、ズーム操作部１２ｈも設けられない。
　プロセッサ装置１４は、ディスプレイ１５及びユーザーインターフェース１６と電気的に接続される。ディスプレイ１５は、プロセッサ装置１４で処理された観察対象の画像又は情報等を出力表示する。ユーザーインターフェース１６は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。拡張プロセッサ装置１７は、プロセッサ装置１４に電気的に接続されている。拡張ディスプレイ１８は、拡張プロセッサ装置１７で処理された画像又は情報等を出力表示する。
　内視鏡１２は、通常観察モードと、特殊光観察モードと、測長モードとを備えている。通常観察モードと特殊光観察モードとは、観察モード切替スイッチ１２ｆによって切り替えられる。測長モードは通常観察モードと特殊光観察モードのいずれでも実行可能であり、観察モード切替スイッチ１２ｆとは別にユーザーインターフェース１６に設けられた切替スイッチ（図示しない）によってＯＮとＯＦＦが切り替えられる。通常観察モードは、照明光によって観察対象を照明するモードである。特殊光観察モードは、照明光と異なる特殊光によって観察対象を照明するモードである。測長モードは、観察対象において、病変部などの注目領域を検出した場合において、注目領域のサイズを推定し、推定した注目領域のサイズを拡張ディスプレイ１８に表示する。
　なお、測長モードでは、照明光又は特殊光を観察対象に照明する。なお、照明光は、観察対象全体に明るさを与えて観察対象全体を観察するために用いられる光である。特殊光は、観察対象のうち特定領域を強調するために用いられる光である。
　静止画取得指示スイッチ１２ｇがユーザーによって操作された場合には、ディスプレイ１５の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音（例えば「ピー」）を発する。そして、静止画取得指示スイッチ１２ｇの操作タイミング前後に得られる被写体画像の静止画が、プロセッサ装置１４内の静止画保存部４２（図２参照）に保存される。なお、静止画保存部４２はハードディスクやＵＳＢ（Universal Serial Bus）メモリなどの記憶部である。プロセッサ装置１４がネットワークに接続可能である場合には、静止画保存部４２に代えて又は加えて、ネットワークに接続された静止画保存サーバ（図示しない）に被写体画像の静止画を保存するようにしてもよい。
　なお、静止画取得指示スイッチ１２ｇ以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置１４にフットペダルを接続し、ユーザーが足でフットペダル（図示しない）を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置１４に、ユーザーのジェスチャーを認識するジェスチャー認識部（図示しない）を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
　また、ディスプレイ１５の近くに設けた視線入力部（図示しない）をプロセッサ装置１４に接続し、視線入力部が、ディスプレイ１５のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置１４に音声認識部（図示しない）を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置１４に、タッチパネルなどのオペレーションパネル（図示しない）を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
　図２に示すように、光源装置１３は、光源部３０と、光源用プロセッサ３１とを備えている。光源部３０は、被写体を照明するための照明光又は特殊光を発生する。光源部３０から出射された照明光又は特殊光は、ライトガイドＬＧに入射され、照明光学系２２に含まれる照明レンズ２２ａを通って被写体に照射される。光源部３０としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源（例えば青色光を出射する青色光源）を含む複数の光源等が用いられる。また、光源部３０としては、特殊光の光源として、表層血管など表層情報を強調するための青色狭帯域光を含む広帯域光を発する光源が用いられる。なお、照明光としては、紫色光、青色光、緑色光、又は赤色光の少なくともいずれかを組み合わせた光（例えば、白色光又は特殊光など）してもよい。
　光源用プロセッサ３１は、プロセッサ装置１４のシステム制御部４１からの指示に基づいて光源部３０を制御する。システム制御部４１は、光源用プロセッサ３１に対して、光源制御に関する指示を行う。通常観察モードの場合には、システム制御部４１は、通常観察モードの場合は、照明光を点灯する制御を行う。特殊光観察モードの場合は、システム制御部４１は、特殊光を点灯する制御を行う。測長モードの場合には、システム制御部４１は、照明光又は特殊光を点灯する制御を行う。
　撮像光学系２３は、対物レンズ２３ａ、ズームレンズ２３ｂ、及び撮像素子３２を有している。観察対象からの反射光は、対物レンズ２３ａ及びズームレンズ２３ｂを介して、撮像素子３２に入射する。これにより、撮像素子３２に観察対象の反射像が結像される。なお、撮像光学系２３には、ズームレンズ２３ｂを設けなくてもよい。
　ズームレンズ２３ｂは、テレ端とワイド端との間で移動することによって、ズーム機能として、被写体を拡大又は縮小する光学ズーム機能を有する。光学ズーム機能のＯＮとＯＦＦは、内視鏡の操作部１２ｂに設けられたズーム操作部１２ｈ（図１参照）により切り替えることが可能であり、光学ズーム機能がONの状態で、さらにズーム操作部１２ｈを操作することにより、特定の拡大率で被写体を拡大又は縮小する。なお、ズームレンズ２３ｂを設けない場合には、光学ズーム機能は設けられない。
　撮像素子３２はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子３２は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像素子３２は、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３色の赤色画像、緑色画像、及び赤色画像を得るためのカラーの撮像センサである。赤色画像は、撮像素子３２において赤色のカラーフィルタが設けられた赤色画素から出力される画像である。緑色画像は、撮像素子３２において緑色のカラーフィルタが設けられた緑色画素から出力される画像である。青色画像は、撮像素子３２において青色のカラーフィルタが設けられた青色画素から出力される画像である。撮像素子３２は、撮像制御部３３によって制御される。
　撮像素子３２から出力される画像信号は、ＣＤＳ／ＡＧＣ回路３４に送信される。ＣＤＳ／ＡＧＣ回路３４は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路３４を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）３５により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、通信Ｉ／Ｆ（Interface）３６を介して、光源装置１３の通信Ｉ／Ｆ（Interface）３７に入力される。
　プロセッサ装置１４は、各種処理又は制御などに関するプログラムがプログラム格納メモリ（図示しない）に組み込まれている。プロセッサ装置１４側のプロセッサによって構成されるシステム制御部４１は、プログラム格納メモリに組み込まれたプログラムを動作することによって、光源装置１３の通信Ｉ／Ｆ（Interface）３７と接続される受信部３８と、信号処理部３９と、表示制御部４０の機能が実現する。
　受信部３８は、通信Ｉ／Ｆ３７から伝送されてきた画像信号を受信して信号処理部３９に伝達する。信号処理部３９は、受信部３８から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、被写体画像を生成する。なお、受信部３８は、光源用プロセッサ３１に関連する制御信号については、システム制御部４１に直接送るようにしてもよい。
　信号処理部３９では、通常観察モードに設定されている場合には、被写体画像の青色画像はディスプレイ１５のBチャンネルに、被写体画像の緑色画像はディスプレイ１５のGチャンネルに、被写体画像の赤色画像はディスプレイ１５のRチャンネルにそれぞれ割り当てる信号割り当て処理を行うことによって、カラーの被写体画像がディスプレイ１５に表示する。測長モードについても、通常観察モードと同様の信号割り当て処理を行う。
　一方、信号処理部３９では、特殊光観察モードに設定されている場合には、被写体画像の赤色画像はディスプレイ１５の表示には使用せず、被写体画像の青色画像をディスプレイ１５のBチャンネルとGチャンネルに割り当て、被写体画像の緑色画像をディスプレイ１５のRチャンネルに割り当てることによって、疑似カラーの被写体画像をディスプレイ１５に表示する。
　信号処理部３９では、測長モードに設定されている場合には、被写体画像をデータ送受信部４３に送信する。データ送受信部４３は、被写体画像に関するデータを拡張プロセッサ装置１７に送信する。なお、データ送受信部４３は、拡張プロセッサ装置１７からのデータ等の受信が可能である。受信したデータは、信号処理部３９又はシステム制御部４１にて処理が可能である。
　信号処理部３９は、ズーム機能として、ユーザーインターフェース１６によってデジタルズーム機能がＯＮに設定されている場合には、被写体画像の一部を切り取って拡大又は縮小することによって、特定の倍率で被写体を拡大又は縮小する。図３（Ａ）は、デジタルズーム機能がＯＦＦの状態の被写体画像を示しており、図３（Ｂ）は、図３（Ａ）の被写体画像のうち中心部分を切り取って拡大したデジタルズーム機能ＯＮの被写体画像を示している。なお、デジタルズーム機能がＯＦＦの場合には、被写体画像の切り取りによる被写体の拡大又は縮小は行われない。
　表示制御部４０は、信号処理部３９によって生成された被写体画像をディスプレイ１５に表示する。システム制御部４１は、内視鏡１２、光源装置１３、プロセッサ装置１４、及び拡張プロセッサ装置１７に対して、各種の制御を行う。内視鏡１２に設けられた撮像制御部３３を介して、撮像素子３２の制御を行う。撮像制御部３３は、撮像素子３２の制御に合わせて、ＣＤＳ／ＡＧＣ回路３４及びＡ／Ｄ変換器３５の制御も行う。
　拡張プロセッサ装置１７は、プロセッサ装置１４から送信されたデータをデータ送受信部４４にて受信する。データ送受信部４４で受信するデータには、被写体画像が含まれる。信号処理部４５は、データ送受信部４４で受信したデータに基づいて、測長モードに関連する処理を行う。具体的には、被写体画像から注目領域を検出した場合に、注目領域のサイズを推定し、推定した注目領域のサイズを被写体画像に重畳表示させる処理を行う。表示制御部４６は、注目領域未検出時には被写体画像を拡張ディスプレイ１８に表示し、注目領域検出時には、注目領域のサイズを重畳表示した被写体画像を拡張ディスプレイ１８に表示させる。なお、データ送受信部４４は、プロセッサ装置１４にデータ等を送信することが可能である。
　図４に示すように、信号処理部４５は、注目領域検出部５０と、サイズ推定部５１と、第１報知部５２と、サイズ推定制御部５３と、特定領域設定部５４と、光学情報取得部５５と、観察距離取得部５６と、第２報知部５７とを備えている。
　拡張プロセッサ装置１７は、各種処理又は制御などに関するプログラムがプログラム格納メモリ（図示しない）に組み込まれている。拡張プロセッサ装置１７側のプロセッサによって構成される中央制御部（図示しない）は、プログラム格納メモリに組み込まれたプログラムを動作することによって、注目領域検出部５０と、サイズ推定部５１と、第１報知部５２と、サイズ推定制御部５３と、特定領域設定部５４と、光学情報取得部５５と、観察距離取得部５６と、第２報知部５７との機能が実現する。
　注目領域検出部５０は、被写体画像から注目領域を検出する。図５に示すように、被写体画像ＰＳにおいて注目領域ＲＯＩ（Region Of Interest）を検出した場合には、第１報知部５２によって、注目領域ＲＯＩの周囲に、注目領域ＲＯＩが存在することを示す領域報知情報６１が拡張ディスプレイ１８に表示される。図５では、領域報知情報６１として、矩形状のバウンディングボックスが用いられる。
　なお、注目領域検出部５０で行う注目領域検出処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストを用いた学習により得られる注目領域検出用の学習モデルによる処理とすることが好ましい。すなわち、被写体画像を注目領域検出用の学習モデルに入力した場合に、注目領域検出用の学習モデルから、病変部のなどの注目領域の検出を出力することが好ましい。また、注目領域検出処理として、被写体画像の色情報、画素値の勾配等で得られる特徴量（パラメータ）を元に、注目領域の検出を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。
　なお、注目領域処理で検出される注目領域は、例えば、がんに代表される病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。認識処理は、病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。
　サイズ推定部５１は、注目領域のサイズを推定する。注目領域のサイズが推定された場合には、図６に示すように、第１報知部５２によって、注目領域ＲＯＩの近傍に、サイズ情報６２が拡張ディスプレイ１８に表示される。サイズ情報としては、例えば、「５ｍｍ」などの「数値＋サイズ用単位」で表される。
　なお、サイズ推定部５１で行うサイズ推定処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストを用いた学習により得られるサイズ推定用の学習モデルによる処理とすることが好ましい。すなわち、注目領域を含む被写体画像をサイズ推定用の学習モデルに入力した場合に、サイズ推定用の学習モデルから、注目領域に関するサイズ情報を出力することが好ましい。また、サイズ推定処理として、被写体画像の色情報、画素値の勾配等で得られる特徴量（パラメータ）を元に、サイズの推定を行ってもよい。
　サイズ推定制御部５３は、被写体画像における注目領域の位置が特定領域に含まれている場合には、サイズの推定を行い、注目領域の位置が特定領域に含まれていない場合には、サイズの推定を行わない制御を行う。特定領域の内部は、一定の精度でサイズ推定を行うことができる領域であり、特定領域の外部は、一定の精度でサイズ推定を行うことが難しい領域である。
　図７に示すように、被写体画像に対してＸ方向（第１方向）のX軸（第１軸）とＹ方向（第１方向と直交する第２方向）のY軸（第２軸）を定義した場合において、特定領域６４は、X軸の下限値を示す第１下限境界線Ｘ１、X軸の上限値を示す第１上限境界線Ｘ２、Y軸の下限値を示す第２下限境界線Ｙ１、及び、Y軸の上限値を示す第２上限境界線Ｙ２によって囲まれる矩形状領域である。
　図８に示すように、サイズ推定制御部５３は、注目領域ＲＯＩの位置（Xat、Yat）が特定領域６４の内部に有る場合（X1≦Xat≦X2、且つ、Y1≦Yat≦Y２）には、サイズ推定を行う。一方、図９に示すように、サイズ推定制御部５３は、注目領域ＲＯＩの位置が特定領域６４の外部に有る場合（Xat ＜X1、X2＜Xat、且つ、Yat＜Y1、Y２＜Yat）には、サイズ推定を行わない。
　特定領域設定部５４は、特定領域の位置、大きさ、又は範囲を設定する。具体的には、特定領域設定部５４は、被写体画像の取得に用いた撮像光学系２３に含まれる光学情報を用いて、特定領域の位置、大きさ、又は範囲を設定する。例えば、光学情報には、対物レンズ２３ａとズームレンズ２３ｂが含まれる。対物レンズ２３ａ又はズームレンズ２３ｂの収差には撮像光学系２３毎にばらつきがあるため、被写体画像の周辺画像の形状に歪み等も撮像光学系２３毎にばらつきがある。そのため、注目領域のサイズ推定の精度を決める特定領域６４の位置、大きさ、又は範囲についても、撮像光学系２３毎に異なっている。なお、光学情報に、デジタルズーム機能のズーム倍率を含めてもよい。この場合、特定領域設定部５４は、デジタルズーム機能のズーム倍率によって、特定領域の位置、大きさ、又は範囲を設定してもよい。
　特定領域設定部５４は、内視鏡１２に関する内視鏡情報から光学情報を特定する。内視鏡情報には、内視鏡１２の機種情報などが含まれる。図１０に示すように、内視鏡情報は、内視鏡１２の内視鏡情報記憶メモリ６５に記憶されている。プロセッサ装置１４に設けられた内視鏡情報取得部６６は、内視鏡１２の内視鏡情報記憶メモリ６３から内視鏡情報を読み出す。読みだされた内視鏡情報は、拡張プロセッサ装置１７の特定領域設定部５４に送信される。
　特定領域設定部５４は、内視鏡情報と光学情報とを関連付けた光学情報テーブル（図示しない）を有しており、光学情報テーブルを参照して、プロセッサ装置１４から受信した内視鏡情報に対応する光学情報を特定する。例えば、光学情報が第１光学情報の場合には、図１１（Ａ）に示すように、第１大きさを有する特定領域６４ａが設定され、光学情報が第２光学情報の場合には、図１１（Ｂ）に示すように、第１大きさと異なる第２大きさを有する特定領域６４ｂが設定される。ここで、第２光学情報は、第１光学情報よりも画像周辺部での形状歪みが大きいため、第１大きさよりも小さい第２大きさの特定領域６４ｂに設定される。なお、内視鏡情報に光学情報を含めた場合には、内視鏡情報に基づいて特定領域を設定してもよい（この場合、光学情報テーブルは不要となる）。
　また、特定領域設定部５４は、注目領域との距離を示す観察距離を用いて、特定領域の位置、大きさ、又は範囲を設定してもよい。観察距離は、内視鏡１２の先端部１２ｄと注目領域との間の距離であることが好ましい。例えば、観察距離が遠景の第１観察距離の場合には、図１２（Ａ）に示すように、第１大きさの特定領域６４ｃが設定される。また、観察距離が遠景と近景の間の第２観察距離の場合には、図１２（Ｂ）に示すように、第１大きさよりも小さい第２大きさの特定領域６４ｄが設定される。また、観察距離が近景の第３観察距離の場合には、図１２（Ｃ）に示すように、第２大きさよりも小さい第３大きさの特定領域６４ｅが設定される。これは、観察距離が小さくなるほど、画像周辺部の形状歪みが大きくなるため、それに従って、特定領域の大きさも小さくなるように設定される。なお、特定領域設定部５４は、撮像光学系２３に含まれる光学情報と観察距離の両方を用いて、特定領域の位置、大きさ、又は範囲を設定してもよい。
　なお、観察距離は、観察距離取得部５６で取得する。図１３に示すように、観察距離取得部５６は、内視鏡１２又はプロセッサ装置１４に設けられた観察距離測定部６８によって観察距離を取得する。取得した観察距離は、拡張ディスプレイ１８の観察距離取得部５６に送信される。観察距離測定部６８は、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）、超音波デバイス、鉗子デバイスなどであることが好ましい。また、図１４に示すように、内視鏡の撮像光学系２３の光軸Ａｘに対して交差するように、測距用のレーザーＬｍを照射し、被写体画像における測距用のレーザーＬｍの照射位置から観察距離を測定してもよい。この観察距離の測定方法は、測距用のレーザーＬｍを照射することで、観察距離の変化に合わせて、測距用のレーザーＬｍの照射位置が変化することを利用している。なお、測距用のレーザーＬｍは測距用レーザー発光部６９から発せられる。
　第２報知部５７は、注目領域の位置が特定領域に含まれない場合に、注目領域が特定領域に含まれるように、注目領域を移動させる方向を報知する移動誘導報知を行う。具体的には、図１５に示すように、領域報知情報６１に対して、特定領域に向かう移動誘導方向７０を移動報知情報として表示してもよい。この場合、注目領域が検出されたことと移動誘導方向に関するメッセージＭ１を合わせて表示することが好ましい。また、図１６に示すように、拡張ディスプレイ１８に、移動報知情報として、注目領域を特定領域に誘導するためのメッセージＭ２として表示してもよい。メッセージＭ２は、拡張ディスプレイ１８で破線で表示された特定領域６４の内部に注目領域ＲＯＩが入るように、内視鏡１２を操作することを促すメッセージである。なお、図１６では、領域報知情報として、注目領域ＲＯＩの周囲を囲むように、４つのＬ字図形を表示している。なお、拡張ディスプレイ１８には、本発明の「ディスプレイ」に対応している。
　第２報知部５７は、注目領域のサイズの推定を行わない場合に、サイズの推定ができないことを報知する推定不可報知を行う。推定不可報知は、被写体画像上での表示、又は、音声により行うことが好ましい。具体的には、図１７に示すように、注目領域の位置が特定領域６４の外部にある場合、注目領域がサイズ推定可能領域外であることを知らせるメッセージＭ３の表示を推定不可報知として行う。メッセージＭ２には、注目領域をサイズ推定可能領域内に入れるためのユーザーガイダンスが含まれている。また、図１８示すように、注目領域のサイズが特定領域６４の大きさよりも大きい場合には、注目領域のサイズがサイス推定不可のサイズであることを知らせるメッセージＭ４の表示を推定不可報知として行う。メッセージＭ４には、サイズを推定できるようにするためのユーザーガイダンスが含まれている。
　次に、測長モードの一連の流れについて、図１９のフローチャートに沿って説明する。ユーザーは、ユーザーインターフェース１６を操作して、測長モードに切り替える。測長モードに切り替えられると、被写体画像から注目領域を検出する処理が行われる。注目領域ＲＯＩを検出した場合には、注目領域ＲＯＩが検出されたことを報知するために、拡張ディスプレイ１８上の注目領域ＲＯＩに対して領域報知情報６１を表示する。
　注目領域ＲＯＩの位置が特定領域６４に含まれている場合には、注目領域ＲＯＩのサイズの推定が行われる。注目領域ＲＯＩのサイズの推定が完了すると、拡張ディスプレイ１８上の注目領域ＲＯＩに対してサイズ情報６２を表示する。一方、注目領域ＲＯＩの位置が特定領域６４に含まれていない場合には、注目領域ＲＯＩのサイズの推定は行われない。以上の一連の処理は、測長モードが継続する間は、繰り返し行われる。
　なお、上記実施形態では、特定領域６４は、矩形状領域（図８等参照）としているが、図２０に示すように、特定領域は、被写体画像の中心ＣＴから一定距離Ｌｐの範囲内の領域Ｒｐに含まれていればよい。例えば、図２０に示すように、領域Ｒｐに含まれる楕円領域を特定領域７２としてもよい。なお、特定領域は円領域としてもよい。
　上記実施形態において、受信部３８、信号処理部３９、表示制御部４０、システム制御部４１、静止画保存部４２、データ送受信部４３、データ送受信部４４、信号処理部４５、表示制御部４６（これら制御部等に設けられた各種の制御部又は処理部を含む）といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｆ　観察モード切替スイッチ
１２ｇ　静止画取得指示スイッチ
１２ｈ　ズーム操作部
１３　光源装置
１４　プロセッサ装置
１５　ディスプレイ
１６　ユーザーインターフェース
１７　拡張プロセッサ装置
１８　拡張ディスプレイ
２２　照明光学系
２２ａ　照明レンズ
２３　撮像光学系
２３ａ　対物レンズ
２３ｂ　ズームレンズ
３０　光源部
３１　光源用プロセッサ
３２　撮像素子
３３　撮像制御部
３４　ＣＤＳ／ＡＧＣ回路
３５　Ａ／Ｄ変換器
３６　通信Ｉ／Ｆ
３７　通信Ｉ／Ｆ
３８　受信部
３９　信号処理部
４０　表示制御部
４１　システム制御部
４２　静止画保存部
４３　データ送受信部
４４　データ送受信部
４５　信号処理部
４６　表示制御部
５０　注目領域検出部
５１　サイズ推定部
５２　第１報知部
５３　サイズ推定制御部
５４　特定領域設定部
５５　光学情報取得部
５６　観察距離取得部
５７　第２報知部
６１　領域報知情報
６２　サイズ情報
６４、６４ａ～６４ｅ、７２　特定領域
６５　内視鏡情報記憶メモリ
６６　内視鏡情報取得部
６８　観察距離測定部
６９　測距用レーザー発光部
７０　移動誘導方向
Ａｘ　光軸
ＣＴ　中心
ＬＧ　ライトガイド
Ｌｍ　測距用のレーザー
Ｌｐ　一定距離
Ｍ１～Ｍ４　メッセージ
ＰＳ　被写体画像
Ｒｐ　領域
 

Claims (15)

  1. 　プロセッサが、
    　被写体画像から注目領域を検出し、
    　前記被写体画像における前記注目領域の位置が特定領域に含まれている場合には、前記注目領域のサイズの推定を行い、少なくとも前記注目領域の位置が前記特定領域に含まれていない場合に、前記サイズの推定を行わない制御を行う内視鏡システム。
  2. 　前記プロセッサが、
    　前記被写体画像の取得に用いた撮像光学系に含まれる光学情報を用いて、前記特定領域の位置、大きさ、又は範囲を設定する請求項１記載の内視鏡システム。
  3. 　前記プロセッサが、内視鏡に関する内視鏡情報を受信し、前記内視鏡情報から前記光学情報を特定する請求項２記載の内視鏡システム。
  4. 　前記プロセッサが、前記注目領域との距離を示す観察距離を用いて、前記特定領域の位置、大きさ、又は範囲を設定する請求項１記載の内視鏡システム。
  5. 　前記被写体画像の取得に用いた撮像光学系の光軸に対して交差するように、測距用のレーザーを照射する内視鏡を有し、
    　前記プロセッサは、前記被写体画像における前記測距用のレーザーの照射位置から観察距離を測定する請求項４記載の内視鏡システム。
  6. 　前記プロセッサが、
    　前記被写体画像の取得に用いた撮像光学系に含まれる光学情報、及び、前記注目領域との距離を示す観察距離を用いて、前記特定領域の位置、大きさ、又は範囲を設定する請求項１記載の内視鏡システム。
  7. 　前記プロセッサは、前記注目領域の検出、又は、前記注目領域のサイズを報知する請求項１記載の内視鏡システム。
  8. 　前記プロセッサは、
    　前記注目領域の位置が前記特定領域に含まれない場合に、前記注目領域が前記特定領域に含まれるように、前記注目領域を移動させる方向を報知する移動誘導報知を行う請求項１記載の内視鏡システム。
  9. 　前記プロセッサは、前記注目領域の位置が前記特定領域に含まれない場合、又は、前記注目領域のサイズが前記特定領域の大きさよりも大きくて、前記サイズの推定を行わない場合に、前記サイズの推定ができないことを報知する推定不可報知を行う請求項１記載の内視鏡システム。
  10. 　前記推定不可報知は、前記被写体画像上に表示、又は、音声で行う請求項９記載の内視鏡システム。
  11. 　前記特定領域は、前記被写体画像の中心から一定距離の範囲内の領域に含まれている請求項１記載の内視鏡システム。
  12. 　前記被写体画像に対して第１方向の第１軸と前記第１方向と直交する第２方向の第２軸を定義した場合において、前記特定領域は、前記第１軸の下限値を示す第１下限境界線、前記第１軸の上限値を示す第１上限境界線、前記第２軸の下限値を示す第２下限境界線、及び、前記第２軸の上限値を示す第２上限境界線によって囲まれる矩形状領域である請求項１１記載の内視鏡システム。
  13. 　前記特定領域は円又は楕円領域である請求項１１記載の内視鏡システム。
  14. 　前記プロセッサは、前記特定領域をディスプレイに表示する請求項１ないし１３いずれか１項記載の内視鏡システム。
  15. 　プロセッサが、
    　被写体画像から注目領域を検出するステップと、
    　前記被写体画像における前記注目領域の位置が特定領域に含まれている場合には、前記注目領域のサイズの推定を行い、少なくとも前記注目領域の位置が前記特定領域に含まれていない場合に、前記サイズの推定を行わない制御を行うステップとを有する内視鏡システムの作動方法。
PCT/JP2022/017485 2021-04-23 2022-04-11 内視鏡システム及びその作動方法 WO2022224859A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023516450A JPWO2022224859A1 (ja) 2021-04-23 2022-04-11
US18/490,785 US20240049942A1 (en) 2021-04-23 2023-10-20 Endoscope system and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-073355 2021-04-23
JP2021073355 2021-04-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/490,785 Continuation US20240049942A1 (en) 2021-04-23 2023-10-20 Endoscope system and method of operating the same

Publications (1)

Publication Number Publication Date
WO2022224859A1 true WO2022224859A1 (ja) 2022-10-27

Family

ID=83722988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017485 WO2022224859A1 (ja) 2021-04-23 2022-04-11 内視鏡システム及びその作動方法

Country Status (3)

Country Link
US (1) US20240049942A1 (ja)
JP (1) JPWO2022224859A1 (ja)
WO (1) WO2022224859A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124823A (ja) * 2003-10-23 2005-05-19 Olympus Corp 内視鏡装置
JP2012039255A (ja) * 2010-08-04 2012-02-23 Olympus Corp 画像処理装置、画像処理方法、撮像装置及びプログラム
JP2012205619A (ja) * 2011-03-29 2012-10-25 Olympus Medical Systems Corp 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2014207645A (ja) * 2013-04-16 2014-10-30 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
WO2020012872A1 (ja) * 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
WO2020189334A1 (ja) * 2019-03-20 2020-09-24 富士フイルム株式会社 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124823A (ja) * 2003-10-23 2005-05-19 Olympus Corp 内視鏡装置
JP2012039255A (ja) * 2010-08-04 2012-02-23 Olympus Corp 画像処理装置、画像処理方法、撮像装置及びプログラム
JP2012205619A (ja) * 2011-03-29 2012-10-25 Olympus Medical Systems Corp 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2014207645A (ja) * 2013-04-16 2014-10-30 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
WO2020012872A1 (ja) * 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
WO2020189334A1 (ja) * 2019-03-20 2020-09-24 富士フイルム株式会社 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム

Also Published As

Publication number Publication date
US20240049942A1 (en) 2024-02-15
JPWO2022224859A1 (ja) 2022-10-27

Similar Documents

Publication Publication Date Title
JP6785941B2 (ja) 内視鏡システム及びその作動方法
US11010891B2 (en) Medical image processing apparatus, endoscope apparatus, diagnostic support apparatus, and medical service support apparatus
WO2017199531A1 (ja) 撮像装置及び内視鏡
EP2647331A1 (en) Endoscopic image processing apparatus and program
US20190083180A1 (en) Medical image processing apparatus, medical image processing method, and program
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
EP3875021A1 (en) Medical image processing apparatus, medical image processing method and program, and diagnosis assisting apparatus
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2019037688A (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP7389257B2 (ja) 内視鏡システム及びその作動方法
JP7116264B2 (ja) 内視鏡システム及びその作動方法
US11490784B2 (en) Endoscope apparatus
WO2022224859A1 (ja) 内視鏡システム及びその作動方法
JP7167352B2 (ja) 内視鏡システム及びその作動方法
WO2022230563A1 (ja) 内視鏡システム及びその作動方法
JP2018157918A (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
JP2021108793A (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
US20220378276A1 (en) Endoscopy service support device, endoscopy service support system, and method of operating endoscopy service support device
US20230240511A1 (en) Endoscope system and endoscope system operation method
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7166467B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
US11182897B2 (en) Medical image processing device, medical observation device, medical observation system, operation method in medical image processing device, and computer-readable recording medium
CN114098611B (zh) 一种内窥镜系统及其成像调节方法
WO2021192524A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2022113811A1 (ja) 手術システム、手術用制御装置、制御方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22791633

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023516450

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22791633

Country of ref document: EP

Kind code of ref document: A1