WO2023145448A1 - 内視鏡システム、制御方法、及びプログラム - Google Patents

内視鏡システム、制御方法、及びプログラム Download PDF

Info

Publication number
WO2023145448A1
WO2023145448A1 PCT/JP2023/000542 JP2023000542W WO2023145448A1 WO 2023145448 A1 WO2023145448 A1 WO 2023145448A1 JP 2023000542 W JP2023000542 W JP 2023000542W WO 2023145448 A1 WO2023145448 A1 WO 2023145448A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
determination
image
mask
determination result
Prior art date
Application number
PCT/JP2023/000542
Other languages
English (en)
French (fr)
Inventor
昌嗣 村北
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023145448A1 publication Critical patent/WO2023145448A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Definitions

  • the present disclosure relates to an endoscope system, a control method, and a program, and more particularly to an endoscope system, a control method, and a program that can suppress erroneous determination when determining an observation region.
  • surgical endoscopes use a camera head with a scope connected, and the surgical field is observed by inserting the scope into the patient.
  • the scope is removable, and the surgical staff selects the scope to use from among multiple types. At this time, since mechanical vignetting and properties differ depending on the type of scope, it becomes necessary to adjust subsequent image processing according to the type of scope. Therefore, there is a need for a method of determining the type of scope.
  • Patent Document 1 As this type of determination method, for example, the technology disclosed in Patent Document 1 is known.
  • Patent Document 1 a plurality of evaluation frames arranged at predetermined intervals are set with respect to an endoscopic image captured using a scope, and an evaluation value is calculated for each of the plurality of set evaluation frames.
  • the type of scope is estimated based on the relationship between the evaluation values obtained.
  • the amount of reflected light is large when there are bright objects such as forceps or gauze in the imaging area, or when the scope is inserted into the patient's body. Therefore, the vignetting area becomes bright temporarily, and there is a possibility that an erroneous determination may occur when determining the observation area corresponding to the type of scope.
  • the present disclosure has been made in view of such circumstances, and is intended to suppress erroneous determination when determining the observation region.
  • An endoscope system includes an imaging device that is connected to an insertion section, receives light guided through the insertion section with an image sensor and captures an image, and a control device that controls the imaging device.
  • the control device has one or more processors and one or more storage devices storing a program, and the processor executes the program to cause
  • An endoscope system that determines the size of an observation area, which is an area different from the generated vignetting area, at least twice, and executes parameter change processing based on the determination result based on the comparison result of comparing the determination results of the two or more times. is.
  • a control device that controls an imaging device that receives light guided through the insertion section to which an insertion section is connected with an image sensor and captures the image is captured by the insertion section.
  • a program provides a computer with a vignetting area generated on the image sensor by the insertion section connected to an imaging device that receives and images light guided through the insertion section by the image sensor. is a program that determines the size of observation regions, which are different regions, at least two times or more, and functions as a control device that executes parameter change processing based on the determination results based on the comparison result of comparing the determination results of the two or more times. .
  • the image is captured by the insertion section connected to an imaging device that receives light guided through the insertion section with an image sensor and captures the image.
  • the size of the observation area which is an area different from the vignetting area generated on the sensor, is determined at least twice, and the parameter change processing based on the determination result is executed based on the comparison result of comparing the determination results of the two or more times. .
  • imaging device and the control device included in the endoscope system may be independent devices, or may be internal blocks forming one device.
  • FIG. 1 is a diagram showing a schematic configuration example of an endoscope system to which technology according to the present disclosure is applied;
  • FIG. It is a figure which shows the example of a detailed structure of an endoscope.
  • 3 is a block diagram showing a detailed configuration example of a camera head and a control device;
  • FIG. It is a figure which shows the structural example of a control program.
  • It is a figure which shows the 1st example of an endoscope image.
  • FIG. 10 is a diagram showing a second example of an endoscopic image; 4 is a flowchart for explaining the flow of a first process;
  • FIG. 10 is a diagram showing an example of multiple evaluation frames set in the first process;
  • FIG. FIG. 10 is a flowchart for explaining the flow of second processing;
  • FIG. 10 is a diagram showing an example of multiple evaluation frames set in the second process;
  • FIG. FIG. 13 is a flowchart for explaining the flow of the third process;
  • FIG. FIG. 11 is a diagram showing an example of multiple evaluation frames set in the third process;
  • FIG. 10 is a diagram showing an example of a plurality of evaluation frames set in high-precision calculation processing;
  • FIG. 10 is a diagram showing an example of a plurality of evaluation frames set in high-precision calculation processing;
  • 10 is a flowchart for explaining the flow of confirmation processing;
  • FIG. 10 is a diagram showing an example of recognition results and mask diameter information notified to an external module; It is a figure which shows the example of a display of mask diameter information.
  • FIG. 10 is a diagram showing a display example of a virtual frame;
  • FIG. 1 is a diagram showing a schematic configuration example of an endoscope system to which technology according to the present disclosure is applied.
  • FIG. 1 shows an operator (physician) 3 performing surgery on a patient 4 on a patient bed 2 using an endoscopic surgery system 1 .
  • an endoscopic surgery system 1 includes an endoscope 10, other surgical instruments 20 such as a pneumoperitoneum tube 21, an energy treatment instrument 22, and forceps 23, and a support arm device for supporting the endoscope 10. 30 and a cart 50 loaded with various devices for endoscopic surgery.
  • the endoscope 10 is composed of a scope 101 that is inserted into the body of the patient 4 at a predetermined length from the distal end, and a camera head 102 that is connected to the proximal end of the scope 101 .
  • FIG. 1 illustrates the endoscope 10 configured as a rigid scope having a scope 101 as a rigid barrel
  • the endoscope 10 is configured as a flexible scope having a flexible barrel.
  • the tip of the scope 101 is provided with an opening into which an objective lens is fitted.
  • a light source device 53 is connected to the endoscope 10, and light (irradiation light) generated by the light source device 53 is guided to the tip of the lens barrel by a light guide extending inside the scope 101.
  • the objective lens Through the objective lens, the object to be observed inside the body of the patient 4 is irradiated.
  • the endoscope 10 may be a straight scope, a perspective scope, or a side scope.
  • the camera head 102 is internally provided with an optical system and an imaging device, and the optical system collects light (observation light) reflected from an observation target on the imaging device.
  • the imaging device photoelectrically converts the observation light to generate an image signal corresponding to the subject image. This image signal is transmitted to the control device 51 as RAW data (RAW image).
  • the control device 51 is a camera control unit (CCU: Camera Control Unit) including a processor such as a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), a storage device, and the like.
  • the control device 51 centrally controls the operation of each device including the endoscope 10 and the display device 52 . Further, the control device 51 receives an image signal from the camera head 102 and processes various images for displaying an observation image (display image) based on the image signal, such as development processing (demosaicing processing), for example. process.
  • the display device 52 displays a display image based on the image signal subjected to image processing by the control device 51 under the control of the control device 51 .
  • the light source device 53 includes a light source such as an LED (Light Emitting Diode).
  • the light source device 53 supplies irradiation light to the endoscope 10 when imaging an operation site or the like.
  • the irradiation light includes, for example, normal light such as white light as light in the first wavelength band (first wavelength light), and special light such as IR (Infrared) light as light in the second wavelength band (second wavelength light). including light.
  • IR light may include NIR (Near Infrared) light.
  • the input device 54 is an input interface for the endoscopic surgery system 1.
  • the user can input various information and instructions to the endoscopic surgery system 1 via the input device 54 .
  • the user inputs an instruction or the like to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 10 .
  • the treatment instrument control device 55 controls driving of the energy treatment instrument 22 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 56 sends gas into the body through the pneumoperitoneum tube 21 in order to inflate the body cavity of the patient 4 for the purpose of securing the field of view of the endoscope 10 and securing the operator's working space.
  • the recorder 57 is a device capable of recording various types of information regarding surgery.
  • the printer 58 is a device capable of printing various types of information regarding surgery in various formats such as text, images, and graphs.
  • FIG. 2 shows a detailed configuration example of the endoscope 10 of FIG.
  • the endoscope 10 includes a scope 101 and a camera head 102.
  • the scope 101 is connected to the light source device 53 via the light guide 121
  • the camera head 102 is connected to the control device 51 via the transmission cable 122 .
  • the control device 51 is connected to the display device 52 via a transmission cable 123 and to the light source device 53 via a transmission cable 124 .
  • the scope 101 is configured as a rigid endoscope. That is, the scope 101 is an insertion portion (barrel) that is hard or at least partially soft, has an elongated shape, and is inserted into the body of the patient 4 .
  • the scope 101 is provided with an optical system configured using one or a plurality of lenses and condensing an object image.
  • the light source device 53 is connected to one end of the light guide 121 and supplies irradiation light for illuminating the inside of the body to the one end of the light guide 121 under the control of the control device 51 .
  • the transmission cable 124 transmits control signals from the control device 51 to the light source device 53 .
  • the light guide 121 transmits the irradiation light supplied from the light source device 53 from one end to the other end, and supplies it to the scope 101 .
  • the irradiation light supplied to the scope 101 is emitted from the tip of the scope 101 and irradiated into the body. Observation light (object image) that is irradiated into the body and reflected inside the body is condensed by the optical system in the scope 101 .
  • the camera head 102 is detachably connected to the proximal end (eyepiece 111) of the scope 101.
  • the camera head 102 captures observation light (object image) condensed by the scope 101 under the control of the control device 51, and outputs an image signal (RAW data) obtained as a result.
  • the image signal is, for example, an image signal corresponding to 4K resolution (eg, 3840 ⁇ 2160 pixels). A detailed configuration of the camera head 102 will be described later with reference to FIG.
  • the transmission cable 122 transmits image signals and the like output from the camera head 102 to the control device 51 . Also, the transmission cable 122 transmits control signals, synchronization signals, electric power, etc. output from the control device 51 to the camera head 102 . It should be noted that the transmission of the image signal and the like via the transmission cable 122 may be performed by transmitting the image signal and the like as an electric signal or as an optical signal. The same applies to transmission of control signals, synchronization signals, etc. via the transmission cable 122 . Further, the communication between the camera head 102 and the control device 51 is not limited to wired communication using the transmission cable 122, and wireless communication conforming to a predetermined communication method may be performed.
  • the transmission cable 123 transmits the image signal processed by the control device 51 and the control signal output from the control device 51 to the display device 52 .
  • the display device 52 displays a display image based on the image signal from the control device 51 under the control of the control device 51 .
  • the display device 52 can output sound (audio) based on the control signal from the control device 51 .
  • the control device 51 includes a processor, a storage device, and the like, and outputs control signals and the like to each device including the light source device 53, the camera head 102, and the display device 52, thereby comprehensively controlling the operation of each device. Control.
  • the control device 51 also processes image signals and the like output from the camera head 102, and controls the operation of each device based on the processing results. A detailed configuration of the control device 51 will be described later with reference to FIG.
  • FIG. 3 is a block diagram showing a detailed configuration example of the camera head 102 and the control device 51 shown in FIGS. 1 and 2.
  • the camera head 102 is an example of an imaging device to which the technology according to the present disclosure is applied, and captures an image by receiving light guided through the scope 101 with an image sensor.
  • the control device 51 is an example of a control device to which technology according to the present disclosure is applied, and controls the camera head 102 .
  • the camera head 102 includes a lens unit 151, an image sensor 152, a drive circuit 153, a communication circuit 154, and a camera head control circuit 155.
  • the camera head 102 and the control device 51 are communicably connected to each other via a transmission cable 122 .
  • the lens unit 151 is an optical system provided at the connection with the scope 101 . Observation light captured from the tip of the scope 101 is guided to the camera head 102 and enters the lens unit 151 .
  • the lens unit 151 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image sensor 152 includes, for example, an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and a signal processing circuit (AD conversion circuit, etc.).
  • the number of imaging elements constituting the image sensor 152 may be one (so-called single-plate type) or plural (so-called multi-plate type).
  • the image sensor 152 does not necessarily have to be provided on the camera head 102 .
  • the image sensor 152 may be provided inside the scope 101 immediately after the objective lens.
  • the drive circuit 153 is configured by an actuator or the like, and moves the zoom lens and focus lens included in the lens unit 151 by a predetermined distance along the optical axis under control from the camera head control circuit 155 . Thereby, the magnification and focus of the image captured by the image sensor 152 are appropriately adjusted.
  • the communication circuit 154 is configured by a communication device for transmitting and receiving various information to and from the control device 51.
  • the communication circuit 154 transmits image signals obtained from the image sensor 152 to the control device 51 via the transmission cable 122 as RAW data.
  • the communication circuit 154 also receives a control signal for controlling driving of the camera head 102 from the control device 51 and supplies it to the camera head control circuit 155 .
  • the control signal includes, for example, information regarding imaging conditions, such as information specifying the frame rate of an image, the exposure value at the time of imaging, and the magnification and focus of an image.
  • the imaging conditions such as the frame rate, exposure value, magnification, focus, etc. may be appropriately designated by the user's operation, or may be automatically set by the control device 51 (the processor 161 thereof) based on the acquired image signal.
  • the control device 51 the processor 161 thereof
  • the endoscope 10 is equipped with an AE (Auto Exposure) function, an AF (Auto Focus) function, and an AWB (Auto White Balance) function.
  • the camera head control circuit 155 controls driving of the camera head 102 based on control signals from the control device 51 received via the communication circuit 154 .
  • the control device 51 includes processors 161-1 to 161-i, storage devices 162-1 to 162-j, and a communication circuit 163.
  • i and j are integers of 1 or more, and the control device 51 has one or more processors 161 and one or more storage devices 162 .
  • the processors 161-1 to 161-i will be referred to as the processor 161 when there is no particular need to distinguish between them.
  • the storage devices 162-1 to 162-j are referred to as storage devices 162 when there is no particular need to distinguish them.
  • the processor 161 is a processor such as a CPU.
  • the processor 161 can implement various functions by reading and executing the control program stored in the storage device 162 .
  • the processor 161 performs various controls related to imaging of an operation site or the like by the endoscope 10 and display of an endoscopic image (medical image) obtained by imaging the operation site or the like.
  • the processor 161 generates control signals for controlling driving of the camera head 102 .
  • the processor 161 performs various image processing on the image signal transmitted from the camera head 102 .
  • the processor 161 causes the display device 52 to display a display image (endoscopic image) showing the surgical site and the like based on the image signal subjected to the image processing.
  • the processor 161 may recognize various objects in the image using various image recognition techniques.
  • the processor 161 detects the shape, color, and the like of the edges of objects included in the image, thereby recognizing surgical instruments such as forceps, specific body parts, bleeding, and mist during use of the energy treatment instrument 22. be able to.
  • the processor 161 may use the recognition result to superimpose and display various surgical assistance information on the image of the surgical site.
  • the storage device 162 is a storage device such as a semiconductor storage device or HDD (Hard Disk Drive).
  • the storage device 162 stores programs such as a control program executed by the processor 161, information (data, parameters, etc.) necessary for processing by the processor 161, and the like.
  • the communication circuit 163 is composed of a communication device for transmitting and receiving various information to and from the camera head 102 .
  • the communication circuit 163 receives image signals transmitted from the camera head 102 via the transmission cable 122 .
  • the communication circuit 163 also transmits a control signal for controlling driving of the camera head 102 to the camera head 102 .
  • Image signals and control signals can be transmitted by electrical communication, optical communication, or the like.
  • FIG. 4 is a diagram showing a configuration example of a control program.
  • the control program 171 is stored in the storage device 162 and read and executed by the processor 161 .
  • the control program 171 includes an evaluation frame setting unit 181, an evaluation value calculation unit 182, an evaluation value determination unit 183, a determination result setting unit 184, a determination result determination unit 185, and a notification target setting unit 186.
  • the evaluation frame setting unit 181 sets a plurality of evaluation frames arranged at predetermined intervals with respect to the endoscopic image (RAW image) corresponding to the image signal (RAW data).
  • the evaluation frame is an area that is arbitrarily set with respect to an area (RAW image area) corresponding to an imaging surface of an image sensor having a predetermined array pattern such as a Bayer array, and is information about brightness, for example. This is a frame for acquiring an evaluation value such as (luminance information).
  • the evaluation value calculation unit 182 calculates an evaluation value for each of the plurality of evaluation frames set by the evaluation frame setting unit 181. As this evaluation value, for example, luminance information (luminance value) within each evaluation frame is calculated.
  • the evaluation value determination unit 183 determines the relationship (correlation) between the evaluation values for each of the plurality of evaluation frames calculated by the evaluation value calculation unit 182. Here, for example, the relationship between evaluation values corresponding to evaluation frames arranged adjacently or at regular intervals is determined.
  • the determination result setting unit 184 sets the determination result according to the relationship of the evaluation values determined by the evaluation value determination unit 183 .
  • the determination result determination unit 185 determines whether the determination results set by the determination result setting unit 184 are the same for a predetermined number of times in succession.
  • the notification target setting unit 186 sets a notification target to be notified to the external module based on the determination result of the determination result determination unit 185 .
  • the endoscope 10 allows the operator 3 to observe the operative field by inserting the scope 101 connected to the camera head 102 into the body of the patient 4. .
  • FIG. 5 shows an example of an endoscopic image 200 based on an image signal obtained by imaging a subject image condensed by the scope 101 with the camera head 102 .
  • left and right black areas represent vignetting areas 200A in which mechanical vignetting occurs
  • the subject image area represents an observation area 200B.
  • the vignetting area 200A can also be said to be a mask area (black area).
  • the observation area 200B is an effective area different from the vignetting area 200A.
  • a mask edge 220 is defined as a boundary between the vignetting area 200A and the observation area 200B.
  • the scope 101 having an elongated shape is attached to the endoscope 10, the shape of the subject image collected by the scope 101 and the imaging surface of the image sensor 152 of the camera head 102 do not match.
  • the scope 101 causes mechanical vignetting.
  • mechanical vignetting is vignetting that occurs on the image sensor 152 of the camera head 102 .
  • the endoscopic image 200 is displayed by the display device 52 as a display image after being subjected to various image processing by the control device 51 .
  • the operator 3 can perform treatment such as excision of the affected area using the surgical instrument 20 such as the energy treatment instrument 22 while viewing the displayed image in real time.
  • the scope 101 is detachable, and the surgical staff selects the scope 101 to be used from among multiple types of scopes. At this time, since mechanical vignetting and properties differ depending on the type of scope 101 used, it becomes necessary to adjust subsequent image processing according to the type of scope 101 . Therefore, a method of determining the observation area 200B corresponding to the type of the scope 101 is required.
  • Patent Document 1 proposes a method of determining the type of scope 101 to be used with a smaller amount of calculation when determining the type of scope 101 to be used.
  • determination processing of the observation region 200B corresponding to the type of the scope 101 is continuously performed, and determination is made as to whether or not the determination results have continued for a predetermined number of times, thereby suppressing erroneous determination. Suggest a method.
  • an image corresponding to the imaging surface of the image sensor 152 of the camera head 102 will be referred to as an endoscopic image.
  • step S10 the evaluation frame setting unit 181 sets a plurality of evaluation frames for the image (RAW image) corresponding to the image signal from the camera head 102.
  • the evaluation frame for example, as shown in FIG. 8, an evaluation frame 210 is provided at each of the central portion and the four corners of the peripheral portion of the endoscopic image 200 .
  • a rectangular evaluation frame 210-0 (hereinafter also abbreviated as 0 frame) is provided in the center, and the four corners of the upper left, lower left, upper right, and lower right are provided.
  • the size of the rectangles of evaluation frames 210-1 to 210-4 is smaller than the size of the rectangle of evaluation frame 210-0.
  • the diameter of the scope 101 used in the endoscope 10 corresponds to the mask edge 220 in the endoscopic image 200, and the position where the mask edge 220 is assumed to be detected in the endoscopic image 200 is Since it is known in advance from the design point of view, evaluation frames 210-0 to 210-4 are provided here to determine whether or not the vignetting area 200A is included.
  • each mask edge 220 is "TYPE1" for the mask edge 220-1 and "TYPE2" for the mask edge 220-2.
  • ", "TYPE3” is assigned to the mask edge 220-3, and "TYPE4" is assigned to the mask edge 220-4.
  • the evaluation value calculation unit 182 calculates evaluation values according to the central 0 frame and the 1st to 4th frames of the four peripheral corners shown in FIG.
  • this evaluation value for example, a feature value obtained from the endoscopic image 200 such as a luminance value can be used.
  • step S11 the evaluation values for each of the plurality of evaluation frames 210 are collectively calculated.
  • the evaluation value for the evaluation frame 210 may be calculated sequentially.
  • the calculation method of this evaluation value is the same for the second process and the third process, which will be described later.
  • step S12 the evaluation value determination unit 183 determines that the evaluation value of at least one of the 1 to 4 peripheral frames is lower than the evaluation value of the center 0 frame, based on the calculation result of the evaluation value of each frame. Determine whether is greater than
  • step S12 it is determined that the evaluation values of the four peripheral corner frames 1 to 4 are greater than the evaluation value of the center 0 frame, that is, the central portion of the endoscopic image 200 is dark and the peripheral portion is bright. In that case, the process proceeds to step S13. Then, in step S13, the determination result setting unit 184 sets the mask type to "no rigid scope".
  • step S12 if it is determined that the evaluation values of the 1st to 4th frames at the four peripheral corners are smaller than the evaluation value of the 0th frame in the center, the process proceeds to step S14.
  • the evaluation value determination unit 183 determines whether the evaluation value of at least one frame out of the 1 to 4 peripheral frames exceeds a predetermined threshold based on the calculation result of the evaluation value of the target frame. judge.
  • step S14 If it is determined in step S14 that the evaluation values of the 1st to 4th frames at the four peripheral corners exceed the predetermined threshold value, that is, the entire image is bright, the process proceeds to step S13. "No rigid endoscope" is set.
  • step S14 if it is determined that the evaluation values of the 1st to 4th frames of the four peripheral corners are equal to or less than the predetermined threshold value, the process proceeds to step S15.
  • the evaluation value determination unit 183 determines whether the evaluation value of the center 0 frame is equal to or less than a predetermined threshold based on the calculation result of the evaluation value of the target frame.
  • step S15 If it is determined in the determination processing in step S15 that the evaluation value of the central 0 frame is equal to or less than the threshold value, that is, that the endoscopic image 200 is entirely black, the processing proceeds to step S13, and the mask "Without rigid endoscope" is set as the type.
  • step S15 if it is determined that the evaluation value of the center 0 frame exceeds the predetermined threshold value, the process proceeds to step S16.
  • the evaluation value determination unit 183 determines whether the luminance difference between the 1st to 4th frames at the four peripheral corners and the 0th frame in the center is equal to or less than a predetermined threshold based on the calculation result of the evaluation value of the target frame. do.
  • step S16 If it is determined in step S16 that the luminance difference is equal to or less than the predetermined threshold value, the process proceeds to step S13, and "without rigid scope" is set as the mask type.
  • step S12, S14, S15, and S16 If the decision processing in steps S12, S14, S15, and S16 is affirmative (“Yes”), “no rigid scope” is set as the mask type (S13), and the process proceeds to step S17. be advanced. In step S17, the determination result setting unit 184 sets the recognition result to "stopped”. After that, the process returns to step S10, and the first process described above is repeated.
  • step S16 if it is determined that the luminance difference exceeds the predetermined threshold value, the processing proceeds to step S18.
  • the determination result setting unit 184 sets the recognition result to "successful recognition".
  • the processor 161 of the control device 51 executes the second process following the first process. Details of the second process will be described later with reference to FIG. 9 and the like.
  • step S ⁇ b>30 the evaluation frame setting unit 181 sets a plurality of evaluation frames for the image corresponding to the image signal from the camera head 102 .
  • an evaluation frame 210 is provided in the central portion of the endoscopic image 200 and its horizontal direction (X direction).
  • a rectangular evaluation frame 210-4 (hereinafter abbreviated as evaluation frame 4) is provided in the central portion including the approximate center of gravity.
  • Rectangular evaluation frames 210-0 to 210-3 (hereinafter referred to as Evaluation frames 0, 1, 2, and 3) are provided at predetermined intervals, and rectangular evaluation frames 210-5 to 210-8 (hereinafter referred to as evaluation frames 5, 6, 7 and 8) are provided at predetermined intervals.
  • Evaluation frames 210-0 to 210-3 and evaluation frames 210-5 to 210-8 discretely arranged on the left and right sides of the central portion have the same size as the evaluation frames arranged in the central portion. It is smaller than the size of the rectangle of 210-4.
  • "discretely” means that the plurality of evaluation frames 210 are not arranged continuously.
  • evaluation frames 0 to 8 are discretely provided at predetermined intervals in the horizontal direction.
  • the evaluation frame 0 is evaluated so that the detection position of the mask edge 220-1 is within the evaluation frame 210.
  • a frame 1 and an evaluation frame 7 and an evaluation frame 8 are provided.
  • the detection position of the mask edge 220-2, the evaluation frame 2 and the evaluation frame 3, and the evaluation frame 5 and the evaluation frame 6 are detected between the evaluation frames 1 and 2 and between the evaluation frames 6 and 7, respectively.
  • the detection position of the mask edge 220-4 is between the evaluation frames 3 and 4, and between the evaluation frames 4 and 5, respectively.
  • the evaluation value calculation unit 182 calculates evaluation values according to the evaluation frames 0 to 8 shown in FIG.
  • this evaluation value for example, a feature value obtained from the endoscopic image 200 such as a luminance value can be used.
  • step S32 the evaluation value determination unit 183 determines that there is an edge between the evaluation frame 0 and the evaluation frame 1 based on the calculation results of the evaluation values of the evaluation frames 0 and 1 and the evaluation frames 7 and 8, and the evaluation Determine if there is an edge between frame 7 and evaluation frame 8.
  • the difference between the luminance value obtained from the evaluation frame 0 and the luminance value obtained from the evaluation frame 1, and the difference between the luminance value obtained from the evaluation frame 7 and the luminance value obtained from the evaluation frame 8 are calculated. , with a predetermined threshold value, and determining whether the luminance difference between them exceeds the predetermined threshold value, thereby determining whether there is an edge (mask edge 220-1) between the evaluation frames 210. be able to.
  • the evaluation frame 0 and the evaluation frame 1 are determined. It can be determined whether there is an edge in between.
  • the evaluation frame 7 and the evaluation frame 8 It can be determined whether there is an edge between
  • threshold determination may be performed for each integral value of luminance values within each evaluation frame.
  • This integrated value can be obtained by dividing the sum of the luminance values of all pixels within each evaluation frame by the number of pixels. That is, by determining whether the integrated value of the luminance values within the evaluation frame 0 exceeds the threshold (X) and the integrated value of the luminance values within the evaluation frame 1 exceeds the threshold (X), the determination results , it can be determined whether there is an edge between evaluation window 0 and evaluation window 1.
  • the threshold (X) is managed by a table, and different values are set for the vignetting area 200A and the observation area 200B, for example.
  • the presence or absence of an edge is determined based on whether the integrated values of the luminance values of the evaluation frames 0 and 1 are threshold-determined and the determination result satisfies a predetermined condition.
  • the presence or absence of an edge may be determined based on whether the integrated value of the luminance values of the evaluation frames 0 to 3 is threshold-determined and whether the determination result satisfies a predetermined condition.
  • a statistical quantity such as a maximum value, a median value, a variance value, etc. can be used in addition to the average value and the integrated value.
  • step S32 If it is determined to be affirmative ("Yes") in the determination process of step S32, the process proceeds to step S33.
  • step S33 the determination result setting unit 184 sets the mask type to "TYPE1".
  • step S34 the evaluation value determination unit 183 determines that there is an edge between the evaluation frame 1 and the evaluation frame 2 based on the calculation results of the evaluation values of the evaluation frames 1 and 2 and the evaluation frames 6 and 7, and the evaluation Determine whether there is an edge between the frame 6 and the evaluation frame 7. If it is determined to be affirmative in the determination process of step S34, the process proceeds to step S35. In step S35, the determination result setting unit 184 sets the mask type to "TYPE2".
  • step S34 determines that there is an edge between the evaluation frame 2 and the evaluation frame 3 based on the calculation results of the evaluation values of the evaluation frames 2 and 3 and the evaluation frames 5 and 6, and the evaluation Determine if there is an edge between frame 5 and evaluation frame 6. If it is determined to be affirmative in the determination process of step S36, the process proceeds to step S37. In step S37, the determination result setting unit 184 sets the mask type to "TYPE3".
  • step S36 determines that there is an edge between the evaluation frame 3 and the evaluation frame 4 based on the calculation results of the evaluation values of the evaluation frames 3 and 4 and the evaluation frames 4 and 5, and the evaluation Determine if there is an edge between frame 4 and evaluation frame 5. If it is determined to be affirmative in the determination process of step S38, the process proceeds to step S39. In step S39, the determination result setting unit 184 sets the mask type to "TYPE4".
  • step S40 the determination result setting unit 184 sets the recognition result to "recognition success”.
  • the processor 161 of the control device 51 executes the third process following the second process. Details of the third process will be described later with reference to FIG. 11 and the like.
  • step S38 determines whether the determination process in step S38 is negative. If the determination process in step S38 is negative, the process proceeds to step S41. Then, the determination result setting unit 184 sets the mask type to "no rigid scope” (S41), and sets the recognition result to "stopped” (S42). After that, the process returns to step S10 in FIG. 7, and the above-described first process is executed.
  • step S50 the determination result setting unit 184 determines whether the mask type has been set to "TYPE3" or "TYPE4" in the second process. That is, in this example, since the vertical detection positions of the mask edges 220-1 and 220-2 of "TYPE1" and “TYPE2" are located outside the endoscopic image 200, the mask edges 220-1 and 220-2 220-2 processing is excluded.
  • step S50 determines whether the determination process in step S50 is affirmative. If the determination process in step S50 is affirmative, the process proceeds to step S51.
  • step S ⁇ b>51 the evaluation frame setting section 181 sets a plurality of evaluation frames for the image corresponding to the image signal from the camera head 102 .
  • an evaluation frame 210 is provided in the central portion of the endoscopic image 200 and its vertical direction (Y direction).
  • a rectangular evaluation frame 210-4 (hereinafter abbreviated as evaluation frame 4) is provided in the central portion including the approximate center of gravity.
  • Rectangular evaluation frames 210-0 and 210-1 (hereinafter referred to as Evaluation frames 0 and 1) are provided at predetermined intervals, and rectangular evaluation frames 210-2 and 210-3 (hereinafter also abbreviated as evaluation frames 2 and 3) are provided below the evaluation frames in the vertical direction. ) are provided at predetermined intervals.
  • Evaluation frames 210-0, 210-1, and evaluation frames 210-2, 210-3 which are discretely arranged above and below the central portion at predetermined intervals, have the same size as the evaluation frames arranged in the central portion. It is smaller than the size of the rectangle of 210-4.
  • Evaluation frames 210-0 to 210-3 are discretely provided at predetermined intervals in the vertical direction. Specifically, the detection position of the mask edge 220-3 between the evaluation frame 0 and the evaluation frame 1, and between the evaluation frame 2 and the evaluation frame 3, the evaluation frame 1 and the evaluation frame 4, and the evaluation frame 2 and the evaluation frame 4 so that the detection position of the mask edge 220-4 is located between each of them.
  • the evaluation value calculation unit 182 calculates evaluation values according to the evaluation frames 0 to 4 shown in FIG.
  • this evaluation value for example, a feature value obtained from the endoscopic image 200 such as a luminance value can be used.
  • step S53 the evaluation value determination unit 183 determines that there is an edge between the evaluation frame 0 and the evaluation frame 1 based on the calculation results of the evaluation values of the evaluation frames 0 and 1 and the evaluation frames 2 and 3, and the evaluation Determine if there is an edge between frame 2 and evaluation frame 3.
  • the difference between the luminance value obtained from the evaluation frame 0 and the luminance value obtained from the evaluation frame 1, and the difference between the luminance value obtained from the evaluation frame 2 and the luminance value obtained from the evaluation frame 3 are calculated. , with a predetermined threshold, and determining whether there is an edge (mask edge 220-3) between the evaluation frames 210 by determining whether their luminance difference exceeds the predetermined threshold. be able to.
  • the evaluation frame 0 and the evaluation frame 1 are determined. It can be determined whether there is an edge in between.
  • the evaluation frame 2 and the evaluation frame 3 It can be determined whether there is an edge between
  • threshold determination may be performed for each integral value of luminance values within each evaluation frame. That is, by determining whether the integrated value of the luminance values within the evaluation frame 0 exceeds the threshold (X) and the integrated value of the luminance values within the evaluation frame 1 exceeds the threshold (X), the determination results , it can be determined whether there is an edge between evaluation window 0 and evaluation window 1. The same applies to the evaluation frame 2 and the evaluation frame 3.
  • the threshold (X) is managed by a table.
  • step S53 If the determination process in step S53 is affirmative, the process proceeds to step S54.
  • step S54 the determination result setting unit 184 sets the mask type determined in the second process to "TYPE3".
  • step S53 determines that there is an edge between the evaluation frame 1 and the evaluation frame 4 based on the calculation results of the evaluation values of the evaluation frames 1 and 4 and the evaluation frames 2 and 4, and the evaluation Determine if there is an edge between frame 2 and evaluation frame 4. If it is determined to be affirmative in the determination process of step S55, the process proceeds to step S56. In step S56, the determination result setting unit 184 sets the mask type determined in the second process to "TYPE4".
  • step S54 the process proceeds to step S57.
  • step S57 the determination result setting unit 184 sets the recognition result to "recognition success”.
  • step S58 the determination result setting unit 184 determines whether the mask type determined in the second process is "TYPE4" and the mask type determined in the third process is set to "TYPE3".
  • step S58 the determination process in step S58 is affirmative, the process proceeds to step S59.
  • step S59 the determination result setting unit 184 sets the mask type to "TYPE4". That is, in this case, the mask diameter detected in the horizontal direction by the second processing is adopted, assuming that the mask diameter in the vertical direction is detected to be large due to light leakage. By selecting and determining a narrower mask diameter in this manner, it is possible to more reliably prevent the vignetting region 200A from being included in subsequent processing, for example.
  • step S58 determines whether the mask type determined in the second process is "TYPE3" and the mask type determined in the third process is set to "TYPE4".
  • step S60 the determination result setting unit 184 sets the mask type to "TYPE4". That is, in this case, for example, assuming that the mask diameter in the horizontal direction is detected to be large due to light leakage, the mask diameter detected in the vertical direction is adopted by the third processing, and the vignetting area 200A is more reliably included. I try not to
  • step S59 or S61 If the process of step S59 or S61 is completed, or if the determination process of step S60 is negative, the process proceeds to step S62. Furthermore, even if it is determined to be negative in the determination process of step S50 described above, the process proceeds to step S62.
  • step S62 it is determined whether or not the high-accuracy calculation mode is set as the operation mode.
  • the mode for executing the first to third processes is called the normal mode
  • the mode for calculating the mask diameter size with higher precision than the normal mode is called the high-precision calculation mode.
  • first to third processing are executed.
  • a high-precision calculation process (S63) is performed.
  • step S62 If it is determined in step S62 that the high-accuracy calculation mode is set, the process proceeds to step S63.
  • step S63 the processor 161 of the control device 51 executes high-precision calculation processing. Details of the high-precision calculation process will be described later with reference to FIGS.
  • step S62 If it is determined in step S62 that the high-accuracy calculation mode is not set, that is, the normal mode is set, the process of step S63 is skipped. Then, if the process of step S63 is executed in the high-accuracy calculation mode, or if the process of step S63 is skipped in the normal mode, the processor 161 of the control device 51 executes confirmation processing, which will be described later with reference to FIG. be.
  • the flow of the first to third processes has been described above.
  • the 0 center frame and the 1st to 4th frames at the four peripheral corners of the endoscopic image 200 are set as the evaluation frames 210, and the evaluation for each of the evaluation frames 210 is performed.
  • the evaluation for each of the evaluation frames 210 is performed.
  • evaluation frames 210-0 to 210-8 are arranged discretely at predetermined intervals in the horizontal direction with respect to the endoscopic image 200.
  • a mask type corresponding to the position of the edge is set based on the relationship of the evaluation values for each of the evaluation frames 210 .
  • the first process is repeated when the edge corresponding to the evaluation frame 210 is not detected, while the third process is executed when the edge corresponding to the evaluation frame 210 is detected.
  • evaluation frames 210-0 to 210-4 are discretely set at predetermined intervals in the vertical direction with respect to the endoscopic image 200.
  • the mask type is set (reset) according to the position of the edge based on the relationship of the evaluation values for each of the evaluation frames 210 .
  • the horizontal and vertical directions are arranged such that the plurality of evaluation frames 210 are point-symmetrical with respect to the substantial center of gravity of the endoscopic image 200 .
  • the second process or the third process is executed to evaluate in only one of the horizontal direction and the vertical direction.
  • a frame 210 may be set for evaluation.
  • the case where a plurality of evaluation frames 210 are discretely arranged at predetermined intervals has been shown, but it is assumed that some of the evaluation frames 210 are continuously arranged.
  • the number of the plurality of evaluation frames 210 that are discretely arranged is arbitrary.
  • the positions at which the plurality of evaluation frames 210 are arranged are also arbitrary.
  • the shape of the discretely arranged evaluation frames 210 is not limited to a rectangle, and may be another shape, and it is not necessary that all the evaluation frames 210 have the same shape.
  • the intervals at which the plurality of evaluation frames 210 are arranged may not be constant intervals.
  • Edges may be detected using a quantitative value (for example, a feature amount such as an edge amount or a black area amount) representing an edge or black area included in the frame 210 as an evaluation value.
  • a quantitative value for example, a feature amount such as an edge amount or a black area amount
  • a process for calculating detailed mask edges in the horizontal direction (X direction) is performed according to the determination results of the second process and the third process described above.
  • a plurality of evaluation frames 210 are set according to the detected position of the mask edge 220-3, as shown in FIG.
  • the detection position of the mask edge 220-3 is located on the left side in the horizontal direction so as to be substantially symmetrical about the center of gravity of the endoscopic image 200 (left-right symmetry about the Y-axis).
  • Evaluation frames 210-0 to 210-4 corresponding to the detection position of the mask edge 220-3 are continuously provided, and evaluation frames 210-5 to 210-9 corresponding to the detection position of the mask edge 220-3 are provided on the right side in the horizontal direction. Each is provided consecutively.
  • Each evaluation frame 210 is provided with a start position and an end position in the horizontal direction (X direction).
  • the start position indicates the left end position of each evaluation frame 210 in the X direction
  • the end position indicates the right end position of each evaluation frame 210 in the X direction.
  • the evaluation frames 210-0 to 210-4 and the evaluation frames 210-5 to 210-9 are continuously arranged symmetrically in the horizontal direction with respect to the endoscopic image 200.
  • the left edge position and the right edge position in the mask diameter can be set based on the relationship of the evaluation values for each of the frames 210 .
  • a process for calculating detailed mask edges in the vertical direction (Y direction) is performed according to the determination results of the second process and the third process described above.
  • "TYPE3" is set as the mask type, so as shown in FIG. 14, a plurality of evaluation frames 210 are provided according to the detection positions of the mask edge 220-3.
  • the detection position of the mask edge 220-3 is located above the vertical direction so as to be substantially symmetrical about the center of gravity of the endoscopic image 200 (vertical symmetry with the X axis as the axis of symmetry).
  • Evaluation frames 210-0 to 210-4 corresponding to the detection position of the mask edge 220-3 are continuously provided, and evaluation frames 210-5 to 210-9 corresponding to the detection position of the mask edge 220-3 are provided below the evaluation frames in the vertical direction. are provided consecutively.
  • Each evaluation frame 210 is provided with a start position and an end position in the vertical direction (Y direction).
  • the start position indicates the position of the upper end of each evaluation frame 210 in the Y direction
  • the end position indicates the position of the lower end of each evaluation frame 210 in the Y direction.
  • the evaluation frames 210-0 to 210-4 and the evaluation frames 210-5 to 210-9 are continuously arranged vertically symmetrically with respect to the endoscopic image 200.
  • the edge upper end position and the edge lower end position in the mask diameter can be set based on the relationship of the evaluation values for each of the frames 210 .
  • the mask type of the vignetting area 200A included in the endoscopic image 200 is set based on the relationship of the evaluation values according to the plurality of evaluation frames 210, and the mask type The edge left end position, edge right end position, edge top end position, and edge bottom end position in the mask diameter corresponding to are set respectively.
  • step S111 the determination result determining unit 185 determines whether the recognition result is "recognition successful" for N consecutive times and the mask type is the same mask type for N consecutive times.
  • the number of consecutive times N is the number of times, such as 10 times, and it is determined whether or not the determination results (recognition results and mask diameter information) have been the same for a predetermined number of times in succession by comparing with a preset threshold value.
  • a preset threshold value For example, when the scope 101 is inserted into the body of the patient 4, it is performed via a trocar, and the use of the trocar may cause an erroneous determination, such as light leakage.
  • the number of consecutive times N is estimated to withstand the disturbance, and the threshold is set.
  • the time interval between the normal mode processes repeated N times is represented by image frames output in time series, it corresponds to about 5 frames.
  • N the number of consecutive times N can be reduced.
  • the time interval and the number of consecutive times are set so that the parameter change processing based on the judgment result of erroneous judgment is not performed before and after that. A threshold setting is required.
  • the threshold value used in determining the number of consecutive times N is not limited to disturbance caused by the use of the trocar, but may be applied to disturbance caused by the presence of a high-brightness object such as the forceps 23 or gauze in the imaging area of the image sensor 152. may be determined accordingly. Also, the threshold used in determining the number of consecutive times N may be changed according to the operation mode or the observation mode.
  • the operation mode includes modes corresponding to operations such as a laparoscopic mode, a cystoscope mode, and an otorhinolaryngological mode. For example, since the ear canal is narrow, it is easy to make an erroneous determination. Therefore, when the ear, nose, and throat mode is determined, the threshold may be changed from 10 times to 60 times.
  • Observation modes include modes such as normal light observation mode and special light observation mode.
  • the normal light observation mode is a mode in which a white image captured when white light is emitted from the light source device 53 is displayed on the display device 52 .
  • the special light observation mode is a mode in which a special light image captured when special light such as IR light or narrow band light is emitted from the light source device 53 is displayed on the display device 52 .
  • step S111 If the determination process in step S111 is affirmative ("Yes"), the process proceeds to step S112.
  • step S112 the notification target setting unit 186 sets the recognition result and the mask diameter information determined in this process as notification targets to be notified to the external module.
  • step S111 determines whether the determination process in step S111 is negative ("No"), the process proceeds to step S113.
  • the notification target setting unit 186 sets the recognition result and mask diameter information determined in the previous process as notification targets to be notified to the external module.
  • FIG. 16 is a diagram showing an example of the recognition result and mask diameter information notified to the external module.
  • a value indicating "stopping” or “successful recognition” is set in the recognition result.
  • Values indicating "TYPE0”, “TYPE1”, “TYPE2”, “TYPE3”, and “TYPE4" are set in the mask diameter information as mask types.
  • "TYPE0” represents nothing (no rigid endoscope).
  • "TYPE1”, “TYPE2”, “TYPE3”, and “TYPE4" represent the size of the mask diameter, and the size of the mask diameter decreases in order. In other words, the largest size is “TYPE1” (large), the next largest is “TYPE2” (medium), the next largest is “TYPE3” (small), and the largest “TYPE4" (extremely small) is the smallest.
  • the normal mode processing is repeated 10 times at predetermined time intervals, and the recognition result obtained by the normal mode processing is 10 times. If “recognition is successful” continuously and the mask type obtained by the normal mode processing is "TYPE4" ten times in a row, the decision processing in step S111 is determined to be affirmative ("Yes”). . In this case (S111: “Yes"), a recognition result of "recognition success” and a mask type of "TYPE4" are set as notification targets (S112).
  • step S111 It is determined to be negative (“No”) in the determination process.
  • the notification target is not the recognition result and mask type obtained in the current process (the normal mode process that is the target of the determination this time), but the mask type determined in the previous process.
  • the recognition result and mask type are set.
  • the default notification target at the start of processing can be set, and for example, "TYPE4" (very small), which has the smallest size, can be set as the default mask type.
  • step S112 When the process of step S112 or step S113 ends, the process proceeds to step S114.
  • step S114 the set recognition result and mask diameter information are notified to the external module.
  • External modules include, for example, modules related to AE and AF. That is, when performing AE or AF, it is necessary to set an evaluation frame area within the observation area 200B, which is the effective area in the endoscopic image 200. By notifying the module, it is possible to set an evaluation frame within the observation area 200B. As a result, the modules related to AE or AF can perform AE or AF control based on the pixel signals within the evaluation frame set within the observation area 200B.
  • the mask diameter information and the like are repeatedly determined at predetermined time intervals, and when the determination results (mask diameter information and the like) are the same for a predetermined number of times (for example, 10 times), the determination Parameter change processing (for example, processing for changing the area of the AE or AF evaluation frame) based on the result (mask diameter information, etc.) is executed. That is, only when the determination result is the same for a predetermined number of times in succession, the parameter is switched to the parameter corresponding to the determination result. Note that if the same notification target is set repeatedly for the same external module, it is not necessary to notify the determination result for the second and subsequent times.
  • the determination Parameter change processing for example, processing for changing the area of the AE or AF evaluation frame
  • the high-precision calculation processing (S63) is executed in addition to the first to third processing.
  • the edge left end position, the edge right end position, the edge top end position, and the edge bottom end position are set respectively. Therefore, using these edge positions, the diameter of the mask diameter and the center position of the mask can be obtained.
  • the high-precision calculation mode is set as the operation mode.
  • the processing in the high-precision calculation mode is repeatedly executed, and for example, when at least one of the diameter of the mask diameter and the center position of the mask is the same for a predetermined number of times (for example, 10 times) in succession, the determination result A parameter change process based on (at least one of the diameter of the mask diameter and the center position of the mask) can be performed.
  • the diameter of the mask diameter and the center position of the mask are always obtained with high accuracy, and the evaluation frame can be set more accurately.
  • AF control can be executed.
  • step S114 ends, the series of processes ends, the process returns to step S10 in FIG. 7, and the above-described processes are repeated.
  • the size of the observation area which is different from the vignetting area generated on the image sensor 152 by the scope 101, is repeatedly determined at predetermined time intervals, and the determination results (mask diameter information, etc.) obtained by the determination are continuously displayed. is the same for a predetermined number of times, parameter change processing based on the determination result is executed.
  • the size of the observation area is determined at least twice, and the parameter changing process is executed based on the comparison results obtained by comparing the determination results of the two or more determinations.
  • the type (mask type) of the scope 101 is determined in order to determine the size of the observation area.
  • the observation area determination processing (normal mode processing) corresponding to the type (mask type) of the scope 101 is repeatedly performed at predetermined time intervals, and it is determined whether or not the determination results have continued for a predetermined number of times.
  • the mask determination process is performed when operating in the normal light observation mode, but may be performed when operating in the special light observation mode.
  • processing including at least normal mode processing that is repeatedly executed at predetermined time intervals is called mask determination processing.
  • a confirmation process may be included in the mask determination process.
  • parameters based on the determination result (mask diameter information, etc.) obtained during operation in the normal light observation mode can be used. That is, when switching to the special light observation mode, the mask determination process is stopped, and the parameter corresponding to the determination result when operating in the normal light observation mode immediately before switching to the special light observation mode is set to the special light observation mode. It is preferably used when operating in
  • the mask determination process may be restarted. Switching between the normal light observation mode and the special light observation mode may be performed according to the user's operation on the input device 54, or an operating room integration system connected to the endoscopic surgery system 1 via a network. (not shown).
  • the value of the number of times N may be set to 60, for example, when performing the mask determination process.
  • the area of the evaluation frame for AE or AF may be fixed at the center.
  • AE control may be performed only with the white image captured when the white light is irradiated, or the white image may be extracted by image processing and the mask determination process may be performed. Since replacement is rare, it is rational to stop the mask determination process.
  • each RGB signal included in the image signal output from the camera head 102 may be weighted.
  • an icon 251 corresponding to the scope 101 that is presumed to be currently connected may be displayed.
  • the mask type "TYPE4" is set as the mask diameter information by the mask determination process, so the icon 251 indicating "TYPE4" is displayed.
  • the icon 251 can be displayed at a predetermined timing, such as when the mask determination process is executed or when the notified mask diameter information is changed (when the scope 101 is replaced).
  • a virtual frame 252 may be displayed in an observation area 200B included in the endoscopic image 200 to indicate an effective area for AE or AF.
  • the mask determination process can be stopped.
  • a region of the forceps 23, gauze, or the like may be specified in the endoscopic image 200 and excluded from the target region.
  • the presence of the forceps 23, gauze, etc. may be determined when the determination result of the mask determination process fluctuates significantly, or when the fluctuations occur many times in a short period of time. Alternatively, it may be determined that the forceps 23, gauze, or the like is present when it is determined that the mask diameter information has changed without going through the state in which the scope 101 is detached.
  • the evaluation value of the region determined to be the vignetting region 200A is measured, and mask determination processing is performed.
  • the threshold used in the mask determination process may be changed.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, both a plurality of devices housed in separate enclosures and connected via a network and a single device housing a plurality of modules within a single enclosure are systems.
  • the present disclosure can be configured as follows.
  • an imaging device to which an insertion section is connected, for receiving light guided through the insertion section with an image sensor and capturing an image
  • a control device that controls the imaging device
  • the control device has one or more processors and one or more storage devices storing programs, By executing the program, the processor determining the size of an observation region, which is a region different from the vignetting region generated on the image sensor by the insertion unit, at least twice;
  • An endoscope system that executes parameter change processing based on a determination result based on a comparison result obtained by comparing determination results of two or more times.
  • the processor repeatedly determining the size of the observation region at predetermined time intervals; The endoscope system according to (1), wherein the parameter changing process is executed when the determination result is the same for a predetermined number of times in succession. (3) The processor If the determination result is the same for a predetermined number of times in a row, the parameter based on the determination result obtained in this determination is used, The endoscope system according to (2) above, wherein when the determination result is not the same for a predetermined number of times in succession, a parameter based on the determination result obtained in the previous determination is used. (4) The endoscope system according to any one of (1) to (3), wherein the parameter change processing includes processing for changing an evaluation frame area of AE (Auto Exposure) or AF (Auto Focus).
  • AE Auto Exposure
  • AF Automatic Focus
  • the processor compares the number of consecutive determination results with a predetermined threshold according to the disturbance, thereby determining whether the determination results are the same for a predetermined number of times in succession (2) or (3)
  • the endoscope system according to (5) wherein the processor changes the threshold according to an operation mode or an observation mode.
  • the processor when switching from the normal light observation mode to the special light observation mode, uses a parameter based on a determination result obtained during operation in the normal light observation mode. endoscope system.
  • the processor controls display of information about the size of the insertion portion corresponding to the size of the observation area together with the endoscopic image based on the image signal output from the imaging device.
  • the endoscope system according to any one of the above.
  • a control device that controls an imaging device that is connected to an insertion portion and that receives light guided through the insertion portion with an image sensor and captures an image, determining the size of an observation region, which is a region different from the vignetting region generated on the image sensor by the insertion unit, at least twice;
  • the size of an observation area which is an area different from the vignetting area generated on the image sensor by the insertion section connected to an imaging device that receives and images light guided through the insertion section by the image sensor, is at least 2 determined more than once,
  • a program that functions as a control device that executes parameter change processing based on the determination result based on the comparison result obtained by comparing the determination result of two or more times.
  • 1 endoscopic surgery system 10 endoscope, 20 surgical instruments, 30 support arm device, 51 control device, 52 display device, 53 light source device, 54 input device, 55 treatment instrument control device, 56 pneumoperitoneum device, 57 recorder , 58 printer, 101 scope, 102 camera head, 151 lens unit, 152 image sensor, 153 drive circuit, 154 communication circuit, 155 camera head control circuit, 161, 161-1 to 161-i processor, 162, 162-1 to 162-j storage device, 163 communication circuit, 171 control program, 181 evaluation frame setting unit, 182 evaluation value calculation unit, 183 evaluation value determination unit, 184 determination result setting unit, 185 determination result determination unit, 186 notification target setting unit

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、観察領域を判定する際に誤判定を抑制することができるようにする内視鏡システム、制御方法、及びプログラムに関する。 挿入部が接続され、挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置と、撮像装置を制御する制御装置とを備え、制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージデバイスとを有し、プロセッサは、プログラムを実行することにより、挿入部によりイメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する内視鏡システムが提供される。本開示は、例えば、手術用内視鏡を用いた内視鏡システムに適用することができる。

Description

内視鏡システム、制御方法、及びプログラム
　本開示は、内視鏡システム、制御方法、及びプログラムに関し、特に、観察領域を判定する際に誤判定を抑制することができるようにした内視鏡システム、制御方法、及びプログラムに関する。
　一般的に、手術用内視鏡はスコープが接続されたカメラヘッドを使用し、当該スコープを患者に挿入することで術野の観察を行う。
　スコープは取り外し可能であり、複数の種類のスコープの中から使用するスコープが手術スタッフにより選択される。このとき、スコープの種類によって機械的なケラレや性質が異なるため、スコープの種類によって後段の画像処理を調整する必要が生じる。そのため、スコープの種類について判別する方法が求められている。
　この種の判別方法としては、例えば、特許文献１に開示されている技術が知られている。特許文献１では、スコープを用いて撮像された内視鏡画像に対して所定の間隔で配置される複数の評価枠を設定し、設定した複数の評価枠のそれぞれに関する評価値を算出し、算出した評価値の関係性に基づいて、スコープの種類を推定している。
特開2020-162803号公報
　手術用内視鏡を用いた医療現場においては、鉗子やガーゼのような高輝度被写体が撮像領域に存在しているときや、スコープを患者の体内に挿入するときに、反射光の光量が大きいためにケラレ領域が一時的に明るくなり、スコープの種類に対応した観察領域を判定するに際して誤判定が生じる恐れがある。
　本開示はこのような状況に鑑みてなされたものであり、観察領域を判定する際に誤判定を抑制することができるようにするものである。
　本開示の一側面の内視鏡システムは、挿入部が接続され、前記挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置と、前記撮像装置を制御する制御装置とを備え、前記制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージデバイスとを有し、前記プロセッサは、前記プログラムを実行することにより、前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する内視鏡システムである。
　本開示の一側面の制御方法は、挿入部が接続され前記挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置を制御する制御装置が、前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する制御方法である。
　本開示の一側面のプログラムは、コンピュータを、挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置に接続される前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する制御装置として機能させるプログラムである。
　本開示の一側面の内視鏡システム、制御方法、及びプログラムにおいては、挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置に接続される前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズが少なくとも２回以上判定され、２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理が実行される。
　なお、本開示の一側面の内視鏡システムが備える撮像装置と制御装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本開示に係る技術を適用した内視鏡システムの概略的な構成例を示す図である。 内視鏡の詳細な構成例を示す図である。 カメラヘッド及び制御装置の詳細な構成例を示すブロック図である。 制御プログラムの構成例を示す図である。 内視鏡画像の第１の例を示す図である。 内視鏡画像の第２の例を示す図である。 第１の処理の流れを説明するフローチャートである。 第１の処理で設定される複数の評価枠の例を示す図である。 第２の処理の流れを説明するフローチャートである。 第２の処理で設定される複数の評価枠の例を示す図である。 第３の処理の流れを説明するフローチャートである。 第３の処理で設定される複数の評価枠の例を示す図である。 高精度算出処理で設定される複数の評価枠の例を示す図である。 高精度算出処理で設定される複数の評価枠の例を示す図である。 確定処理の流れを説明するフローチャートである。 外部モジュールに通知される認識結果とマスク径情報の例を示す図である。 マスク径情報の表示例を示す図である。 仮想枠の表示例を示す図である。
＜システム構成＞
　本開示に係る技術が適用され得るシステムの概要を説明する。図１は、本開示に係る技術を適用した内視鏡システムの概略的な構成例を示す図である。
　図１では、術者(医師)３が、内視鏡手術システム１を用いて、患者ベッド２上の患者４に手術を行っている様子が示されている。図１において、内視鏡手術システム１は、内視鏡１０と、気腹チューブ２１やエネルギー処置具２２、鉗子２３等の、その他の術具２０と、内視鏡１０を支持する支持アーム装置３０と、内視鏡手術のための各種の装置が搭載されたカート５０とから構成される。
　内視鏡１０は、先端から所定の長さの領域が患者４の体内に挿入されるスコープ１０１と、スコープ１０１の基端に接続されるカメラヘッド１０２とから構成される。図１の例では、硬性の鏡筒としてのスコープ１０１を有する硬性鏡として構成される内視鏡１０を例示しているが、内視鏡１０は、軟性の鏡筒を有する軟性鏡として構成されてもよい。
　スコープ１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０には光源装置５３が接続されており、光源装置５３によって生成された光(照射光)が、スコープ１０１の内部に延設されるライトガイドによって鏡筒の先端まで導光され、対物レンズを介して患者４の体内の観察対象に向かって照射される。内視鏡１０は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１０２は、その内部に光学系及び撮像素子が設けられ、光学系によって、観察対象からの反射された光(観察光)が撮像素子に集光される。撮像素子では、観察光を光電変換して被写体像に対応する画像信号が生成される。この画像信号は、RAWデータ(RAW画像)として制御装置５１に送信される。
　制御装置５１は、CPU(Central Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)、及びストレージデバイス等を含んで構成されるカメラコントロールユニット(CCU：Camera Control Unit)である。制御装置５１は、内視鏡１０及び表示装置５２を含む各装置の動作を統括的に制御する。また、制御装置５１は、カメラヘッド１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)など、画像信号に基づく観察画像(表示画像)を表示するための各種の画像処理を施す。
　表示装置５２は、制御装置５１からの制御に従い、制御装置５１によって画像処理が施された画像信号に基づく表示画像を表示する。光源装置５３は、例えばLED(Light Emitting Diode)等の光源を含んで構成される。光源装置５３は、術部等を撮影する際の照射光を内視鏡１０に供給する。照射光は、例えば、第１の波長帯域の光(第１波長光)として白色光等の通常光と、第２の波長帯域の光(第２波長光)としてIR(Infrared)光等の特殊光を含む。IR光は、NIR(Near Infrared)光を含んでいてもよい。
　入力装置５４は、内視鏡手術システム１に対する入力インターフェースである。ユーザは、入力装置５４を介して、内視鏡手術システム１に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１０による撮像条件(照射光の種類や倍率、焦点距離等)を変更する旨の指示等を入力する。
　処置具制御装置５５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具２２の駆動を制御する。気腹装置５６は、内視鏡１０による視野の確保及び術者の作業空間の確保の目的で、患者４の体腔を膨らめるために、気腹チューブ２１を介して体内にガスを送り込む。レコーダ５７は、手術に関する各種の情報を記録可能な装置である。プリンタ５８は、手術に関する各種の情報を、テキスト、画像又はグラフ等の各種の形式で印刷可能な装置である。
　図２は、図１の内視鏡１０の詳細な構成例を示している。
　図２において、内視鏡１０は、スコープ１０１、及びカメラヘッド１０２を含んで構成される。内視鏡１０においては、スコープ１０１がライトガイド１２１を介して光源装置５３と接続され、カメラヘッド１０２が伝送ケーブル１２２を介して制御装置５１と接続される。制御装置５１は、伝送ケーブル１２３を介して表示装置５２と、伝送ケーブル１２４を介して光源装置５３とそれぞれ接続される。
　スコープ１０１は、硬性鏡として構成されている。すなわち、スコープ１０１は、硬質又は少なくとも一部が軟質で細長形状を有し、患者４の体内に挿入される挿入部(鏡筒)である。スコープ１０１内には、１又は複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。
　光源装置５３は、ライトガイド１２１の一端が接続され、制御装置５１の制御に従い、ライトガイド１２１の一端に体内を照明するための照射光を供給する。伝送ケーブル１２４は、制御装置５１からの制御信号を光源装置５３に伝送する。ライトガイド１２１は、光源装置５３から供給された照射光を一端から他端に伝達し、スコープ１０１に供給する。スコープ１０１に供給された照射光は、スコープ１０１の先端から出射され、体内に照射される。体内に照射され、体内で反射された観察光(被写体像)は、スコープ１０１内の光学系により集光される。
　カメラヘッド１０２は、スコープ１０１の基端(接眼部１１１)に着脱自在に接続される。カメラヘッド１０２は、制御装置５１からの制御に従い、スコープ１０１にて集光された観察光(被写体像)を撮像し、その結果得られる画像信号(RAWデータ)を出力する。画像信号は、例えば、４Ｋ解像度(例えば３８４０×２１６０ピクセル)に対応した画像信号とされる。カメラヘッド１０２の詳細な構成については、図３を参照して後述する。
　伝送ケーブル１２２は、カメラヘッド１０２から出力される画像信号等を制御装置５１に伝送する。また、伝送ケーブル１２２は、制御装置５１から出力される制御信号、同期信号、及び電力等をカメラヘッド１０２にそれぞれ伝送する。なお、伝送ケーブル１２２を介した画像信号等の伝送は、画像信号等を電気信号で伝送してもよく、あるいは光信号で伝送しても構わない。伝送ケーブル１２２を介した制御信号、同期信号等の伝送も同様である。また、カメラヘッド１０２と制御装置５１との間の通信は、伝送ケーブル１２２を用いた有線通信に限らず、所定の通信方式に準拠した無線通信が行われてもよい。
　伝送ケーブル１２３は、制御装置５１にて処理された画像信号、及び制御装置５１から出力される制御信号を表示装置５２に伝送する。表示装置５２は、制御装置５１からの制御に従い、制御装置５１からの画像信号に基づく表示画像を表示する。表示装置５２は、制御装置５１からの制御信号に基づいて、音(音声)を出力することができる。
　制御装置５１は、プロセッサとストレージデバイス等を含んで構成され、制御信号等を光源装置５３、カメラヘッド１０２、及び表示装置５２を含む各装置に出力することで、各装置の動作を統括的に制御する。また、制御装置５１は、カメラヘッド１０２から出力される画像信号等を処理し、その処理結果に基づいて各装置の動作を制御する。制御装置５１の詳細な構成については、図３を参照して後述する。
　図３は、図１と図２に示したカメラヘッド１０２及び制御装置５１の詳細な構成例を示すブロック図である。カメラヘッド１０２は、本開示に係る技術を適用した撮像装置の一例であり、スコープ１０１を介して導光された光をイメージセンサで受光して撮像する。制御装置５１は、本開示に係る技術を適用した制御装置の一例であり、カメラヘッド１０２を制御する。
　カメラヘッド１０２は、レンズユニット１５１、イメージセンサ１５２、駆動回路１５３、通信回路１５４、及びカメラヘッド制御回路１５５を含んで構成される。カメラヘッド１０２と制御装置５１とは、伝送ケーブル１２２によって互いに通信可能に接続されている。
　レンズユニット１５１は、スコープ１０１との接続部に設けられる光学系である。スコープ１０１の先端から取り込まれた観察光は、カメラヘッド１０２まで導光され、レンズユニット１５１に入射する。レンズユニット１５１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　イメージセンサ１５２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の撮像素子や信号処理回路(AD変換回路等)を含んで構成される。イメージセンサ１５２を構成する撮像素子は、１つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。イメージセンサ１５２は、必ずしもカメラヘッド１０２に設けられなくてもよい。例えば、イメージセンサ１５２は、スコープ１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動回路１５３は、アクチュエータ等によって構成され、カメラヘッド制御回路１５５からの制御により、レンズユニット１５１に含まれるズームレンズやフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、イメージセンサ１５２により撮像される画像の倍率及び焦点が適宜調整される。
　通信回路１５４は、制御装置５１との間で各種の情報を送受信するための通信装置によって構成される。通信回路１５４は、イメージセンサ１５２から得られる画像信号をRAWデータとして伝送ケーブル１２２を介して制御装置５１に送信する。また、通信回路１５４は、制御装置５１から、カメラヘッド１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御回路１５５に供給する。この制御信号には、例えば、画像のフレームレートや撮像時の露出値、画像の倍率及び焦点を指定する情報など、撮像条件に関する情報が含まれる。
　上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザの操作によって適宜指定されてもよいし、取得された画像信号に基づいて制御装置５１(のプロセッサ１６１)によって自動的に設定されてもよい。つまり、後者の場合には、AE(Auto Exposure)機能、AF(Auto Focus)機能、及びAWB(Auto White Balance)機能が内視鏡１０に搭載されていることになる。
　カメラヘッド制御回路１５５は、通信回路１５４を介して受信した制御装置５１からの制御信号に基づいて、カメラヘッド１０２の駆動を制御する。
　制御装置５１は、プロセッサ１６１－１乃至１６１－ｉ、ストレージデバイス１６２－１乃至１６２－ｊ、及び通信回路１６３を含んで構成される。ただし、ｉ，ｊは、１以上の整数であり、制御装置５１は、１以上のプロセッサ１６１と、１以上のストレージデバイス１６２とを有する。以下の説明では、プロセッサ１６１－１乃至１６１－ｉを特に区別する必要がない場合、プロセッサ１６１と記述する。同様に、ストレージデバイス１６２－１乃至１６２－ｊを特に区別する必要がない場合、ストレージデバイス１６２と記述する。
　プロセッサ１６１は、CPU等のプロセッサである。プロセッサ１６１は、ストレージデバイス１６２に記憶された制御プログラムを読み出して実行することで、各種機能を実現することができる。プロセッサ１６１は、内視鏡１０による術部等の撮像、及び術部等の撮像により得られる内視鏡画像(医用画像)の表示に関する各種の制御を行う。例えば、プロセッサ１６１は、カメラヘッド１０２の駆動を制御するための制御信号を生成する。
　また、プロセッサ１６１は、カメラヘッド１０２から送信された画像信号に対して各種の画像処理を施す。プロセッサ１６１は、画像処理が施された画像信号に基づいて、術部等が映った表示画像(内視鏡画像)を表示装置５２に表示させる。このとき、プロセッサ１６１は、各種の画像認識技術を用いて画像内における各種の物体を認識してもよい。
　例えば、プロセッサ１６１は、画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具２２の使用時のミスト等を認識することができる。プロセッサ１６１は、表示装置５２に画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を術部の画像に重畳表示させてもよい。
　ストレージデバイス１６２は、半導体記憶デバイスやHDD(Hard Disk Drive)等の記憶装置である。ストレージデバイス１６２は、プロセッサ１６１が実行する制御プログラム等のプログラムや、プロセッサ１６１による処理に必要な情報(データやパラメータ等)などを記憶する。
　通信回路１６３は、カメラヘッド１０２との間で各種の情報を送受信するための通信装置によって構成される。通信回路１６３は、カメラヘッド１０２から、伝送ケーブル１２２を介して送信される画像信号を受信する。また、通信回路１６３は、カメラヘッド１０２に対して、カメラヘッド１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
＜制御プログラム構成＞
　図４は、制御プログラムの構成例を示す図である。制御プログラム１７１は、ストレージデバイス１６２に記憶され、プロセッサ１６１により読み出されて実行される。
　制御プログラム１７１は、評価枠設定部１８１、評価値算出部１８２、評価値判定部１８３、判定結果設定部１８４、判定結果判定部１８５、及び通知対象設定部１８６を含む。
　評価枠設定部１８１は、画像信号(RAWデータ)に応じた内視鏡画像(RAW画像)に対して所定の間隔で配置される複数の評価枠を設定する。ここで、評価枠は、ベイヤー配列等の所定の配列パターンを有する撮像素子の撮像面に対応した領域(RAW画像の領域)に対し、任意に設定される領域であって、例えば明るさに関する情報(輝度情報)等の評価値を取得するための枠である。
　評価値算出部１８２は、評価枠設定部１８１により設定された複数の評価枠のそれぞれに関する評価値を算出する。この評価値としては、例えば、各評価枠内の輝度情報(輝度値)が算出される。
　評価値判定部１８３は、評価値算出部１８２により算出された複数の評価枠ごとの評価値の関係性(相関関係)を判定する。ここでは、例えば、隣接又は一定間隔で配置された評価枠に応じた評価値の関係性が判定される。判定結果設定部１８４は、評価値判定部１８３により判定された評価値の関係性に応じた判定結果に関する設定を行う。
　判定結果判定部１８５は、判定結果設定部１８４により設定された判定結果が連続で所定の回数同一であるかどうかを判定する。通知対象設定部１８６は、判定結果判定部１８５による判定の結果に基づいて、外部モジュールに通知する通知対象を設定する。
＜本開示に係る発明の概要＞
　ところで、内視鏡１０は、カメラヘッド１０２に接続されたスコープ１０１が患者４の体内に挿入されることで、術者３により術野の観察が行われるのは、先に述べたとおりである。
　例えば、図５は、スコープ１０１にて集光された被写体像が、カメラヘッド１０２により撮像されることで得られる画像信号に基づく内視鏡画像２００の例を示している。内視鏡画像２００では、左右の黒領域が機械的なケラレが生じているケラレ領域２００Ａを表し、被写体像の領域が観察領域２００Ｂを表している。ケラレ領域２００Ａは、マスク領域(黒領域)であるとも言える。観察領域２００Ｂは、ケラレ領域２００Ａとは異なる有効領域である。ケラレ領域２００Ａと観察領域２００Ｂとの境界がマスクエッジ２２０とされる。
　すなわち、内視鏡１０では、細長形状からなるスコープ１０１を取り付けているが、スコープ１０１にて集光された被写体像と、カメラヘッド１０２のイメージセンサ１５２の撮像面の形状が一致していないため、スコープ１０１により機械的なケラレが生じてしまう。つまり、機械的なケラレは、カメラヘッド１０２のイメージセンサ１５２上に生じるケラレである。
　内視鏡画像２００は、制御装置５１により各種の画像処理が施されることで、表示画像として表示装置５２により表示される。例えば、図６に示すように、術者３は、表示画像をリアルタイムで見ながら、エネルギー処置具２２等の術具２０を用いて、患部を切除するなどの処置を行うことができる。
　ここで、内視鏡１０において、スコープ１０１は取り外し可能で、複数の種類のスコープの中から、使用するスコープ１０１が手術スタッフにより選択される。このとき、使用するスコープ１０１の種類によって機械的なケラレや性質が異なるため、スコープ１０１の種類によって後段の画像処理を調整する必要が生じる。そのため、スコープ１０１の種類に対応した観察領域２００Ｂを判定する方法が求められる。
　ここで、図５，図６に示すように、観察領域２００Ｂ(のサイズ)を判定することで、スコープ１０１の種類を判別することが可能であり、また、ケラレ領域２００Ａ(のサイズ)を判定することも可能である。したがって、観察領域２００Ｂを判定することで、スコープ１０１の種類の判別と、ケラレ領域２００Ａの判定を行っているとも言える。つまり、スコープ１０１の種類を判別することと、観察領域２００Ｂを判定することと、ケラレ領域２００Ａを判定することとは、概念的には同じこととして捉えることができる。
　例えば、AEやAF等に関する信号処理は、観察領域２００Ｂに対して行うものであり、ケラレ領域２００Ａを含めて露出を行ったり、焦点を合わせたりすると、様々な問題が生じるので、観察領域２００Ｂ(のサイズ)を判定する必要が出てくる。例えば上述した特許文献１に開示されている技術では、使用するスコープ１０１の種類を判別するに際して、より少ない計算量で、使用するスコープ１０１の種類を判別する方法が提案されている。
　一方で、内視鏡手術システム１を用いた医療現場においては、鉗子２３やガーゼのような高輝度被写体が撮像領域に存在しているときや、スコープ１０１を患者の体内に挿入するときに、反射光の光量が大きいためにケラレ領域２００Ａが一時的に明るくなり、スコープ１０１の種類に対応した観察領域２００Ｂ(のサイズ)を判定するに際して誤判定が生じる恐れがある。そのため、観察領域２００Ｂを判別するに際して誤判定を防ぐことが求められていた。
　そこで、本開示に係る技術では、スコープ１０１の種類に対応した観察領域２００Ｂの判定処理を連続して行い、判定結果が所定の回数連続で続いたかどうかを判定することで、誤判定を抑制する方法を提案する。
　以下、本開示に係る技術の詳細について説明するが、内視鏡手術システム１(の制御装置５１のプロセッサ１６１)では、使用するスコープ１０１の種類を判別するための処理として、例えば、第１の処理乃至第３の処理、及び確定処理が実行されるので、それらの処理を順に説明する。また、以下の説明でも、カメラヘッド１０２のイメージセンサ１５２の撮像面に応じた画像を、内視鏡画像と称して説明する。
＜第１の処理の流れ＞
　まず、図７のフローチャートを参照して、制御装置５１のプロセッサ１６１により実行される第１の処理の流れを説明する。
　ステップＳ１０において、評価枠設定部１８１は、カメラヘッド１０２からの画像信号に応じた画像(RAW画像)に対して複数の評価枠を設定する。この評価枠の設定では、例えば、図８に示すように、内視鏡画像２００の中央部とその周辺部の四隅に、評価枠２１０がそれぞれ設けられる。
　具体的には、内視鏡画像２００において、中央部には、矩形からなる評価枠２１０－０(以下、０枠とも略記する)が設けられ、左上、左下、右上、及び右下の四隅には、矩形からなる評価枠２１０－１、評価枠２１０－２、評価枠２１０－３、及び評価枠２１０－４(以下、１枠、２枠、３枠、４枠とも略記する)がそれぞれ設けられる。評価枠２１０－１乃至２１０－４の矩形の大きさは、評価枠２１０－０の矩形の大きさよりも小さくなる。
　また、図８では、内視鏡画像２００に対し、その略重心を中心にした径の異なる４つの円を重畳して表しているが、これらの円は、ケラレ領域２００Ａと観察領域２００Ｂとの境界であるマスクエッジ２２０にそれぞれ対応している。
　すなわち、内視鏡１０で使用するスコープ１０１の径が、内視鏡画像２００内のマスクエッジ２２０に対応し、内視鏡画像２００内でマスクエッジ２２０が検出されると想定される位置は、設計上、予め分かっているため、ここでは、ケラレ領域２００Ａが含まれるかどうかを判別するために、評価枠２１０－０乃至２１０－４を設けている。
　なお、以下の説明では、使用するスコープ１０１の種類として４種類を想定し、各マスクエッジ２２０のマスクタイプとしては、マスクエッジ２２０－１には"TYPE1"、マスクエッジ２２０－２には"TYPE2"、マスクエッジ２２０－３には"TYPE3"、マスクエッジ２２０－４には"TYPE4"がそれぞれ割り当てられているものとする。
　図７の説明に戻り、ステップＳ１１において、評価値算出部１８２は、図８に示した中央０枠と周辺四隅の１枠乃至４枠に応じた評価値を算出する。この評価値としては、例えば、輝度値等の内視鏡画像２００から得られる特徴量を用いることができる。
　なお、ステップＳ１１の処理では、説明の都合上、複数の評価枠２１０のそれぞれに関する評価値をまとめて算出しているが、後述する判定処理(Ｓ１２，Ｓ１４，Ｓ１５，Ｓ１６)ごとに、対象の評価枠２１０に関する評価値を逐次算出するようにしてもよい。この評価値の算出方法については、後述する第２の処理と第３の処理でも同様とされる。
　ステップＳ１２において、評価値判定部１８３は、各枠の評価値の算出結果に基づいて、周辺四隅の１枠乃至４枠のうち、少なくとも１つの枠の評価値が、中央０枠の評価値よりも大きいかどうかを判定する。
　ステップＳ１２の判定処理で、周辺四隅の１枠乃至４枠の評価値が中央０枠の評価値よりも大きい、すなわち、内視鏡画像２００の中央部が暗くその周辺部が明るいと判定された場合、処理は、ステップＳ１３に進められる。そして、ステップＳ１３では、判定結果設定部１８４は、マスクタイプを、"硬性鏡なし"に設定する。
　また、ステップＳ１２の判定処理で、周辺四隅の１枠乃至４枠の評価値が中央０枠の評価値よりも小さいと判定された場合、処理は、ステップＳ１４に進められる。ステップＳ１４において、評価値判定部１８３は、対象枠の評価値の算出結果に基づいて、周辺四隅の１枠乃至４枠のうち、少なくとも１つの枠の評価値が、所定の閾値を超えるかどうかを判定する。
　ステップＳ１４の判定処理で、周辺四隅の１枠乃至４枠の評価値が所定の閾値を超える、すなわち、画像全体が明るいと判定された場合、処理は、ステップＳ１３に進められ、マスクタイプとして、"硬性鏡なし"が設定される。
　また、ステップＳ１４の判定処理で、周辺四隅の１枠乃至４枠の評価値が所定の閾値以下であると判定された場合、処理は、ステップＳ１５に進められる。ステップＳ１５において、評価値判定部１８３は、対象枠の評価値の算出結果に基づいて、中央０枠の評価値が所定の閾値以下となるかどうかを判定する。
　ステップＳ１５の判定処理で、中央０枠の評価値が閾値以下、すなわち、内視鏡画像２００が全体的に黒い画を映していると判定された場合、処理は、ステップＳ１３に進められ、マスクタイプとして、"硬性鏡なし"が設定される。
　また、ステップＳ１５の判定処理で、中央０枠の評価値が所定の閾値を超えると判定された場合、処理は、ステップＳ１６に進められる。ステップＳ１６において、評価値判定部１８３は、対象枠の評価値の算出結果に基づいて、周辺四隅の１枠乃至４枠と中央０枠との輝度差が所定の閾値以下となるかどうかを判定する。
　ステップＳ１６の判定処理で、輝度差が所定の閾値以下であると判定された場合、処理は、ステップＳ１３に進められ、マスクタイプとして、"硬性鏡なし"が設定される。
　ステップＳ１２，Ｓ１４，Ｓ１５，Ｓ１６の判定処理で、肯定(「Yes」)であると判定された場合には、マスクタイプとして"硬性鏡なし"が設定され(Ｓ１３)、処理は、ステップＳ１７に進められる。ステップＳ１７では、判定結果設定部１８４は、認識結果を"停止中"に設定する。その後、処理は、ステップＳ１０に戻り、上述した第１の処理が繰り返される。
　また、ステップＳ１６の判定処理で、輝度差が所定の閾値を超えると判定された場合、処理は、ステップＳ１８に進められる。ステップＳ１８において、判定結果設定部１８４、認識結果を"認識成功"に設定する。その後、制御装置５１のプロセッサ１６１により、第１の処理に続いて、第２の処理が実行される。なお、第２の処理の詳細は、図９等を参照して後述する。
＜第２の処理の流れ＞
　次に、図９のフローチャートを参照して、制御装置５１のプロセッサ１６１により実行される第２の処理の流れを説明する。
　ステップＳ３０において、評価枠設定部１８１は、カメラヘッド１０２からの画像信号に応じた画像に対して複数の評価枠を設定する。この評価枠の設定では、例えば、図１０に示すように、内視鏡画像２００の中央部とその水平方向(Ｘ方向)に、評価枠２１０がそれぞれ設けられる。
　具体的には、内視鏡画像２００において、その略重心を含む中央部には、矩形からなる評価枠２１０－４(以下、評価枠４と略記する)が設けられる。また、内視鏡画像２００の中央部(に含まれる略重心)を中心に略対称となるように、その水平方向の左側には、矩形からなる評価枠２１０－０乃至２１０－３(以下、評価枠０，１，２，３とも略記する)のそれぞれが所定の間隔で設けられ、その水平方向の右側には、矩形からなる評価枠２１０－５乃至２１０－８(以下、評価枠５，６，７，８とも略記する)のそれぞれが所定の間隔で設けられる。
　中央部の左右に所定の間隔で離散的に配置された評価枠２１０－０乃至２１０－３、及び評価枠２１０－５乃至２１０－８の矩形の大きさは、中央部に配置された評価枠２１０－４の矩形の大きさよりも小さくなる。なお、本開示において、離散的とは、複数の評価枠２１０が連続的に配置されていないことを意味する。
　図１０においては、使用するスコープ１０１の径が、マスクエッジ２２０－１乃至２２０－４のうち、どのマスクエッジ２２０(のマスクタイプ)に該当するかを判別するために、内視鏡画像２００内の水平方向に、評価枠０乃至８を所定の間隔で離散的に設けている。
　具体的には、例えば、マスクエッジ２２０－１が検出される位置は、設計上分かっているため、評価枠２１０の間にマスクエッジ２２０－１の検出位置がくるように、評価枠０と評価枠１、及び評価枠７と評価枠８を設ける。同様にして、評価枠１と評価枠２、及び評価枠６と評価枠７のそれぞれの間にマスクエッジ２２０－２の検出位置、評価枠２と評価枠３、及び評価枠５と評価枠６のそれぞれの間にマスクエッジ２２０－３の検出位置、評価枠３と評価枠４、及び評価枠４と評価枠５のそれぞれの間にマスクエッジ２２０－４の検出位置がくるようにする。
　図９の説明に戻り、ステップＳ３１において、評価値算出部１８２は、図１０に示した評価枠０乃至８に応じた評価値を算出する。この評価値としては、例えば、輝度値等の内視鏡画像２００から得られる特徴量を用いることができる。
　ステップＳ３２において、評価値判定部１８３は、評価枠０，１と評価枠７，８の評価値の算出結果に基づいて、評価枠０と評価枠１との間にエッジがあり、かつ、評価枠７と評価枠８との間にエッジがあるかどうかを判定する。
　ここでは、例えば、評価枠０から得られる輝度値と、評価枠１から得られる輝度値との差、及び評価枠７から得られる輝度値と、評価枠８から得られる輝度値との差を、所定の閾値とそれぞれ比較し、それらの輝度差が所定の閾値を超えるかどうかを判定することで、それらの評価枠２１０の間にエッジ(マスクエッジ２２０－１)があるかどうかを判定することができる。
　すなわち、評価枠０内の輝度値の平均値と、評価枠１内の輝度値の平均値との比が、所定の閾値を超えるかどうかを判定することで、評価枠０と評価枠１の間にエッジがあるかどうかを判定することができる。同様に、評価枠７内の輝度値の平均値と、評価枠８内の輝度値の平均値との比が、所定の閾値を超えるかどうかを判定することで、評価枠７と評価枠８の間にエッジがあるかどうかを判定することができる。
　あるいは、各評価枠内の輝度値の積分値ごとに閾値判定を行ってもよい。この積分値は、各評価枠内の全画素の輝度値の合計値を画素数で割ることで求めることができる。すなわち、評価枠０内の輝度値の積分値が閾値(X)を超え、かつ、評価枠１内の輝度値の積分値が閾値(X)を超えるかを判定することで、それらの判定結果に基づき、評価枠０と評価枠１の間にエッジがあるかどうかを判定することができる。評価枠７と評価枠８についても同様である。閾値(X)はテーブルで管理されており、例えばケラレ領域２００Ａと観察領域２００Ｂとで異なる値が設定されている。
　ここでは、説明の都合上、評価枠０と評価枠１のそれぞれの輝度値の積分値を閾値判定してその判定結果が所定の条件を満たすかによりエッジの有無を判定する例を示したが、例えば、評価枠０乃至評価枠３のそれぞれの輝度値の積分値を閾値判定してその判定結果が所定の条件を満たすかによりエッジの有無を判定するようにしてもよい。なお、各評価枠内の輝度値は、平均値や積分値のほか、例えば最大値や中央値、分散値などの統計量を用いることができる。
　ステップＳ３２の判定処理で肯定(「Yes」)であると判定された場合、処理は、ステップＳ３３に進められる。ステップＳ３３において、判定結果設定部１８４は、マスクタイプを"TYPE1"に設定する。
　また、ステップＳ３２の判定処理で否定(「No」)であると判定された場合、処理は、ステップＳ３４に進められる。ステップＳ３４において、評価値判定部１８３は、評価枠１，２と評価枠６，７の評価値の算出結果に基づいて、評価枠１と評価枠２との間にエッジがあり、かつ、評価枠６と評価枠７との間にエッジがあるかどうかを判定する。ステップＳ３４の判定処理で肯定であると判定された場合、処理は、ステップＳ３５に進められる。ステップＳ３５において、判定結果設定部１８４は、マスクタイプを"TYPE2"に設定する。
　また、ステップＳ３４の判定処理で否定であると判定された場合、処理は、ステップＳ３６に進められる。ステップＳ３６において、評価値判定部１８３は、評価枠２，３と評価枠５，６の評価値の算出結果に基づいて、評価枠２と評価枠３との間にエッジがあり、かつ、評価枠５と評価枠６との間にエッジがあるかどうかを判定する。ステップＳ３６の判定処理で肯定であると判定された場合、処理は、ステップＳ３７に進められる。ステップＳ３７において、判定結果設定部１８４は、マスクタイプを"TYPE3"に設定する。
　また、ステップＳ３６の判定処理で否定であると判定された場合、処理は、ステップＳ３８に進められる。ステップＳ３８において、評価値判定部１８３は、評価枠３，４と評価枠４，５の評価値の算出結果に基づいて、評価枠３と評価枠４との間にエッジがあり、かつ、評価枠４と評価枠５との間にエッジがあるかどうかを判定する。ステップＳ３８の判定処理で肯定であると判定された場合、処理は、ステップＳ３９に進められる。ステップＳ３９において、判定結果設定部１８４は、マスクタイプを"TYPE4"に設定する。
　ステップＳ３２，Ｓ３４，Ｓ３６，Ｓ３８の判定処理で、肯定であると判定された場合には、マスクタイプとして、"TYPE1"，"TYPE2"，"TYPE3"，"TYPE4"がそれぞれ設定され(Ｓ３３，Ｓ３５，Ｓ３７，Ｓ３９)、処理は、ステップＳ４０に進められる。ステップＳ４０では、判定結果設定部１８４は、認識結果を"認識成功"に設定する。その後、制御装置５１のプロセッサ１６１により、第２の処理に続いて、第３の処理が実行される。なお、第３の処理の詳細は、図１１等を参照して後述する。
　また、ステップＳ３８の判定処理で否定であると判定された場合、処理は、ステップＳ４１に進められる。そして、判定結果設定部１８４は、マスクタイプを、"硬性鏡なし"に設定し(Ｓ４１)、認識結果を"停止中"に設定する(Ｓ４２)。その後、処理は、図７のステップＳ１０に戻り、上述した第１の処理が実行される。
＜第３の処理の流れ＞
　次に、図１１のフローチャートを参照して、制御装置５１のプロセッサ１６１により実行される第３の処理の流れを説明する。
　ステップＳ５０において、判定結果設定部１８４は、第２の処理でマスクタイプが"TYPE3"又は"TYPE4"に設定されたかどうかを判定する。すなわち、この例では、"TYPE1"，"TYPE2"であるマスクエッジ２２０－１，２２０－２の垂直方向の検出位置が、内視鏡画像２００の外に位置するため、マスクエッジ２２０－１，２２０－２に関する処理を対象外としている。
　ステップＳ５０の判定処理で肯定であると判定された場合、処理は、ステップＳ５１に進められる。ステップＳ５１において、評価枠設定部１８１は、カメラヘッド１０２からの画像信号に応じた画像に対して複数の評価枠を設定する。この評価枠の設定では、例えば、図１２に示すように、内視鏡画像２００の中央部とその垂直方向(Ｙ方向)に、評価枠２１０がそれぞれ設けられる。
　具体的には、内視鏡画像２００において、その略重心を含む中央部には、矩形からなる評価枠２１０－４(以下、評価枠４と略記する)が設けられる。また、内視鏡画像２００の中央部(に含まれる略重心)を中心に略対称となるように、その垂直方向の上側には、矩形からなる評価枠２１０－０，２１０－１(以下、評価枠０，１とも略記する)のそれぞれが所定の間隔で設けられ、その垂直方向の下側には、矩形からなる評価枠２１０－２，２１０－３(以下、評価枠２，３とも略記する)のそれぞれが所定の間隔で設けられる。
　中央部の上下に所定の間隔で離散的に配置された評価枠２１０－０，２１０－１，及び評価枠２１０－２，２１０－３の矩形の大きさは、中央部に配置された評価枠２１０－４の矩形の大きさよりも小さくなる。
　図１２においては、使用するスコープ１０１の径が、マスクエッジ２２０－３，２２０－４のうち、どのマスクエッジ２２０(のマスクタイプ)に該当するかを判別するために、内視鏡画像２００内の垂直方向に、評価枠２１０－０乃至２１０－３を所定の間隔で離散的に設けている。具体的には、評価枠０と評価枠１、及び評価枠２と評価枠３のそれぞれの間にマスクエッジ２２０－３の検出位置、評価枠１と評価枠４、及び評価枠２と評価枠４のそれぞれの間にマスクエッジ２２０－４の検出位置がくるようにする。
　図１１の説明に戻り、ステップＳ５２において、評価値算出部１８２は、図１２に示した評価枠０乃至４に応じた評価値を算出する。この評価値としては、例えば、輝度値等の内視鏡画像２００から得られる特徴量を用いることができる。
　ステップＳ５３において、評価値判定部１８３は、評価枠０，１と評価枠２，３の評価値の算出結果に基づいて、評価枠０と評価枠１との間にエッジがあり、かつ、評価枠２と評価枠３との間にエッジがあるかどうかを判定する。
　ここでは、例えば、評価枠０から得られる輝度値と、評価枠１から得られる輝度値との差、及び評価枠２から得られる輝度値と、評価枠３から得られる輝度値との差を、所定の閾値とそれぞれ比較し、それらの輝度差が所定の閾値を超えるかどうかを判定することで、それらの評価枠２１０の間にエッジ(マスクエッジ２２０－３)があるかどうかを判定することができる。
　すなわち、評価枠０内の輝度値の平均値と、評価枠１内の輝度値の平均値との比が、所定の閾値を超えるかどうかを判定することで、評価枠０と評価枠１の間にエッジがあるかどうかを判定することができる。同様に、評価枠２内の輝度値の平均値と、評価枠３内の輝度値の平均値との比が、所定の閾値を超えるかどうかを判定することで、評価枠２と評価枠３の間にエッジがあるかどうかを判定することができる。
　あるいは、各評価枠内の輝度値の積分値ごとに閾値判定を行ってもよい。すなわち、評価枠０内の輝度値の積分値が閾値(X)を超え、かつ、評価枠１内の輝度値の積分値が閾値(X)を超えるかを判定することで、それらの判定結果に基づき、評価枠０と評価枠１の間にエッジがあるかどうかを判定することができる。評価枠２と評価枠３についても同様である。閾値(X)はテーブルで管理されている。
　ステップＳ５３の判定処理で肯定であると判定された場合、処理は、ステップＳ５４に進められる。ステップＳ５４において、判定結果設定部１８４は、第２の処理で確定したマスクタイプを"TYPE3"に設定する。
　また、ステップＳ５３の判定処理で否定であると判定された場合、処理は、ステップＳ５５に進められる。ステップＳ５５において、評価値判定部１８３は、評価枠１，４と評価枠２，４の評価値の算出結果に基づいて、評価枠１と評価枠４との間にエッジがあり、かつ、評価枠２と評価枠４との間にエッジがあるかどうかを判定する。ステップＳ５５の判定処理で肯定であると判定された場合、処理は、ステップＳ５６に進められる。ステップＳ５６において、判定結果設定部１８４は、第２の処理で確定したマスクタイプを"TYPE4"に設定する。
　ステップＳ５４又はＳ５６の処理が終了すると、処理は、ステップＳ５７に進められる。そして、ステップＳ５７では、判定結果設定部１８４は、認識結果を"認識成功"に設定する。ステップＳ５８において、判定結果設定部１８４は、第２の処理で確定したマスクタイプが"TYPE4"で、かつ、第３の処理で確定したマスクタイプが"TYPE3"に設定されたかどうかを判定する。
　ステップＳ５８の判定処理で肯定であると判定された場合、処理は、ステップＳ５９に進められる。ステップＳ５９において、判定結果設定部１８４は、マスクタイプを"TYPE4"に設定する。すなわち、この場合には、例えば光漏れで垂直方向のマスク径を大きく検出したと想定して、第２の処理により水平方向で検出したマスク径を採用している。このように、より狭いマスク径を選択して確定することで、例えば後段の処理を行うに際してより確実にケラレ領域２００Ａが含まれないようにできる。
　また、ステップＳ５８の判定処理で否定であると判定された場合、処理は、ステップＳ６０に進められる。ステップＳ６０において、評価値判定部１８３は、第２の処理で確定したマスクタイプが"TYPE3"で、かつ、第３の処理で確定したマスクタイプが"TYPE4"に設定されたかどうかを判定する。
　ステップＳ６０の判定処理で肯定であると判定された場合、処理は、ステップＳ６１に進められる。ステップＳ６１において、判定結果設定部１８４は、マスクタイプを"TYPE4"に設定する。すなわち、この場合には、例えば光漏れで水平方向のマスク径を大きく検出したと想定して、第３の処理により垂直方向で検出したマスク径を採用して、より確実にケラレ領域２００Ａが入らないようにしている。
　ステップＳ５９若しくはＳ６１の処理が終了するか、又はステップＳ６０の判定処理で否定であると判定された場合、処理は、ステップＳ６２に進められる。さらに、上述したステップＳ５０の判定処理で否定であると判定された場合にも、処理はステップＳ６２に進められる。
　ステップＳ６２では、動作モードとして、高精度算出モードに設定されているかどうかが判定される。ここで、第１の処理乃至第３の処理を実行するモードを通常モードと呼ぶとき、通常モードと比べて、高精度にマスク径のサイズを算出するモードを高精度算出モードと呼ぶこととする。通常モードの処理では、第１の処理乃至第３の処理が実行される。高精度算出モードの処理では、第１の処理乃至第３の処理に加えて、高精度算出処理(Ｓ６３)が行われる。
　ステップＳ６２において、高精度算出モードに設定されていると判定された場合、処理は、ステップＳ６３に進められる。ステップＳ６３においては、制御装置５１のプロセッサ１６１により、高精度算出処理が実行される。高精度算出処理の詳細は、図１３，図１４を参照して後述する。
　ステップＳ６２において、高精度算出モードに設定されていない、すなわち、通常モードに設定されていると判定された場合、ステップＳ６３の処理はスキップされる。そして、高精度算出モード時にステップＳ６３の処理を実行するか、あるいは通常モード時にステップＳ６３の処理をスキップすると、制御装置５１のプロセッサ１６１により、図１５等を参照して後述する確定処理が実行される。
　以上、第１の処理乃至第３の処理の流れを説明した。第１の処理では、図８に示したように、内視鏡画像２００に対して、中央０枠と周辺四隅の１枠乃至４枠を評価枠２１０として設定し、評価枠２１０のそれぞれに関する評価値の関係性に基づき、内視鏡画像２００にケラレ領域２００Ａ(マスク領域)が含まれるかどうかが判定される。そして、ケラレ領域２００Ａを含まない場合には第１の処理が繰り返される一方で、ケラレ領域２００Ａを含む場合には第２の処理が実行される。
　また、第２の処理では、図１０に示したように、内視鏡画像２００に対して、水平方向に、評価枠２１０－０乃至２１０－８のそれぞれを所定の間隔で離散的に配置し、評価枠２１０のそれぞれに関する評価値の関係性に基づき、エッジの位置に応じたマスクタイプが設定される。そして、評価枠２１０に応じたエッジが未検出の場合には第１の処理が繰り返される一方で、評価枠２１０に応じたエッジが検出された場合には第３の処理が実行される。
　さらに、第３の処理では、図１２に示したように、内視鏡画像２００に対して、垂直方向に、評価枠２１０－０乃至２１０－４のそれぞれを所定の間隔で離散的に設定し、評価枠２１０のそれぞれに関する評価値の関係性に基づき、エッジの位置に応じたマスクタイプが設定(再設定)される。そして、動作モードとして通常モードを設定している場合には、通常モードの処理が終了した後に、後述する確定処理が実行される。また、高精度算出モードを設定している場合には、高精度算出モードの処理が終了した後に、後述する確定処理が実行される。
　なお、上述した説明では、第２の処理及び第３の処理を実行することで、内視鏡画像２００の略重心に対して複数の評価枠２１０が点対称となるように、水平方向及び垂直方向の両方の方向で評価枠２１０を設定して評価を行う場合を説明したが、第２の処理又は第３の処理を実行して、水平方向又は垂直方向のいずれか一方の方向のみで評価枠２１０を設定して評価を行うようにしてもよい。ただし、上述した説明のように、第２の処理及び第３の処理を実行して、水平方向及び垂直方向の両方の方向から評価枠２１０を設定したほうが、例えば光漏れなどを想定してマスクタイプを設定可能となるため、より正確にマスクタイプを設定することができる。
　また、第２の処理と第３の処理では、複数の評価枠２１０が所定の間隔で離散的に配置される場合を示したが、その一部の評価枠２１０が連続して配置されるようにしてもよい。また、離散的に配置される複数の評価枠２１０の数は任意であり、例えば、マスクエッジ２２０の検出位置に対し、より多くの数の評価枠２１０が設けられてもよい。複数の評価枠２１０が配置される位置も任意である。さらに、離散的に配置される評価枠２１０の形状は、矩形に限らず、他の形状であってもよいし、全ての評価枠２１０が同一の形状である必要もない。複数の評価枠２１０が配置される間隔は、一定の間隔でなくてもよい。
　さらに、第２の処理と第３の処理では、評価値として輝度値を用い、輝度差を所定の閾値と比較することでエッジ（マスクエッジ２２０）を検出する例を示したが、例えば、評価枠２１０内に含まれるエッジや黒領域など表す定量的な値（例えばエッジ量や黒領域量等の特徴量）を評価値として用いて、エッジが検出されるようにしてもよい。
＜高精度算出処理の詳細＞
　次に、図１３，図１４を参照して、図１１のステップＳ６３に対応する高精度算出処理の詳細について説明する。ここでは、上述した第２の処理と第３の処理で、マスクタイプとして、"TYPE3"が設定された場合を例示する。
　まず、高精度算出処理では、上述した第２の処理と第３の処理での判定結果に応じて、水平方向(Ｘ方向)の詳細なマスクエッジを算出するための処理が行われる。この例では、マスクタイプとして"TYPE3"が設定されているため、図１３に示すように、マスクエッジ２２０－３の検出位置に応じて複数の評価枠２１０が設定される。
　具体的には、内視鏡画像２００の略重心を中心に略対称(Ｙ軸を対称軸にした左右対称)になるように、その水平方向の左側には、マスクエッジ２２０－３の検出位置に応じた評価枠２１０－０乃至２１０－４のそれぞれが連続的に設けられ、その水平方向の右側には、マスクエッジ２２０－３の検出位置に応じた評価枠２１０－５乃至２１０－９のそれぞれが連続的に設けられる。
　左右対称に連続的に配置された評価枠２１０－０乃至２１０－４の矩形の大きさと、評価枠２１０－５乃至２１０－９の矩形の大きさとは、略同一の形状で、かつ、略同一の大きさとされる。各評価枠２１０には、水平方向(Ｘ方向)に、スタート位置とエンド位置が設けられる。スタート位置は、各評価枠２１０におけるＸ方向の左端の位置を示し、エンド位置は、各評価枠２１０におけるＸ方向の右端の位置を示している。
　このように、内視鏡画像２００に対して、水平方向に、評価枠２１０－０乃至２１０－４と評価枠２１０－５乃至２１０－９とを左右対称に連続的に配置することで、評価枠２１０のそれぞれに関する評価値の関係性に基づき、マスク径におけるエッジ左端位置とエッジ右端位置を設定することができる。
　次に、高精度算出処理では、上述した第２の処理と第３の処理での判定結果に応じて、垂直方向(Ｙ方向)の詳細なマスクエッジを算出するための処理が行われる。この例では、マスクタイプとして"TYPE3"が設定されているため、図１４に示すように、マスクエッジ２２０－３の検出位置に応じて複数の評価枠２１０が設けられる。
　具体的には、内視鏡画像２００の略重心を中心に略対称(Ｘ軸を対称軸にした上下対称)になるように、その垂直方向の上側には、マスクエッジ２２０－３の検出位置に応じた評価枠２１０－０乃至２１０－４のそれぞれが連続的に設けられ、その垂直方向の下側には、マスクエッジ２２０－３の検出位置に応じた評価枠２１０－５乃至２１０－９のそれぞれが連続的に設けられる。
　上下対称に連続的に配置された評価枠２１０－０乃至２１０－４の矩形の大きさと、評価枠２１０－５乃至２１０－９の矩形の大きさとは、略同一の形状で、かつ、略同一の大きさとされる。各評価枠２１０には、垂直方向(Ｙ方向)に、スタート位置とエンド位置が設けられる。スタート位置は、各評価枠２１０におけるＹ方向の上端の位置を示し、エンド位置は、各評価枠２１０におけるＹ方向の下端の位置を示している。
　このように、内視鏡画像２００に対して、垂直方向に、評価枠２１０－０乃至２１０－４と評価枠２１０－５乃至２１０－９とを上下対称に連続的に配置することで、評価枠２１０のそれぞれに関する評価値の関係性に基づき、マスク径におけるエッジ上端位置とエッジ下端位置を設定することができる。
　以上のように、高精度算出処理を行う場合、複数の評価枠２１０に応じた評価値の関連性に基づき、内視鏡画像２００に含まれるケラレ領域２００Ａのマスクタイプが設定され、当該マスクタイプに応じたマスク径におけるエッジ左端位置、エッジ右端位置、エッジ上端位置、及びエッジ下端位置がそれぞれ設定される。
＜確定処理の流れ＞
　次に、図１５のフローチャートを参照して、制御装置５１のプロセッサ１６１により実行される確定処理の流れを説明する。確定処理は、通常モードの処理又は高精度算出モードの処理を実行した後に実行される。
　ステップＳ１１１において、判定結果判定部１８５は、Ｎ回連続で認識結果が"認識成功"で、かつ、Ｎ回連続でマスクタイプが同じマスクタイプとなっているかどうかを判定する。
　連続回数Ｎは10回等の回数であり、予め設定される閾値と比較されることで、判定結果(認識結果とマスク径情報)が連続で所定の回数同一であったかどうかが判定されある。例えば、患者４の体内にスコープ１０１を挿入する際にはトロッカを介して行われるが、そのときに光が漏れるなど、トロッカの使用に起因して誤判定が生じる恐れがある。ここでは、スコープ１０１をトロッカに入れる実時間に基づいて、外乱に耐えるために10回等の連続回数Ｎを推定して閾値が設定されるようにする。
　例えば、Ｎ回繰り返される通常モードの処理の間の時間間隔(１回１回の間の間隔)を時系列で出力される画像フレームで表せば、約５フレーム分に相当するが、その時間間隔を10フレームなどに増やすことで、連続回数Ｎを減らすことはできるし、60フレームにすれば、２回繰り返すだけでも外乱を避けることはできる。ここでは、本開示の発明者による詳細なシミュレーションの結果に基づき、確率論的に、処理の間の時間間隔を５フレームとし、10回連続で判定結果が同一であるかを判定することが適切であるとしている。また、スコープ１０１をトロッカに入れる実時間は１秒程度であることが想定されるため、その前後で誤判定の判定結果に基づくパラメータ変更処理が行われないような時間間隔や連続回数に応じた閾値の設定が必要とされる。
　連続回数Ｎの判定で用いられる閾値は、トロッカの使用に起因する外乱に限らず、鉗子２３やガーゼのような高輝度被写体がイメージセンサ１５２の撮像領域に存在していることに起因する外乱に応じて定めてもよい。また、連続回数Ｎの判定で用いられる閾値は、手術モード又は観察モードに応じて変更してもよい。手術モードは、腹腔鏡モード、膀胱鏡モード、耳鼻咽喉モード等の手術に応じたモードを含む。例えば、耳孔は狭いので誤判定しやすいため、耳鼻咽喉モードであると判定された場合には、10回から60回に閾値を変更するなどしてもよい。
　観察モードは、通常光観察モード、特殊光観察モード等のモードを含む。通常光観察モードは、光源装置５３から白色光を照射した際に撮像した白色画像を表示装置５２に表示するモードである。特殊光観察モードは、光源装置５３からIR光や狭帯域光等の特殊光を照射した際に撮像した特殊光画像を表示装置５２に表示するモードである。
　ステップＳ１１１の判定処理で肯定(「Yes」)であると判定された場合、処理は、ステップＳ１１２に進められる。ステップＳ１１２において、通知対象設定部１８６は、今回の処理で決定される認識結果とマスク径情報を、外部モジュールに通知する通知対象に設定する。
　一方で、ステップＳ１１１の判定処理で否定(「No」)であると判定された場合、処理は、ステップＳ１１３に進められる。ステップＳ１１３において、通知対象設定部１８６は、前回の処理で決定された認識結果とマスク径情報を、外部モジュールに通知する通知対象に設定する。
　図１６は、外部モジュールに通知される認識結果とマスク径情報の例を示す図である。
　図１６に示すように、認識結果には、"停止中"又は"認識成功"を示す値が設定される。マスク径情報には、マスクタイプとして、"TYPE0","TYPE1","TYPE2","TYPE3","TYPE4"を示す値が設定される。"TYPE0"は、無(硬性鏡なし)を表す。"TYPE1","TYPE2","TYPE3","TYPE4"は、マスク径のサイズを表し、その順にマスク径のサイズが小さくなる。つまり、最もサイズが大きいのが"TYPE1"(大)で、その次にサイズが大きいのが"TYPE2"(中)で、その次にサイズが大きいのが"TYPE3"(小)で、最もサイズが小さいのが"TYPE4"(極小)である。
　例えば、連続回数Ｎの判定で用いられる閾値として10回が設定されている場合に、通常モードの処理が所定の時間間隔で10回繰り返され、通常モードの処理で得られる認識結果が、10回連続で"認識成功"となり、かつ、通常モードの処理で得られるマスクタイプが、10回連続で"TYPE4"となる場合、ステップＳ１１１の判定処理で肯定(「Yes」)であると判定される。この場合(Ｓ１１１：「Yes」)、通知対象として、"認識成功"である認識結果と、"TYPE4"であるマスクタイプが設定される(Ｓ１１２)。
　また、通常モードの処理が所定の時間間隔で10回繰り返され、通常モードの処理で得られる認識結果が、10回連続で"認識成功"とならない場合(例えば少なくとも１回が"停止中"となる場合)、あるいは、通常モードの処理で得られるマスクタイプが、10回連続で"TYPE4"とならない場合(例えば少なくとも１回が"TYPE3"等の他のマスクタイプとなる場合)、ステップＳ１１１の判定処理で否定(「No」)であると判定される。
　この場合(Ｓ１１１：「No」)には、通知対象として、今回の処理(今回判定の対象となった通常モードの処理)で得られた認識結果とマスクタイプではなく、前回の処理で決定された認識結果とマスクタイプが設定される。つまり、前回判定の対象となった通常モードの処理で、認識結果が10回連続で"認識成功"で、かつ、マスクタイプが10回連続で"TYPE4"となっていた場合、通知対象として、"認識成功"である認識結果と、"TYPE4"であるマスクタイプが設定される(Ｓ１１３)。なお、処理開始時のデフォルトの通知対象を設定可能であり、例えば、最もサイズの小さい"TYPE4"(極小)をデフォルトのマスクタイプとして設定することができる。
　ステップＳ１１２又はステップＳ１１３の処理が終了すると、処理は、ステップＳ１１４に進められる。ステップＳ１１４においては、外部モジュールに対し、設定した認識結果とマスク径情報が通知される。
　外部モジュールは、例えば、AEやAFに関するモジュールが含まれる。すなわち、AE又はAFを実行する場合、内視鏡画像２００における有効領域である観察領域２００Ｂ内に、評価枠の領域を設定する必要があるが、認識結果とマスク径情報を、AE又はAFに関するモジュールに通知することで、観察領域２００Ｂ内に評価枠を設定することが可能となる。これにより、AE又はAFに関するモジュールでは、観察領域２００Ｂ内に設定された評価枠内の画素信号に基づいて、AE又はAFの制御を実行することができる。
　このように、通常モードの処理ではマスク径情報等を所定の時間間隔で繰り返し判定し、判定結果(マスク径情報等)が連続で所定の回数(例えば10回)同一であった場合、当該判定結果(マスク径情報等)に基づくパラメータ変更処理(例えばAE又はAFの評価枠の領域を変更する処理)が実行される。つまり、判定結果が連続で所定の回数同一であった場合にのみ、その判定結果に対応したパラメータに切り替えられることになる。なお、同一の外部モジュールに対し、同一の通知対象が繰り返し設定される場合には、２回目以降の判定結果を通知しなくても構わない。
　高精度算出モードの処理が実行された場合には、第１の処理乃至第３の処理に加えて、高精度算出処理(Ｓ６３)が実行されるため、認識結果とマスク径情報とともに、マスク径のエッジ左端位置、エッジ右端位置、エッジ上端位置、及びエッジ下端位置がそれぞれ設定されている。そのため、これらのエッジ位置を用いて、マスク径の直径と、マスクの中心位置を求めることができる。
　例えば、許容される誤差の範囲が狭い場合などに、より正確にマスク径や中心位置を求める必要があり、その場合には、動作モードとして高精度算出モードが設定される。この場合において、高精度算出モードの処理が繰り返し実行され、例えば、マスク径の直径及びマスクの中心位置の少なくとも一方が、連続で所定の回数(例えば10回)同一であった場合に、判定結果(マスク径の直径及びマスクの中心位置の少なくとも一方)に基づくパラメータ変更処理を実行することができる。これにより、高精度算出モードで動作する場合には、常にマスク径の直径やマスクの中心位置が高精度に求められ続けて、より正確に評価枠を設定することができるので、適切なAEやAFの制御を実行することができる。
　ステップＳ１１４の処理が終了すると一連の処理が終了し、処理は、図７のステップＳ１０に戻り、上述した処理が繰り返される。
　以上、確定処理の流れを説明した。この確定処理では、スコープ１０１によりイメージセンサ１５２上に生じるケラレ領域とは異なる領域である観察領域のサイズを所定の時間間隔で繰り返し判定することで得られる判定結果(マスク径情報等)が、連続で所定の回数同一であった場合に、判定結果に基づくパラメータ変更処理が実行される。換言すれば、観察領域のサイズを少なくとも２回以上判定し、２回以上の判定結果を比較した比較結果に基づいて、パラメータ変更処理が実行されるとも言える。また、観察領域のサイズを判定するために、スコープ１０１の種類(マスクタイプ)を判別しているとも言える。
　このように、スコープ１０１の種類(マスクタイプ)に対応した観察領域の判定処理(通常モードの処理)を所定の時間間隔で繰り返して行い、判定結果が所定の回数連続で続いたかどうかを判定することで、例えば外乱の影響がある場合でも、観察領域を判定する際に誤判定を抑制することができる。例えば、鉗子２３やガーゼのような高輝度被写体が撮像領域に存在しているときや、トロッカを介してスコープ１０１を患者の体内に挿入するときであっても、観察領域を判定する際に誤判定を抑制することができる。
＜変形例＞
　マスク判定処理は、通常光観察モードで動作しているときに実行されることを想定しているが、特殊光観察モードで動作しているときに実行されてもよい。ここでは、所定の時間間隔で繰り返し実行される通常モードの処理を少なくとも含む処理を、マスク判定処理と呼んでいる。マスク判定処理には確定処理を含めても構わない。あるいは、通常光観察モードから特殊光観察モードに切り替えられたとき、通常光観察モードでの動作時に得られた判定結果(マスク径情報等)に基づくパラメータを用いることができる。すなわち、特殊光観察モードに切り替えたときには、マスク判定処理を停止して、特殊光観察モードに切り替える直前の通常光観察モードで動作していたときの判定結果に対応したパラメータを、特殊光観察モードでの動作時に用いることが好ましい。
　特殊光観察モードで撮像される画像は、通常光観察モードで撮像される画像とは異なるため、特殊な処理を加える必要があり、システムの複雑性が上がってしまう。その一方で、特殊光観察モードでの観察を行っている最中に、スコープ１０１を交換するのは非常に稀である。スコープ１０１の交換は、挿入箇所を変更したり、観察対象を変更したりするときに行われることが多く、特殊光観察モードに切り替えた際には通常光観察モード時に見ていた領域をさらに何らかの処理を加えて見たいという場合が多い。そのため、特殊光観察モードに切り替えられたときに、通常光観察モードの設定を流用することで、システムの複雑性を上げることなく対応することができる。
　また、特殊光観察モードから通常光観察モードに切り替えられ、通常光観察モードでの動作に戻ったときには、マスク判定処理も再開するようにすればよい。通常光観察モードと特殊光観察モードとの切り替えは、入力装置５４に対するユーザの操作に応じて行われてもよいし、あるいは内視鏡手術システム１にネットワークを介して接続された手術室統合システム(不図示)により提供される操作手段に対する操作に応じて行われてもよい。
　なお、特殊光観察モードでの動作時には、上述したようにマスク判定処理を停止するのが合理的ではあるが、マスク判定処理を行う場合には、回数Ｎの値を例えば60回とするなどして、通常光観察モードよりも多くしたり、あるいはAE又はAFの評価枠の領域を中央部に固定で設定したりしてもよい。
　また、光源装置５３から白色光とIR光を交互に照射する場合にも、マスク判定処理を停止するのが好ましい。白色光を照射した際に撮像した白色画像だけでAEの制御を行ったり、画像処理により白色画像を抜き出してマスク判定処理を行ったりしてもよいが、特殊光観察モードと同様にスコープ１０１を交換するのは稀であるため、マスク判定処理を停止するのが合理的である。なお、マスク判定処理を行うに際しては、カメラヘッド１０２から出力される画像信号に含まれるRGBの各信号に重み付けを行ってもよい。
　図１７に示すように、内視鏡画像２００とともに、現在接続されていると推定されるスコープ１０１に対応したアイコン２５１を表示してもよい。図１７の例では、マスク判定処理によりマスク径情報として"TYPE4"であるマスクタイプが設定されたので、"TYPE4"を示すアイコン２５１が表示されている。例えば、アイコン２５１は、マスク判定処理の実行時や、通知されるマスク径情報が変更したとき(スコープ１０１の交換時)などの所定のタイミングで表示することができる。図１８に示すように、内視鏡画像２００に含まれる観察領域２００Ｂに対し、AE又はAFの対象とする有効領域を示す仮想枠２５２を表示してもよい。
　鉗子２３やガーゼ等の高輝度被写体がイメージセンサ１５２の撮像領域に入ってきたことを検知した場合には、マスク判定処理を停止することができる。内視鏡画像２００において鉗子２３やガーゼ等の領域を特定し、その領域を対象領域から除外してもよい。鉗子２３やガーゼ等の検知は、マスク判定処理の判定結果が大きく変動したときや、変動が短期間で何度も生じる場合などに、鉗子２３やガーゼ等が存在すると判定してもよい。あるいは、スコープ１０１が外れた状態を介さずにマスク径情報が変化したと判定された場合に、鉗子２３やガーゼ等が存在すると判定してもよい。
　また、ガーゼの場合には近接で密着して撮像されたとき、いわゆる白飛びが発生し続けることが想定される。このような事象の対処方法としては、例えば、時系列でモニタリングを行っておくことで、ケラレ領域２００Ａであると判定した領域の評価値を測定しておき、マスク判定処理を行っている最中に、外側の領域で変動が検知されたときには、マスク判定処理で用いられる閾値(例えば、時間間隔や連続回数の閾値)を変更してもよい。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示は、以下のような構成をとることができる。
（１）
　挿入部が接続され、前記挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置と、
　前記撮像装置を制御する制御装置と
　を備え、
　前記制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージデバイスとを有し、
　前記プロセッサは、前記プログラムを実行することにより、
　　前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、
　　２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する
　内視鏡システム。
（２）
　前記プロセッサは、
　　前記観察領域のサイズを所定の時間間隔で繰り返し判定し、
　　判定結果が連続で所定の回数同一であった場合、前記パラメータ変更処理を実行する
　前記（１）に記載の内視鏡システム。
（３）
　前記プロセッサは、
　　判定結果が連続で所定の回数同一であった場合、今回の判定で得られた判定結果に基づくパラメータが用いられるようにし、
　　判定結果が連続で所定の回数同一でなかった場合、前回の判定で得られた判定結果に基づくパラメータが用いられるようにする
　前記（２）に記載の内視鏡システム。
（４）
　前記パラメータ変更処理は、AE(Auto Exposure)又はAF(Auto Focus)の評価枠の領域を変更する処理を含む
　前記（１）乃至（３）のいずれかに記載の内視鏡システム。
（５）
　前記プロセッサは、判定結果が連続する回数を、外乱に応じて予め定められる閾値と比較することで、判定結果が連続で所定の回数同一であるかどうかを判定する
　前記（２）又は（３）に記載の内視鏡システム。
（６）
　前記プロセッサは、手術モード又は観察モードに応じて前記閾値を変更する
　前記（５）に記載の内視鏡システム。
（７）
　前記プロセッサは、通常光観察モード又は特殊光観察モードでの動作時に、前記観察領域のサイズを所定の時間間隔で繰り返し判定する
　前記（２）又は（３）に記載の内視鏡システム。
（８）
　前記プロセッサは、前記通常光観察モードから前記特殊光観察モードに切り替えたとき、前記通常光観察モードでの動作時に得られた判定結果に基づくパラメータが用いられるようにする
　前記（７）に記載の内視鏡システム。
（９）
　前記プロセッサは、前記撮像装置から出力される画像信号に基づく内視鏡画像とともに、前記観察領域のサイズに対応した前記挿入部のサイズに関する情報の表示を制御する
　前記（１）乃至（８）のいずれかに記載の内視鏡システム。
（１０）
　前記プロセッサは、前記内視鏡画像に含まれる前記観察領域に対し、AE又はAFの対象とする有効領域を示す仮想枠の表示を制御する
　前記（９）に記載の内視鏡システム。
（１１）
　挿入部が接続され前記挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置を制御する制御装置が、
　前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、
　２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する
　制御方法。
（１２）
　コンピュータを、
　挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置に接続される前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、
　２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する
　制御装置として機能させるプログラム。
　１　内視鏡手術システム，　１０　内視鏡，　２０　手術器具，　３０　支持アーム装置，　５１　制御装置，　５２　表示装置，　５３　光源装置，　５４　入力装置，　５５　処置具制御装置，　５６　気腹装置，　５７　レコーダ，　５８　プリンタ，　１０１　スコープ，　１０２　カメラヘッド，　１５１　レンズユニット，　１５２　イメージセンサ，　１５３　駆動回路，　１５４　通信回路，　１５５　カメラヘッド制御回路，　１６１，１６１－１乃至１６１－ｉ　プロセッサ，　１６２，１６２－１乃至１６２－ｊ　ストレージデバイス，　１６３　通信回路，　１７１　制御プログラム，　１８１　評価枠設定部，　１８２　評価値算出部，　１８３　評価値判定部，　１８４　判定結果設定部，　１８５　判定結果判定部，　１８６　通知対象設定部

Claims (12)

  1. 　挿入部が接続され、前記挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置と、
    　前記撮像装置を制御する制御装置と
    　を備え、
    　前記制御装置は、１以上のプロセッサと、プログラムを記憶した１以上のストレージデバイスとを有し、
    　前記プロセッサは、前記プログラムを実行することにより、
    　　前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、
    　　２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する
    　内視鏡システム。
  2. 　前記プロセッサは、
    　　前記観察領域のサイズを所定の時間間隔で繰り返し判定し、
    　　判定結果が連続で所定の回数同一であった場合、前記パラメータ変更処理を実行する
    　請求項１に記載の内視鏡システム。
  3. 　前記プロセッサは、
    　　判定結果が連続で所定の回数同一であった場合、今回の判定で得られた判定結果に基づくパラメータが用いられるようにし、
    　　判定結果が連続で所定の回数同一でなかった場合、前回の判定で得られた判定結果に基づくパラメータが用いられるようにする
    　請求項２に記載の内視鏡システム。
  4. 　前記パラメータ変更処理は、AE(Auto Exposure)又はAF(Auto Focus)の評価枠の領域を変更する処理を含む
    　請求項１に記載の内視鏡システム。
  5. 　前記プロセッサは、判定結果が連続する回数を、外乱に応じて予め定められる閾値と比較することで、判定結果が連続で所定の回数同一であるかどうかを判定する
    　請求項２に記載の内視鏡システム。
  6. 　前記プロセッサは、手術モード又は観察モードに応じて前記閾値を変更する
    　請求項５に記載の内視鏡システム。
  7. 　前記プロセッサは、通常光観察モード又は特殊光観察モードでの動作時に、前記観察領域のサイズを所定の時間間隔で繰り返し判定する
    　請求項２に記載の内視鏡システム。
  8. 　前記プロセッサは、前記通常光観察モードから前記特殊光観察モードに切り替えたとき、前記通常光観察モードでの動作時に得られた判定結果に基づくパラメータが用いられるようにする
    　請求項７に記載の内視鏡システム。
  9. 　前記プロセッサは、前記撮像装置から出力される画像信号に基づく内視鏡画像とともに、前記観察領域のサイズに対応した前記挿入部のサイズに関する情報の表示を制御する
    　請求項１に記載の内視鏡システム。
  10. 　前記プロセッサは、前記内視鏡画像に含まれる前記観察領域に対し、AE又はAFの対象とする有効領域を示す仮想枠の表示を制御する
    　請求項９に記載の内視鏡システム。
  11. 　挿入部が接続され前記挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置を制御する制御装置が、
    　前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、
    　２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する
    　制御方法。
  12. 　コンピュータを、
    　挿入部を介して導光された光をイメージセンサで受光して撮像する撮像装置に接続される前記挿入部により前記イメージセンサ上に生じるケラレ領域とは異なる領域である観察領域のサイズを少なくとも２回以上判定し、
    　２回以上の判定結果を比較した比較結果に基づいて、判定結果に基づくパラメータ変更処理を実行する
    　制御装置として機能させるプログラム。
PCT/JP2023/000542 2022-01-27 2023-01-12 内視鏡システム、制御方法、及びプログラム WO2023145448A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022010941 2022-01-27
JP2022-010941 2022-01-27

Publications (1)

Publication Number Publication Date
WO2023145448A1 true WO2023145448A1 (ja) 2023-08-03

Family

ID=87471251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000542 WO2023145448A1 (ja) 2022-01-27 2023-01-12 内視鏡システム、制御方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023145448A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035131A (ja) * 2008-06-27 2010-02-12 Ricoh Co Ltd 撮像装置及び撮像方法
JP2015205127A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び内視鏡装置の画像調整方法
WO2017072950A1 (ja) * 2015-10-30 2017-05-04 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2019162280A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035131A (ja) * 2008-06-27 2010-02-12 Ricoh Co Ltd 撮像装置及び撮像方法
JP2015205127A (ja) * 2014-04-23 2015-11-19 富士フイルム株式会社 内視鏡装置及び内視鏡装置の画像調整方法
WO2017072950A1 (ja) * 2015-10-30 2017-05-04 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2019162280A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム

Similar Documents

Publication Publication Date Title
US10799088B2 (en) Image processing device, image processing method and recording medium
JP7159577B2 (ja) 内視鏡システム、制御方法、情報処理装置、およびプログラム
JP6196900B2 (ja) 内視鏡装置
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
BRPI0617729A2 (pt) aparelho para captação de imagem do corpo vivo e sistema de formação de imagem do corpo vivo
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2017010157A1 (ja) 医療用観察装置及び医療用観察方法
US20210019921A1 (en) Image processing device, image processing method, and program
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
WO2023145448A1 (ja) 内視鏡システム、制御方法、及びプログラム
US10462440B2 (en) Image processing apparatus
US10917555B2 (en) Imaging apparatus, focus control method, and focus determination method
US10542866B2 (en) Medical imaging device
JP2018157918A (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
JP7255288B2 (ja) 画像処理システム、画像処理装置、及び画像処理方法
US20230000314A1 (en) Medical observation system, apparatus, control method, and imaging apparatus
US11676242B2 (en) Image processing apparatus and image processing method
WO2022185821A1 (ja) 内視鏡システム及びその作動方法
WO2022044898A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
EP3982624A1 (en) Image processing device, image processing method, and program
JP2010051634A (ja) 電子内視鏡用プロセッサ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23746663

Country of ref document: EP

Kind code of ref document: A1