WO2021117330A1 - 内視鏡システム、制御方法、及び制御プログラム - Google Patents

内視鏡システム、制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2021117330A1
WO2021117330A1 PCT/JP2020/038585 JP2020038585W WO2021117330A1 WO 2021117330 A1 WO2021117330 A1 WO 2021117330A1 JP 2020038585 W JP2020038585 W JP 2020038585W WO 2021117330 A1 WO2021117330 A1 WO 2021117330A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
period
unit
endoscopic system
captured image
Prior art date
Application number
PCT/JP2020/038585
Other languages
English (en)
French (fr)
Inventor
浩司 下村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021563761A priority Critical patent/JP7236564B2/ja
Priority to CN202080080787.0A priority patent/CN114727753A/zh
Publication of WO2021117330A1 publication Critical patent/WO2021117330A1/ja
Priority to US17/734,152 priority patent/US20220257097A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to an endoscopic system, a control method, and a control program.
  • an endoscope system in which continuous imaging is performed while irradiating a subject with normal light such as white light and a live image is displayed.
  • an endoscopic system that performs continuous imaging while irradiating a subject with special light such as narrow band light and performs analysis such as IEE (Image-Enhanced Endoscopy).
  • Patent Document 1 describes an endoscope system having a special observation mode in which normal light and special light are alternately irradiated through a turn-off period, and a signal is read out from an image pickup device during each turn-off period.
  • Patent Document 2 describes a special light image generated by taking an image while the subject is irradiated with special light and a normal image generated by taking an image while the subject is irradiated with normal light. An endoscopic system that acquires an optical image is described.
  • Patent Document 1 since normal light and special light are alternately irradiated, the exposure time of normal light is shortened, and it is not possible to display a high-quality live image. Further, the means for solving the above problems is not disclosed in Patent Document 2.
  • the present invention has been made in view of the above circumstances, and is an endoscope system, a control method, and a control method capable of displaying a high-quality live image based on an image taken by normal light while also performing an image taken by special light.
  • the purpose is to provide a control program.
  • the endoscope system of the present invention obtains captured image information based on an endoscope including an imaging unit, a light source unit that irradiates an imaging target by the imaging unit with illumination light, and an imaging signal obtained from the imaging unit.
  • the image pickup control unit to be acquired and the display unit for displaying the image pickup image based on the image pickup image information are provided, and the image pickup unit performs the image pickup at a frame rate higher than the frame rate of the display of the image pickup image by the display unit.
  • the operation of irradiating the illumination light having a spectrum different from the spectrum of the illumination light irradiated during the first period is repeatedly performed.
  • control method of the endoscope system of the present invention is based on an endoscope including an imaging unit, a light source unit that irradiates an imaging target by the imaging unit with illumination light, and an imaging signal obtained from the imaging unit.
  • a control method for an endoscopic system including an imaging control unit that acquires captured image information and a display unit that displays an captured image based on the captured image information.
  • the imaging target was imaged at a frame rate higher than the display frame rate of the captured image, and the light source unit continuously irradiated the illumination light for the first period over a plurality of consecutive frames by the imaging unit. Later, the operation of irradiating the illumination light having a spectrum different from the spectrum of the illumination light irradiated in the first period in the second period, which is a period over at least one frame by the imaging unit, is repeatedly performed.
  • control program for the present invention includes an endoscope including an imaging unit, a light source unit that irradiates an imaging target by the imaging unit with illumination light, and an image captured image based on an imaging signal obtained from the imaging unit.
  • a control program that controls an endoscopic system including an imaging control unit that acquires information and a display unit that displays an image captured image based on the captured image information.
  • the image pickup target was imaged at a frame rate higher than the frame rate of the image display, and the light source unit was continuously irradiated with illumination light for a first period over a plurality of consecutive frames by the image pickup unit.
  • the operation of irradiating the illumination light having a spectrum different from the spectrum of the illumination light irradiated in the first period is repeatedly performed. It is intended to be executed by a computer.
  • an endoscope system capable of displaying a high-quality live image based on imaging with normal light while performing imaging with special light.
  • FIG. 100 It is a figure which shows an example of the endoscope apparatus 100 which is one Embodiment of this invention. It is a schematic diagram which shows the internal structure of the endoscope apparatus 100 shown in FIG. It is a figure which shows an example of the spectrum of the light generated by the light source apparatus 5 shown in FIG. It is a plan schematic diagram which shows the schematic structure of the image pickup device 23 shown in FIG. It is a figure which shows an example of the functional block of the system control unit 44 of the signal processing unit 42 shown in FIG. It is a figure which shows an example of the screen displayed on the display device 7. It is a figure which shows an example of the time chart of each operation in the endoscope apparatus 100. It is a figure which shows an example of the time chart of each operation in the modification 1 of the endoscope apparatus 100. It is a figure which shows an example of the time chart of each operation in the modification 2 of the endoscope apparatus 100.
  • FIG. 1 is a diagram showing an example of an endoscope device 100 which is an embodiment of the present invention.
  • the endoscope device 100 is an example of the endoscope system of the present invention. As shown in FIG. 1, the endoscope device 100 includes an endoscope 1, a control device 4 to which the endoscope 1 is connected, and a light source device 5.
  • the control device 4 constitutes the image pickup control unit of the present invention.
  • the light source device 5 constitutes the light source unit of the present invention.
  • the control device 4 includes a display device 7 that displays an image captured by imaging the inside of the subject with the endoscope 1, and an input unit 6 that is an interface for inputting various information to the control device 4. And are connected.
  • the control device 4 controls the endoscope 1, the light source device 5, and the display device 7.
  • the display device 7 has a display surface in which display pixels are arranged in a two-dimensional manner, and pixel data constituting the image data is drawn on each display pixel of the display surface, so that an image based on the image data is drawn. Is displayed.
  • the display device 7 constitutes a display unit that switches the display image in response to a command from the control device 4.
  • the endoscope 1 is a tubular member extending in one direction and is provided at an insertion portion 10 inserted into a subject and a proximal end portion of the insertion portion 10, and is provided for an observation mode switching operation, an imaging recording operation, a forceps operation, and the like.
  • An operation unit 11 provided with an operation member for performing air supply / water supply operation, suction operation, etc., an angle knob 12 provided adjacent to the operation unit 11, an endoscope 1, a control device 4 and a light source device.
  • a forceps hole for inserting forceps for collecting biological tissues such as cells or polyps is provided inside the operation unit 11 and the insertion unit 10.
  • a channel for air supply and water supply is provided inside the operation unit 11 and the insertion unit 10.
  • Various channels such as a suction channel are provided.
  • the insertion portion 10 is composed of a flexible soft portion 10A, a curved portion 10B provided at the tip of the flexible portion 10A, and a hard tip portion 10C provided at the tip of the curved portion 10B.
  • the curved portion 10B is configured to be bendable by rotating the angle knob 12.
  • the curved portion 10B can be curved in an arbitrary direction and an arbitrary angle according to the part of the subject in which the endoscope 1 is used, and the tip portion 10C can be directed in a desired direction.
  • FIG. 2 is a schematic view showing the internal configuration of the endoscope device 100 shown in FIG.
  • FIG. 3 is a diagram showing an example of a spectrum of light generated by the light source device 5 shown in FIG.
  • the light source device 5 can irradiate the illumination light by switching between normal light and special light.
  • Normal light is light having an emission spectrum suitable for recognition by humans such as doctors, such as white light.
  • the special light is light having an emission spectrum suitable for analysis by a computer such as IEE, which has an emission spectrum different from that of normal light.
  • the light source device 5 includes a light source processor 51, a light source unit 52, and an optical path coupling unit 54.
  • the light source processor 51 is connected to the system control unit 44 of the control device 4, and controls the light source unit 52 based on a command from the system control unit 44.
  • the light source unit 52 has, for example, a plurality of semiconductor light sources, each of which is turned on or off, and when the light source unit 52 is turned on, the amount of light emitted from each semiconductor light source is controlled to emit illumination light that illuminates the observation target.
  • the light source unit 52 includes a V-LED (Violet Light Emitting Diet) 52a, a B-LED (Blue Light Emitting Diode) 52b, a G-LED (Green Light Emitting Diode) 52c, and an R-LED (Red). It has an LED of 4 colors of Emitting DIode) 52d.
  • the light source processor 51 independently controls V-LED52a, B-LED52b, G-LED52c, and R-LED52d to independently control purple light V, blue light B, green light G, or red light R, respectively. It is possible to emit light by changing the amount of light.
  • the V-LED 52a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 52b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 52c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED52d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source processor 51 emits white light having a light amount ratio of Vc: Bc: Gc: Rc among purple light V, blue light B, green light G, and red light R when irradiated with normal light.
  • the light source processor 51 has a light amount ratio of Vs: Bs: Gs: Rs with purple light V, blue light B, green light G, and red light R as short-wavelength narrow-band light when irradiated with special light.
  • Each LED 52a to 52d is controlled so as to emit the special light.
  • the light amount ratio Vs: Bs: Gs: Rs is different from the light amount ratio Vc: Bc: Gc: Rc used when irradiating normal light, and is appropriately determined according to the purpose of observation. For example, when emphasizing superficial blood vessels, it is preferable to make Vs larger than other Bs, Gs, Rs, and when emphasizing mesopelagic blood vessels, Gs is made larger than other Vs, Gs, Rs. It is also preferable to increase the size.
  • the optical path coupling unit 54 combines the lights emitted from the V-LED 52a, B-LED 52b, G-LED 52c, and R-LED 52d, and emits the combined light as illumination light.
  • the illumination light emitted from the optical path coupling portion 54 of the light source portion 52 enters the light guide 53 described later built in the universal cord 13, and passes through the illumination lens 50 provided at the tip portion 10C of the insertion portion 10. The subject is illuminated.
  • the tip portion 10C of the endoscope 1 includes an imaging optical system including an objective lens 21 and a lens group 22, an imaging element 23 that images a subject through the imaging optical system, and a memory 25 such as a RAM (Random Access Memory). , A communication interface (I / F) 26, an image pickup driving unit 27, and a light guide 53 for guiding the illumination light emitted from the light source unit 52 to the illumination lens 50 are provided.
  • the image sensor 23 constitutes the image pickup unit of the present invention.
  • the light guide 53 extends from the tip portion 10C to the connector portion 13A of the universal cord 13. With the connector portion 13A of the universal cord 13 connected to the light source device 5, the illumination light emitted from the light source portion 52 of the light source device 5 can be incident on the light guide 53.
  • the image sensor 23 As the image sensor 23, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like is used.
  • the image sensor 23 is a CMOS that uses a rolling shutter.
  • the image pickup element 23 has a light receiving surface in which a plurality of pixels are arranged two-dimensionally, and the optical image formed on the light receiving surface by the above imaging optical system is converted into an electric signal (imaging signal) in each pixel. To do. Then, the image pickup device 23 converts the converted image pickup signal from an analog signal into a digital signal having a predetermined number of bits, and outputs the image pickup signal converted into the digital signal to the memory 25.
  • the image sensor 23 for example, one equipped with a color filter such as a primary color or a complementary color is used. A set of image pickup signals output from each pixel on the light receiving surface of the image sensor 23 is called an image pickup image signal.
  • the image sensor 23 may be arranged at the tip portion 10C in a state where the light receiving surface is perpendicular to the optical axis Ax of the objective lens 21, or the light receiving surface is parallel to the optical axis Ax of the objective lens 21. It may be arranged in the tip portion 10C in such a state.
  • the image pickup optical system provided in the endoscope 1 includes optical members (including the above lens group 22) such as a lens and a prism on the optical path of light from the subject between the image pickup element 23 and the objective lens 21. It is composed of an objective lens 21 and.
  • the imaging optical system may be composed of only the objective lens 21.
  • the memory 25 temporarily records the digital image pickup signal output from the image pickup device 23.
  • the communication I / F 26 is connected to the communication interface (I / F) 41 of the control device 4.
  • the communication I / F 26 transmits the image pickup signal recorded in the memory 25 to the control device 4 through the signal line in the universal code 13.
  • the image pickup drive unit 27 is connected to the system control unit 44 of the control device 4 via the communication I / F 26.
  • the image pickup drive unit 27 drives the image pickup element 23 and the memory 25 based on a command from the system control unit 44 received by the communication I / F 26.
  • the control device 4 includes a communication I / F 41 connected to the communication I / F 26 of the endoscope 1 by a universal code 13, a signal processing unit 42, a display controller 43, a system control unit 44, a recording medium 45, and the like. To be equipped.
  • the communication I / F 41 receives the image pickup signal transmitted from the communication I / F 26 of the endoscope 1 and transmits it to the signal processing unit 42.
  • the signal processing unit 42 has a built-in memory for temporarily recording the image pickup signal received from the communication I / F 41, and processes the image pickup image signal which is a set of the image pickup signals recorded in the memory (demosaic processing, gamma correction processing, etc.). Image processing) to generate captured image information in a format capable of recognition processing and the like.
  • the captured image information generated by the signal processing unit 42 is recorded on a recording medium 45 such as a hard disk or a flash memory.
  • the display controller 43 causes the display device 7 to display an captured image based on the captured image information generated by the signal processing unit 42.
  • the coordinates of each pixel data constituting the captured image information generated by the signal processing unit 42 are managed in association with the coordinates of any of the display pixels constituting the display surface of the display device 7.
  • the system control unit 44 controls each part of the control device 4 and sends a command to the image pickup drive unit 27 of the endoscope 1 and the light source processor 51 of the light source device 5, and controls the entire endoscope device 100 in an integrated manner. To do.
  • the system control unit 44 controls the image pickup device 23 via the image pickup drive unit 27.
  • the system control unit 44 controls the light source unit 52 via the light source processor 51.
  • the system control unit 44 and the signal processing unit 42 include various processors that execute programs to perform processing, RAM, and ROM (Read Only Memory).
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed for executing a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit), is included.
  • the structure of these various processors is an electric circuit that combines circuit elements such as semiconductor elements.
  • the system control unit 44 and the signal processing unit 42 may be composed of one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a CPU and an FPGA). It may be composed of a combination of).
  • FIG. 4 is a schematic plan view showing a schematic configuration of the image pickup device 23 shown in FIG.
  • the image pickup element 23 has a pixel row 62 composed of a plurality of pixels 61 arranged in the row direction X, a plurality of pixel rows 62 arranged in a column direction Y orthogonal to the row direction X, and a pixel arranged on the image pickup surface 60.
  • a drive circuit 63 for driving the 61 and a signal processing circuit 64 for processing a pixel signal read from each pixel 61 of the pixel rows 62 arranged on the imaging surface 60 into a signal line are provided.
  • the imaging surface 60 constitutes a light receiving surface.
  • the end of the imaging surface 60 on one end side (upper side in the drawing) of the imaging surface 60 in the row direction Y is referred to as the upper end, and the other end of the imaging surface 60 in the row direction Y (lower side in the drawing).
  • the part is called the lower end.
  • the drive circuit 63 shown in FIG. 4 independently drives each pixel row 62 based on the signal from the image pickup drive unit 27, and resets each pixel 61 included in the pixel row 62 (stored in the photoelectric conversion element). Charge discharge), reading out the pixel signal according to the charge accumulated in the photoelectric conversion element of each pixel 61 to the signal line, and the like.
  • the signal processing circuit 64 shown in FIG. 4 performs correlation double sampling processing on the pixel signal read from each pixel 61 of the pixel row 62 into the signal line, and digitally signals the pixel signal after the correlation double sampling processing. Convert to and output.
  • the signal processing circuit 64 is controlled by the image pickup driving unit 27.
  • the signal processing unit 42 generates captured image information by performing signal processing such as demosaic processing and gamma correction processing on the pixel signal output from the image sensor 23.
  • the endoscope device 100 is equipped with a continuous shooting mode that continuously generates a plurality of captured image information in response to one imaging instruction.
  • the system control unit 44 drives the image sensor 23 by the image pickup drive unit 27 by the rolling shutter method to image the subject.
  • the rolling shutter type drive includes a rolling reset drive and a rolling read drive.
  • the rolling reset drive is a drive in which the process of resetting each pixel 61 of the pixel row 62 and starting the exposure of each pixel 61 is sequentially performed while changing the pixel row 62.
  • the rolling read-out drive is a drive in which a signal is read from each pixel 61 of the exposed pixel row 62 and the process of ending the exposure of the pixel row 62 is sequentially performed while changing the pixel row 62.
  • FIG. 5 is a diagram showing an example of a functional block of the system control unit 44 of the signal processing unit 42 shown in FIG.
  • the processor of the signal processing unit 42 executes the control program stored in the ROM built in the signal processing unit 42 to execute the captured image information generation unit 42a, the live image generation unit 42b, the analysis unit 42c, and the analysis image generation unit. It functions as a control device including 42d.
  • the captured image information generation unit 42a generates captured image information by performing image processing such as demosaic processing or gamma correction processing on the image pickup signal obtained by the image pickup of the image pickup element 23.
  • the captured image information generation unit 42a outputs the captured image information based on the imaging signal obtained by imaging during normal light irradiation to the live image generation unit 42b as an imaging frame among the generated captured image information, and outputs the special light.
  • the captured image information based on the imaging signal obtained by imaging during irradiation is output to the analysis unit 42c as an imaging frame.
  • the imaging frame is an imaging signal obtained by one imaging.
  • the live image generation unit 42b generates live image information for displaying a live image based on the image pickup frame output from the image capture image information generation unit 42a, and displays the generated live image information as the image capture image information controller 43. Output to (see Fig. 2).
  • the live image is an image (moving image) that displays the result of continuous imaging by the image pickup device 23 in real time, and constitutes the captured image of the present invention.
  • the analysis unit 42c performs analysis based on the image pickup frame output from the image capture image information generation unit 42a, and outputs the analysis result to the analysis image generation unit 42d.
  • the analysis image generation unit 42d performs a process of extracting the contour of the captured image as an analysis.
  • the analysis unit 42c identifies the contour of the biological structure reflected in the image indicated by the captured image information obtained by imaging during irradiation with special light.
  • the biological structure of the specific object is, for example, a superficial blood vessel structure, a middle blood vessel structure, a deep blood vessel structure, or the like.
  • the analysis image generation unit 42d generates image information for displaying a contour-enhanced image in which the contour specified by the analysis unit 42c is emphasized in the image indicated by the captured image information obtained by imaging during irradiation with special light. ..
  • the contour-enhanced image is displayed on the sub screen 72, and the operator of the endoscope 1 can easily recognize the structure in the subject.
  • the analysis image generation unit 42d generates IEE image information for displaying an IEE image indicating the analysis result output from the analysis unit 42c, and displays the generated IEE image information as captured image information controller 43 (see FIG. 2). ) Is output.
  • the IEE image is an image in which the outline of the structure of the subject is emphasized based on the imaging signal obtained by imaging when irradiating a special light such as a blue laser. In this case, special light such as a blue laser constitutes light for image-enhanced observation.
  • the IEE image is an image in which the surface blood vessel structure is emphasized, an image in which the middle layer blood vessel structure is emphasized, an image in which the deep blood vessel structure is emphasized, and the like.
  • the image generated by the analysis image generation unit 42d is not limited to the captured image and the processed image of the captured image, and numerical values (number, accuracy, etc.) and characters (tumor type) based on the analysis by the analysis unit 42c are used. It may be an image shown.
  • the endoscope device 100 includes an analysis unit 42c that performs analysis based on the captured image information obtained by imaging in the second period irradiated with special light among the captured image information. ..
  • the endoscope device 100 displays a live image based on the captured image information obtained by imaging in the first period when the normal light is irradiated, among the captured image information. This makes it possible to perform analysis based on special light while displaying a live image based on normal light.
  • FIG. 6 is a diagram showing an example of a screen displayed on the display device 7.
  • the display controller 43 causes the display device 7 to display, for example, the screen 70 shown in FIG. 6 based on the captured image information output from the signal processing unit 42.
  • the screen 70 includes a main screen 71 and a sub screen 72.
  • a live image based on the live image information output from the live image generation unit 42b of the signal processing unit 42 is displayed.
  • an IEE image based on the IEE image information output from the analysis image generation unit 42d of the signal processing unit 42 is displayed.
  • the endoscope device 100 includes a live image based on the captured image information obtained by imaging in the first period irradiated with normal light and a second period irradiated with special light.
  • the screen 70 including the result of the analysis based on the captured image information obtained by the imaging of the above is displayed.
  • FIG. 7 is a diagram showing an example of a time chart of each operation in the endoscope device 100.
  • the illumination light timing 81 is a timing at which the light source device 5 irradiates the illumination light according to a command from the control device 4.
  • the WLI in the illumination light timing 81 is a timing at which the light source device 5 irradiates normal light such as white light as illumination light.
  • the IEE 1 in the illumination light timing 81 is the timing at which the light source device 5 irradiates the first special light such as narrow band light as the illumination light.
  • the IEE2 in the illumination light timing 81 is the timing at which the light source device 5 irradiates the second special light different from the first special light as the illumination light.
  • the light source device 5 repeatedly executes a predetermined irradiation operation in the period T.
  • This irradiation operation is an operation of irradiating normal light and then irradiating special light (first special light or second special light).
  • the light source device 5 alternately switches the special light to be irradiated between the first special light and the second special light in each cycle T.
  • the light source device 5 may irradiate only the first special light every cycle T.
  • the image pickup timing 82 is a timing at which the image pickup device 23 takes an image (exposure) according to a command from the control device 4.
  • the vertical direction at the imaging timing 82 indicates the position of the pixel row 62 in the column direction Y (see FIG. 4).
  • the image pickup timing 82 is deviated for each pixel row 62. In the example shown in FIG. 7, the image sensor 23 performs imaging at a frame rate of 90 fps (frames per second).
  • the first period in which the light source device 5 continuously irradiates the normal light extends over a plurality of consecutive frames in the image pickup by the image pickup element 23.
  • the second period in which the light source device 5 continuously irradiates the special light extends over at least one frame in the image pickup by the image pickup device 23. In the example shown in FIG. 7, the second period extends over a plurality of consecutive frames by the image sensor 23.
  • the main screen display timing 83 is a timing at which the display device 7 displays (draws) the main screen 71 in response to a command from the control device 4.
  • the display device 7 displays the main screen 71 at a frame rate of 60 fps, that is, a frame rate lower than the frame rate of imaging by the image sensor 23.
  • the sub-screen display timing 84 is a timing at which the display device 7 displays (draws) the sub-screen 72 in response to a command from the control device 4.
  • the display device 7 is based on the image pickup signal obtained by the image pickup during the irradiation of normal light among the image pickups shown in the image pickup timing 82.
  • the main screen 71 is displayed.
  • the display device 7 performs the main screen display 83a based on the image pickup signal obtained by the image pickup 82a.
  • the display device 7 uses the image pickup signal obtained by the image pickup when the special light is irradiated among the image pickups shown in the image pickup timing 82. Based on this, the sub screen 72 is displayed. For example, the display device 7 performs sub-screen display 84b (display of the IEE1 analysis result) based on the image pickup signal obtained by the image pickup 82b at the time of irradiation of the first special light (IEE1). Further, the display device 7 performs a sub-screen display 84c (display of the IEE2 analysis result) based on the image pickup signal obtained by the image pickup 82c at the time of irradiation of the second special light (IEE2).
  • sub-screen display 84b display of the IEE1 analysis result
  • the display device 7 performs a sub-screen display 84c (display of the IEE2 analysis result) based on the image pickup signal obtained by the image pickup 82c at the time of irradiation of the second special light (IEE2).
  • control device 4 performs a blank reading of the image pickup signal obtained by the image pickup including the timing when the illumination light emitted by the light source device 5 is switched from the normal light to the special light among the image pickups shown in the image pickup timing 82.
  • the blank reading of the image pickup signal means that the image based on the image pickup signal is not displayed by the display device 7, for example, the image pickup signal is discarded.
  • the control device 4 reads out the pixel signal according to the electric charge accumulated in the photoelectric conversion element to the signal line, so that the electric charge accumulated in the photoelectric conversion element is discharged in the same manner as the above reset. , Discard the read signal.
  • the read signal may be discarded by the endoscope 1 or the control device 4.
  • control device 4 discards the image pickup signal obtained by the image pickup 82d.
  • the control device 4 discards the image pickup signal obtained by the image pickup 82d.
  • the imaging signal obtained by imaging including the timing when the illumination light is switched from the normal light to the special light is used for the above analysis, the above analysis is not performed correctly due to the switching of the illumination light and is displayed on the sub screen 72.
  • the content of the analysis result image is inaccurate.
  • the imaging signal obtained by imaging including the timing when the illumination light is switched from the normal light to the special light is used for the main screen 71, the color of the live image displayed on the main screen 71 is temporarily changed due to the switching of the illumination light. Change. By performing the above blank reading, it is possible to suppress the influence on the display of the main screen 71 and the sub screen 72.
  • control device 4 further receives an imaging signal obtained by imaging including the timing at which the illumination light emitted by the light source device 5 is switched from the special light to the normal light among the imaging of each timing shown in the imaging timing 82. May be read blank.
  • the control device 4 may discard the image pickup signal obtained by the image pickup 82e. As a result, even if the global reset is not performed at the timing when the illumination light emitted by the light source device 5 is switched from the special light to the normal light, the influence of the switching of the illumination light on the above analysis and the display of the main screen 71 is suppressed. be able to.
  • the image sensor 23 performs imaging at a frame rate higher than the frame rate displayed by the display device 7, thereby reducing the frame rate of live image display by switching between normal light and special light. It is possible to display a high-quality live image.
  • the first period in which the light source device 5 continuously irradiates the normal light is longer than the second period in which the light source device 5 continuously irradiates the special light, for example, for each frame in the image pickup by the image pickup element 23.
  • the exposure time during irradiation with normal light can be lengthened, and a high-quality live image can be displayed.
  • the imaging signal immediately after the start of the second period in which the light source device 5 continuously irradiates the special light is at least.
  • the image pickup signal excluding the image pickup signal for one frame by the image pickup element 23 can be acquired as an image pickup signal to be displayed as the sub screen 72 of the display device 7.
  • the image pickup device 23 performs imaging at a frame rate higher than the frame rate of the display of the captured image by the display device 7. Then, the first period in which the light source device 5 extends over a plurality of consecutive frames by the image pickup element 23, and the second period in which the image pickup element 23 extends over at least one frame after the illumination light is continuously irradiated. The operation of irradiating the illumination light having a spectrum different from the spectrum of the illumination light irradiated in the first period is repeatedly performed. This makes it possible to display a high-quality live image based on imaging with normal light while performing imaging with special light without the user having to switch the illumination light.
  • FIG. 8 is a diagram showing an example of a time chart of each operation in the modification 1 of the endoscope device 100.
  • the configuration in which the global reset is not performed in the image sensor 23 by performing blank reading has been described, the configuration may be such that the global reset is performed.
  • the black rectangle indicates the timing at which the global reset of the image pickup element 23 is performed.
  • the image sensor 23 performs a global reset instead of the above blank reading at the timing when the illumination light emitted by the light source device 5 switches from the normal light to the special light.
  • the image sensor 23 performs a global reset 91 at a timing between the image pickup 82a and the image pickup 82b.
  • control device 4 may further perform a global reset at the timing when the image sensor 23 switches the illumination light emitted by the light source device 5 from the special light to the normal light.
  • control device 4 may perform a global reset instead of the image pickup 82e.
  • the global reset of the image sensor 23 is performed after the first period of irradiation with normal light, and the captured image information after the global reset is used as the second image information irradiated with special light. It is acquired as captured image information of the period. As a result, it is possible to suppress the influence of the switching of the illumination light on the analysis result.
  • FIG. 9 is a diagram showing an example of a time chart of each operation in the second modification of the endoscope device 100.
  • the image pickup timing 82 in FIG. 9 indicates the image pickup (exposure) timing when the image pickup device 23 performs the image pickup of the global shutter method. As shown in the imaging timing 82 of FIG. 9, in the global shutter system, the imaging timing is the same for each pixel row 62.
  • the light source device 5 switches the irradiation light between the images taken by the global shutter method.
  • the image sensor 23 may perform a global shutter type image pickup operation.
  • analysis unit 42c signal processing unit 42
  • the analysis by the analysis unit 42c is not limited to this.
  • the analysis unit 42c may analyze the insertion shape of the endoscope 1 as the above analysis.
  • the analysis of the insertion shape of the endoscope 1 specifically identifies the insertion shape of the insertion portion 10 of the endoscope 1 inserted into the subject.
  • the analysis unit 42c specifies the insertion shape of the endoscope 1 based on the change in the captured image information obtained by the imaging when the special light is irradiated.
  • the analysis image generation unit 42d generates image information for displaying an image showing the insertion shape of the endoscope 1 specified by the analysis unit 42c. As a result, an image showing the insertion shape of the endoscope 1 is displayed on the sub screen 72, and the operator of the endoscope 1 can easily insert the insertion portion 10 of the endoscope 1 into the subject. Can be done.
  • the analysis unit 42c may detect the region of interest in the subject into which the endoscope 1 is inserted as the above analysis. For example, the analysis unit 42c detects a region of interest in the subject from the image indicated by the captured image information obtained by imaging during irradiation with special light.
  • the region of interest is the region of interest in the observations within the subject, such as the region that is likely to be a lesion.
  • the analysis image generation unit 42d provides image information for displaying an attention area-enhanced image in which the attention area is emphasized detected by the analysis unit 42c in the image indicated by the captured image information obtained by imaging during irradiation with special light. Generate.
  • the region-focused image is displayed on the sub-screen 72, and the operator of the endoscope 1 can easily recognize the region of interest in the subject.
  • the analysis image generation unit 42d expands the color difference between the abnormal part (lesion part or the like) and the normal part, which is a region of interest, in the image indicated by the image captured image information obtained by imaging during irradiation with special light. Image information for displaying the color difference expansion image that has undergone the color difference expansion processing may be generated. As a result, the color difference expanded image is displayed on the sub screen 72, and the operator of the endoscope 1 can easily distinguish between the abnormal part and the normal part in the subject.
  • the analysis unit 42c may select a similar case image as the above analysis.
  • the analysis unit 42c selects a case image similar to the captured image information obtained by imaging during irradiation with special light by searching a database accessible to the endoscope device 100.
  • the analysis image generation unit 42d generates image information for displaying an image showing the result of selection by the analysis unit 42c.
  • the result of selection by the analysis unit 42c may be the case image itself selected by the analysis unit 42c, or the case image associated with the case image selected by the analysis unit 42c in the above database. It may be information such as a diagnosis result regarding.
  • the selection result of the similar case image is displayed on the sub screen 72, and the operator of the endoscope 1 can easily compare the state in the subject under observation with the similar case.
  • the analysis unit 42c may discriminate between a tumor and a non-tumor as the above analysis. For example, the analysis unit 42c determines whether or not the biological region reflected in the image indicated by the captured image information obtained by imaging during irradiation with special light is a tumor.
  • the analysis image generation unit 42d generates image information for displaying an image showing the result of discrimination by the analysis unit 42c.
  • the result of discrimination by the analysis unit 42c may be information indicating whether or not the biological region reflected in the most recently captured image is a tumor, or it may be a tumor after the current examination is started. It may be information indicating the number of biological regions determined to be present.
  • the discrimination result of the tumor and the non-tumor is displayed on the sub screen 72, and it is possible to support the observation by the operator of the endoscope 1 and the operation of the endoscope 1.
  • the analysis unit 42c may identify the state of the organ as the above analysis. For example, the analysis unit 42c identifies the state of the organs reflected in the image indicated by the captured image information obtained by imaging during irradiation with special light.
  • the state of the organ is, for example, the oxygen saturation for each region, the thickness, density, pattern, and uniformity of the vascular structure, the surface structure of the large intestine (for example, pit-like structure), the surface structure of the duodenum (for example, villous structure), and the like. is there.
  • the analysis image generation unit 42d generates image information for displaying an image showing a specific result by the analysis unit 42c. For example, the analysis image generation unit 42d generates an oxygen saturation image that images the oxygen saturation for each specified region.
  • the identification result of the state of the organ is displayed on the sub screen 72, and it is possible to support the observation by the operator of the endoscope 1 and the operation of the endoscope 1.
  • the analysis unit 42c may generate an planned separation line as the above analysis.
  • the analysis unit 42c plans to cut off the biological region that is reflected in the image indicated by the captured image information obtained by imaging during irradiation with special light, which is a line to be cut off in order to remove a tumor or the like.
  • the analysis image generation unit 42d generates image information for displaying an image with a scheduled separation line determined by the analysis unit 42c in the image indicated by the captured image information obtained by imaging during irradiation with special light. To do.
  • the image with the planned separation line is displayed on the sub screen 72, and the operator of the endoscope 1 can easily recognize the planned separation line in the subject.
  • the cycle T which is the repeating cycle of the operation of irradiating the normal light and the special light
  • the cycle T may be indefinite.
  • the cycle T the special light may be first irradiated and then the normal light may be irradiated.
  • the spectrum of normal light may be constant at the repetition of each cycle T, or may be indefinite at the repetition of each cycle T.
  • spectrum of the special light may be constant at the repetition of each period T or may be indefinite at the repetition of each period T.
  • the configuration in which the second period of irradiating the special light is immediately after the first period of irradiating the normal light has been described, but the light source device 5 is used between the first period and the second period. There may be a non-irradiation period in which the illumination light is not applied.
  • the endoscope device 100 has been described as an example of the endoscope system of the present invention, the endoscope system of the present invention may be realized by a plurality of devices connected to each other via a network. For example, at least a part of the processing by the control device 4 may be executed by another device connected to the endoscope device 100 via a network.
  • the display unit of the present invention may be realized by a plurality of display devices.
  • the main area may be configured by one of the plurality of display devices, and the sub-area may be configured by the remaining display devices of the plurality of display devices.
  • Control program The control program stored in the ROM of the control device 4 is stored in a computer-readable non-transitory storage medium.
  • a "computer-readable storage medium” includes, for example, an optical medium such as a CD-ROM (Compact Disc-ROM), a magnetic storage medium such as a USB (Universal Serial Bus) memory, or a memory card. It is also possible to provide such a program by downloading via a network.
  • An endoscope equipped with an imaging unit and A light source unit that irradiates the image pickup target by the image pickup unit with illumination light, An imaging control unit that acquires captured image information based on the imaging signal obtained from the imaging unit, and an imaging control unit.
  • a display unit that displays a captured image based on the captured image information is provided.
  • the imaging unit captures the imaged object at a frame rate higher than the frame rate of the display of the captured image by the display unit.
  • the light source unit has a first period over a plurality of consecutive frames by the imaging unit, a second period during which the imaging unit continuously irradiates the illumination light and then extends over at least one frame, the first period.
  • An endoscopic system that repeatedly irradiates an illumination light having a spectrum different from the spectrum of the illumination light irradiated in one period.
  • the endoscopic system according to any one of (1) to (4).
  • the imaging unit performs a rolling shutter type imaging operation.
  • the second period is a period over a plurality of consecutive frames by the imaging unit.
  • the imaging control unit uses information excluding at least one frame of captured image information by the imaging unit as the captured image information in the second period. To get an endoscopic system.
  • the endoscopic system according to any one of (1) to (4).
  • the imaging unit performs a rolling shutter type imaging operation.
  • the imaging control unit performs a global reset of the imaging unit after the first period, and acquires the captured image information after the global reset as the captured image information of the second period.
  • Mirror system
  • the endoscopic system is an endoscope system that performs a global shutter type imaging operation.
  • the endoscopic system according to any one of (1) to (7). It is provided with an analysis unit that performs analysis based on the captured image information obtained by imaging in the second period of the captured image information.
  • the display unit is an endoscope system that displays the captured image based on the captured image information obtained by imaging in the first period of the captured image information.
  • the display unit is an endoscope system that displays a screen including the captured image and the result of the analysis.
  • the endoscopic system according to (8) or (9).
  • the analysis is an endoscopic system that includes an analysis of the insertion shape of the endoscope.
  • the endoscopic system according to any one of (8) to (10).
  • the analysis is an endoscopic system including extraction of contours of a captured image based on the captured image information.
  • the endoscopic system according to any one of (8) to (11).
  • the analysis is an endoscopic system that includes detection of a region of interest in a subject into which the endoscope has been inserted.
  • the endoscopic system according to any one of (8) to (12).
  • the analysis is an endoscopic system that includes selection of similar case images.
  • the endoscopic system according to any one of (8) to (13).
  • the analysis is an endoscopic system that includes tumor and non-tumor discrimination.
  • the endoscopic system according to any one of (8) to (14).
  • the above analysis is an endoscopic system that involves identifying the condition of an organ.
  • the endoscopic system according to any one of (8) to (15).
  • the above analysis is an endoscopic system that includes the generation of planned separation lines.
  • An endoscope including an imaging unit, a light source unit that irradiates an imaging target by the imaging unit with illumination light, an imaging control unit that acquires captured image information based on an imaging signal obtained from the imaging unit, and the imaging unit. It is a control method of an endoscope system including a display unit for displaying an captured image based on image information.
  • the image pickup unit performs imaging of the image pickup target at a frame rate higher than the frame rate of the display of the captured image by the display unit.
  • the first period over a plurality of consecutive frames by the light source unit, the second period during which the imaging unit continuously irradiates the illumination light over at least one frame, the first period.
  • a method for controlling an endoscopic system in which an operation of irradiating an illumination light having a spectrum different from the spectrum of the illumination light irradiated in one period is repeatedly performed.
  • An endoscope including an imaging unit, a light source unit that irradiates an imaging target by the imaging unit with illumination light, an imaging control unit that acquires captured image information based on an imaging signal obtained from the imaging unit, and the imaging unit.
  • a control program that controls an endoscope system including a display unit that displays a captured image based on image information.
  • the image pickup unit is made to take an image of the image pickup target at a frame rate higher than the frame rate of the display of the captured image by the display unit.
  • the light source unit is continuously irradiated with illumination light for a first period over a plurality of consecutive frames by the imaging unit, and then the second period is a period for at least one frame by the imaging unit.
  • the operation of irradiating the illumination light having a spectrum different from the spectrum of the illumination light irradiated in the period of 1 is repeatedly performed.
  • appendix 1 An endoscope equipped with an imaging sensor and A light source device that irradiates the image pickup target by the image pickup sensor with illumination light, An imaging control processor that acquires captured image information based on an imaging signal obtained from the imaging sensor, and an imaging control processor.
  • a display device for displaying an captured image based on the captured image information is provided. The image sensor captures the imaged object at a frame rate higher than the frame rate of displaying the captured image by the display device.
  • the light source device has a first period over a plurality of consecutive frames by the image pickup sensor, and a second period, which is a period over at least one frame by the image pickup sensor after continuously irradiating the illumination light.
  • An endoscopic system that repeatedly irradiates an illumination light having a spectrum different from the spectrum of the illumination light irradiated in one period.
  • an endoscope system capable of displaying a high-quality live image based on imaging with normal light while performing imaging with special light.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Signal Processing (AREA)

Abstract

特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことのできる内視鏡システム、制御方法、及び制御プログラムを提供する。撮像素子２３は、表示装置７による撮像画像の表示のフレームレートより高いフレームレートで撮像を行う。光源装置５は、撮像素子２３による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、撮像素子２３による少なくとも１フレームに渡る期間である第２の期間、第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う。

Description

内視鏡システム、制御方法、及び制御プログラム
　本発明は、内視鏡システム、制御方法、及び制御プログラムに関する。
　従来、白色光等の通常光を被検体内に照射しながら連続撮像を行い、ライブ画像を表示する内視鏡システムが知られている。狭帯域光等の特殊光を被検体内に照射しながら連続撮像を行い、ＩＥＥ（Ｉｍａｇｅ－Ｅｎｈａｎｃｅｄ　Ｅｎｄｏｓｃｏｐｙ：画像強調観察）などの解析を行う内視鏡システムが知られている。
　また、撮像時の照明光として、通常光及び特殊光を切り替えることが可能な内視鏡システムが知られている。例えば、特許文献１には、消灯期間を介して通常光及び特殊光を交互に照射し、各消灯期間に撮像素子から信号読み出しを行う特殊観察モードを有する内視鏡システムが記載されている。特許文献２には、被写体に特殊光が照射されている間に撮像を行うことにより生成された特殊光画像と、被写体に通常光が照射されている間に撮像を行うことにより生成された通常光画像とを取得する内視鏡システムが記載されている。
ＷＯ２０１５／１３６９６３号公報 特開２０１６－１９５６９号公報
　しかしながら、上記の従来技術では、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことができなかった。例えば、通常光と特殊光とを切り替えながら撮像を行うと、ライブ画像に用いられる通常光時の撮像画像情報のフレームレートが低下するため、ライブ画像の表示のフレームレートが低下し、高品質なライブ画像の表示を行うことができない。
　また、特許文献１の構成では、通常光及び特殊光を交互に照射するため、通常光の露光時間が短くなり、高品質なライブ画像の表示を行うことができなかった。また、上記の課題を解決する手段は、特許文献２にも開示されていない。
　本発明は、上記事情に鑑みてなされたものであり、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことのできる内視鏡システム、制御方法、及び制御プログラムを提供することを目的とする。
　本発明の内視鏡システムは、撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備え、上記撮像部が、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、上記光源部が、上記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、上記撮像部による少なくとも１フレームに渡る期間である第２の期間、上記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行うものである。
　また、本発明の内視鏡システムの制御方法は、撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムの制御方法であって、上記撮像部により、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、上記光源部により、上記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、上記撮像部による少なくとも１フレームに渡る期間である第２の期間、上記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行うものである。
　また、本発明のための制御プログラムは、撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムを制御する制御プログラムであって、上記撮像部に、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行わせ、上記光源部に、上記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、上記撮像部による少なくとも１フレームに渡る期間である第２の期間、上記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行わせる、処理をコンピュータに実行させるためのものである。
　本発明によれば、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことのできる内視鏡システム、制御方法、及び制御プログラムを提供することができる。
本発明の一実施形態である内視鏡装置１００の一例を示す図である。 図１に示す内視鏡装置１００の内部構成を示す模式図である。 図２に示した光源装置５が発生させる光のスペクトルの一例を示す図である。 図２に示した撮像素子２３の概略構成を示す平面模式図である。 図２に示した信号処理部４２のシステム制御部４４の機能ブロックの一例を示す図である。 表示装置７に表示される画面の一例を示す図である。 内視鏡装置１００における各動作のタイムチャートの一例を示す図である。 内視鏡装置１００の変形例１における各動作のタイムチャートの一例を示す図である。 内視鏡装置１００の変形例２における各動作のタイムチャートの一例を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態である内視鏡装置１００の一例を示す図である。
　内視鏡装置１００は、本発明の内視鏡システムの一例である。図１に示すように、内視鏡装置１００は、内視鏡１と、この内視鏡１が接続される制御装置４及び光源装置５と、を備える。制御装置４は、本発明の撮像制御部を構成する。光源装置５は、本発明の光源部を構成する。
　制御装置４には、内視鏡１によって被検体内を撮像して得られる撮像画像等を表示する表示装置７と、制御装置４に対して各種情報を入力するためのインタフェースである入力部６と、が接続されている。制御装置４は、内視鏡１、光源装置５、及び表示装置７を制御する。
　表示装置７は、表示画素が二次元状に配列された表示面を有し、この表示面の各表示画素に、画像データを構成する画素データが描画されることで、この画像データに基づく画像の表示が行われる。表示装置７は、制御装置４からの指令に応じて表示画像を切り替える表示部を構成する。
　内視鏡１は、一方向に延びる管状部材であって被検体内に挿入される挿入部１０と、挿入部１０の基端部に設けられ、観察モード切替操作、撮像記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部１１と、操作部１１に隣接して設けられたアングルノブ１２と、内視鏡１を制御装置４と光源装置５にそれぞれ着脱自在に接続するコネクタ部１３Ａ，１３Ｂを含むユニバーサルコード１３と、を含む。
　なお、図１では省略されているが、操作部１１及び挿入部１０の内部には、細胞又はポリープ等の生体組織を採取するための鉗子を挿入する鉗子孔、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
　挿入部１０は、可撓性を有する軟性部１０Ａと、軟性部１０Ａの先端に設けられた湾曲部１０Ｂと、湾曲部１０Ｂの先端に設けられた硬質の先端部１０Ｃとから構成される。
　湾曲部１０Ｂは、アングルノブ１２の回動操作により湾曲自在に構成されている。この湾曲部１０Ｂは、内視鏡１が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部１０Ｃを所望の方向に向けることができる。
　図２は、図１に示す内視鏡装置１００の内部構成を示す模式図である。図３は、図２に示した光源装置５が発生させる光のスペクトルの一例を示す図である。
　光源装置５は、照明光として、通常光と特殊光とを切り替えて照射可能である。通常光は、白色光等の、医師等の人間による認識に適した発光スペクトルを有する光である。特殊光は、通常光とは発光スペクトルが異なる、ＩＥＥ等のコンピュータによる解析に適した発光スペクトルを有する光である。
　具体的には、光源装置５は、光源用プロセッサ５１と、光源部５２と、光路結合部５４と、を備える。光源用プロセッサ５１は、制御装置４のシステム制御部４４と接続されており、システム制御部４４からの指令に基づいて光源部５２を制御する。
　光源部５２は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部５２は、Ｖ－ＬＥＤ（Ｖｉｏｌｅｔ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）５２ａ、Ｂ－ＬＥＤ（Ｂｌｕｅ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）５２ｂ、Ｇ－ＬＥＤ（Ｇｒｅｅｎ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）５２ｃ、及びＲ－ＬＥＤ（Ｒｅｄ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）５２ｄの４色のＬＥＤを有する。
　光源用プロセッサ５１は、Ｖ－ＬＥＤ５２ａ、Ｂ－ＬＥＤ５２ｂ、Ｇ－ＬＥＤ５２ｃ、及びＲ－ＬＥＤ５２ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。図３に示すように、Ｖ－ＬＥＤ５２ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ５２ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ５２ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ５２ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
　また、光源用プロセッサ５１は、通常光の照射時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ５２ａ～５２ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。
　また、光源用プロセッサ５１は、特殊光の照射時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ５２ａ～５２ｄを制御する。
　光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常光の照射時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。
　光路結合部５４は、Ｖ－ＬＥＤ５２ａ、Ｂ－ＬＥＤ５２ｂ、Ｇ－ＬＥＤ５２ｃ、及びＲ－ＬＥＤ５２ｄから出射される各光を結合し、結合した光を照明光として出射する。光源部５２の光路結合部５４から出射された照明光は、ユニバーサルコード１３に内蔵された後述のライトガイド５３に入射し、挿入部１０の先端部１０Ｃに設けられた照明用レンズ５０を通って被写体に照射される。
　内視鏡１の先端部１０Ｃには、対物レンズ２１及びレンズ群２２を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子２３と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリ２５と、通信インタフェース（Ｉ／Ｆ）２６と、撮像駆動部２７と、光源部５２から出射された照明光を照明用レンズ５０に導くためのライトガイド５３と、が設けられている。撮像素子２３は、本発明の撮像部を構成する。
　ライトガイド５３は、先端部１０Ｃからユニバーサルコード１３のコネクタ部１３Ａまで延びている。ユニバーサルコード１３のコネクタ部１３Ａが光源装置５に接続された状態で、光源装置５の光源部５２から出射される照明光がライトガイド５３に入射可能な状態となる。
　撮像素子２３は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。本実施形態においては、撮像素子２３は、ローリングシャッタを用いるＣＭＯＳである。
　撮像素子２３は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によってこの受光面に結像された光学像を各画素において電気信号（撮像信号）に変換する。そして、撮像素子２３は、変換した撮像信号をアナログ信号から所定のビット数のデジタル信号に変換し、デジタル信号に変換した撮像信号をメモリ２５に出力する。撮像素子２３は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。撮像素子２３の受光面の各画素から出力される撮像信号の集合を撮像画像信号という。
　撮像素子２３は、対物レンズ２１の光軸Ａｘに対して受光面が垂直となる状態で先端部１０Ｃに配置されていてもよいし、対物レンズ２１の光軸Ａｘに対して受光面が平行となる状態で先端部１０Ｃに配置されていてもよい。
　内視鏡１に設けられる撮像光学系は、撮像素子２３と対物レンズ２１との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材（上記のレンズ群２２を含む）と、対物レンズ２１と、によって構成される。撮像光学系は、対物レンズ２１のみで構成される場合もある。
　メモリ２５は、撮像素子２３から出力されたデジタルの撮像信号を一時的に記録する。
　通信Ｉ／Ｆ２６は、制御装置４の通信インタフェース（Ｉ／Ｆ）４１と接続される。通信Ｉ／Ｆ２６は、メモリ２５に記録された撮像信号を、ユニバーサルコード１３内の信号線を通して制御装置４に伝送する。
　撮像駆動部２７は、通信Ｉ／Ｆ２６を介して制御装置４のシステム制御部４４と接続されている。撮像駆動部２７は、通信Ｉ／Ｆ２６で受信されるシステム制御部４４からの指令に基づいて、撮像素子２３及びメモリ２５を駆動する。
　制御装置４は、ユニバーサルコード１３によって内視鏡１の通信Ｉ／Ｆ２６と接続される通信Ｉ／Ｆ４１と、信号処理部４２と、表示コントローラ４３と、システム制御部４４と、記録媒体４５と、を備える。
　通信Ｉ／Ｆ４１は、内視鏡１の通信Ｉ／Ｆ２６から伝送されてきた撮像信号を受信して信号処理部４２に伝達する。
　信号処理部４２は、通信Ｉ／Ｆ４１から受けた撮像信号を一時記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理（デモザイク処理又はガンマ補正処理等の画像処理）して、認識処理等が可能な形式の撮像画像情報を生成する。信号処理部４２によって生成された撮像画像情報は、ハードディスク又はフラッシュメモリ等の記録媒体４５に記録される。
　表示コントローラ４３は、信号処理部４２によって生成された撮像画像情報に基づく撮像画像を表示装置７に表示させる。信号処理部４２によって生成された撮像画像情報を構成する各画素データの座標は、表示装置７の表示面を構成するいずれかの表示画素の座標と対応付けて管理されている。
　システム制御部４４は、制御装置４の各部を制御すると共に、内視鏡１の撮像駆動部２７と光源装置５の光源用プロセッサ５１とに指令を送り、内視鏡装置１００の全体を統括制御する。例えば、システム制御部４４は、撮像駆動部２７を介して撮像素子２３の制御を行う。また、システム制御部４４は、光源用プロセッサ５１を介して光源部５２の制御を行う。
　システム制御部４４や信号処理部４２は、プログラムを実行して処理を行う各種のプロセッサと、ＲＡＭと、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を含む。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部４４や信号処理部４２は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　図４は、図２に示した撮像素子２３の概略構成を示す平面模式図である。
　撮像素子２３は、行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。撮像面６０は受光面を構成する。
　以下では、図４において撮像面６０の列方向Ｙの一端側（図中の上側）の端部を上端といい、撮像面６０の列方向Ｙの他端側（図中の下側）の端部を下端という。
　図４に示す駆動回路６３は、撮像駆動部２７からの信号に基づいて、各画素行６２を独立に駆動し、画素行６２に含まれる各画素６１のリセット（光電変換素子に蓄積されている電荷の排出）、この各画素６１の光電変換素子に蓄積された電荷に応じた画素信号の信号線への読み出し等を行う。
　図４に示す信号処理回路６４は、画素行６２の各画素６１から信号線に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換して出力する。信号処理回路６４は、撮像駆動部２７によって制御される。
　信号処理部４２は、撮像素子２３から出力された画素信号にデモザイク処理及びガンマ補正処理等の信号処理を施して撮像画像情報を生成する。
　内視鏡装置１００は、１回の撮像指示に応じて複数の撮像画像情報を連続して生成する連写モードを搭載している。システム制御部４４は、連写モードにおいては、撮像駆動部２７により撮像素子２３をローリングシャッタ方式により駆動して被写体を撮像させる。
　ローリングシャッタ方式の駆動は、ローリングリセット駆動と、ローリング読み出し駆動と、を含む。ローリングリセット駆動は、画素行６２の各画素６１をリセットしてその各画素６１の露光を開始する処理を、画素行６２を変えながら順次行う駆動である。ローリング読み出し駆動は、露光されている画素行６２の各画素６１から信号を読み出して、その画素行６２の露光を終了する処理を、画素行６２を変えながら順次行う駆動である。
　図５は、図２に示した信号処理部４２のシステム制御部４４の機能ブロックの一例を示す図である。
　信号処理部４２のプロセッサは、信号処理部４２に内蔵されるＲＯＭに格納された制御プログラムを実行することにより、撮像画像情報生成部４２ａ、ライブ画像生成部４２ｂ、解析部４２ｃ及び解析画像生成部４２ｄを備える制御装置として機能する。
　撮像画像情報生成部４２ａは、撮像素子２３の撮像により得られた撮像信号に対して、デモザイク処理又はガンマ補正処理等の画像処理を行うことにより撮像画像情報を生成する。撮像画像情報生成部４２ａは、生成した撮像画像情報のうち、通常光の照射時の撮像により得られた撮像信号に基づく撮像画像情報を撮像フレームとしてライブ画像生成部４２ｂへ出力し、特殊光の照射時の撮像により得られた撮像信号に基づく撮像画像情報を撮像フレームとして解析部４２ｃへ出力する。撮像フレームは、１回の撮像により得られた撮像信号である。
　ライブ画像生成部４２ｂは、撮像画像情報生成部４２ａから出力された撮像フレームに基づいて、ライブ画像を表示するためのライブ画像情報を生成し、生成したライブ画像情報を撮像画像情報として表示コントローラ４３（図２参照）へ出力する。ライブ画像は、撮像素子２３による連続した撮像の結果をリアルタイムで表示する画像（動画）であり、本発明の撮像画像を構成する。
　解析部４２ｃには、撮像画像情報生成部４２ａから出力された撮像フレームに基づく解析を行い、その解析の結果を解析画像生成部４２ｄへ出力する。ここでは、解析画像生成部４２ｄは、解析として、撮像画像の輪郭の抽出の処理を行うものとする。
　例えば、解析部４２ｃは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる生体構造の輪郭を特定する。特定対象の生体構造は、例えば、表層血管構造、中層血管構造、又は深層血管構造などである。解析画像生成部４２ｄは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、解析部４２ｃにより特定された輪郭を強調した輪郭強調画像を表示するための画像情報を生成する。これにより、輪郭強調画像がサブ画面７２に表示され、内視鏡１の操作者は、被検体内の構造を容易に認識できる。
　解析画像生成部４２ｄは、解析部４２ｃから出力された解析の結果を示すＩＥＥ画像を表示するためのＩＥＥ画像情報を生成し、生成したＩＥＥ画像情報を撮像画像情報として表示コントローラ４３（図２参照）へ出力する。ＩＥＥ画像は、青色レーザ等の特殊光の照射時の撮像により得られた撮像信号に基づく、被写体の構造の輪郭が強調された画像である。この場合、青色レーザ等の特殊光は、画像強調観察用の光を構成する。例えば、ＩＥＥ画像は、表層血管構造を強調した画像、中層血管構造を強調した画像、深層血管構造を強調した画像などである。
　なお、解析画像生成部４２ｄによって生成される画像は、撮像画像や撮像画像を加工した画像に限らず、解析部４２ｃによる解析に基づく、数値（数、確度等）や文字（腫瘍種別）などを示す画像であってもよい。
　図５において説明したように、内視鏡装置１００は、撮像画像情報のうち、特殊光が照射された第２の期間の撮像により得られた撮像画像情報に基づく解析を行う解析部４２ｃを備える。一方で、内視鏡装置１００は、撮像画像情報のうち、通常光が照射された第１の期間の撮像により得られた撮像画像情報に基づくライブ画像を表示する。これにより、通常光に基づくライブ画像を表示しつつ、特殊光に基づく解析を行うことができる。
　図６は、表示装置７に表示される画面の一例を示す図である。
　表示コントローラ４３は、信号処理部４２から出力された撮像画像情報に基づいて、例えば図６に示す画面７０を表示装置７に表示させる。画面７０には、メイン画面７１と、サブ画面７２と、が含まれる。
　メイン画面７１には、信号処理部４２のライブ画像生成部４２ｂから出力されたライブ画像情報に基づくライブ画像が表示される。サブ画面７２には、信号処理部４２の解析画像生成部４２ｄから出力されたＩＥＥ画像情報に基づくＩＥＥ画像が表示される。
　図６において説明したように、内視鏡装置１００は、通常光が照射された第１の期間の撮像により得られた撮像画像情報に基づくライブ画像と、特殊光が照射された第２の期間の撮像により得られた撮像画像情報に基づく解析の結果と、を含む画面７０を表示する。
　図７は、内視鏡装置１００における各動作のタイムチャートの一例を示す図である。
　照明光タイミング８１は、制御装置４からの指令により光源装置５が照明光を照射するタイミングである。照明光タイミング８１におけるＷＬＩは、光源装置５が照明光として白色光等の通常光を照射するタイミングである。照明光タイミング８１におけるＩＥＥ１は、光源装置５が照明光として狭帯域光等の第１特殊光を照射するタイミングである。照明光タイミング８１におけるＩＥＥ２は、光源装置５が照明光として第１特殊光とは異なる第２特殊光を照射するタイミングである。
　照明光タイミング８１に示すように、光源装置５は、予め定められた照射動作を周期Ｔで繰り返し実行する。この照射動作は、通常光を照射し、その後に特殊光（第１特殊光又は第２特殊光）を照射する動作である。図７に示す例では、光源装置５は、照射する特殊光を、周期Ｔごとに、第１特殊光と第２特殊光とに交互に切り替えている。ただし、光源装置５は、周期Ｔごとに第１特殊光のみを照射してもよい。
　撮像タイミング８２は、制御装置４からの指令により撮像素子２３が撮像（露光）を行うタイミングである。撮像タイミング８２における縦方向は画素行６２の列方向Ｙ（図４参照）の位置を示している。上記のように、本実施形態における撮像素子２３はローリングシャッタ方式の撮像を行うため、撮像タイミング８２は画素行６２ごとにずれている。図７に示す例では、撮像素子２３は、９０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）のフレームレートにより撮像を行っている。
　照明光タイミング８１及び撮像タイミング８２に示すように、光源装置５が連続して通常光を照射する第１の期間は、撮像素子２３による撮像における連続する複数のフレームに渡る。また、光源装置５が連続して特殊光を照射する第２の期間は、撮像素子２３による撮像における少なくとも１フレームに渡る。図７に示す例では、第２の期間は、撮像素子２３による連続する複数のフレームに渡っている。
　メイン画面表示タイミング８３は、制御装置４からの指令により表示装置７がメイン画面７１を表示（描画）するタイミングである。図７に示す例では、表示装置７は、６０ｆｐｓ、すなわち撮像素子２３による撮像のフレームレートより低いフレームレートでメイン画面７１の表示を行っている。サブ画面表示タイミング８４は、制御装置４からの指令により表示装置７がサブ画面７２を表示（描画）するタイミングである。
　照明光タイミング８１、撮像タイミング８２及びメイン画面表示タイミング８３に示すように、表示装置７は、撮像タイミング８２に示す各撮像のうち、通常光の照射時の撮像により得られた撮像信号に基づいてメイン画面７１を表示する。例えば、表示装置７は、撮像８２ａにより得られた撮像信号に基づいてメイン画面表示８３ａを行っている。
　また、照明光タイミング８１、撮像タイミング８２及びサブ画面表示タイミング８４に示すように、表示装置７は、撮像タイミング８２に示す各撮像のうち、特殊光の照射時の撮像により得られた撮像信号に基づいてサブ画面７２を表示する。例えば、表示装置７は、第１特殊光の照射時（ＩＥＥ１）の撮像８２ｂにより得られた撮像信号に基づいてサブ画面表示８４ｂ（ＩＥＥ１解析結果の表示）を行っている。また、表示装置７は、第２特殊光の照射時（ＩＥＥ２）の撮像８２ｃにより得られた撮像信号に基づいてサブ画面表示８４ｃ（ＩＥＥ２解析結果の表示）を行っている。
　また、制御装置４は、撮像タイミング８２に示す各撮像のうち、光源装置５により照射される照明光が通常光から特殊光に切り替わるタイミングを含む撮像により得られた撮像信号の空読みを行う。撮像信号の空読みとは、その撮像信号に基づく画像を表示装置７により表示させないことであり、例えばその撮像信号の破棄である。例えば、制御装置４は、光電変換素子に蓄積された電荷に応じた画素信号の信号線への読み出しを行うことで、上記のリセットと同様に光電変換素子に蓄積されている電荷の排出しつつ、読み出した信号を破棄する。なお、読み出した信号の破棄は、内視鏡１において行われてもよいし、制御装置４において行われてもよい。
　例えば、制御装置４は、撮像８２ｄにより得られた撮像信号を破棄する。これにより、光源装置５により照射される照明光が通常光から特殊光に切り替わるタイミングでグローバルリセットを行わなくても、照明光の切り替わりが上記の解析やメイン画面７１の表示に与える影響を抑制することができる。
　例えば、仮に、照明光が通常光から特殊光に切り替わるタイミングを含む撮像により得られた撮像信号を上記の解析に用いると、照明光の切り替わりによって上記の解析が正しく行われず、サブ画面７２に表示される解析結果画像の内容が不正確になる。また、仮に、照明光が通常光から特殊光に切り替わるタイミングを含む撮像により得られた撮像信号をメイン画面７１に用いると、照明光の切り替わりによってメイン画面７１に表示されるライブ画像の色が一時的に変化する。上記の空読みを行うことにより、これらのメイン画面７１やサブ画面７２の表示に与える影響を抑制することができる。
　図示しないが、制御装置４は、さらに、撮像タイミング８２に示す各タイミングの撮像のうち、光源装置５により照射される照明光が特殊光から通常光に切り替わるタイミングを含む撮像により得られた撮像信号の空読みを行ってもよい。例えば、制御装置４は、撮像８２ｅにより得られた撮像信号を破棄してもよい。これにより、光源装置５により照射される照明光が特殊光から通常光に切り替わるタイミングでグローバルリセットを行わなくても、照明光の切り替わりが上記の解析やメイン画面７１の表示に与える影響を抑制することができる。
　図７において説明したように、撮像素子２３が、表示装置７による表示のフレームレートより高いフレームレートで撮像を行うことで、通常光及び特殊光を切り替えることによるライブ画像の表示のフレームレートの低下を抑制し、高品質なライブ画像の表示を行うことができる。
　また、光源装置５が連続して通常光を照射する第１の期間が、光源装置５が連続して特殊光を照射する第２の期間より長いことにより、例えば撮像素子２３による撮像におけるフレームごとに通常光と特殊光を交互に切り替える構成に比べて、通常光の照射時の露光時間を長くし、高品質なライブ画像の表示を行うことができる。
　また、光源装置５により照射される照明光が切り替わるタイミングで上記の空読みを行うことで、光源装置５が連続して特殊光を照射する第２の期間の開始直後の撮像信号については、少なくとも撮像素子２３による１フレーム分の撮像信号を除いた撮像信号を、表示装置７のサブ画面７２として表示する撮像信号として取得することができる。これにより、光源装置５により照射される照明光が切り替わるタイミングでグローバルリセットを行わなくても、照明光の切り替わりが解析結果に与える影響を抑制することができる。
　グローバルリセットを行わなくてもよいことにより、ローリングシャッタ方式の撮像を行う構成においても、撮像素子２３にグローバルリセット回路を設ける必要がなくなり、回路規模を抑制することができる。
　このように、内視鏡装置１００においては、撮像素子２３が、表示装置７による撮像画像の表示のフレームレートより高いフレームレートで撮像を行う。そして、光源装置５が、撮像素子２３による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、撮像素子２３による少なくとも１フレームに渡る期間である第２の期間、第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う。これにより、ユーザによる照明光の切り替え操作なしに、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことができる。
　図８は、内視鏡装置１００の変形例１における各動作のタイムチャートの一例を示す図である。
　空読みを行うことにより撮像素子２３においてグローバルリセットを行わない構成について説明したが、グローバルリセットを行う構成としてもよい。図８の撮像タイミング８２において黒色の矩形は、撮像素子２３のグローバルリセットが行われるタイミングを示している。
　図８に示す例においては、撮像素子２３が、光源装置５により照射される照明光が通常光から特殊光に切り替わるタイミングで、上記の空読みに代えてグローバルリセットを行う。例えば、撮像素子２３は、撮像８２ａと撮像８２ｂとの間のタイミングにおいてグローバルリセット９１を行う。これにより、光源装置５により照射される照明光が通常光から特殊光に切り替わるタイミングで上記の空読みを行わなくても、照明光の切り替わりが上記の解析やメイン画面７１の表示に与える影響を抑制することができる。
　図示しないが、制御装置４は、さらに、撮像素子２３が、光源装置５により照射される照明光が特殊光から通常光に切り替わるタイミングで、グローバルリセットを行ってもよい。例えば、制御装置４は、撮像８２ｅに代えてグローバルリセットを行ってもよい。これにより、光源装置５により照射される照明光が特殊光から通常光に切り替わるタイミングで空読みを行わなくても、照明光の切り替わりが上記の解析やメイン画面７１の表示に与える影響を抑制することができる。
　図８に示したように、通常光が照射された第１の期間の後に撮像素子２３のグローバルリセットを行い、グローバルリセットを行った後の撮像画像情報を、特殊光が照射された第２の期間の撮像画像情報として取得する。これにより、照明光の切り替わりが解析結果に与える影響を抑制することができる。
　図９は、内視鏡装置１００の変形例２における各動作のタイムチャートの一例を示す図である。
　撮像素子２３がローリングシャッタ方式の撮像を行う構成について説明したが、撮像素子２３がグローバルシャッタ方式の撮像を行う構成としてもよい。図９の撮像タイミング８２は、撮像素子２３がグローバルシャッタ方式の撮像を行う場合の撮像（露光）のタイミングを示している。図９の撮像タイミング８２に示すように、グローバルシャッタ方式においては、撮像のタイミングは各画素行６２で同じである。
　この場合、図９に示すように、光源装置５は、照射光の切り替えを、グローバルシャッタ方式の撮像間に行う。これにより、グローバルリセットや上記の空読みを行わなくても、照明光の切り替わりが上記の解析やメイン画面７１の表示に与える影響を抑制することができる。図９に示したように、撮像素子２３は、グローバルシャッタ方式の撮像動作を行うものであってもよい。
（解析の他の例）
　特殊光の照射時の撮像により得られた撮像画像情報に基づく解析部４２ｃ（信号処理部４２）による解析として撮像画像の輪郭の抽出について説明したが、解析部４２ｃによる解析はこれに限らない。
　例えば、解析部４２ｃは、上記の解析として、内視鏡１の挿入形状の解析を行ってもよい。内視鏡１の挿入形状の解析は、具体的には、被検体内へ挿入された内視鏡１の挿入部１０の挿入形状の特定である。例えば、解析部４２ｃは、特殊光の照射時の撮像により得られた撮像画像情報の変化に基づいて、内視鏡１の挿入形状を特定する。解析画像生成部４２ｄは、解析部４２ｃにより特定された内視鏡１の挿入形状を示す画像を表示するための画像情報を生成する。これにより、内視鏡１の挿入形状を示す画像がサブ画面７２に表示され、内視鏡１の操作者は、内視鏡１の挿入部１０の被検体内への挿入を容易に行うことができる。
　又は、解析部４２ｃは、上記の解析として、内視鏡１が挿入された被検体内の注目領域の検出を行ってもよい。例えば、解析部４２ｃは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像から、被検体内の注目領域を検出する。注目領域は、例えば、病変である可能性が高い領域など、被検体内の観察のうち注目が推奨される領域である。解析画像生成部４２ｄは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、解析部４２ｃにより検出された注目領域を強調した注目領域強調画像を表示するための画像情報を生成する。これにより、注目領域強調画像がサブ画面７２に表示され、内視鏡１の操作者は、被検体内における注目領域を容易に認識できる。又は、解析画像生成部４２ｄは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、注目領域である異常部（病変部など）と正常部との色の差を拡張する色差拡張処理を行った色差拡張画像を表示するための画像情報を生成してもよい。これにより、色差拡張画像がサブ画面７２に表示され、内視鏡１の操作者は、被検体内における異常部と正常部を容易に見分けることができる。
　又は、解析部４２ｃは、上記の解析として、類似症例画像の選択を行ってもよい。例えば、解析部４２ｃは、特殊光の照射時の撮像により得られた撮像画像情報と類似する症例画像を、内視鏡装置１００がアクセス可能なデータベースを検索することにより選択する。解析画像生成部４２ｄは、解析部４２ｃによる選択の結果を示す画像を表示するための画像情報を生成する。解析部４２ｃによる選択の結果とは、解析部４２ｃが選択した症例画像そのものであってもよいし、解析部４２ｃが選択した症例画像に対して上記のデータベースにおいて対応付けられている、その症例画像に関する診断結果等の情報であってもよい。これにより、類似症例画像の選択結果がサブ画面７２に表示され、内視鏡１の操作者は、観察中の被検体内の状態と、類似症例との比較を容易に行うことができる。
　又は、解析部４２ｃは、上記の解析として、腫瘍及び非腫瘍の判別を行ってもよい。例えば、解析部４２ｃは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる生体領域が腫瘍であるか否かを判別する。解析画像生成部４２ｄは、解析部４２ｃによる判別の結果を示す画像を表示するための画像情報を生成する。解析部４２ｃによる判別の結果とは、直近に撮像された画像に写り込んでいる生体領域が腫瘍であるか否かを示す情報であってもよいし、現在の検査が開始されてから腫瘍であると判別された生体領域の数を示す情報などであってもよい。これにより、腫瘍及び非腫瘍の判別結果がサブ画面７２に表示され、内視鏡１の操作者による観察や内視鏡１の操作を支援することができる。
　又は、解析部４２ｃは、上記の解析として、器官の状態の特定を行ってもよい。例えば、解析部４２ｃは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる器官の状態を特定する。器官の状態は、例えば、領域ごとの酸素飽和度、血管構造の太さ、密度、模様、均一性や、大腸の表面構造（例えばｐｉｔ様構造）、十二指腸の表面構造（例えば絨毛構造）などである。解析画像生成部４２ｄは、解析部４２ｃによる特定の結果を示す画像を表示するための画像情報を生成する。例えば、解析画像生成部４２ｄは、特定した領域ごとの酸素飽和度を画像化した酸素飽和度画像を生成する。これにより、器官の状態の特定結果がサブ画面７２に表示され、内視鏡１の操作者による観察や内視鏡１の操作を支援することができる。
　又は、解析部４２ｃは、上記の解析として、切離予定線の生成を行ってもよい。例えば、解析部４２ｃは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる生体領域のうち、腫瘍等を除去するために切離すべき線である切離予定線（デマルケーションライン）を決定する。解析画像生成部４２ｄは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、解析部４２ｃにより決定された切離予定線を付した画像を表示するための画像情報を生成する。これにより、切離予定線が付された画像がサブ画面７２に表示され、内視鏡１の操作者は、被検体内における切離予定線を容易に認識できる。
（第１の期間、第２の期間、及び周期Ｔの変形例）
　通常光を照射する第１の期間及び特殊光を照射する第２の期間の各長さが、周期Ｔごとの繰り返しにおいて一定である構成について説明したが、通常光を照射する第１の期間及び特殊光を照射する第２の期間の各長さが、周期Ｔごとの繰り返しにおいて一定でなくても（不定であっても）よい。例えば、ある周期Ｔにおける第１の期間及び第２の期間の各長さの比が３：１であり、他の周期Ｔにおける第１の期間及び第２の期間の各長さの比が３：２であってもよい。
　また、通常光及び特殊光を照射する動作の繰り返し周期である周期Ｔが一定である場合について説明したが、周期Ｔは不定であってもよい。また、周期Ｔにおいて、まず通常光を照射し、その後に特殊光を照射する構成について説明したが、周期Ｔにおいて、まず特殊光を照射し、その後に通常光を照射する構成としてもよい。
　また、通常光のスペクトルは、周期Ｔごとの繰り返しにおいて一定であってもよいし、周期Ｔごとの繰り返しにおいて不定であってもよい。同様に、特殊光のスペクトルは、周期Ｔごとの繰り返しにおいて一定であってもよいし、周期Ｔごとの繰り返しにおいて不定であってもよい。
　また、通常光を照射する第１の期間の直後に、特殊光を照射する第２の期間となる構成について説明したが、第１の期間と第２の期間との間に、光源装置５が照明光を照射しない無照射期間があってもよい。
　また、上記の通常光又は特殊光として、狭帯域短波調光と白色光とを同時に照射する構成としてもよい。これにより、色の微細な違いを色彩強調して表示し、炎症観察や拾上げ観察等の観察が容易になる。
（内視鏡システムの別の形態）
　本発明の内視鏡システムの一例として内視鏡装置１００を説明したが、本発明の内視鏡システムは、ネットワークを介して互いに接続される複数の装置によって実現されてもよい。例えば、上記の制御装置４による処理の少なくとも一部を、内視鏡装置１００とネットワークを介して接続される他の装置により実行する構成としてもよい。
（表示部の別の形態）
　本発明の表示部の一例として表示装置７を説明したが、本発明の表示部は、複数の表示装置によって実現されてもよい。この場合に、複数の表示装置のうち１つの表示装置により上記のメイン領域を構成し、複数の表示装置のうち残りの表示装置により上記のサブ領域を構成してもよい。
（制御プログラム）
　制御装置４のＲＯＭに記憶される制御プログラムは、プログラムをコンピュータが読取可能な一時的でない（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶される。このような「コンピュータ読取可能な記憶媒体」は、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－ＲＯＭ）等の光学媒体や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ又はメモリカード等の磁気記憶媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
　撮像部を備える内視鏡と、
　上記撮像部による撮像対象へ照明光を照射する光源部と、
　上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、
　上記撮像画像情報に基づく撮像画像を表示する表示部と、を備え、
　上記撮像部は、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、
　上記光源部は、上記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、上記撮像部による少なくとも１フレームに渡る期間である第２の期間、上記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システム。
（２）
　（１）記載の内視鏡システムであって、
　上記第１の期間及び上記第２の期間の各長さは、上記動作の繰り返しにおいて一定であり、又は上記動作の繰り返しにおいて不定である、内視鏡システム。
（３）
　（１）又は（２）記載の内視鏡システムであって、
　上記光源部が上記第１の期間及び上記第２の期間に照射する各照明光のスペクトルは、上記動作の繰り返しにおいて一定であり、又は上記動作の繰り返しにおいて不定である、内視鏡システム。
（４）
　（１）から（３）のいずれか１つに記載の内視鏡システムであって、
　上記第１の期間と上記第２の期間との間に、上記光源部の無照射期間がある、内視鏡システム。
（５）
　（１）から（４）のいずれか１つに記載の内視鏡システムであって、
　上記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
　上記第２の期間は、上記撮像部による連続する複数のフレームに渡る期間であり、
　上記撮像制御部は、上記第２の期間の開始直後の上記撮像画像情報については、少なくとも上記撮像部による１フレーム分の撮像画像情報を除いた情報を、上記第２の期間の撮像画像情報として取得する、内視鏡システム。
（６）
　（１）から（４）のいずれか１つに記載の内視鏡システムであって、
　上記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
　上記撮像制御部は、上記第１の期間の後に上記撮像部のグローバルリセットを行い、上記グローバルリセットを行った後の撮像画像情報を、上記第２の期間の撮像画像情報として取得する、内視鏡システム。
（７）
　（１）から（４）のいずれか１つに記載の内視鏡システムであって、
　上記撮像部は、グローバルシャッタ方式の撮像動作を行うものである、内視鏡システム。
（８）
　（１）から（７）のいずれか１つに記載の内視鏡システムであって、
　上記撮像画像情報のうち上記第２の期間の撮像により得られた撮像画像情報に基づく解析を行う解析部を備え、
　上記表示部は、上記撮像画像情報のうち上記第１の期間の撮像により得られた撮像画像情報に基づく上記撮像画像を表示する、内視鏡システム。
（９）
　（８）記載の内視鏡システムであって、
　上記表示部は、上記撮像画像と上記解析の結果とを含む画面を表示する、内視鏡システム。
（１０）
　（８）又は（９）記載の内視鏡システムであって、
　上記解析は、上記内視鏡の挿入形状の解析を含む、内視鏡システム。
（１１）
　（８）から（１０）のいずれか１つに記載の内視鏡システムであって、
　上記解析は、上記撮像画像情報に基づく撮像画像の輪郭の抽出を含む、内視鏡システム。
（１２）
　（８）から（１１）のいずれか１つに記載の内視鏡システムであって、
　上記解析は、上記内視鏡が挿入された被検体内の注目領域の検出を含む、内視鏡システム。
（１３）
　（８）から（１２）のいずれか１つに記載の内視鏡システムであって、
　上記解析は、類似症例画像の選択を含む、内視鏡システム。
（１４）
　（８）から（１３）のいずれか１つに記載の内視鏡システムであって、
　上記解析は、腫瘍及び非腫瘍の判別を含む、内視鏡システム。
（１５）
　（８）から（１４）のいずれか１つに記載の内視鏡システムであって、
　上記解析は、器官の状態の特定を含む、内視鏡システム。
（１６）
　（８）から（１５）のいずれか１つに記載の内視鏡システムであって、
　上記解析は、切離予定線の生成を含む、内視鏡システム。
（１７）
　（１）から（１６）のいずれか１つに記載の内視鏡システムであって、
　上記第１の期間は、上記第２の期間より長い期間である、内視鏡システム。
（１８）
　（１）から（１７）のいずれか１つに記載の内視鏡システムであって、
　上記光源部が上記第１の期間及び上記第２の期間に照射する各照明光は、白色光又は画像強調観察用の光である、内視鏡システム。
（１９）
　撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムの制御方法であって、
　上記撮像部により、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、
　上記光源部により、上記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、上記撮像部による少なくとも１フレームに渡る期間である第２の期間、上記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システムの制御方法。
（２０）
　撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムを制御する制御プログラムであって、
　上記撮像部に、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行わせ、
　上記光源部に、上記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、上記撮像部による少なくとも１フレームに渡る期間である第２の期間、上記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行わせる、
　処理をコンピュータに実行させるための制御プログラム。
　上記記載から、以下の付記項１に記載の撮像装置を把握することができる。
　［付記項１］
　撮像センサを備える内視鏡と、
　前記撮像センサによる撮像対象へ照明光を照射する光源装置と、
　前記撮像センサから得られた撮像信号に基づいて撮像画像情報を取得する撮像制御プロセッサと、
　前記撮像画像情報に基づく撮像画像を表示する表示装置と、を備え、
　前記撮像センサは、前記表示装置による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行い、
　前記光源装置は、前記撮像センサによる連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、前記撮像センサによる少なくとも１フレームに渡る期間である第２の期間、前記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システム。
　本発明によれば、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことのできる内視鏡システム、制御方法、及び制御プログラムを提供することができる。
　１　内視鏡
　４　制御装置
　５　光源装置
　６　入力部
　７　表示装置
　１０　挿入部
　１０Ａ　軟性部
　１０Ｂ　湾曲部
　１０Ｃ　先端部
　１１　操作部
　１２　アングルノブ
　１３　ユニバーサルコード
　１３Ａ，１３Ｂ　コネクタ部
　２１　対物レンズ
　２２　レンズ群
　２３　撮像素子
　２５　メモリ
　２６，４１　通信Ｉ／Ｆ
　２７　撮像駆動部
　４２　信号処理部
　４２ａ　撮像画像情報生成部
　４２ｂ　ライブ画像生成部
　４２ｃ　解析部
　４２ｄ　解析画像生成部
　４３　表示コントローラ
　４４　システム制御部
　４５　記録媒体
　５０　照明用レンズ
　５１　光源用プロセッサ
　５２　光源部
　５２ａ　Ｖ－ＬＥＤ
　５２ｂ　Ｂ－ＬＥＤ
　５２ｃ　Ｇ－ＬＥＤ
　５２ｄ　Ｒ－ＬＥＤ
　５３　ライトガイド
　５４　光路結合部
　６０　撮像面
　６１　画素
　６２　画素行
　６３　駆動回路
　６４　信号処理回路
　７０　画面
　７１　メイン画面
　７２　サブ画面
　８１　照明光タイミング
　８２　撮像タイミング
　８２ａ，８２ｂ，８２ｃ，８２ｄ，８２ｅ　撮像
　８３　メイン画面表示タイミング
　８３ａ　メイン画面表示
　８４　サブ画面表示タイミング
　８４ｂ，８４ｃ　サブ画面表示
　９１　グローバルリセット
　１００　内視鏡装置

Claims (20)

  1. 　撮像部を備える内視鏡と、
    　前記撮像部による撮像対象へ照明光を照射する光源部と、
    　前記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、
    　前記撮像画像情報に基づく撮像画像を表示する表示部と、を備え、
    　前記撮像部は、前記表示部による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行い、
    　前記光源部は、前記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、前記撮像部による少なくとも１フレームに渡る期間である第２の期間、前記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システム。
  2. 　請求項１記載の内視鏡システムであって、
    　前記第１の期間及び前記第２の期間の各長さは、前記動作の繰り返しにおいて一定であり、又は前記動作の繰り返しにおいて不定である、内視鏡システム。
  3. 　請求項１又は２記載の内視鏡システムであって、
    　前記光源部が前記第１の期間及び前記第２の期間に照射する各照明光のスペクトルは、前記動作の繰り返しにおいて一定であり、又は前記動作の繰り返しにおいて不定である、内視鏡システム。
  4. 　請求項１から３のいずれか１項記載の内視鏡システムであって、
    　前記第１の期間と前記第２の期間との間に、前記光源部の無照射期間がある、内視鏡システム。
  5. 　請求項１から４のいずれか１項記載の内視鏡システムであって、
    　前記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
    　前記第２の期間は、前記撮像部による連続する複数のフレームに渡る期間であり、
    　前記撮像制御部は、前記第２の期間の開始直後の前記撮像画像情報については、少なくとも前記撮像部による１フレーム分の撮像画像情報を除いた情報を、前記第２の期間の撮像画像情報として取得する、内視鏡システム。
  6. 　請求項１から４のいずれか１項記載の内視鏡システムであって、
    　前記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
    　前記撮像制御部は、前記第１の期間の後に前記撮像部のグローバルリセットを行い、前記グローバルリセットを行った後の撮像画像情報を、前記第２の期間の撮像画像情報として取得する、内視鏡システム。
  7. 　請求項１から４のいずれか１項記載の内視鏡システムであって、
    　前記撮像部は、グローバルシャッタ方式の撮像動作を行うものである、内視鏡システム。
  8. 　請求項１から７のいずれか１項記載の内視鏡システムであって、
    　前記撮像画像情報のうち前記第２の期間の撮像により得られた撮像画像情報に基づく解析を行う解析部を備え、
    　前記表示部は、前記撮像画像情報のうち前記第１の期間の撮像により得られた撮像画像情報に基づく前記撮像画像を表示する、内視鏡システム。
  9. 　請求項８記載の内視鏡システムであって、
    　前記表示部は、前記撮像画像と前記解析の結果とを含む画面を表示する、内視鏡システム。
  10. 　請求項８又は９記載の内視鏡システムであって、
    　前記解析は、前記内視鏡の挿入形状の解析を含む、内視鏡システム。
  11. 　請求項８から１０のいずれか１項記載の内視鏡システムであって、
    　前記解析は、前記撮像画像情報に基づく撮像画像の輪郭の抽出を含む、内視鏡システム。
  12. 　請求項８から１１のいずれか１項記載の内視鏡システムであって、
    　前記解析は、前記内視鏡が挿入された被検体内の注目領域の検出を含む、内視鏡システム。
  13. 　請求項８から１２のいずれか１項記載の内視鏡システムであって、
    　前記解析は、類似症例画像の選択を含む、内視鏡システム。
  14. 　請求項８から１３のいずれか１項記載の内視鏡システムであって、
    　前記解析は、腫瘍及び非腫瘍の判別を含む、内視鏡システム。
  15. 　請求項８から１４のいずれか１項記載の内視鏡システムであって、
    　前記解析は、器官の状態の特定を含む、内視鏡システム。
  16. 　請求項８から１５のいずれか１項記載の内視鏡システムであって、
    　前記解析は、切離予定線の生成を含む、内視鏡システム。
  17. 　請求項１から１６のいずれか１項記載の内視鏡システムであって、
    　前記第１の期間は、前記第２の期間より長い期間である、内視鏡システム。
  18. 　請求項１から１７のいずれか１項記載の内視鏡システムであって、
    　前記光源部が前記第１の期間及び前記第２の期間に照射する各照明光は、白色光又は画像強調観察用の光である、内視鏡システム。
  19. 　撮像部を備える内視鏡と、前記撮像部による撮像対象へ照明光を照射する光源部と、前記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、前記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムの制御方法であって、
    　前記撮像部により、前記表示部による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行い、
    　前記光源部により、前記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、前記撮像部による少なくとも１フレームに渡る期間である第２の期間、前記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システムの制御方法。
  20. 　撮像部を備える内視鏡と、前記撮像部による撮像対象へ照明光を照射する光源部と、前記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、前記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムを制御する、制御プログラムであって、
    　前記撮像部に、前記表示部による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行わせ、
    　前記光源部に、前記撮像部による連続する複数のフレームに渡る第１の期間、照明光を連続して照射した後に、前記撮像部による少なくとも１フレームに渡る期間である第２の期間、前記第１の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行わせる、
    　処理をコンピュータに実行させるための制御プログラム。
PCT/JP2020/038585 2019-12-10 2020-10-13 内視鏡システム、制御方法、及び制御プログラム WO2021117330A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021563761A JP7236564B2 (ja) 2019-12-10 2020-10-13 内視鏡システム、制御方法、及び制御プログラム
CN202080080787.0A CN114727753A (zh) 2019-12-10 2020-10-13 内窥镜系统、控制方法及控制程序
US17/734,152 US20220257097A1 (en) 2019-12-10 2022-05-02 Endoscope system, control method, and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019223276 2019-12-10
JP2019-223276 2019-12-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/734,152 Continuation US20220257097A1 (en) 2019-12-10 2022-05-02 Endoscope system, control method, and control program

Publications (1)

Publication Number Publication Date
WO2021117330A1 true WO2021117330A1 (ja) 2021-06-17

Family

ID=76328872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038585 WO2021117330A1 (ja) 2019-12-10 2020-10-13 内視鏡システム、制御方法、及び制御プログラム

Country Status (4)

Country Link
US (1) US20220257097A1 (ja)
JP (1) JP7236564B2 (ja)
CN (1) CN114727753A (ja)
WO (1) WO2021117330A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058631A (ja) * 2000-04-19 2002-02-26 Fuji Photo Film Co Ltd 撮像方法および装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011206336A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 内視鏡システム
WO2015190443A1 (ja) * 2014-06-13 2015-12-17 オリンパス株式会社 固体撮像装置及び撮像方法
JP2016097240A (ja) * 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置及び撮像方法
WO2019221306A1 (ja) * 2018-05-18 2019-11-21 オリンパス株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058631A (ja) * 2000-04-19 2002-02-26 Fuji Photo Film Co Ltd 撮像方法および装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011206336A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 内視鏡システム
WO2015190443A1 (ja) * 2014-06-13 2015-12-17 オリンパス株式会社 固体撮像装置及び撮像方法
JP2016097240A (ja) * 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置及び撮像方法
WO2019221306A1 (ja) * 2018-05-18 2019-11-21 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP7236564B2 (ja) 2023-03-09
CN114727753A (zh) 2022-07-08
US20220257097A1 (en) 2022-08-18
JPWO2021117330A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2006192009A (ja) 画像処理装置
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP2008086605A (ja) 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
CN112584746A (zh) 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
WO2021117330A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP7335976B2 (ja) 内視鏡システム、制御プログラム、及び表示方法
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021176890A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2021181967A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2021199566A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
WO2021192524A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP2023018543A (ja) 内視鏡システム及びその作動方法
CN116997284A (zh) 控制装置、内窥镜装置以及控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20898801

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563761

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20898801

Country of ref document: EP

Kind code of ref document: A1