WO2021161394A1 - 画像処理装置、撮像システム、画像処理方法およびプログラム - Google Patents

画像処理装置、撮像システム、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021161394A1
WO2021161394A1 PCT/JP2020/005182 JP2020005182W WO2021161394A1 WO 2021161394 A1 WO2021161394 A1 WO 2021161394A1 JP 2020005182 W JP2020005182 W JP 2020005182W WO 2021161394 A1 WO2021161394 A1 WO 2021161394A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
image processing
subject
images
Prior art date
Application number
PCT/JP2020/005182
Other languages
English (en)
French (fr)
Inventor
理 足立
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2020/005182 priority Critical patent/WO2021161394A1/ja
Publication of WO2021161394A1 publication Critical patent/WO2021161394A1/ja
Priority to US17/879,867 priority patent/US20220377202A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present disclosure is a device for observing the movement of a subject that is vibrating at high speed, rotating at high speed, and moving at high speed in real time, and displays the image group generated by capturing the movement of the subject on a display monitor. It relates to an image processing apparatus, an imaging system, an image processing method and a program for selecting a display image for.
  • an imaging system there is known a technique for performing normal observation by irradiating continuous light and strobe observation by irradiating strobe light at a predetermined timing (for example, Patent Document 1).
  • a microphone is provided to detect the frequency of vocal cord vibration, and images captured at the timing of emitting pulsed strobe light in synchronization with the frequency of vocal cord vibration detected by this microphone are sequentially recorded. After that, by reproducing a plurality of images in chronological order, the vocal cords of the subject vibrating at high speed are observed in a stop state or a slow motion state.
  • the present disclosure has been made in view of the above, and is an image processing device, an imaging system, an image processing method, and an image processing device capable of observing a subject such as a vocal cord of a subject at high speed, rotating at high speed, and moving at high speed in real time.
  • the purpose is to provide a program.
  • the image processing apparatus acquires an image obtained by an image sensor capable of capturing an image at a frequency higher than the frequency of vibration of the subject, and a plurality of acquired images.
  • a selection cycle longer than the vibration cycle of the subject is set from the images of the above, images to be displayed on the display device are sequentially selected based on the selection cycle, and a selection unit for outputting the selected image is displayed. Be prepared.
  • the image processing apparatus further includes a detection unit that detects the frequency of vibration of the subject based on the plurality of images.
  • the image processing device displays the vibration cycle of the subject, the image pickup frame rate of the image pickup device, the display frame rate of the display device, and the display frame set in advance.
  • a setting unit for setting the selection cycle is further provided based on the amount of phase change for each display cycle to be displayed.
  • the setting unit sets the phase change amount between 0 ° and more and less than 90 °.
  • the image processing apparatus includes a calculation unit for calculating the amount of change in the frequency of vibration of the subject and a determination unit for determining whether or not the amount of change is equal to or greater than a threshold value. Further, the setting unit changes the selection cycle selected by the selection unit when the determination unit determines that the amount of change is equal to or greater than the threshold value.
  • the determination unit has the change amount equal to or more than the threshold value for each cycle of the fluctuation of the subject reflected in the image displayed on the display device. Judge whether or not.
  • the image processing apparatus is the instruction signal when the setting unit receives an instruction signal for changing the initial phase of the selection cycle when the phase change amount is 0.
  • the initial phase of the selection cycle is changed according to the above.
  • the image processing apparatus further includes a recording unit that sequentially records the plurality of images in chronological order.
  • the image processing device adds information indicating that the recording unit has displayed the image selected by the selection unit from the plurality of images on the display device. And record.
  • the image processing apparatus includes an extraction unit that extracts each abnormal region of the plurality of images, and the abnormal region extracted by the extraction unit in the image selected by the selection unit. It further includes a superimposing unit that outputs to the display device by superimposing.
  • the image pickup system includes the above-mentioned image processing device and an image pickup device, and the image pickup device has an image pickup element capable of taking an image at a frequency higher than the frequency of vibration of the subject.
  • an image obtained by an image sensor capable of capturing an image at a frequency higher than the frequency of vibration of the subject is acquired, and the period of vibration of the subject is selected from a plurality of acquired images.
  • a longer selection cycle is set, images to be displayed on the display device are sequentially selected based on the selection cycle, and the selected image is output.
  • the program according to the present disclosure acquires an image obtained by an image pickup device capable of capturing an image at a frequency higher than the vibration frequency of the subject, and is longer than the vibration cycle of the subject from among the acquired plurality of images.
  • a selection cycle is set, and images to be displayed on the display device are sequentially selected based on the selection cycle. The selected image is output.
  • FIG. 1 is a schematic configuration of an imaging system according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the imaging system according to the first embodiment.
  • FIG. 3 is a diagram showing a part of the circuit configuration of the pixel portion.
  • FIG. 4 is a diagram schematically showing an array of color filters.
  • FIG. 5 is a diagram schematically showing the sensitivity and wavelength band of each filter.
  • FIG. 6 is a diagram schematically showing an outline of a conventional method of observing a subject.
  • FIG. 7 is a diagram schematically showing an outline of a subject observation method according to the first embodiment.
  • FIG. 8 is a diagram schematically showing an outline of a pseudo slow motion observation mode.
  • FIG. 9 is a diagram schematically showing the frequency of vibration of the subject.
  • FIG. 1 is a schematic configuration of an imaging system according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the imaging system according to the first
  • FIG. 10 is a diagram schematically showing an example of a selection cycle set by the setting unit.
  • FIG. 11 is a diagram schematically showing another example of the selection cycle set by the setting unit.
  • FIG. 12 is a diagram schematically showing another example of the selection cycle set by the setting unit.
  • FIG. 13 is a diagram schematically showing another example of the selection cycle set by the setting unit.
  • FIG. 14 is a flowchart showing an outline of the processing executed by the imaging system.
  • FIG. 15 is a flowchart showing an outline of the normal observation mode processing.
  • FIG. 16 is a flowchart showing an outline of the pseudo slow motion observation mode processing.
  • FIG. 17 is a block diagram showing a functional configuration of the imaging system according to the second embodiment.
  • FIG. 18 is a flowchart showing an outline of the pseudo slow motion observation mode processing executed by the imaging system according to the second embodiment.
  • the scope of application of this disclosure can be various, such as a vocal cord that vibrates at high speed, a motor that rotates at high speed, and an object that moves at high speed.
  • a vocal cord that vibrates at high speed As an example, an example of observing the vibration of the vocal cord that vibrates at high speed in real time is given.
  • An example of the embodiment for carrying out will be described in detail with reference to the drawings.
  • the present disclosure is not limited to the following embodiments.
  • each of the figures referred to in the following description merely schematically shows the shape, size, and positional relationship to the extent that the contents of the present disclosure can be understood. That is, the present disclosure is not limited to the shape, size, and positional relationship exemplified in each figure.
  • FIG. 1 is a schematic configuration of an imaging system according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of the imaging system according to the first embodiment. These are for observing the vibration of the vocal cords vibrating at high speed in real time, and are examples of various possible scopes of the present disclosure.
  • the imaging system 1 shown in FIGS. 1 and 2 captures the body or vocal cords of the subject as a subject by inserting an endoscope into the subject of the patient or the like, and displays a display image based on the captured image data. Display on the display device. By observing the display image displayed by the display device, a user such as a doctor inspects the presence or absence of each of the bleeding site, the tumor site, and the abnormal region in which the abnormal site is shown, and the condition of the vocal cords.
  • the imaging system 1 includes an endoscope 2, a light source device 3, a display device 4, and a control device 5.
  • the endoscope 2 generates an image based on image data (RAW data) obtained by capturing an image of the body or vocal cords of a subject, and outputs the generated image to the control device 5.
  • the endoscope 2 includes an insertion unit 21, an operation unit 22, and a universal cord 23.
  • the insertion portion 21 has an elongated shape with flexibility.
  • the insertion portion 21 is connected to a tip portion 24 incorporating an image pickup element 244, which will be described later, a bendable bending portion 25 composed of a plurality of bending pieces, and a base end side of the bending portion 25, and has flexibility. It has a long flexible tube portion 26 and.
  • the tip portion 24 is configured by using glass fiber or the like.
  • the tip portion 24 includes a light guide 241 forming a light guide path for light supplied from the light source device 3, an illumination lens 242 provided at the tip of the light guide 241, an optical system 243 for condensing light, and an optical system 243. It has an image pickup element 244 provided at an imaging position.
  • the image sensor 244 has a plurality of pixels arranged in a two-dimensional manner. Each of the plurality of pixels generates an electric signal according to the amount of light received by the optical system 243 by performing photoelectric conversion.
  • the image sensor 244 is configured by using an image sensor such as CMOS (Complementary Metal Oxide Semiconductor). Specifically, the image sensor 244 is formed by arranging a plurality of pixels that output an electric signal in a two-dimensional manner by receiving light and performing photoelectric conversion.
  • the image sensor 244 outputs image data (RAW data) by imaging the body or vocal cords of the subject at a predetermined imaging frame rate.
  • the image sensor 244 includes a pixel unit 2441, a color filter 2442, a reading unit 2443, an A / D conversion unit 2444, an endoscope recording unit 2445, and an image pickup control unit 2446.
  • the pixel unit 2441 has a plurality of pixels arranged in a two-dimensional matrix. Each of the plurality of pixels generates an electric signal according to the amount of received light by performing photoelectric conversion, and outputs this electric signal.
  • FIG. 3 is a diagram showing a part of the circuit configuration of the pixel unit 2441.
  • 4 pixels (2 ⁇ 2) will be described as the smallest pixel unit in the pixel unit 2441.
  • the pixel unit 2441 outputs an electric signal to four pixels (2 ⁇ 2) via one charge-voltage conversion unit FD1.
  • the pixel unit 2441 includes four photoelectric conversion elements PD (PD11, PD12, PD13, PD14), a charge-voltage conversion unit FD1, four transfer transistors Tr (Tr11, Tr12, Tr13, Tr14), and a charge-voltage conversion reset transistor. It has a Tr RST and a pixel output transistor Tr AMP .
  • Tr12, Tr13, Tr14) are called unit pixels (2 ⁇ 2 unit pixels).
  • the photoelectric conversion element PD11 to the photoelectric conversion element PD14 photoelectrically convert the incident light into a signal charge amount corresponding to the light amount and store the incident light.
  • Each of the cathode side of the photoelectric conversion element PD11 to the photoelectric conversion element PD14 is connected to the source side of the transfer transistor Tr11 to the transfer transistor Tr14, and the anode side is connected to the ground GND.
  • Each of the transfer transistor Tr11 to the transfer transistor Tr14 transfers a charge from the photoelectric conversion element PD11 to the photoelectric conversion element PD14 to the charge-voltage conversion unit FD1.
  • Each drain of the transfer transistor Tr11 to the transfer transistor Tr14 is connected to the source of the charge-voltage conversion reset transistor Tr RST. Further, the transfer transistors Tr11 to the transfer transistors Tr14 are connected to the signal lines 261 to 264 to which independent row read drive pulses are applied to the respective gates.
  • the charge-voltage conversion unit FD1 is composed of floating diffusion (floating diffusion capacitance), and converts the charge accumulated in the photoelectric conversion elements PD11 to PD14 into a voltage.
  • the charge-voltage conversion unit FD1 is connected to the gate of the pixel output transistor Tr-AMP via the signal line 270.
  • the charge-voltage conversion reset transistor Tr RST is connected to the reset wiring 290 in which the drain is connected to the power supply wiring 280 and the reset pulse is applied to the gate.
  • the charge-voltage conversion reset transistor Tr RST resets the charge-voltage conversion unit FD1 to a predetermined potential.
  • the source is connected to the vertical signal line 291 and the drain is connected to the power supply wiring 280.
  • the pixel output transistor Tr- AMP outputs an electric signal voltage-converted by the charge-voltage conversion unit FD1 to the vertical signal line 291.
  • the pixel output transistor Tr AMP is turned on when the charge-voltage conversion unit FD1 is reset to a predetermined voltage by the charge-voltage conversion reset transistor Tr RST , and the electric signal voltage-converted by the charge-voltage conversion unit FD1 is a vertical signal. Output to line 291.
  • the pixel unit 2441 configured in this way transfers the electric charges accumulated in each of the photoelectric conversion element PD11 to the photoelectric conversion element PD14 via the transfer transistor Tr11 to the transfer transistor Tr14. As a result, it is transferred to the charge-voltage conversion unit FD1. Then, the electric signal converted by the charge-voltage conversion unit FD1 is input to the gate of the pixel output transistor Tr-AMP via the signal line 270, amplified, and output to the vertical signal line 291. After that, the charge-voltage conversion unit FD1 is reset to a predetermined potential by the charge-voltage conversion reset transistor Tr-RST , and the pixel output transistor Tr- AMP is turned off.
  • FIG. 4 is a diagram schematically showing an array of color filters 2442.
  • a unit pixel (2 ⁇ 2) is configured as one filter unit U1, and each filter is arranged on each light receiving surface of the photoelectric conversion element PD11 to the photoelectric conversion element PD14.
  • the filter unit U1 is configured by using at least one of a blue filter B and a red filter R, a green filter G, and two or more special filters.
  • the blue filter B transmits light in the blue wavelength band.
  • the red filter R transmits light in the red wavelength band.
  • the green filter G transmits light in the green wavelength band.
  • the special filter is configured by using the cyan filter Cy.
  • the cyan filter Cy transmits at least two or more of light in the blue wavelength band and light in the green wavelength band.
  • FIG. 5 is a diagram schematically showing the sensitivity and wavelength band of each filter.
  • the horizontal axis represents the wavelength (nm) and the vertical axis represents the sensitivity.
  • the curve L V represents the wavelength band of violet
  • wavelength of the curve L B represents a wavelength band of blue
  • curve L G represents a green wavelength band
  • the curve L A is amber (Umber) shows the band
  • curve L R represents the wavelength band of red.
  • the cyan filter Cy transmits light in the blue wavelength band and light in the green wavelength band.
  • the photoelectric conversion element PD in which the red filter R is arranged on the light receiving surface is an R pixel
  • the photoelectric conversion element PD in which the green filter G is arranged on the light receiving surface is a G pixel
  • the blue filter B is a light receiving surface.
  • the photoelectric conversion element PD arranged in the above will be described as a B pixel
  • the photoelectric conversion element PD arranged in the cyan filter Cy will be described as a Cy pixel.
  • the reading unit 2443 transfers charges from the photoelectric conversion element PD11 to the photoelectric conversion element PD14 to the charge-voltage conversion unit FD1 by applying a drive pulse to the transfer transistors Tr11 to the transfer transistor Tr14. Let me. Subsequently, the reading unit 2443 outputs an electric signal voltage-converted by the charge-voltage conversion unit FD1 to the vertical signal line 291 by supplying a power supply voltage to the pixel output transistor Tr-AMP under the control of the imaging control unit 2446. Let me.
  • the reading unit 2443 resets the charge-voltage conversion unit FD1 to a predetermined potential by applying a reset pulse to the charge-voltage conversion reset transistor Tr RST under the control of the image pickup control unit 2446.
  • the reading unit 2443 is configured by using a vertical scanning circuit, a horizontal scanning circuit, and the like.
  • the A / D conversion unit 2444 converts the analog image data (electric signal) input from the reading unit 2443 into a digital electric signal having a predetermined number of bits to convert the image (electric signal). Output the captured image). For example, the A / D conversion unit 2444 converts it into a 10-bit digital image (electric signal) and outputs it to the outside.
  • the A / D conversion unit 2444 is configured by using an A / D conversion circuit or the like.
  • the endoscope recording unit 2445 records various information about the endoscope 2.
  • the endoscope recording unit 2445 records identification information for identifying the endoscope 2, identification information for the image sensor 244, and the like.
  • the endoscope recording unit 2445 is configured by using a non-volatile memory or the like.
  • the image pickup control unit 2446 controls the operation of the image pickup element 244 based on the instruction signal input from the control device 5. Specifically, the image pickup control unit 2446 controls the image pickup frame rate and the image pickup timing of the image pickup element 244 based on the instruction signal input from the control device 5. More specifically, when an instruction signal instructing the normal observation mode is input from the control device 5, the image pickup control unit 2446 sequentially outputs an electric signal generated by each photoelectric conversion element PD. On the other hand, the image pickup control unit 2446 observes from the control device 5 in a strobe display in which the vocal cords of the subject change in pseudo slow motion (hereinafter referred to as “pseudo slow motion observation mode”) or special observation.
  • pseudo slow motion observation mode pseudo slow motion
  • the electric signal generated by each of the plurality of Cy pixels is added to each filter unit U1 to be output to the outside.
  • the image pickup control unit 2446 applies a drive pulse to the transfer transistor Tr12 and the transfer transistor Tr13 by controlling the read unit 2443, and transfers charges from the photoelectric conversion element PD12 and the photoelectric conversion element PD13 to the charge-voltage conversion unit FD1. The signal charge is added by causing. Then, the image pickup control unit 2446 transfers the addition signal to which the electric signals of the plurality of Cy pixels are added to the vertical signal line 291 in the charge-voltage conversion unit FD1 by controlling the reading unit 2443.
  • the image pickup control unit 2446 is configured by using a timing generator or the like.
  • the image pickup device 244 can take an image at an image pickup frame rate higher than the frequency of vibration of the vocal cords of the subject.
  • the imaging frame rate faster than the frequency of the vibration of the vocal cords of the subject is, for example, 6000 fps.
  • the image pickup control unit 2446 sets the image pickup element 244 to electricity generated by each photoelectric conversion element PD in a predetermined imaging region. By sequentially outputting signals, imaging may be performed at an imaging frame rate higher than the frequency of vibration of the vocal cords of the subject.
  • the predetermined imaging region is a region smaller than the imaging region in the normal mode.
  • the operation unit 22 includes a curved knob 221 that curves the curved portion 25 in the vertical and horizontal directions, a treatment tool insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser scalpel, and an inspection probe into the body cavity, and a light source device 3.
  • a plurality of switches which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and gas supply means and prefreeze signals instructing the image sensor 244 to take a still image. It has 223 and.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the tip portion 24.
  • the universal cord 23 has at least a built-in light guide 241 and a condensing cable that bundles one or a plurality of cables.
  • the collective cable is a signal line for transmitting and receiving signals between the endoscope 2, the light source device 3, and the control device 5, and is for transmitting and receiving signal lines and images (image data) for transmitting and receiving setting data. It includes a signal line, a signal line for transmitting and receiving a driving timing signal for driving the image pickup element 244, and the like.
  • the universal cord 23 has a connector portion 27 that can be attached to and detached from the light source device 3.
  • the connector portion 27 has a coil-shaped coil cable 27a extending from the connector portion 27, and has a connector portion 28 detachable from the control device 5 at the extending end of the coil cable 27a.
  • the light source device 3 supplies illumination light for irradiating the subject from the tip portion 24 of the endoscope 2.
  • the light source device 3 includes a light source unit 3, a light source driver 32, and a lighting control unit 33.
  • the light source unit 3 includes illumination light including at least one of light in the red wavelength band and light in the blue wavelength band, light in the green wavelength band, or light in the green wavelength band, and narrow band light (for example,).
  • the subject is irradiated with special light including a wavelength band of 415 nm + 540 nm).
  • the light source unit 3 includes a condenser lens 311, a first light source 312, a second light source 313, and a third light source 314.
  • the condenser lens 311 is configured by using one or more lenses.
  • the condenser lens 311 collects the illumination light emitted by each of the first light source 312, the second light source 313, and the third light source 314, and emits the illumination light to the light guide 241.
  • the first light source 312 is configured by using a red LED (Light Emitting Diode) lamp.
  • the first light source 312 emits light in the red wavelength band (hereinafter, simply referred to as “R light”) based on the current supplied from the light source driver 32.
  • the second light source 313 is configured by using a green LED lamp.
  • the second light source 313 emits light in the green wavelength band (hereinafter, simply referred to as “G light”) based on the current supplied from the light source driver 32.
  • the third light source 314 is configured by using a blue LED lamp.
  • the third light source 314 emits light in the blue wavelength band (hereinafter, simply referred to as “B light”) based on the current supplied from the light source driver 32.
  • the fourth light source 315 is configured by using a purple LED lamp.
  • the fourth light source 315 emits light in the purple wavelength band (for example, 415 nm ⁇ 10) (hereinafter, simply referred to as “V light”) based on the current supplied from the light source driver 32.
  • the light source driver 32 is set in the image pickup system 1 by supplying an electric current to the first light source 312, the second light source 313, and the third light source 314 under the control of the illumination control unit 33. Light is emitted according to the observation mode. Specifically, the light source driver 32 has the first light source 312, the second light source 313, and the second light source 313 when the observation mode set in the imaging system 1 is the normal observation mode under the control of the illumination control unit 33. White light is emitted by emitting light from the light source 314 of 3 (simultaneous method). Further, the light source driver 32 causes the second light source 313 and the fourth light source 315 to emit light when the observation mode set in the imaging system 1 is the special light observation mode under the control of the illumination control unit 33. Light is emitted in a narrow band.
  • the lighting control unit 33 controls the lighting timing of the light source device 3 based on the instruction signal received from the control device 5. Specifically, the illumination control unit 33 emits light to the first light source 312, the second light source 313, and the third light source 314 at a predetermined cycle.
  • the lighting control unit 33 is realized by using a processor which is a processing device having hardware such as a CPU (Central Processing Unit) and a memory which is a temporary storage area used by the processor. Further, when the observation mode of the imaging system 1 is the special light observation mode, the illumination control unit 33 controls the light source driver 32 to combine the second light source 313 and the fourth light source 315 to generate narrow band light. Let it exit.
  • the illumination control unit 33 controls the light source driver 32 to control the first light source 312, the second light source 313, and the third light source 314. Is constantly lit to constantly emit white light.
  • the illumination control unit 33 controls the light source driver 32 according to the observation mode of the imaging system 1, thereby controlling the first light source 312, the second light source 313, the third light source 314, and the fourth light source 315. Any two or more of these may be emitted in combination.
  • the display device 4 displays an image corresponding to the image data generated by the endoscope 2 received from the control device 5.
  • the display device 4 displays various information related to the imaging system 1.
  • the display device 4 is realized by using a display panel such as a liquid crystal display or an organic EL (Electro Luminescence).
  • the control device 5 performs predetermined image processing on the image data input from the endoscope 2 and outputs the image data to the display device 4.
  • the control device 5 includes a detection unit 51, a calculation unit 52, a determination unit 53, an input unit 54, a setting unit 55, a selection unit 56, an image processing unit 57, a recording unit 58, and a processing control unit 59. And.
  • the control device 5 functions as an image processing device.
  • the detection unit 51 detects the vibration frequency of the vocal cords of the subject based on a plurality of images input from the endoscope 2 and generated at an imaging frame rate having a frequency higher than the vibration frequency of the vocal cords of the subject. do. Specifically, the detection unit 51 takes a plurality of images from the endoscope 2 as input data, estimates the frequency of vocal cord vibration as output data, and outputs the data.
  • the detection unit 51 is realized by using a processor which is a processing device having hardware such as a GPU (Graphics Processing Unit) and a memory which is a temporary storage area used by the processor.
  • the detection unit 51 machine-learns a plurality of images or moving images of each of the vocal cords of a plurality of subjects as teacher data in advance, and outputs a learning model or the like that outputs the vibration frequency of the vocal cords of the subject as an output.
  • the type of machine learning is not particularly limited, but for example, teacher data and learning data in which the frequency of vibration of the vocal band and the still image showing the state of the vocal band are linked are prepared, and the teacher data and learning are prepared. Data may be input to a calculation model based on a multi-layer neural network for training.
  • a method based on DNN (Deep Neural Network) of a multi-layer neural network such as CNN (Convolutional Neural Network) or 3D-CNN is used.
  • DNN Deep Neural Network
  • CNN Convolutional Neural Network
  • 3D-CNN 3D-CNN
  • RNNs recurrent neural networks
  • LSTMs Long Short-Term Memory units
  • the calculation unit 52 calculates the amount of change in the frequency of the vocal cord vibration of the subject based on the frequency of the vocal cord vibration of the subject sequentially input from the detection unit 51. For example, the calculation unit 52 calculates the amount of change in the frequency of the vocal cords of the subject per second based on the frequency of the vibration of the vocal cords of the subject sequentially input from the detection unit 51.
  • the calculation unit 52 is realized by using a processor which is a processing device having hardware such as a CPU (Central Processing Unit) and a memory which is a temporary storage area used by the processor.
  • the determination unit 53 determines whether or not the amount of change calculated by the calculation unit 52 is equal to or greater than the threshold value.
  • the threshold value is a value that can distinguish between bass and treble.
  • the determination unit 53 may set a threshold value for each range and determine the amount of change according to each threshold value.
  • the input unit 54 receives an input according to the user's operation and outputs a signal according to the received operation content to the setting unit 55 or the processing control unit 59. Further, the input unit 54 receives an input of an instruction signal indicating a selection cycle (sampling cycle) set by the setting unit 55, which will be described later, and outputs this instruction signal to the setting unit 55. Further, the input unit 54 receives an input of an instruction signal indicating the amount of phase change for each display cycle displayed on the preset display device 4 described later, and outputs this instruction signal to the setting unit 55.
  • the input unit 54 is configured by using a switch, a button, a touch panel, a jog dial, and the like.
  • the setting unit 55 sets the vibration cycle of the voice band of the sample detected by the detection unit 51, the image pickup frame rate of the image pickup element 244, the display frame rate of the display device 4, and the display displayed on the preset display device 4. Based on the amount of phase change for each cycle, the selection unit 56, which will be described later, selects an image to be displayed on the display device 4 from a plurality of images in a cycle longer than the vibration cycle of the voice band of the subject. Set the selection cycle (sampling cycle) for this. Specifically, the setting unit 55 includes an instruction signal input from the input unit 54 to indicate the selection cycle, a display frame rate of the display device 4 input from the processing control unit 59, and an image pickup frame rate of the image sensor 244.
  • the selection cycle (sampling cycle) of the selection unit 56 which will be described later, is set based on the phase change amount for each display cycle displayed on the display device 4 set in advance. Further, the setting unit 55 sets the phase change amount ⁇ ( ⁇ ) between 0 ° and less than 90 ° (0 ° ⁇ ⁇ ⁇ 90 °) based on the instruction signal input from the input unit 54. Further, when the determination unit 53 determines that the amount of change is equal to or greater than the threshold value, the setting unit 55 changes the selection cycle of the selection unit 56.
  • the selection unit 56 is longer than the vibration cycle of the voice band of the subject from among a plurality of images generated by the endoscope 2 having the image pickup element 244 capable of imaging at a frequency higher than the vibration frequency of the voice band of the subject. Based on the selection cycle, images to be displayed on the display device 4 are sequentially selected, and the selected images are output to the image processing unit 57. Specifically, the selection unit 56 is based on the vibration cycle of the vocal cords of the subject from among the plurality of images generated by the image pickup device 244 of the endoscope 2 based on the selection cycle set by the setting unit 55. Based on a long selection cycle, images to be displayed on the display device 4 are sequentially selected and output to the image processing unit 57 that outputs the selected images.
  • the selection unit 56 selects an image that is not displayed on the display device 4 from a plurality of images generated by the image pickup device 244 of the endoscope 2 based on the selection cycle set by the setting unit 55. It is output to the image processing unit 57 by making a thinning selection.
  • the image processing unit 57 performs various image processing on the image input from the selection unit 56 to generate a display image, and outputs this display image to the display device 4.
  • the image processing includes demoizing processing, gamma correction processing, noise reduction processing, white balance adjustment processing, structure enhancement processing, and the like.
  • the image processing unit 57 is realized by using a processor which is a processing device having hardware such as GPU or FPGA (Field Programmable Gate Array) and a memory which is a temporary storage area used by the processor.
  • the recording unit 58 records various information about the image pickup system 1, information being processed, a program, an image, and the like.
  • the recording unit 58 is configured by using a ROM (Red Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), a recording medium, and the like.
  • the recording unit 58 includes a program recording unit 581 that records various programs executed by the image pickup system 1 and a plurality of images generated by the image pickup element 244 of the endoscope 2 or a plurality of images generated by the image pickup element 244 of the endoscope 2. It has an image recording unit 582 for recording a moving image composed of the above images.
  • the processing control unit 59 comprehensively controls each unit of the imaging system 1 and controls each operation.
  • the processing control unit 59 is realized by using a processor which is a processing device having hardware such as a CPU, FPGA or ASIC (Application Specific Integrated Circuit), and a memory which is a temporary storage area used by the processor.
  • the calculation unit 52, the determination unit 53, the setting unit 55, the selection unit 56, and the image processing unit 57 may be realized by using one piece of hardware.
  • FIG. 6 is a diagram schematically showing an outline of a conventional method of observing the vocal cords of a subject.
  • the vertical axis represents the amplitude of vocal cord vibration
  • the horizontal axis represents time.
  • the curve L10 indicates the frequency of vocal cord vibration schematically represented
  • each black circle P1 indicates a preset shooting timing based on the frequency of vocal cord vibration.
  • the frequency of vocal cord vibration is detected by a microphone or the like, and the detected vocal cord vibration.
  • a plurality of images are generated by shooting while sequentially irradiating the illumination light at a preset shooting timing based on the frequency of.
  • slow reproduction is performed by temporarily recording a plurality of images in a memory or the like and then reproducing the plurality of images in chronological order. Therefore, the conventional observation method has a problem that the observation of the vocal cords of the subject cannot be observed in real time.
  • the endoscope of the conventional observation method requires a microphone for detecting the frequency of vibration of the vocal cords of the subject, and has a problem of lacking versatility.
  • FIG. 7 is a diagram schematically showing an outline of a method for observing the vocal cords of a subject according to the first embodiment.
  • the vertical axis represents the amplitude of vocal cord vibration
  • the horizontal axis represents time.
  • the curve L11 schematically represents the frequency of vocal cord vibration
  • each black circle P2 indicates the shooting timing taken according to a predetermined shooting frame
  • each white circle P3 is a selection unit from a plurality of images. 56 indicates the selected image.
  • the image sensor 244 performs high-speed imaging at an imaging frame rate (for example, 6000 fps) having a frequency higher than the frequency of vocal cord vibration regardless of the frequency of vocal cord vibration.
  • the selection unit 56 sequentially selects an image to be displayed on the display device 4 from a plurality of images generated by the image sensor 244 in real time based on the selection cycle set by the setting unit 55, and is an image processing unit. Output to 57.
  • the image processing unit 57 performs image processing on the images sequentially input from the selection unit 56 and outputs the images to the display device 4.
  • the display device 4 can perform a display in which the vocal cords of the subject change in a pseudo slow motion in real time.
  • the user can observe the vocal cords of the subject in real time by a doctor or the like.
  • the imaging system 1 does not need to separately provide a microphone for detecting the vocal cords, it is highly versatile and can realize a simple configuration.
  • FIG. 8 is a diagram schematically showing an outline of a pseudo slow motion observation mode.
  • (a) schematically shows the state change of the vocal cords of the subject
  • (b) shows the selection cycle set by the setting unit 55
  • (c) shows a plurality of images by the selection unit 56.
  • the state of the vocal cords selected from the above and displayed is schematically shown.
  • the vocal cords appearing in the image are extracted and schematically expressed, but in the actual image, the shape of the vocal cords changes in each image.
  • the selection unit 56 is a plurality of images generated by the image sensor 244 of the endoscope 2 at a frequency higher than the frequency of vibration of the vocal band based on the selection cycle set by the setting unit 55. Images are sequentially selected from among them based on a selection cycle longer than the vibration cycle of the voice band, and the selected images are output to the display device 4 via the image processing unit 57. As a result, as shown in FIG. 8C, the display device 4 can display a display image in which the state of the vocal cords changes in pseudo slow motion.
  • the detection unit 51 detects the period or frequency of the vibration of the vocal cords based on a plurality of images generated by the image pickup device 244 at a frequency higher than the frequency of the vibration of the vocal cords.
  • the setting unit 55 sets the selection period t for the selection unit 56 to select from a plurality of images based on the period of the vocal cords detected by the detection unit 51 and the instruction signal input from the input unit 54. 2 (sampling cycle) is set by the following equation (1).
  • ⁇ is an integer of 1 or more
  • ⁇ is a value previously specified by the user by the instruction signal input from the input unit 54, and the phase change for each display cycle displayed on the display device 4. It is a value indicating the amount.
  • the selection unit 56 is generated by the image sensor 244 of the endoscope 2 at a frequency higher than the frequency of the vibration of the vocal cords based on the selection cycle t 2 set by the setting unit 55 according to the equation (1). Images are sequentially selected from a plurality of images based on a selection cycle longer than the vibration cycle of the vocal cords, and the sequentially selected images are output to the image processing unit 57. As a result, the display device 4 can display the vocal cords moving at high speed in a slow motion state even when the frequency of the vibration of the vocal cords fluctuates.
  • FIG. 9 is a diagram schematically showing the frequency of vibration of the vocal cords of the subject.
  • FIG. 10 is a diagram schematically showing an example of a selection cycle set by the setting unit 55.
  • FIG. 11 is a diagram schematically showing another example of the selection cycle set by the setting unit 55.
  • FIG. 12 is a diagram schematically showing another example of the selection cycle set by the setting unit 55.
  • FIG. 13 is a diagram schematically showing another example of the selection cycle set by the setting unit 55.
  • the curve L10 indicates the frequency of vocal cord vibration. Further, in FIG.
  • the selection unit 56 can select an image frame from a plurality of images at a cycle of 1/100 of the imaging cycle and output the frame to the display device 4.
  • the display device 4 can display the displayed image at a cycle of 1/100 of the imaging cycle.
  • the image pickup frame rate of the image pickup device 244 needs to be sufficiently earlier than the vibration cycle of the vocal cords (for example, 1/200 second or the like), for example, 6000 fps.
  • phase change for each display cycle of the display image displayed by the display device 4 can be expressed by the following equation (2).
  • the setting unit 55 sets ⁇ to a value larger than 0 so that the display image displayed on the display device 4 is out of phase with each display frame. Specifically, the setting unit 55 sets ⁇ under the following condition (3). 0 ⁇ ⁇ t 1 ... (3) As a result, the selection unit 56 selects a display image from the plurality of images based on the selection cycle t 2 set by the setting unit 55 and outputs the display image to the display device 4, thereby causing the curves L22 and 12 in FIG. As shown in the curve L23 of the above, a display image whose phase changes for each display frame of the display device 4 can be selected.
  • the setting unit 55 sets ⁇ according to the display frame displayed by the display device 4, and indicates an instruction to indicate the amount of phase change for each display cycle displayed on the display device 4 input from the input unit 54.
  • the selection unit 56 can select a pseudo slow motion display image from a plurality of images taken at high speed based on the selection cycle t 2 set by the setting unit 55.
  • the setting unit 55 receives this instruction signal.
  • FIG. 14 is a flowchart showing an outline of the processing executed by the imaging system 1.
  • step S1 a case where the imaging system 1 is set to the normal observation mode (step S1: Yes) will be described.
  • the imaging system 1 executes a normal observation mode process of sequentially capturing and displaying images at a predetermined imaging frame rate (step S2). After step S2, the imaging system 1 ends this process.
  • the details of the normal observation mode processing will be described later.
  • step S1 the case where the imaging system 1 is not set to the normal observation mode (step S1: No) will be described. In this case, the imaging system 1 proceeds to step S3.
  • step S3 when the imaging system 1 is set to the pseudo slow motion observation mode (step S3: Yes), the imaging system 1 observes the vocal band of the subject in pseudo slow motion in real time in a pseudo slow motion observation mode.
  • the process is executed (step S4). After step S4, the imaging system 1 ends this process.
  • the details of the pseudo slow motion observation mode processing will be described later.
  • step S3 If the imaging system 1 is not set to the pseudo slow motion observation mode in step S3 (step S3: No), the imaging system 1 ends this process.
  • FIG. 15 is a flowchart showing an outline of the normal observation mode processing.
  • the processing control unit 59 causes the image pickup device 244 to start imaging according to a normal imaging frame rate (step S201). Specifically, the processing control unit 59 starts imaging of the image pickup device 244 at 60 fps.
  • the processing control unit 59 causes the light source device 3 to irradiate the illumination light according to the imaging frame rate (step S202).
  • the light source device 3 supplies white illumination light to the endoscope 2 by causing the first light source 312, the second light source 313, and the third light source 314 to emit light in synchronization with the imaging frame rate.
  • the image processing unit 57 performs image processing on the image (captured image) input via the selection unit 56 and outputs the image to the display device 4 (step S203).
  • the display device 4 displays a display image based on the image (captured image) input from the image processing unit 57.
  • the selection unit 56 outputs a plurality of images (images) from the image sensor 244 of the endoscope 2 to the image processing unit 57 without selecting them.
  • step S204 when an instruction signal instructing the end of observation is input from the input unit 54 (step S204: Yes), the processing control unit 59 stops the imaging of the image sensor 244 (step S205). After step S205, the imaging system 1 returns to the main routine of FIG. 14 described above, and ends this process.
  • step S204 when the instruction signal instructing the end of observation is not input from the input unit 54 (step S204: No), the imaging system 1 returns to step S202 described above.
  • FIG. 16 is a flowchart showing an outline of the pseudo slow motion observation mode processing.
  • the processing control unit 59 starts imaging of the image pickup device 244 according to the high-speed imaging frame rate (step S401).
  • the processing control unit 59 constantly lights and irradiates the light source device 3 (step S402). Specifically, the light source device 3 constantly turns on the first light source 312, the second light source 313, and the third light source 314.
  • the detection unit 51 detects the vibration frequency of the vocal cords of the subject based on the plurality of images input from the image sensor 244 (step S403).
  • the setting unit 55 sets the selection cycle to be set in the selection unit 56 (step S404). Specifically, the setting unit 55 is based on the display frame rate of the display device 4, the image frame rate of the image sensor 244, and the instruction signal indicating the phase change ( ⁇ ) input in advance from the input unit 54. , Set the selection cycle t 2.
  • the selection unit 56 is among a plurality of images (captured images) input from the image pickup device 244 as display images to be displayed on the display device 4 based on the selection cycle t 2 set by the setting unit 55.
  • the display image is selected from (step S405).
  • the calculation unit 52 calculates the amount of change in the frequency of the vocal cord vibration of the subject detected by the detection unit 51 (step S406).
  • the determination unit 53 determines whether or not the amount of change calculated by the calculation unit 52 is equal to or greater than the threshold value (step S407).
  • the imaging system 1 returns to step S404 described above.
  • the setting unit 55 calculates the display frame rate of the display device 4, the image pickup frame rate of the image sensor 244, the instruction signal indicating the phase change ( ⁇ ) input in advance from the input unit 54, and the calculation unit 52.
  • the selection cycle t 2 is changed and set based on the amount of change. As a result, it is possible to perform a display that follows the frequency of vibration of the vocal cords of the subject.
  • step S407 when the determination unit 53 determines that the amount of change calculated by the calculation unit 52 is not equal to or greater than the threshold value (step S407: No), the imaging system 1 proceeds to step S408.
  • step S408 when an instruction signal indicating the initial phase ⁇ is input from the input unit 54 (step S408: Yes), the setting unit 55 inputs the initial phase of the selection cycle of the selection unit 56 from the input unit 54.
  • the initial phase is changed according to the indicated signal (step S409).
  • the display device 4 can display a display image stopped in the shape of the vocal cords desired by a user such as a doctor.
  • step S409 the imaging system 1 shifts to step S410, which will be described later.
  • step S408 when the instruction signal indicating the initial phase ⁇ is not input from the input unit 54 (step S408: No), the imaging system 1 shifts to step S410 described later.
  • step S410: Yes when an instruction signal instructing the end of observation is input from the input unit 54 (step S410: Yes), the processing control unit 59 stops imaging of the image sensor 244 (step S411). After step S411, the imaging system 1 returns to the main routine of FIG. 14 and ends this process. On the other hand, when the instruction signal instructing the end of the observation is not input from the input unit 54 (step S411: No), the imaging system 1 returns to the above-mentioned step S403.
  • a plurality of images generated by the endoscope 2 having the image pickup device 244 in which the selection unit 56 can image at a frequency longer than the vibration frequency of the voice band of the subject as the subject Images to be displayed on the display device 4 are sequentially selected from the captured images) based on a selection cycle longer than the vibration cycle of the voice band of the subject, and the selected images are sequentially selected via the image processing unit 57. Since it is output to the display device 4, the voice band of the subject can be observed in real time.
  • the detection unit 51 since the detection unit 51 detects the vibration frequency of the vocal cords of the subject based on the plurality of images input from the endoscope 2, a microphone for detecting the vocal cords is used. Since it is not necessary to provide it separately, it is highly versatile and a simple configuration can be realized.
  • the setting unit 55 sets the period of vibration of the vocal cords of the subject, the imaging frame rate of the imaging element 244, the display frame rate of the display device 4, and the preset display device 4. Since the selection cycle selected by the selection unit 56 is set based on the amount of phase change for each displayed display cycle, it is possible to observe the vocal cords at the change speed and state of the vocal cords desired by a user such as a doctor. can.
  • the setting unit 55 sets the phase change amount between 0 ° and more and less than 90 °, the change speed of the vocal cords desired by a user such as a doctor is changed in a natural state. The vocal cords can be observed.
  • the selection cycle selected by the selection unit 56 is changed. Therefore, the optimum image can be selected from a plurality of images by following the fluctuation with the vibration frequency of the vocal cords of the subject.
  • the setting unit 55 is input from the input unit 54. Since the initial phase of the selection cycle is changed according to the instruction signal, the vocal cords of the subject can be observed in a state where the vocal cords are virtually stopped in the shape desired by a user such as a doctor.
  • the information indicating that the recording unit 58 has displayed the image selected by the selection unit 56 from the plurality of images input from the endoscope 2 on the display device 4 is provided. Since it is additionally recorded, it can be easily confirmed when confirming again after observing the vocal cords of the subject, and for the subject (patient) who cannot be observed in the pseudo slow motion observation mode. On the other hand, since a plurality of images are recorded, the vocal cords can be observed.
  • the second embodiment has a different configuration from the imaging system 1 according to the first embodiment described above, and also differs in the pseudo slow motion observation mode processing. Specifically, in the first embodiment described above, the determination unit 53 determines whether or not the frequency of the vocal cords of the subject, which is the subject detected by the detection unit 51, is equal to or higher than the threshold value. In the second embodiment, it is determined whether or not the frequency of the vocal cords of the subject is equal to or higher than the threshold value for each cycle.
  • the pseudo slow motion observation mode processing executed by the imaging system will be described.
  • the same components as those of the imaging system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 17 is a block diagram showing a functional configuration of the imaging system according to the second embodiment.
  • the imaging system 1A shown in FIG. 15 includes a control device 5A instead of the control device 5 according to the first embodiment described above.
  • the control device 5A includes a determination unit 53A and an image processing unit 57A in place of the determination unit 53 and the image processing unit 57 according to the first embodiment described above.
  • the control device 5A functions as an image processing device.
  • the determination unit 53A determines whether or not the amount of change calculated by the calculation unit 52 is equal to or greater than the threshold value for each cycle of the fluctuation of the vocal cords of the subject appearing in the image displayed as the display image on the display device 4.
  • the image processing unit 57A has an extraction unit 571 and a superimposing unit 572 in addition to the functions of the image processing unit 57 according to the first embodiment described above.
  • the extraction unit 571 extracts each abnormal region of the plurality of images generated by the image pickup device 244 of the endoscope 2. Specifically, the extraction unit 571 extracts a region in which the feature amount is equal to or greater than a predetermined threshold value as an abnormal region for each of the plurality of images.
  • the feature amount is, for example, a red component, a yellow component, or the like.
  • the extraction unit 571 may extract an abnormal region for each of a plurality of images by well-known template matching or the like.
  • the superimposition unit 572 superimposes the abnormal region extracted by the extraction unit 571 on the image selected by the selection unit 56 and outputs it to the display device 4.
  • FIG. 18 is a flowchart showing an outline of the pseudo slow motion observation mode processing executed by the imaging system 1A.
  • steps S501 to S505 correspond to each of steps S401 to S405 of FIG. 16 described above.
  • step S506 the determination unit 53A determines whether or not the frequency of vocal cord vibration has elapsed for one cycle.
  • the determination unit 53A determines that the frequency of vocal cord vibration has elapsed for one cycle (step S506: Yes)
  • the imaging system 1A shifts to step S508, which will be described later.
  • the determination unit 53A determines that the frequency of vocal cord vibration has not elapsed for one cycle (step S506: No)
  • step S509 which will be described later.
  • Steps S508 to S510 correspond to each of steps S407 to S409 in FIG. 16 described above.
  • step S511 the extraction unit 571 extracts each abnormal region of the plurality of images generated by the image pickup device 244 of the endoscope 2.
  • the superimposition unit 572 superimposes the abnormal region extracted by the extraction unit 571 on the image selected by the selection unit 56 and outputs it to the display device 4 (step S512).
  • the imaging system 1A shifts to step S513, which will be described later.
  • Step S513 and step S514 correspond to each of step S410 and step S411 in FIG. 16 described above.
  • the vocal cords of the subject which is a subject
  • the vocal cords of the subject can be observed in real time with high versatility, and a simple configuration can be realized. Can be done.
  • the superimposing unit 572 superimposes the abnormal region extracted by the extraction unit 571 on the image selected by the selection unit 56 and outputs the output to the display device 4, so that a user such as a doctor can use the image. It is possible to intuitively grasp the abnormal area of the vocal cords.
  • the determination unit 53A determines whether or not the amount of change is equal to or greater than the threshold value for each cycle of the fluctuation of the vocal cords of the subject reflected in the image displayed on the display device 4. Even if the vocal cord frequency changes during observation, it is possible to observe the vocal cord variation at a series of vocal cord frequencies.
  • Various embodiments can be formed by appropriately combining the plurality of components disclosed in the imaging system according to the first and second embodiments of the present disclosure described above. For example, some components may be deleted from all the components described in the imaging system according to the first and second embodiments of the present disclosure described above. Further, the components described in the information providing system according to the embodiment of the present disclosure described above may be appropriately combined.
  • a detection unit for detecting the vibration frequency of the vocal cords of the subject is provided in the control device based on a plurality of images. For example, a plurality of images may be transmitted to a learning model that detects the vibration frequency of the vocal cords of the subject via a network, and the vibration frequency of the vocal cords of the subject may be received from this learning model.
  • a flexible endoscope has been described as an example, but the present invention is not limited to this, and a rigid endoscope can also be applied.
  • the above-mentioned "part” can be read as “means” or "circuit".
  • the control unit can be read as a control means or a control circuit.
  • the programs to be executed by the imaging system according to the first and second embodiments of the present disclosure are file data in an installable format or an executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD. It is provided by being recorded on a computer-readable recording medium such as a Digital Versatile Disk), a USB medium, or a flash memory.
  • a computer-readable recording medium such as a Digital Versatile Disk), a USB medium, or a flash memory.
  • the program to be executed by the imaging system according to the first and second embodiments of the present disclosure may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. good.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)

Abstract

リアルタイムに高速振動、高速回転、高速移動する被写体の動きを観察することができる画像処理装置、撮像システム、画像処理方法およびプログラムを提供する。画像処理装置は、被写体の振動の周波数より高い周波数で撮像可能な撮像素子によって得られた画像を取得し、取得された複数の画像の中から、前記被写体の振動の周期より長い選択周期を設定し、前記選択周期に基づいて、表示装置において表示するための画像を順次選択し、該選択した画像を出力する選択部５６を備える。

Description

画像処理装置、撮像システム、画像処理方法およびプログラム
　本開示は、撮像装置が高速振動、高速回転、高速移動する被写体の動きをリアルタイムで観察するための装置であり、被写体の動きを撮像することによって生成した画像群を用いて表示モニタにおいて表示するための表示画像を選択する画像処理装置、撮像システム、画像処理方法およびプログラムに関する。
　撮像システムにおいて、連続光を照射する通常観察と、所定のタイミングでストロボ光を照射することによってストロボ観察と、を行う技術が知られている（例えば特許文献１）。この技術では、声帯の振動の周波数を検出するためのマイクを設け、このマイクによって検出された声帯の振動の周波数と同期してパルス状のストロボ光を発光したタイミングで撮像した画像を順次記録した後、複数の画像を時系列に沿って再生することで、高速振動する被検体の声帯をストップ状態またはスローモーション状態で観察する。
特開２００４－９７４４２号公報
　しかしながら、上述した特許文献１の撮像システムでは、複数の画像を順次記録した後に時系列に沿って再生していたため、リアルタイムに被検体の声帯等の高速振動、高速回転、高速移動する被写体を観察することができないという問題点があった。
　本開示は、上記に鑑みてなされたものであって、リアルタイムに被検体の声帯等の高速振動、高速回転、高速移動する被写体を観察することができる画像処理装置、撮像システム、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、被写体の振動の周波数より高い周波数で撮像可能な撮像素子によって得られた画像を取得し、取得された複数の画像の中から、前記被写体の振動の周期より長い選択周期を設定し、前記選択周期に基づいて、表示装置において表示するための画像を順次選択し、該選択した画像を出力する選択部を備える。
　また、本開示に係る画像処理装置は、上記開示において、前記複数の画像に基づいて、前記被写体の振動の周波数を検出する検出部をさらに備える。
　また、本開示に係る画像処理装置は、上記開示において、前記被写体の振動の周期と、前記撮像素子の撮像フレームレートと、前記表示装置の表示フレームレートと、予め設定された前記表示装置において表示される表示周期毎の位相変化量と、に基づいて、前記選択周期を設定する設定部をさらに備える。
　また、本開示に係る画像処理装置は、上記開示において、前記設定部は、前記位相変化量を０°以上から９０°未満の間で設定する。
　また、本開示に係る画像処理装置は、上記開示において、前記被写体の振動の周波数の変化量を算出する算出部と、前記変化量が閾値以上であるか否かを判定する判定部と、をさらに備え、前記設定部は、前記判定部によって前記変化量が閾値以上であると判定された場合、前記選択部が選択する前記選択周期を変更する。
　また、本開示に係る画像処理装置は、上記開示において、前記判定部は、前記表示装置において表示される前記画像に写る前記被写体の変動の１周期毎に前記変化量が前記閾値以上であるか否かを判定する。
　また、本開示に係る画像処理装置は、上記開示において、前記設定部は、前記位相変化量が０の場合において、前記選択周期の初期位相を変化させる指示信号が入力されたとき、該指示信号に従って前記選択周期の初期位相を変化させる。
　また、本開示に係る画像処理装置は、上記開示において、前記複数の画像を時系列に沿って順次記録する記録部をさらに備える。
　また、本開示に係る画像処理装置は、上記開示において、前記記録部は、前記複数の画像の中から前記選択部が選択した画像に対して、前記表示装置において表示したことを示す情報を付加して記録する。
　また、本開示に係る画像処理装置は、上記開示において、前記複数の画像の各々の異常領域を抽出する抽出部と、前記選択部が選択した画像に、前記抽出部が抽出した前記異常領域を重畳することによって前記表示装置へ出力する重畳部と、をさらに備える。
　また、本開示に係る撮像システムは、上記の画像処理装置と撮像装置と、を備え、前記撮像装置は、前記被写体の振動の周波数より高い周波数で撮像可能な撮像素子を有する。
　また、本開示に係る画像処理方法は、被写体の振動の周波数より高い周波数で撮像可能な撮像素子によって得られた画像を取得し、取得された複数の画像の中から、前記被写体の振動の周期より長い選択周期を設定し、前記選択周期に基づいて、表示装置において表示するための画像を順次選択し、前記選択した画像を出力する。
　また、本開示に係るプログラムは、被写体の振動の周波数より高い周波数で撮像可能な撮像素子によって得られた画像を取得し、取得された複数の画像の中から、前記被写体の振動の周期より長い選択周期を設定し、前記選択周期に基づいて、表示装置において表示するための画像を順次選択させ、
　前記選択した画像を出力させる。
　本開示によれば、リアルタイムに高速振動、高速回転、高速移動する被写体の動きを観察することができるという効果を奏する。
図１は、実施の形態１に係る撮像システムの概略構成である。 図２は、実施の形態１に係る撮像システムの要部の機能構成を示すブロック図である。 図３は、画素部の回路構成の一部を示す図である。 図４は、カラーフィルタの配列を模式的に示す図である。 図５は、各フィルタの感度と波長帯域を模式的に示す図である。 図６は、従来の被写体の観察方法の概要を模式的に示す図である。 図７は、実施の形態１に係る被写体の観察方法の概要を模式的に示す図である。 図８は、疑似スローモーション観察モードの概要を模式的に示す図である。 図９は、被写体の振動の周波数を模式的に示す図である。 図１０は、設定部が設定する選択周期の一例を模式的に示す図である。 図１１は、設定部が設定する選択周期の別の一例を模式的に示す図である。 図１２は、設定部が設定する選択周期の別の一例を模式的に示す図である。 図１３は、設定部が設定する選択周期の別の一例を模式的に示す図である。 図１４は、撮像システムが実行する処理の概要を示すフローチャートである。 図１５は、通常観察モード処理の概要を示すフローチャートである。 図１６は、疑似スローモーション観察モード処理の概要を示すフローチャートである。 図１７は、実施の形態２に係る撮像システムの機能構成を示すブロック図である。 図１８は、実施の形態２に係る撮像システムが実行する疑似スローモーション観察モード処理の概要を示すフローチャートである。
　本開示の適用範囲は、高速振動する声帯、高速回転するモータ、高速移動する対象物等、様々考えられるが、その一例として、高速振動する声帯の振動をリアルタイムで観察する例を挙げる。以下に実施するための形態の一例を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。
（実施の形態１）
　〔撮像システムの構成〕
　図１は、実施の形態１に係る撮像システムの概略構成である。図２は、実施の形態１に係る撮像システムの要部の機能構成を示すブロック図である。これらは高速振動する声帯の振動をリアルタイムで観察するためのものであるが、様々考えられる本開示の適用範囲の一例である。
　図１および図２に示す撮像システム１は、患者等の被検体内に内視鏡を挿入することによって被写体である被検体の体内または声帯を撮像し、この撮像した画像データに基づく表示画像を表示装置に表示する。医者等の使用者は、表示装置が表示する表示画像の観察を行うことによって、検査対象部位である出血部位、腫瘍部位および異常部位が写る異常領域の各々の有無や声帯の状態を検査する。撮像システム１は、内視鏡２と、光源装置３と、表示装置４と、制御装置５と、を備える。
　〔内視鏡の構成〕
　まず、内視鏡２の構成について説明する。
　内視鏡２は、被検体の体内または声帯を撮像した画像データ（ＲＡＷデータ）に基づく画像を生成し、この生成した画像を制御装置５へ出力する。内視鏡２は、挿入部２１と、操作部２２と、ユニバーサルコード２３と、を備える。
　挿入部２１は、可撓性を有する細長形状をなす。挿入部２１は、後述する撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
　先端部２４は、グラスファイバ等を用いて構成される。先端部２４は、光源装置３から供給された光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられてなる撮像素子２４４と、を有する。
　撮像素子２４４は、２次元状に配列されてなる複数の画素を有する。この複数の画素の各々は、光電変換を行うことによって光学系２４３が集光した光の受光量に応じた電気信号を生成する。撮像素子２４４は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等のイメージセンサを用いて構成される。具体的には、撮像素子２４４は、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列されてなる。撮像素子２４４は、被検体の体内または声帯を所定の撮像フレームレートで撮像することによって画像データ（ＲＡＷデータ）を出力する。撮像素子２４４は、画素部２４４１と、カラーフィルタ２４４２と、読み出し部２４４３と、Ａ／Ｄ変換部２４４４と、内視鏡記録部２４４５と、撮像制御部２４４６と、を有する。
　画素部２４４１は、２次元マトリクス状に配置されてなる複数の画素を有する。この複数の画素の各々は、光電変換を行うことによって受光量に応じた電気信号を生成し、この電気信号を出力する。
　〔画素部の回路構成〕
　ここで、画素部２４４１の回路構成について詳細に説明する。図３は、画素部２４４１の回路構成の一部を示す図である。なお、図３では、説明を簡略化するため、４画素（２×２）を画素部２４４１における最小の画素単位として説明する。
　図３に示すように、画素部２４４１は、４つの画素（２×２）を一つの電荷電圧変換部ＦＤ１を経由して電気信号を出力するものである。画素部２４４１は、４つの光電変換素子ＰＤ（ＰＤ１１，ＰＤ１２，ＰＤ１３，ＰＤ１４）と、電荷電圧変換部ＦＤ１と、４つの転送トランジスタＴｒ（Ｔｒ１１，Ｔｒ１２，Ｔｒ１３，Ｔｒ１４）と、電荷電圧変換リセットトランジスタＴｒＲＳＴと、画素出力トランジスタＴｒＡＭＰと、を有する。なお、実施の形態１では、４つの光電変換素子ＰＤ（ＰＤ１１，ＰＤ１２，ＰＤ１３，ＰＤ１４）と、各々の光電変換素子ＰＤから信号電荷を電荷電圧変換部ＦＤ１に転送するための転送トランジスタＴｒ（Ｔｒ１１，Ｔｒ１２，Ｔｒ１３，Ｔｒ１４）を単位画素（２×２の単位画素）と呼ぶ。
　光電変換素子ＰＤ１１～光電変換素子ＰＤ１４は、入射光を、その光量に応じた信号電荷量に光電変換して蓄積する。光電変換素子ＰＤ１１～光電変換素子ＰＤ１４は、カソード側の各々が転送トランジスタＴｒ１１～転送トランジスタＴｒ１４のソース側に接続され、アノード側がグランドＧＮＤに接続される。
　転送トランジスタＴｒ１１～転送トランジスタＴｒ１４は、各々が光電変換素子ＰＤ１１～光電変換素子ＰＤ１４から電荷電圧変換部ＦＤ１に電荷を転送する。転送トランジスタＴｒ１１～転送トランジスタＴｒ１４の各々のドレインは、電荷電圧変換リセットトランジスタＴｒＲＳＴのソースに接続される。また、転送トランジスタＴｒ１１～転送トランジスタＴｒ１４は、各々のゲートに、各々が独立の行読み出し駆動パルスが印加される信号線２６１～信号線２６４に接続される。
　電荷電圧変換部ＦＤ１は、フローティングディフージョン（浮遊拡散容量）からなり、光電変換素子ＰＤ１１～光電変換素子ＰＤ１４において蓄積された電荷を電圧に変換する。電荷電圧変換部ＦＤ１は、信号線２７０を経由して画素出力トランジスタＴｒＡＭＰのゲートに接続される。
　電荷電圧変換リセットトランジスタＴｒＲＳＴは、ドレインが電源配線２８０に接続され、ゲートにリセットパルスが印加されるリセット配線２９０が接続される。電荷電圧変換リセットトランジスタＴｒＲＳＴは、電荷電圧変換部ＦＤ１を所定電位にリセットする。
　画素出力トランジスタＴｒＡＭＰは、ソースが垂直信号線２９１に接続され、ドレインが電源配線２８０に接続される。画素出力トランジスタＴｒＡＭＰは、電荷電圧変換部ＦＤ１によって電圧変換された電気信号を垂直信号線２９１へ出力する。画素出力トランジスタＴｒＡＭＰは、電荷電圧変換リセットトランジスタＴｒＲＳＴによって、電荷電圧変換部ＦＤ１が所定電圧にリセットされることによって、オン状態となり、電荷電圧変換部ＦＤ１によって電圧変換された電気信号を垂直信号線２９１へ出力する。
　このように構成された画素部２４４１は、後述する撮像制御部２４４６の制御のもと、光電変換素子ＰＤ１１～光電変換素子ＰＤ１４の各々で蓄積した電荷を、転送トランジスタＴｒ１１～転送トランジスタＴｒ１４を経由することによって電荷電圧変換部ＦＤ１へ転送する。そして、電荷電圧変換部ＦＤ１によって変換された電気信号は、信号線２７０を経由して画素出力トランジスタＴｒＡＭＰのゲートに入力され、増幅されて垂直信号線２９１に出力される。その後、電荷電圧変換部ＦＤ１は、電荷電圧変換リセットトランジスタＴｒＲＳＴによって所定電位にリセットされ、画素出力トランジスタＴｒＡＭＰがオフ状態となる。
　〔カラーフィルタの構成〕
　次に、カラーフィルタ２４４２の詳細に説明する。図４は、カラーフィルタ２４４２の配列を模式的に示す図である。
　図４に示すように、単位画素（２×２）を１つのフィルタユニットＵ１として構成され、各フィルタが光電変換素子ＰＤ１１～光電変換素子ＰＤ１４の各々の受光面に配置される。フィルタユニットＵ１は、青色フィルタＢおよび赤色フィルタＲの少なくとも一方と、緑色フィルタＧと、２つ以上の特殊フィルタと、を用いて構成される。青色フィルタＢは、青色の波長帯域の光を透過する。赤色フィルタＲは、赤色の波長帯域の光を透過する。緑色フィルタＧは、緑色の波長帯域の光を透過する。特殊フィルタは、シアンフィルタＣｙを用いて構成される。シアンフィルタＣｙは、青色の波長帯域の光および緑色の波長帯域の光の少なくとも２つ以上を透過する。
　図５は、各フィルタの感度と波長帯域を模式的に示す図である。図５において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図５において、曲線ＬＶが紫色の波長帯域を示し、曲線ＬＢが青色の波長帯域を示し、曲線ＬＧが緑色の波長帯域を示し、曲線ＬＡがアンバー色（Umber）の波長帯域を示し、曲線ＬＲが赤色の波長帯域を示す。
　図５に示すように、シアンフィルタＣｙは、青色の波長帯域の光および緑色の波長帯域の光を透過する。なお、以下においては、赤色フィルタＲが受光面に配置されてなる光電変換素子ＰＤをＲ画素、緑色フィルタＧが受光面に配置されてなる光電変換素子ＰＤをＧ画素、青色フィルタＢが受光面に配置されてなる光電変換素子ＰＤをＢ画素、シアンフィルタＣｙが配置されてなる光電変換素子ＰＤをＣｙ画素として表記して説明する。
　図２に戻り、撮像素子２４４の説明を続ける。
　読み出し部２４４３は、撮像制御部２４４６の制御のもと、転送トランジスタＴｒ１１～転送トランジスタＴｒ１４に駆動パルスを印加することによって、光電変換素子ＰＤ１１～光電変換素子ＰＤ１４から電荷電圧変換部ＦＤ１に電荷を転送させる。続いて、読み出し部２４４３は、撮像制御部２４４６の制御のもと、画素出力トランジスタＴｒＡＭＰに電源電圧を供給することによって電荷電圧変換部ＦＤ１によって電圧変換された電気信号を垂直信号線２９１へ出力させる。続いて、読み出し部２４４３は、撮像制御部２４４６の制御のもと、電荷電圧変換リセットトランジスタＴｒＲＳＴにリセットパルスを印加することによって電荷電圧変換部ＦＤ１を所定電位にリセットする。読み出し部２４４３は、垂直走査回路および水平走査回路等を用いて構成される。
　Ａ／Ｄ変換部２４４４は、撮像制御部２４４６の制御のもと、読み出し部２４４３から入力されたアナログの画像データ（電気信号）を所定のビット数のデジタルの電気信号に変換することによって画像（撮像画像）を出力する。例えば、Ａ／Ｄ変換部２４４４は、１０ビットのデジタルの画像（電気信号）に変換して外部へ出力する。Ａ／Ｄ変換部２４４４は、Ａ／Ｄ変換回路等を用いて構成される。
　内視鏡記録部２４４５は、内視鏡２に関する各種情報を記録する。例えば、内視鏡記録部２４４５は、内視鏡２を識別する識別情報および撮像素子２４４の識別情報等を記録する。内視鏡記録部２４４５は、不揮発性メモリ等を用いて構成される。
　撮像制御部２４４６は、制御装置５から入力される指示信号に基づいて、撮像素子２４４の動作を制御する。具体的には、撮像制御部２４４６は、制御装置５から入力される指示信号に基づいて、撮像素子２４４の撮像フレームレートおよび撮影タイミングを制御する。より具体的には、撮像制御部２４４６は、制御装置５から通常観察モードを指示する指示信号が入力された場合、各光電変換素子ＰＤが生成した電気信号を順次出力させる。これに対して、撮像制御部２４４６は、制御装置５から擬似的なスローモーションで被検体の声帯が変化するストロボ表示で観察を行うモード（以下、「疑似スローモーション観察モード」という）または特殊観察モードを指示する指示信号が入力された場合、複数のＣｙ画素の各々が生成した電気信号をフィルタユニットＵ１毎に加算することによって外部へ出力させる。例えば、撮像制御部２４４６は、読み出し部２４４３を制御することによって、転送トランジスタＴｒ１２および転送トランジスタＴｒ１３に駆動パルスを印加し、光電変換素子ＰＤ１２および光電変換素子ＰＤ１３から電荷電圧変換部ＦＤ１に電荷を転送させることによって信号電荷を加算させる。そして、撮像制御部２４４６は、読み出し部２４４３を制御することによって、電荷電圧変換部ＦＤ１において複数のＣｙ画素の各々の電気信号が加算された加算信号を垂直信号線２９１に転送させる。撮像制御部２４４６は、タイミングジェネレータ等を用いて構成される。これにより、撮像素子２４４は、被検体の声帯の振動の周波数よりも高速な撮像フレームレートで撮像することができる。ここで、被検体の声帯の振動の周波数よりも高速な撮像フレームレートとは、例えば、６０００ｆｐｓである。また、撮像制御部２４４６は、制御装置５から疑似スローモーション観察モードまたは特殊観察モードを指示する指示信号が入力された場合、撮像素子２４４を所定の撮像領域における各光電変換素子ＰＤが生成した電気信号を順次出力させることによって、被検体の声帯の振動の周波数よりも高速な撮像フレームレートで撮像させてもよい。ここで、所定の撮像領域とは、通常槓子モードの撮像領域よりも小さい領域である。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源装置３、制御装置５に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や撮像素子２４４に静止画撮影を指示するプリフリーズ信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２４１と、１または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２および光源装置３と制御装置５との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像（画像データ）を送受信するための信号線、撮像素子２４４を駆動するための駆動用のタイミング信号を送受信するための信号線等を含む。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端に制御装置５に着脱自在なコネクタ部２８を有する。
　〔光源装置の構成〕
　次に、光源装置３の構成について説明する。
　光源装置３は、内視鏡２の先端部２４から被検体を照射するための照明光を供給する。光源装置３は、光源部３と、光源ドライバ３２と、照明制御部３３と、を備える。
　光源部３は、赤色の波長帯域の光および青色の波長帯域の光の少なくとも一方と、緑色の波長帯域の光と、を含む照明光、または緑色の波長帯域の光と、狭帯域光（例えば波長帯域４１５ｎｍ＋５４０ｎｍ）と、を含む特殊光を被検体へ照射する。光源部３は、集光レンズ３１１と、第１の光源３１２と、第２の光源３１３と、第３の光源３１４と、を有する。
　集光レンズ３１１は、１または複数のレンズを用いて構成される。集光レンズ３１１は、第１の光源３１２、第２の光源３１３および第３の光源３１４の各々が出射した照明光を集光してライトガイド２４１へ出射する。
　第１の光源３１２は、赤色ＬＥＤ（Light　Emitting　Diode）ランプを用いて構成される。第１の光源３１２は、光源ドライバ３２から供給される電流に基づいて、赤色の波長帯域の光（以下、単に「Ｒ光」という）を出射する。
　第２の光源３１３は、緑色ＬＥＤランプを用いて構成される。第２の光源３１３は、光源ドライバ３２から供給される電流に基づいて、緑色の波長帯域の光（以下、単に「Ｇ光」という）を出射する。
　第３の光源３１４は、青色ＬＥＤランプを用いて構成される。第３の光源３１４は、光源ドライバ３２から供給される電流に基づいて、青色の波長帯域の光（以下、単に「Ｂ光」という）を出射する。
　第４の光源３１５は、紫色ＬＥＤランプを用いて構成される。第４の光源３１５は、光源ドライバ３２から供給される電流に基づいて、紫色の波長帯域（例えば４１５ｎｍ±１０）の光（以下、単に「Ｖ光」という）を出射する。
　光源ドライバ３２は、照明制御部３３の制御のもと、第１の光源３１２、第２の光源３１３および第３の光源３１４に対して、電流を供給することによって、撮像システム１に設定された観察モードに応じた光を出射させる。具体的には、光源ドライバ３２は、照明制御部３３の制御のもと、撮像システム１に設定された観察モードが通常観察モードである場合、第１の光源３１２、第２の光源３１３および第３の光源３１４を発光させることによって白色光を出射させる（同時方式）。また、光源ドライバ３２は、照明制御部３３の制御のもと、撮像システム１に設定された観察モードが特殊光観察モードである場合、第２の光源３１３および第４の光源３１５を発光させることによって狭帯域光を出射させる。
　照明制御部３３は、制御装置５から受信した指示信号に基づいて、光源装置３の点灯タイミングを制御する。具体的には、照明制御部３３は、所定の周期で第１の光源３１２、第２の光源３１３および第３の光源３１４に出射させる。照明制御部３３は、ＣＰＵ（Central　Processing　Unit）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。また、照明制御部３３は、撮像システム１の観察モードが特殊光観察モードである場合、光源ドライバ３２を制御することによって、第２の光源３１３および第４の光源３１５を組み合わせで狭帯域光を出射させる。さらに、照明制御部３３は、撮像システム１の観察モードが疑似スローモーション観察モードである場合、光源ドライバ３２を制御することによって、第１の光源３１２、第２の光源３１３および第３の光源３１４を常時点灯させて白色光を常時出射させる。なお、照明制御部３３は、撮像システム１の観察モードに応じて、光源ドライバ３２を制御することによって、第１の光源３１２、第２の光源３１３、第３の光源３１４および第４の光源３１５のいずれか２つ以上を組み合わせで出射させてもよい。
　〔表示装置の構成〕
　次に、表示装置４の構成について説明する。
　表示装置４は、制御装置５から受信した内視鏡２によって生成された画像データに対応する画像を表示する。表示装置４は、撮像システム１に関する各種情報を表示する。表示装置４は、液晶または有機ＥＬ（Electro　Luminescence）等の表示パネル等を用いて実現される。
　〔制御装置の構成〕
　次に、制御装置５の構成について説明する。
　制御装置５は、内視鏡２から入力された画像データに対して、所定の画像処理を施して表示装置４へ出力する。制御装置５は、検出部５１と、算出部５２と、判定部５３と、入力部５４と、設定部５５と、選択部５６と、画像処理部５７と、記録部５８と、処理制御部５９と、を備える。なお、実施の形態１では、制御装置５が画像処理装置として機能する。
　検出部５１は、内視鏡２から入力された、被検体の声帯の振動の周波数より高い周波数の撮像フレームレートで生成された複数の画像に基づいて、被検体の声帯の振動の周波数を検出する。具体的には、検出部５１は、内視鏡２からの複数の画像を入力データとし、出力データとして声帯の振動の周波数を推定して出力する。検出部５１は、ＧＰＵ（Graphics　Processing　Unit）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。検出部５１は、例えば予め複数の被検体の声帯の各々を帯域毎に撮影した複数の画像や動画を教師データとして機械学習し、出力として被検体の声帯の振動の周波数を出力する学習モデル等を用いて実現される。なお、機械学習の種類は、特に限定されないが、例えば声帯の振動の周波数と声帯の状態が写る静止画画像とを紐付けた教師用データや学習用データを用意し、この教師用データや学習用データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。さらに、機械学習の手法としては、例えばＣＮＮ（Convolutional　Neural　Network）、３Ｄ－ＣＮＮ等の多層のニューラルネットワークのＤＮＮ（Deep　Neural　Network）に基づく手法が用いられる。さらに、映像データ等の動画のような時系列データを対象とする場合、機械学習の手法としては、再帰型ニューラルネットワーク（Recurrent　Neural　Network：ＲＮＮ）やＲＮＮを拡張したＬＳＴＭ（Long　Short-Term　Memory　units）等に基づく手法が用いられる。
　算出部５２は、検出部５１から順次入力された被検体の声帯の振動の周波数に基づいて、声帯の振動の周波数の変化量を算出する。例えば、算出部５２は、検出部５１から順次入力された被検体の声帯の振動の周波数に基づいて、１秒間当たりの被検体の声帯の振動の周波数の変化量を算出する。算出部５２は、ＣＰＵ（Central　Processing　Unit）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。
　判定部５３は、算出部５２が算出した変化量が閾値以上であるか否かを判定する。ここで、閾値とは、低音と高音とを峻別できる値である。なお、判定部５３は、音域毎に閾値を設け、変化量を各閾値に従って判定してもよい。
　入力部５４は、ユーザの操作に応じた入力を受け付け、この受け付けた操作内容に応じた信号を設定部５５または処理制御部５９へ出力する。また、入力部５４は、後述する設定部５５が設定する選択周期（サンプリング周期）を指示する指示信号の入力を受け付け、この指示信号を設定部５５へ出力する。さらに、入力部５４は、後述する予め設定された表示装置４において表示される表示周期毎の位相変化量を指示する指示信号の入力を受け付け、この指示信号を設定部５５へ出力する。入力部５４は、スイッチ、ボタン、タッチパネルおよびジョグダイヤル等を用いて構成される。
　設定部５５は、検出部５１が検出した検体の声帯の振動の周期と、撮像素子２４４の撮像フレームレートと、表示装置４の表示フレームレートと、予め設定された表示装置４において表示される表示周期毎の位相の変化量と、に基づいて、後述する選択部５６が複数の画像の中から、被検体の声帯の振動の周期より長い周期で、表示装置４において表示するための画像を選択するための選択周期（サンプリング周期）を設定する。具体的には、設定部５５は、入力部５４から入力された選択周期を指示する指示信号と、処理制御部５９から入力された表示装置４の表示フレームレート、撮像素子２４４の撮像フレームレートと、予め設定された表示装置４において表示される表示周期毎の位相変化量と、に基づいて、後述する選択部５６の選択周期（サンプリング周期）を設定する。また、設定部５５は、入力部５４から入力される指示信号に基づいて、位相変化量β（θ）を０°以上、９０°未満の間（０°≦θ＜９０°）で設定する。さらに、設定部５５は、判定部５３によって変化量が閾値以上であると判定された場合、選択部５６の選択周期を変更する。
　選択部５６は、被検体の声帯の振動の周波数より高い周波数で撮像可能な撮像素子２４４を有する内視鏡２によって生成された複数の画像の中から、被検体の声帯の振動の周期より長い選択周期に基づいて、表示装置４において表示するための画像を順次選択し、この選択した画像を画像処理部５７へ出力する。具体的には、選択部５６は、設定部５５によって設定された選択周期に基づいて、内視鏡２の撮像素子２４４が生成した複数の画像の中から、被検体の声帯の振動の周期より長い選択周期に基づいて、表示装置４において表示するための画像を順次選択し、この選択した画像を出力する画像処理部５７へ出力する。より具体的には、選択部５６は、設定部５５によって設定された選択周期に基づいて、内視鏡２の撮像素子２４４が生成した複数の画像の中から、表示装置４において表示しない画像を間引く選択を行うことによって画像処理部５７へ出力する。
　画像処理部５７は、選択部５６から入力された画像に対して、各種の画像処理を行って表示画像を生成し、この表示画像を表示装置４へ出力する。ここで、画像処理としては、デモザイキング処理、γ補正処理、ノイズリダクション処理、ホワイトバランス調整処理および構造強調処理等である。画像処理部５７は、ＧＰＵまたはＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。
　記録部５８は、撮像システム１に関する各種の情報、処理中の情報、プログラムおよび画像等を記録する。記録部５８は、ＲＯＭ（Reaｄ　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）、記録媒体等を用いて構成される。記録部５８は、撮像システム１が実行する各種のプログラムを記録するプログラム記録部５８１と、内視鏡２の撮像素子２４４が生成した複数の画像または内視鏡２の撮像素子２４４が生成した複数の画像によって構成された動画を記録する画像記録部５８２と、を有する。
　処理制御部５９は、撮像システム１の各部を統括的に制御し、各動作を制御する。処理制御部５９は、ＣＰＵ、ＦＰＧＡまたはＡＳＩＣ（Application　Specific　Integrated　Circuit）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、算出部５２、判定部５３、設定部５５、選択部５６および画像処理部５７を一つのハードウェアを用いて実現してもよい。
　〔従来の被検体の声帯の観察方法の概要〕
　次に、従来の被検体の声帯の観察方法について説明する。図６は、従来の被検体の声帯の観察方法の概要を模式的に示す図である。図６において、縦軸が声帯の振動の振幅を示し、横軸が時間を示す。さらに、図６において、曲線Ｌ１０が模式的に表した声帯の振動の周波数を示し、各黒丸Ｐ１が声帯の振動の周波数に基づいて予め設定した撮影タイミングを示す。
　図６の各黒丸Ｐ１に示すように、従来の被検体の声帯の観察方法（以下、「従来観察方法」という）では、マイク等で声帯の振動の周波数を検出し、この検出した声帯の振動の周波数に基づいて、予め設定した撮影タイミングで照明光を順次照射しつつ撮影を行うことによって複数の画像を生成する。そして、従来の観察方法では、複数の画像をメモリ等に一時的に記録した後に、複数の画像を時系列に沿って再生することによってスロー再生を行っている。このため、従来の観察方法では、被検体の声帯の観察をリアルタイムで観察することができないという問題点があった。さらに、従来観察方法の内視鏡では、被検体の声帯の振動の周波数を検出するためのマイクが必要となるうえ、汎用性に欠けるという問題点があった。
　〔被検体の声帯の観察方法の概要〕
　次に、実施の形態１に係る被検体の声帯の観察方法について説明する。図７は、実施の形態１に係る被検体の声帯の観察方法の概要を模式的に示す図である。図７において、縦軸が声帯の振動の振幅を示し、横軸が時間を示す。さらに、図６において、曲線Ｌ１１が模式的に表した声帯の振動の周波数を示し、各黒丸Ｐ２が所定の撮影フレームに従って撮影した撮影タイミングを示し、各白丸Ｐ３が複数の画像の中から選択部５６が選択した画像を示す。
　図７に示すように、撮像素子２４４は、声帯の振動の周波数に関わらず、声帯の振動の周波数より高い周波数の撮像フレームレート（例えば６０００ｆｐｓ）で高速に撮影を行う。そして、選択部５６は、撮像素子２４４がリアルタイムで生成した複数の画像の中から設定部５５によって設定された選択周期に基づいて表示装置４において表示するための画像を順次選択して画像処理部５７へ出力する。その後、画像処理部５７は、選択部５６から順次入力された画像に対して画像処理を行って表示装置４へ出力する。これにより、表示装置４は、リアルタイムに、擬似的なスローモーションで被検体の声帯が変化する表示を行うことができる。この結果、医者等にユーザは、被検体の声帯をリアルタイムに観察することができる。さらに、撮像システム１は、声帯を検出するためのマイクを別途設ける必要がないので、汎用性が高く、簡易な構成を実現することができる。
　〔疑似スローモーション観察モードの概要〕
　次に、図７において説明した疑似スローモーション観察モードの概要について説明する。図８は、疑似スローモーション観察モードの概要を模式的に示す図である。図８において、上段から（ａ）が被検体の声帯の状態変化を模式的に示し、（ｂ）が設定部５５によって設定された選択周期を示し、（ｃ）が選択部５６によって複数の画像の中から選択されて表示される声帯の状態を模式的に示す。なお、図８では、説明を簡略化するため、画像に写る声帯を抽出して模式的に表現しているが、実際の画像には、各画像内で声帯の形状が変化している。
　図８に示すように、選択部５６は、設定部５５によって設定された選択周期に基づいて、内視鏡２の撮像素子２４４が声帯の振動の周波数よりも高い周波数で生成した複数の画像の中から、声帯の振動の周期よりも長い選択周期に基づいて画像を順次選択し、選択した画像を、画像処理部５７を経由して表示装置４へ出力する。これにより、図８の（ｃ）に示すように、表示装置４は、疑似的なスローモーションで声帯の状態が変化する表示画像を表示することができる。この場合、検出部５１は、撮像素子２４４が声帯の振動の周波数よりも高い周波数で生成した複数の画像に基づいて、声帯の振動の周期または周波数を検出する。その後、設定部５５は、検出部５１が検出した声帯の周期と、入力部５４から入力される指示信号と、に基づいて、選択部５６が複数の画像の中から選択するための選択周期ｔ２（サンプリング周期）を下記の式（１）によって設定する。
　ｔ２＝α×ｔ１＋β　　　・・・（１）
ここで、αは、１以上の整数であり、βは、入力部５４から入力される指示信号によってユーザによって予め指定される値であって、表示装置４において表示される表示周期毎の位相変化量を示す値である。
　このように、選択部５６は、設定部５５が式（１）によって設定された選択周期ｔ２に基づいて、内視鏡２の撮像素子２４４が声帯の振動の周波数よりも高い周波数で生成した複数の画像の中から、声帯の振動の周期よりも長い選択周期に基づいて画像を順次選択し、順次選択した画像を画像処理部５７へ出力する。これにより、表示装置４は、声帯の振動の周波数が変動した場合であっても、高速で動く声帯をスローモーション状態で表示することができる。
　〔選択周期ｔ２の設定方法〕
　次に、設定部５５が設定する選択周期ｔ２について詳細に説明する。図９は、被検体の声帯の振動の周波数を模式的に示す図である。図１０は、設定部５５が設定する選択周期の一例を模式的に示す図である。図１１は、設定部５５が設定する選択周期の別の一例を模式的に示す図である。図１２は、設定部５５が設定する選択周期の別の一例を模式的に示す図である。図１３は、設定部５５が設定する選択周期の別の一例を模式的に示す図である。図９では、曲線L１０が声帯の振動の周波数を示す。また、図１０では、設定部５５がα＝１００、β＝０に設定した場合を示し、曲線Ｌ２１が声帯の振動の周波数を示す。さらに、図１１では、設定部５５がα＝１００、β＝θ＝５°に設定した場合を示し、曲線Ｌ２２が声帯の振動の周波数を示す。さらにまた、図１２では、設定部５５がα＝１００、β＝θ＝１０°に設定した場合を示し、曲線Ｌ２３が声帯の振動の周波数を示す。また、図１３では、設定部５５がα＝１００、β＝θ＝０に設定している場合において、入力部５４から選択周期の初期位相をγに設定したときを示し、直線Ｌ２４が声帯の振動の周波数を示す。さらに、図９～図１３において、横軸が時間を示し、縦軸が振幅を示す。
　図９および図１０に示すように、表示装置４は、設定部５５が選択周期ｔ２におけるβを０に設定した場合（β＝０）、選択部５６が複数の画像の中から選択した、ある位相の状態の静止画像を表示する。ここで、設定部５５は、αが表示フレームレートと近くなるように選択周期ｔ２を設定する。例えば、設定部５５は、撮像素子２４４の撮像フレームレートが６０００ｆｐｓ、表示装置４の表示フレームレートが６０ｆｐｓである場合、６０００÷６０＝１００のため、αを１００に設定する。これにより、選択部５６は、複数の画像の中から撮像周期の１００分の１の周期で画像のフレームを選択して表示装置４へ出力することができる。この結果、表示装置４は、撮像周期の１００分の１の周期で表示画像を表示することができる。なお、撮像素子２４４の撮像フレームレートは、声帯の振動の周期（例えば１／２００秒等）より十分に早い必要があり、例えば６０００ｆｐｓである。
　次に、設定部５５が設定するβの詳細について説明する。表示装置４が表示する表示画像の表示周期毎の位相変化分は、以下の式（２）によって表すことができる。
　２πβ／ｔ１＝θ　　　・・・（２）
　このため、設定部５５は、位相変化分を０、即ち、β＝０に設定した場合、式（１）により、選択部５６が複数の画像から表示画像として選択する画像の位相が動かずに静止画像となる。
　医者等のユーザは、表示装置４において表示される静止画像としての表示画像に写る声帯に変化が生じないと、声帯の状態の観察を行うことができない。このため、設定部５５は、表示装置４において表示される表示画像が表示フレーム毎に位相がずれるようにβを０より大きい値に設定する。具体的には、設定部５５は、以下の条件（３）でβを設定する。
　０＜β＜ｔ１　　　・・・（３）
　これにより、選択部５６は、設定部５５が設定した選択周期ｔ2に基づいて複数の画像の中から表示画像を選択して表示装置４へ出力することによって、図１１の曲線Ｌ２２および図１２の曲線Ｌ２３に示すように、位相が表示装置４の表示フレーム毎に変化する表示画像を選択することができる。
　このように、設定部５５は、表示装置４が表示する表示フレームに合わせてαを設定し、入力部５４から入力された表示装置４において表示される表示周期毎の位相変化量を指示する指示信号に基づいて、スローモーションの動きのβを設定する。そして、選択部５６は、設定部５５が設定した選択周期ｔ2に基づいて高速撮影された複数の画像から疑似スローモーションの表示画像を選択することができる。
　さらに、図１３の直線Ｌ２４に示すように、設定部５５は、位相変化量βが０の場合において、入力部５４から選択周期の初期位相を変化させる指示信号が入力されたとき、この指示信号に従って選択周期の初期位相γを変化させる（ｔ２＝（α×ｔ１＋β）＋γ）。これにより、医者等のユーザは、所望の状態で変化を停止している声帯の状態を観察することができる。
　〔撮像システムの処理〕
　次に、撮像システム１が実行する処理について説明する。図１４は、撮像システム１が実行する処理の概要を示すフローチャートである。
　図１４に示すように、まず、撮像システム１が通常観察モードに設定されている場合（ステップＳ１：Ｙｅｓ）について説明する。この場合、撮像システム１は、所定の撮像フレームレートで順次撮像して表示する通常観察モード処理を実行する（ステップＳ２）。ステップＳ２の後、撮像システム１は、本処理を終了する。なお、通常観察モード処理の詳細は、後述する。
　ステップＳ１において、撮像システム１が通常観察モードに設定されていない場合（ステップＳ１：Ｎｏ）について説明する。この場合、撮像システム１は、ステップＳ３へ移行する。
　続いて、撮像システム１が疑似スローモーション観察モードに設定されている場合（ステップＳ３：Ｙｅｓ）、撮像システム１は、被検体の声帯を擬似的にリアルタイムにスローモーションで観察する疑似スローモーション観察モード処理を実行する（ステップＳ４）。ステップＳ４の後、撮像システム１は、本処理を終了する。なお、疑似スローモーション観察モード処理の詳細は、後述する。
　ステップＳ３において、撮像システム１が疑似スローモーション観察モードに設定されていない場合（ステップＳ３：Ｎｏ）、撮像システム１は、本処理を終了する。
　〔通常観察モード処理の概要〕
　次に、ステップＳ２において説明した通常観察モード処理の詳細について説明する。図１５は、通常観察モード処理の概要を示すフローチャートである。
　図１５に示すように、まず、処理制御部５９は、撮像素子２４４に通常の撮像フレームレートに従って撮像を開始させる（ステップＳ２０１）。具体的には、処理制御部５９は、撮像素子２４４を６０ｆｐｓで撮像を開始させる。
　続いて、処理制御部５９は、光源装置３に撮像フレームレートに従って照明光を照射させる（ステップＳ２０２）。この場合、光源装置３は、撮像フレームレートに同期して第１の光源３１２、第２の光源３１３および第３の光源３１４を発光させることによって白色の照明光を内視鏡２へ供給する。
　その後、画像処理部５７は、選択部５６を経由して入力された画像（撮像画像）に対して画像処理を行って表示装置４へ出力する（ステップＳ２０３）。これにより、表示装置４は、画像処理部５７から入力された画像（撮像画像）に基づく表示画像を表示する。この場合、選択部５６は、内視鏡２の撮像素子２４４から複数の画像（撮像画像）に対して、選択することなく画像処理部５７へ出力する。
　その後、入力部５４から観察の終了を指示する指示信号が入力された場合（ステップＳ２０４：Ｙｅｓ）、処理制御部５９は、撮像素子２４４の撮像を停止する（ステップＳ２０５）。ステップＳ２０５の後、撮像システム１は、上述した図１４のメインルーチンへ戻り、本処理を終了する。
　ステップＳ２０４において、入力部５４から観察の終了を指示する指示信号が入力されていない場合（ステップＳ２０４：Ｎｏ）、撮像システム１は、上述したステップＳ２０２へ戻る。
　〔疑似スローモーション観察モード処理の概要〕
　次に、ステップＳ４において説明した疑似スローモーション観察モード処理の詳細について説明する。図１６は、疑似スローモーション観察モード処理の概要を示すフローチャートである。
　図１６に示すように、まず、処理制御部５９は、撮像素子２４４を高速撮像フレームレートに従って撮像を開始させる（ステップＳ４０１）。
　続いて、処理制御部５９は、光源装置３を常時点灯照射させる（ステップＳ４０２）。具体的には、光源装置３は、第１の光源３１２、第２の光源３１３および第３の光源３１４を常時点灯させる。
　続いて、検出部５１は、撮像素子２４４から入力された複数の画像に基づいて、被検体の声帯の振動の周波数を検出する（ステップＳ４０３）。
　その後、設定部５５は、選択部５６に設定する選択周期を設定する（ステップＳ４０４）。具体的には、設定部５５は、表示装置４の表示フレームレート、撮像素子２４４の撮像フレームレートおよび入力部５４から予め入力された位相変化分（β）を指示する指示信号と、に基づいて、選択周期ｔ2を設定する。
　続いて、選択部５６は、設定部５５が設定した選択周期ｔ2に基づいて、表示装置４において表示するための表示画像として、撮像素子２４４から入力された複数の画像（撮像画像）の中から表示画像を選択する（ステップＳ４０５）。
　その後、算出部５２は、検出部５１が検出した被検体の声帯の振動の周波数の変化量を算出する（ステップＳ４０６）。
　続いて、判定部５３は、算出部５２が算出した変化量が閾値以上であるか否かを判定する（ステップＳ４０７）。判定部５３によって算出部５２が算出した変化量が閾値以上であると判定された場合（ステップＳ４０７：Ｙｅｓ）、撮像システム１は、上述したステップＳ４０４へ戻る。この場合、設定部５５は、表示装置４の表示フレームレート、撮像素子２４４の撮像フレームレートおよび入力部５４から予め入力された位相変化分（β）を指示する指示信号と、算出部５２が算出した変化量と、に基づいて、選択周期ｔ2を変更して設定する。これにより、被検体の声帯の振動の周波数に追従した表示を行うことができる。
　ステップＳ４０７において、判定部５３によって算出部５２が算出した変化量が閾値以上でないと判定された場合（ステップＳ４０７：Ｎｏ）、撮像システム１は、ステップＳ４０８へ移行する。
　ステップＳ４０８において、入力部５４から初期位相γを指示する指示信号が入力された場合（ステップＳ４０８：Ｙｅｓ）、設定部５５は、選択部５６の選択周期の初期位相を、入力部５４から入力された指示信号に応じた初期位相に変更する（ステップＳ４０９）。これにより、表示装置４は、医者等のユーザが所望する声帯の形状で停止させた表示画像を表示することができる。ステップＳ４０９の後、撮像システム１は、後述するステップＳ４１０へ移行する。
　ステップＳ４０８において、入力部５４から初期位相γを指示する指示信号が入力されていない場合（ステップＳ４０８：Ｎｏ）、撮像システム１は、後述するステップＳ４１０へ移行する。
　続いて、入力部５４から観察の終了を指示する指示信号が入力された場合（ステップＳ４１０：Ｙｅｓ）、処理制御部５９は、撮像素子２４４の撮像を停止する（ステップＳ４１１）。ステップＳ４１１の後、撮像システム１は、図１４のメインルーチンへ戻り、本処理を終了する。これに対して、入力部５４から観察の終了を指示する指示信号が入力されていない場合（ステップＳ４１１：Ｎｏ）、撮像システム１は、上述したステップＳ４０３へ戻る。
　以上説明した実施の形態１によれば、選択部５６が被写体である被検体の声帯の振動の周波数より長い周波数で撮像可能な撮像素子２４４を有する内視鏡２によって生成された複数の画像（撮像画像）の中から、被検体の声帯の振動の周期より長い選択周期に基づいて、表示装置４において表示するための画像を順次選択し、この選択した画像を、画像処理部５７を介して表示装置４へ出力するので、リアルタイムに被検体の声帯を観察することができる。
　また、実施の形態１によれば、検出部５１が内視鏡２から入力された複数の画像に基づいて、被検体の声帯の振動の周波数を検出するので、声帯を検出するためのマイクを別途設ける必要がないので、汎用性が高く、簡易な構成を実現することができる。
　さらに、実施の形態１によれば、設定部５５が被検体の声帯の振動の周期と、撮像素子２４４の撮像フレームレートと、表示装置４の表示フレームレートと、予め設定された表示装置４において表示される表示周期毎の位相の変化量と、に基づいて、選択部５６が選択する選択周期を設定するので、医者等のユーザが所望する声帯の変化速度および状態で声帯を観察することができる。
　また、実施の形態１によれば、設定部５５が位相変化量を０°以上から９０°未満の間で設定するので、医者等のユーザが所望する声帯の変化速度を自然な状態で変化する声帯を観察することができる。
　また、実施の形態１によれば、設定部５５が判定部５３によって被検体の声帯の振動の周波数の変化量が閾値以上であると判定された場合、選択部５６が選択する選択周期を変更するので、被検体の声帯の振動の周波数に変動に追従することによって、複数の画像の中から最適な画像を選択することができる。
　また、実施の形態１によれば、位相変化量が０の場合において、入力部５４から選択周期の初期位相を変化させる指示信号が入力されたとき、設定部５５が入力部５４から入力された指示信号に従って選択周期の初期位相を変化させるので、医者等のユーザが所望する声帯の形状で仮想的に止めた状態で被検体の声帯の観察を行うことができる。
　また、実施の形態１によれば、記録部５８が内視鏡２から入力された複数の画像の中から選択部５６が選択した画像に対して、表示装置４において表示したことを示す情報を付加して記録するので、被検体の声帯の観察を終了した後に、再度、確認する場合に容易に確認することができるうえ、疑似スローモーション観察モードで観察することができない被検体（患者）に対しても、複数の画像が記録されているので、声帯を観察することができる。
（実施の形態２）
　次に、実施の形態２について説明する。実施の形態２は、上述した実施の形態１に係る撮像システム１と構成が異なるうえ、疑似スローモーション観察モード処理が異なる。具体的には、上述した実施の形態１では、判定部５３が検出部５１によって検出された被写体である被検体の声帯の振動数の周波数が閾値以上であるか否かを判定していたが、実施の形態２では、被検体の声帯の振動数の周波数が１周期毎に閾値以上であるか否かを判定する。以下においては、実施の形態２に係る撮像システムの構成を説明後、撮像システムが実行する疑似スローモーション観察モード処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して詳細な説明は省略する。
　〔撮像システムの構成〕
　図１７は、実施の形態２に係る撮像システムの機能構成を示すブロック図である。図１５に示す撮像システム１Ａは、上述した実施の形態１に係る制御装置５に代えて、制御装置５Ａを備える。制御装置５Ａは、上述した実施の形態１に係る判定部５３および画像処理部５７に代えて、判定部５３Ａおよび画像処理部５７Ａを備える。なお、実施の形態２では、制御装置５Ａが画像処理装置として機能する。
　判定部５３Ａは、表示装置４において表示画像として表示される画像に写る被検体の声帯の変動の１周期毎に算出部５２によって算出された変化量が閾値以上であるか否かを判定する。
　画像処理部５７Ａは、上述した実施の形態１に係る画像処理部５７の機能に加えて、抽出部５７１と、重畳部５７２と、を有する。
　抽出部５７１は、内視鏡２の撮像素子２４４が生成した複数の画像の各々の異常領域を抽出する。具体的には、抽出部５７１は、複数の画像の各々に対して、特徴量が所定の閾値以上の領域を異常領域として抽出する。ここで、特徴量とは、例えば赤色成分、黄色成分等である。なお、抽出部５７１は、周知のテンプレートマッチング等によって複数の画像の各々に対して、異常領域を抽出してもよい。
　重畳部５７２は、選択部５６が選択した画像に、抽出部５７１が抽出した異常領域を重畳して表示装置４へ出力する。
　〔疑似スローモーション観察モード処理の概要〕
　次に、撮像システム１Ａが実行する疑似スローモーション観察モード処理について説明する。図１８は、撮像システム１Ａが実行する疑似スローモーション観察モード処理の概要を示すフローチャートである。図１８において、ステップＳ５０１～ステップＳ５０５は、上述した図１６のステップＳ４０１～ステップＳ４０５それぞれに対応する。
　ステップＳ５０６において、判定部５３Ａは、声帯の振動の周波数が１周期経過したか否かを判定する。判定部５３Ａによって声帯の振動の周波数が１周期経過したと判定された場合（ステップＳ５０６：Ｙｅｓ）、撮像システム１Ａは、後述するステップＳ５０８へ移行する。これに対して、判定部５３Ａによって声帯の振動の周波数が１周期経過していないと判定された場合（ステップＳ５０６：Ｎｏ）、撮像システム１Ａは、後述するステップＳ５０９へ移行する。
　ステップＳ５０８～ステップＳ５１０は、上述した図１６のステップＳ４０７～ステップＳ４０９それぞれに対応する。
　ステップＳ５１１において、抽出部５７１は、内視鏡２の撮像素子２４４が生成した複数の画像の各々の異常領域を抽出する。
　続いて、重畳部５７２は、選択部５６が選択した画像に、抽出部５７１が抽出した異常領域を重畳して表示装置４へ出力する（ステップＳ５１２）。ステップＳ５１２の後、撮像システム１Ａは、後述するステップＳ５１３へ移行する。ステップＳ５１３およびステップＳ５１４は、上述した図１６のステップＳ４１０およびステップＳ４１１それぞれに対応する。
　以上説明した実施の形態２によれば、上述した実施の形態１と同様に、汎用性が高く、リアルタイムに被写体である被検体の声帯を観察することができるうえ、簡易な構成を実現することができる。
　さらに、実施の形態２によれば、重畳部５７２が選択部５６によって選択された画像に、抽出部５７１が抽出した異常領域を重畳することによって表示装置４へ出力するので、医者等のユーザが声帯の異常領域を直感的に把握することができる。
　また、実施の形態２によれば、判定部５３Ａが表示装置４において表示される画像に写る被検体の声帯の変動の１周期毎に変化量が閾値以上であるか否かを判定するので、声帯の周波数が観察中に変化した場合であっても、一連の声帯の周波数での声帯の変動の観察を行うことができる。
（その他の実施の形態）
　上述した本開示の実施の形態１，２に係る撮像システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の実施の形態を形成することができる。例えば、上述した本開示の実施の形態１，２に係る撮像システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る情報提供システムで説明した構成要素を適宜組み合わせてもよい。
　また、本開示の実施の形態１，２に係る撮像システムでは、制御装置内に複数の画像に基づいて、被写体である被検体の声帯の振動の周波数を検出する検出部が設けられていたが、例えばネットワークを経由し、複数の画像を被検体の声帯の振動の周波数を検出する学習モデルに送信し、この学習モデルから被検体の声帯の振動の周波数を受信するようにしてもよい。
　また、本開示の実施の形態１，２では、軟性の内視鏡を例に説明したが、これに限定されることなく、硬性鏡であっても適用することができる。
　また、本開示の実施の形態１，２に係る撮像システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本開示の実施の形態１，２に係る撮像システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本開示の実施の形態１，２に係る撮像システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。
　１，１Ａ　撮像システム
　２　内視鏡
　３　光源装置
　４　表示装置
　５，５Ａ　制御装置
　５１　検出部
　５２　算出部
　５３，５３Ａ　判定部
　５４　入力部
　５５　設定部
　５６　選択部
　５７，５７Ａ　画像処理部
　５８　記録部
　５９　処理制御部
　２４１　ライトガイド
　２４２　照明レンズ
　２４３　光学系
　２４４　撮像素子
　５７１　抽出部
　５７２　重畳部
　５８１　プログラム記録部
　５８２　画像記録部

Claims (13)

  1. 　画像処理装置であって、
    　被写体の振動の周波数より高い周波数で撮像可能な撮像素子によって得られた画像を取得し、取得された複数の画像の中から、前記被写体の振動の周期より長い選択周期を設定し、前記選択周期に基づいて、表示装置において表示するための画像を順次選択し、該選択した画像を出力する選択部を備える、
    　画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記複数の画像に基づいて、前記被写体の振動の周波数を検出する検出部をさらに備える、
    　画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記被写体の振動の周期と、前記撮像素子の撮像フレームレートと、前記表示装置の表示フレームレートと、予め設定された前記表示装置において表示される表示周期毎の位相変化量と、に基づいて、前記選択周期を設定する設定部をさらに備える、
    　画像処理装置。
  4. 　請求項３に記載の画像処理装置であって、
    　前記設定部は、
    　前記位相変化量を０°以上から９０°未満の間で設定する、
    　画像処理装置。
  5. 　請求項３に記載の画像処理装置であって、
    　前記被写体の振動の周波数の変化量を算出する算出部と、
    　前記変化量が閾値以上であるか否かを判定する判定部と、
    　をさらに備え、
    　前記設定部は、
    　前記判定部によって前記変化量が閾値以上であると判定された場合、前記選択部が選択する前記選択周期を変更する、
    　画像処理装置。
  6. 　請求項５に記載の画像処理装置であって、
    　前記判定部は、
    　前記表示装置において表示される前記画像に写る前記被写体の変動の１周期毎に前記変化量が前記閾値以上であるか否かを判定する、
    　画像処理装置。
  7. 　請求項６に記載の画像処理装置であって、
    　前記設定部は、
    　前記位相変化量が０の場合において、前記選択周期の初期位相を変化させる指示信号が入力されたとき、該指示信号に従って前記選択周期の初期位相を変化させる、
    　画像処理装置。
  8. 　請求項７の画像処理装置であって、
    　前記複数の画像を時系列に沿って順次記録する記録部をさらに備える、
    　画像処理装置。
  9. 　請求項８に記載の画像処理装置であって、
    　前記記録部は、
    　前記複数の画像の中から前記選択部が選択した画像に対して、前記表示装置において表示したことを示す情報を付加して記録する、
    　画像処理装置。
  10. 　請求項９の画像処理装置であって、
    　前記複数の画像の各々の異常領域を抽出する抽出部と、
    　前記選択部が選択した画像に、前記抽出部が抽出した前記異常領域を重畳することによって前記表示装置へ出力する重畳部と、
    　をさらに備える、
    　画像処理装置。
  11. 　撮像システムであって、
    　請求項１０の画像処理装置と、
    　撮像装置と、
    　を備え、
    　前記撮像装置は、
    　前記被写体の振動の周波数より高い周波数で撮像可能な撮像素子を有する、
    　撮像システム。
  12. 　画像処理装置が実行する画像処理方法であって、
    　被写体の振動の周波数より高い周波数で撮像可能な撮像素子によって得られた画像を取得し、取得された複数の画像の中から、前記被写体の振動の周期より長い選択周期を設定し、前記選択周期に基づいて、表示装置において表示するための画像を順次選択し、
    　前記選択した画像を出力する、
    　画像処理方法。
  13. 　画像処理装置に実行させるプログラムであって、
    　被写体の振動の周波数より高い周波数で撮像可能な撮像素子によって得られた画像を取得し、取得された複数の画像の中から、前記被写体の振動の周期より長い選択周期を設定し、前記選択周期に基づいて、表示装置において表示するための画像を順次選択させ、
    　前記選択した画像を出力させる、
    　プログラム。
PCT/JP2020/005182 2020-02-10 2020-02-10 画像処理装置、撮像システム、画像処理方法およびプログラム WO2021161394A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/005182 WO2021161394A1 (ja) 2020-02-10 2020-02-10 画像処理装置、撮像システム、画像処理方法およびプログラム
US17/879,867 US20220377202A1 (en) 2020-02-10 2022-08-03 Image processing device, imaging system, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/005182 WO2021161394A1 (ja) 2020-02-10 2020-02-10 画像処理装置、撮像システム、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/879,867 Continuation US20220377202A1 (en) 2020-02-10 2022-08-03 Image processing device, imaging system, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2021161394A1 true WO2021161394A1 (ja) 2021-08-19

Family

ID=77292113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005182 WO2021161394A1 (ja) 2020-02-10 2020-02-10 画像処理装置、撮像システム、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20220377202A1 (ja)
WO (1) WO2021161394A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002219104A (ja) * 2001-01-26 2002-08-06 Asahi Optical Co Ltd 内視鏡システム
JP2004097442A (ja) * 2002-09-09 2004-04-02 Pentax Corp 電子内視鏡システム
JP2009506694A (ja) * 2005-08-31 2009-02-12 ファン キケルベルジュ リュック 記録したものを異なるレートで再生する方法および装置
JP2009100326A (ja) * 2007-10-18 2009-05-07 Keyence Corp 高速撮影装置、高速撮影装置の制御方法及びコンピュータプログラム
JP2012099979A (ja) * 2010-10-29 2012-05-24 Keyence Corp 動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体
JP2016052453A (ja) * 2014-09-04 2016-04-14 オリンパス株式会社 撮像システムおよび処理装置
WO2017150836A1 (ko) * 2016-03-02 2017-09-08 왕용진 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9046757B2 (en) * 2010-10-29 2015-06-02 Keyence Corporation Moving image pickup apparatus, method for observing moving image, moving image observing program, and computer-readable recording medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002219104A (ja) * 2001-01-26 2002-08-06 Asahi Optical Co Ltd 内視鏡システム
JP2004097442A (ja) * 2002-09-09 2004-04-02 Pentax Corp 電子内視鏡システム
JP2009506694A (ja) * 2005-08-31 2009-02-12 ファン キケルベルジュ リュック 記録したものを異なるレートで再生する方法および装置
JP2009100326A (ja) * 2007-10-18 2009-05-07 Keyence Corp 高速撮影装置、高速撮影装置の制御方法及びコンピュータプログラム
JP2012099979A (ja) * 2010-10-29 2012-05-24 Keyence Corp 動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体
JP2016052453A (ja) * 2014-09-04 2016-04-14 オリンパス株式会社 撮像システムおよび処理装置
WO2017150836A1 (ko) * 2016-03-02 2017-09-08 왕용진 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법

Also Published As

Publication number Publication date
US20220377202A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
US9844312B2 (en) Endoscope system for suppressing decrease of frame rate without changing clock rate of reading
JP6072372B2 (ja) 内視鏡システム
US20140340496A1 (en) Imaging apparatus and imaging system
JP5769892B2 (ja) 内視鏡
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP5467182B1 (ja) 撮像システム
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
WO2015114906A1 (ja) 撮像システムおよび撮像装置
JP2006223850A (ja) 電子内視鏡システム
JP5847368B1 (ja) 撮像装置および内視鏡装置
JP5810016B2 (ja) 内視鏡システム
WO2021161394A1 (ja) 画像処理装置、撮像システム、画像処理方法およびプログラム
US20220409015A1 (en) Control device, endoscope, and control method
JP5885617B2 (ja) 撮像システム
JP5815162B2 (ja) 撮像装置
US11399700B2 (en) Processing device, endoscope, endoscope system, image processing method, and computer-readable recording medium for correcting a defective pixel
WO2016047563A1 (ja) 伝送システムおよび処理装置
JP2014183908A (ja) 撮像システム
US20220173145A1 (en) Image sensor, endoscope, and endoscope system
WO2022013953A1 (ja) 撮像システム、内視鏡および制御装置
WO2021140597A1 (ja) 制御装置、内視鏡システム、および制御方法
JP2007252688A (ja) 電子内視鏡装置
JP6257391B2 (ja) 内視鏡システム
JP2015181586A (ja) 内視鏡装置、カメラヘッド、及び制御装置
JP2021126153A (ja) 医療用画像処理装置および医療用観察システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918597

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20918597

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP