WO2017065057A1 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- WO2017065057A1 WO2017065057A1 PCT/JP2016/079463 JP2016079463W WO2017065057A1 WO 2017065057 A1 WO2017065057 A1 WO 2017065057A1 JP 2016079463 W JP2016079463 W JP 2016079463W WO 2017065057 A1 WO2017065057 A1 WO 2017065057A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- light amount
- pixels
- imaging
- scan
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 182
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 238000005286 illumination Methods 0.000 claims description 136
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 abstract description 21
- 238000005259 measurement Methods 0.000 description 61
- 238000012545 processing Methods 0.000 description 54
- 238000012546 transfer Methods 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 25
- 238000000034 method Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 9
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 238000003199 nucleic acid amplification method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 7
- 238000005452 bending Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Definitions
- the present invention relates to an endoscope apparatus.
- This application claims priority based on Japanese Patent Application No. 2015-204496 for which it applied to Japan on October 16, 2015, and uses the content here.
- Patent Document 1 discloses an endoscope apparatus that performs stereo measurement based on two images having parallax with each other.
- the distance to the subject at one designated position of two images acquired in real time is displayed in real time.
- the imaging element has a plurality of pixels arranged in a matrix.
- imaging signal generation and readout are performed for each row in an array of a plurality of pixels.
- the subject that is the object of observation or measurement may be a moving object.
- turbines and engines include rotating bodies.
- the rolling shutter there is a time difference in the operation of the pixels in each row. For this reason, distortion of the subject may occur in the image of the subject that is a moving object.
- the user of the endoscope apparatus may not be able to accurately grasp the state of the subject by observing an image having unnatural distortion.
- the endoscope apparatus cannot acquire an accurate measurement result by performing three-dimensional measurement based on an image having unnatural distortion.
- the present invention provides an endoscope apparatus that can acquire an image in which distortion of a subject is reduced.
- the endoscope apparatus includes an imaging unit, a video signal generation unit, an illumination unit, a light amount detection unit, an imaging control unit, and an illumination control unit.
- the imaging unit images a subject and generates an imaging signal.
- the video signal generation unit generates a video signal from the imaging signal.
- the illuminating unit includes a light source that generates illumination light applied to the subject.
- the light amount detection unit detects a light amount at a place where the imaging unit is disposed.
- the imaging control unit controls the imaging unit.
- the illumination control unit controls the illumination unit.
- the imaging unit has a plurality of pixels arranged in a matrix. The imaging area in which the plurality of pixels are arranged includes a scan area.
- the imaging signal is read from at least a part of the pixels in each row in the scan region.
- the imaging control unit may capture the imaging so that at least a part of an exposure period of the pixels arranged in at least a part of the scan region overlaps when the light amount detected by the light amount detection unit is less than a predetermined amount. Control part.
- the illumination control unit is configured to overlap at least a part of the exposure period of the pixels arranged in at least a part of the scan region. The illumination unit is controlled so that the light source is turned on.
- the light amount detection unit may be at least a part of the plurality of pixels.
- the light amount detection unit may be a device provided independently of the imaging unit.
- the imaging control unit compares the total signal value of the video signal corresponding to each pixel constituting the light amount detection unit with the predetermined amount. Also good.
- the imaging control unit sets the exposure time of the pixel to the first when the light amount detected by the light amount detection unit is less than the predetermined amount. You may set the time.
- the imaging control unit may set the exposure time of the pixel to a second time shorter than the first time when the light amount detected by the light amount detection unit is equal to or greater than the predetermined amount. .
- the imaging control unit determines the exposure time of the pixel when the light amount detected by the light amount detection unit is equal to or greater than the predetermined amount. You may set to the time according to light quantity.
- the imaging unit when the light amount detected by the light amount detection unit in the first frame period is less than the predetermined amount, In this frame period, the imaging unit may be controlled such that at least a part of an exposure period of the pixel arranged in at least a part of the scan region overlaps.
- the first frame period and the second frame period may be continuous frame periods.
- the illumination control unit is configured to turn off the light source when the light amount detected by the light amount detection unit is greater than or equal to the predetermined amount.
- the illumination unit may be controlled.
- the first scan and the second scan may be performed in the frame period.
- the imaging control unit may set each of the scan area in the first scan and the scan area in the second scan in the imaging unit.
- the light amount detection unit may be the pixels arranged in at least one of a plurality of rows.
- the pixels constituting the light amount detection unit may constitute the scan area in the first scan.
- the imaging control unit when the light amount detected by the light amount detection unit is less than the predetermined amount, at least one of exposure periods of the pixels arranged in at least a part of the scan region in the second scan. You may control the said imaging part so that a part may overlap.
- all the pixels arranged in the imaging area may constitute the scan area in the second scan.
- the imaging control unit may set the exposure time of the pixels in the scan area in the first scan to the first time.
- the imaging control unit sets the exposure time of the pixels in the scan area in the second scan to be longer than the first time.
- the second time may be set.
- the illumination control unit when the light amount detected by the light amount detection unit is greater than or equal to the predetermined amount, the illumination control unit includes the light source in the second scan.
- the illumination unit may be controlled so that is turned off.
- the imaging control unit may control the imaging unit so that the imaging signal is read only from the pixels of a part of the columns arranged in the imaging region in the second scanning.
- the imaging control unit when the light amount detected by the light amount detection unit is less than the predetermined amount, the imaging control unit performs the scan in the second scan. You may set the exposure time of the said pixel of a area
- the illumination control unit may control the illumination unit so that the light source is turned off in the second scanning when the light amount detected by the light amount detection unit is equal to or greater than the predetermined amount.
- FIG. 1 is a perspective view showing an overall configuration of an endoscope apparatus according to a first embodiment of the present invention. It is a block diagram which shows the internal structure of the endoscope apparatus by the 1st Embodiment of this invention. It is a block diagram which shows the structure regarding the main functions of the endoscope apparatus by the 1st Embodiment of this invention. It is a block diagram which shows the structure of the image pick-up element in the endoscope apparatus by the 1st Embodiment of this invention. It is a circuit diagram showing the composition of the pixel in the endoscope apparatus by a 1st embodiment of the present invention. It is a timing chart which shows operation
- Timing chart which shows operation
- FIG. 1 shows the overall configuration of an endoscope apparatus 1 according to the first embodiment of the present invention.
- FIG. 2 shows the internal configuration of the endoscope apparatus 1.
- the endoscope apparatus 1 includes an endoscope 2 and an apparatus body 3.
- the endoscope 2 includes an elongated insertion unit 20 and an operation unit 6 for a user to perform operations necessary for controlling the entire apparatus.
- the apparatus body 3 is connected to the endoscope 2.
- the apparatus main body 3 includes a monitor 4 and a housing 5.
- the monitor 4 displays an image of the subject imaged by the endoscope 2 and an operation menu.
- the housing 5 has a control unit 10 (see FIG. 2) inside.
- the insertion unit 20 is inserted into the subject.
- the insertion portion 20 includes a hard distal end portion 21, a bendable bending portion 22, and a flexible tube portion 23 having flexibility.
- a distal end portion 21 is disposed on the distal end side in the insertion portion 20.
- a flexible tube portion 23 is disposed on the main body side in the insertion portion 20.
- a bending portion 22 is disposed between the distal end portion 21 and the flexible tube portion 23.
- An optical adapter for forming a subject image can be attached to and detached from the distal end portion 21.
- the tip 21 has an image sensor 28 and an illumination unit 29.
- the image sensor 28 photoelectrically converts the subject image formed through the optical adapter to generate an image signal.
- the image sensor 28 is a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the image sensor 28 has a plurality of pixels arranged in a matrix. The operation of the plurality of pixels is controlled for each row in the array of the plurality of pixels.
- the illumination unit 29 has a light source that generates illumination light irradiated to the subject.
- the light source is an LED (Light Emitting Diode).
- the illumination unit 29 may be disposed in the housing 5 and the illumination light generated by the illumination unit 29 may be guided to the distal end portion 21 by a light guide.
- the housing 5 includes an endoscope unit 8, a CCU (camera control unit) 9, and a control unit 10.
- the endoscope unit 8 includes a light source driving device that drives the light source of the illumination unit 29 and a bending device that curves the bending unit 22.
- the CCU 9 drives the image sensor 28.
- An imaging signal output from the imaging element 28 is input to the CCU 9.
- the CCU 9 performs preprocessing including amplification and noise removal on the image signal acquired by the image sensor 28.
- the CCU 9 converts the pre-processed imaging signal into a video signal such as an NTSC signal.
- the control unit 10 includes a video signal processing circuit 12, a ROM (Read Only Memory) 13, a RAM (Random Access Memory) 14, a card interface 15, an external device interface 16, a control interface 17, and a CPU (Central Processing). Unit) 18.
- ROM Read Only Memory
- RAM Random Access Memory
- CPU Central Processing
- the video signal processing circuit 12 performs predetermined video processing on the video signal output from the CCU 9. For example, the video signal processing circuit 12 synthesizes the video signal output from the CCU 9 and an operation screen image or measurement information generated by the CPU 18. The video signal processing circuit 12 outputs the synthesized video signal to the monitor 4.
- the ROM 13 is a non-volatile recording medium on which a program for the CPU 18 to control the operation of the endoscope apparatus 1 is recorded.
- the RAM 14 is a volatile recording medium that temporarily stores information used by the CPU 18 for controlling the endoscope apparatus 1.
- the CPU 18 controls the operation of the endoscope apparatus 1 based on a program recorded in the ROM 13.
- the CPU 18 may drive the image sensor 28 without using the CCU 9.
- a memory card 32 which is a removable recording medium is connected to the card interface 15.
- the card interface 15 captures control processing information, image information, and the like stored in the memory card 32 into the control unit 10.
- the card interface 15 records control processing information, image information, and the like generated by the endoscope device 1 in the memory card 32.
- External devices such as USB devices are connected to the external device interface 16.
- the personal computer 31 is connected to the external device interface 16.
- the external device interface 16 transmits information to the personal computer 31 and receives information from the personal computer 31.
- the monitor of the personal computer 31 can display information.
- the user can perform operations related to the control of the endoscope apparatus 1 through the personal computer 31.
- the control interface 17 communicates with the operation unit 6, the endoscope unit 8, and the CCU 9 for operation control.
- the control interface 17 notifies the CPU 18 of an instruction input by the user via the operation unit 6.
- the control interface 17 outputs a control signal for controlling the illumination unit 29 to the endoscope unit 8.
- the control interface 17 outputs a control signal for controlling the image sensor 28 to the CCU 9.
- the control interface 17 outputs a control signal for controlling the image sensor 28 to the image sensor 28.
- FIG. 3 shows a configuration related to main functions of the endoscope apparatus 1.
- the endoscope apparatus 1 includes a monitor 4 (display unit), an operation unit 6, an image sensor 28 (imaging unit), an LED 29 a, an LED 29 b, a video signal generation unit 41, and an operation.
- Detection unit 42, graphic image generation unit 43, measurement processing unit 44, illumination control unit 46, control unit 47 (imaging control unit), LED drive unit 48a, LED drive unit 48b, and signal synthesis unit 49 have.
- the image sensor 28 has a light amount detector 28a.
- the light amount detection unit 28a is at least a part of a plurality of pixels included in the imaging element 28.
- the light quantity detection unit 28a detects the light quantity at the place (environment) where the image sensor 28 is disposed. That is, the light amount detection unit 28a detects the amount of light around the image sensor 28 including light from the subject.
- the illumination part 29 has LED29a and LED29b which are light sources.
- the LED 29a is a light source for observation and stereo measurement.
- the LED 29b is a light source for projecting a pattern onto a subject.
- a matching process for detecting a corresponding position between two images having parallax is performed. If there are few features on the surface of the subject, the accuracy of the matching process tends to be reduced. By projecting the pattern onto the subject, the accuracy of the matching process is improved.
- the LED 29b may be a light source for projecting stripes on the subject.
- the endoscope apparatus 1 may perform three-dimensional measurement by a phase shift method. In the phase shift method, a pattern composed of parallel stripes is projected onto the surface of a subject. The position of the stripe changes with time. Three-dimensional measurement is performed based on a change in luminance of each pixel of the subject image.
- the light source of the illumination unit 29 may be a light source other than an LED.
- the illumination unit 29 may have only one light source or three or more light sources.
- the video signal generation unit 41 corresponds to the function of the CCU 9.
- the video signal generation unit 41 generates a video signal from the imaging signal output from the imaging device 28.
- the video signal generation unit 41 performs preprocessing including amplification and noise removal on the imaging signal, and converts the imaging signal into a video signal.
- the operation detection unit 42, the graphic image generation unit 43, the measurement processing unit 44, the illumination control unit 46, and the control unit 47 correspond to the functions of the CPU 18.
- the operation detection unit 42 detects an operation of the operation unit 6 by the user.
- the operation detection unit 42 sets the display position of the aim displayed on the screen of the monitor 4 according to the operation content.
- the aim indicates the position of the measurement point. The user can move the aim within the screen by operating the operation unit 6.
- the graphic image generation unit 43 generates a graphic image signal corresponding to the operation menu and measurement information displayed on the screen of the monitor 4.
- the measurement information includes an aiming image and a measurement result.
- the display position of the aim in the screen is set by the operation detection unit 42.
- the measurement processing unit 44 performs measurement processing based on the video signal generated by the video signal generation unit 41. In the measurement process, the object distance, length, area, and the like are calculated. The object distance is the distance from the tip 21 to the subject.
- the illumination control unit 46 outputs a control signal for controlling the illumination unit 29. Thereby, the illumination control unit 46 controls the illumination unit 29.
- the inside of the observation or measurement object into which the insertion unit 20 is inserted is dark. For this reason, the illumination control unit 46 turns on the illumination unit 29 when the subject is imaged.
- the periphery of the image sensor 28 may be bright. That is, the object may be placed in a bright place.
- the user visually checks the image displayed on the monitor 4 to confirm whether or not the image is acquired by the endoscope apparatus 1. At this time, the illumination part 29 does not need to be lit.
- the endoscope device 1 can reduce the occurrence of whiteout in the image by turning off the illumination unit 29. Moreover, the endoscope apparatus 1 can reduce power consumption.
- the video signal generation unit 41 detects the row position where the readout of the imaging signal is performed based on the imaging signal output from the imaging device 28.
- the video signal generation unit 41 notifies the illumination control unit 46 of the detected row position.
- the illumination control unit 46 controls the operation timing of the illumination unit 29 based on the timing at the row position notified from the video signal generation unit 41.
- the illumination control unit 46 may control the operation timing of the illumination unit 29 based on the operation timing of the image sensor 28 determined by the control unit 47.
- the control unit 47 controls the assignment of processing to each of the operation detection unit 42, the graphic image generation unit 43, the measurement processing unit 44, and the illumination control unit 46, and controls the operation of the entire endoscope apparatus 1. Control.
- the control unit 47 outputs a control signal for controlling the image sensor 28. This control signal is transmitted to the image sensor 28 via the CCU 9 and the endoscope unit 8. Alternatively, this control signal is directly transmitted to the image sensor 28. Thereby, the control unit 47 controls the image sensor 28.
- the LED driving unit 48 a and the LED driving unit 48 b correspond to the function of the endoscope unit 8.
- the LED drive unit 48a outputs a drive signal for driving the LED 29a based on the control signal output from the illumination control unit 46.
- the LED 29a generates illumination light based on the drive signal output from the LED drive unit 48a.
- the LED drive unit 48b outputs a drive signal for driving the LED 29b based on the control signal output from the illumination control unit 46.
- the LED 29b generates illumination light based on the drive signal output from the LED drive unit 48b.
- the signal synthesizer 49 corresponds to the function of the video signal processing circuit 12.
- the signal synthesis unit 49 synthesizes the video signal generated by the video signal generation unit 41 and the graphic image signal generated by the graphic image generation unit 43.
- the monitor 4 displays an image based on the video signal output from the signal synthesis unit 49.
- FIG. 4 shows the configuration of the image sensor 28.
- the image sensor 28 includes a pixel unit 50, a vertical scanning unit 51, a signal processing unit 52, and a horizontal scanning unit 53.
- the pixel unit 50 has a plurality of pixels 54 arranged in a matrix.
- the plurality of pixels 54 are arranged in the imaging region of the imaging device 28.
- Each of the number of rows and the number of columns in the array of the plurality of pixels 54 is 2 or more. The number of rows and the number of columns need not be the same.
- Each of the plurality of pixels 54 generates an imaging signal corresponding to the amount of light incident on the pixel 54.
- Each of the plurality of pixels 54 is connected to the vertical signal line 56.
- a plurality of vertical signal lines 56 are arranged.
- Each of the plurality of vertical signal lines 56 is arranged for each column in the array of the plurality of pixels 54.
- Each of the plurality of pixels 54 outputs the generated imaging signal to the vertical signal line 56.
- At least a part of the plurality of pixels 54 constitutes a light amount detection unit 28a.
- the pixels 54 constituting the light amount detection unit 28a output the light amount detection result as an imaging signal.
- the pixels 54 constituting the light amount detection unit 28a may not be fixed.
- the control unit 47 sets the light amount detection unit 28a so that any one of the pixels 54 arranged in the imaging region and all the pixels 54 arranged in the imaging region constitute the light amount detection unit 28a.
- the region of the pixel 54 that constitutes may be set.
- Each of the plurality of pixels 54 is connected to a control signal line 57.
- a plurality of control signal lines 57 are arranged.
- Each of the plurality of control signal lines 57 is arranged for each row in the array of the plurality of pixels 54.
- Each of the plurality of control signal lines 57 is connected to the vertical scanning unit 51.
- a control signal for controlling the operation of the plurality of pixels 54 is output from the vertical scanning unit 51 to the control signal line 57.
- a plurality of control signal lines 57 are arranged for the pixels 54 in one row. In FIG. 4, one control signal line 57 is shown for one row of pixels 54, and the other control signal lines 57 are omitted. Details of the control signal will be described later.
- the operation of the plurality of pixels 54 is controlled based on the control signal output to the control signal line 57.
- a control signal corresponding to the pixels 54 in one row is commonly supplied to all the pixels 54 in the row. For this reason, the same operation timing is set for two or more pixels 54 arranged in the same row. That is, two or more pixels 54 arranged in the same row operate simultaneously. Details of the configuration of the pixel 54 will be described later.
- the control signal generated by the control unit 47 is transmitted to the image sensor 28 via the CCU 9 and the endoscope unit 8. Alternatively, the control signal generated by the control unit 47 is directly transmitted to the image sensor 28.
- the image sensor 28 receives a control signal.
- the vertical scanning unit 51 generates a control signal for controlling the operation of the plurality of pixels 54 based on the received control signal.
- the vertical scanning unit 51 generates a control signal corresponding to each of the plurality of rows in the array of the plurality of pixels 54.
- the vertical scanning unit 51 outputs the generated control signal to the control signal line 57.
- the signal processing unit 52 has a plurality of signal processing circuits 55.
- the signal processing circuit 55 is arranged for each column in the array of the plurality of pixels 54.
- the signal processing circuit 55 is connected to the vertical signal line 56.
- the signal processing circuit 55 performs signal processing including amplification and noise removal on the imaging signal output to the vertical signal line 56.
- At least one of the signal processing circuit 55 and the video signal generation unit 41 (CCU 9) may perform signal processing on the imaging signal.
- the imaging signal processed by the signal processing circuit 55 is input to the horizontal scanning unit 53.
- the horizontal scanning unit 53 sequentially selects columns in the array of the plurality of pixels 54.
- An imaging signal corresponding to the column selected by the horizontal scanning unit 53 is output from the output terminal 58.
- the endoscope apparatus 1 includes the imaging element 28, the video signal generation unit 41, the illumination unit 29, the light amount detection unit 28a, the control unit 47, and the illumination control unit 46.
- the image sensor 28 images a subject and generates an image signal.
- the video signal generation unit 41 generates a video signal from the imaging signal.
- the illumination unit 29 has a light source (LED 29a and LED 29b) that generates illumination light irradiated to the subject.
- the light amount detection unit 28a detects the light amount at the place where the image sensor 28 is disposed.
- the control unit 47 controls the image sensor 28.
- the illumination control unit 46 controls the illumination unit 29.
- the image sensor 28 has a plurality of pixels 54 arranged in a matrix.
- the imaging area in which the plurality of pixels 54 are arranged includes a scan area. Imaging signals are read from at least some of the pixels 54 in each row in the scan area.
- the control unit 47 controls the image sensor 28 so that at least a part of the exposure period of the pixel 54 arranged in at least a part of the scan region overlaps. To do.
- the illumination control unit 46 when the light amount detected by the light amount detection unit 28a is less than a predetermined amount, the light source is turned on in a period in which at least a part of the exposure period of the pixel 54 arranged in at least a part of the scan region overlaps.
- the illumination unit 29 is controlled as described above. Details of the scan area and the control of the image sensor 28 and the illumination unit 29 will be described later.
- FIG. 5 shows the configuration of the pixel 54.
- the pixel 54 includes a photoelectric conversion unit 60, a charge transfer unit 61, a charge storage unit 62, a reset unit 63, an amplification unit 64, and an output unit 65.
- the photoelectric conversion unit 60 is a photodiode.
- the charge storage unit 62 is a capacitor.
- the charge storage unit 62 is a gate capacitance of a transistor that forms the amplification unit 64.
- the charge transfer unit 61, the reset unit 63, the amplification unit 64, and the output unit 65 are transistors.
- the photoelectric conversion unit 60 generates a charge corresponding to the amount of light incident on the pixel 54.
- the charge transfer unit 61 transfers the charge generated by the photoelectric conversion unit 60 to the charge storage unit 62.
- the charge accumulation unit 62 accumulates the charges transferred from the photoelectric conversion unit 60.
- the reset unit 63 resets the charges in the photoelectric conversion unit 60 and the charge storage unit 62 based on the power supply voltage VDD. When the charge transfer unit 61 and the reset unit 63 are turned on, the reset unit 63 can reset the charges in the photoelectric conversion unit 60 and the charge storage unit 62.
- the amplifying unit 64 amplifies a signal based on the charges accumulated in the charge accumulating unit 62.
- the output unit 65 outputs the signal amplified by the amplification unit 64 to the vertical signal line 56 as an imaging signal.
- the operation of the charge transfer unit 61 is controlled by a control signal ⁇ TX.
- the operation of the reset unit 63 is controlled by a control signal ⁇ RST.
- the operation of the output unit 65 is controlled by a control signal ⁇ SEL.
- the control signal ⁇ TX, the control signal ⁇ RST, and the control signal ⁇ SEL are supplied from the vertical scanning unit 51 via the control signal line 57.
- the operation of the pixel 54 includes reset, charge transfer, and signal readout.
- the reset corresponds to the operation of the reset unit 63.
- the charge transfer corresponds to the operation of the charge transfer unit 61.
- the signal reading corresponds to the operation of the output unit 65.
- the measurement processing unit 44 performs measurement processing based on the principle of stereo measurement.
- stereo measurement an optical adapter that forms a first optical image and a second optical image with parallax is used.
- the imaging element 28 generates an imaging signal based on the first optical image and the second optical image.
- the monitor 4 displays a first image corresponding to the first optical image and a second image corresponding to the second optical image.
- the monitor 4 displays an image in which a first image and a second image are arranged side by side.
- the user designates a measurement point for one of the first image and the second image by operating the aim on the screen of the monitor 4 via the operation unit 6. For example, a measurement point is designated for the first image.
- the measurement processing unit 44 searches the corresponding point of the second image corresponding to the measurement point of the first image by processing the video signal. That is, the measurement processing unit 44 searches for corresponding points by pattern matching between the first image and the second image.
- the measurement processing unit 44 calculates three-dimensional coordinates corresponding to the measurement points by using the measurement points and the corresponding points according to the principle of triangulation.
- the first optical image and the second optical image are formed on the image sensor 28 simultaneously or alternately.
- one of the first optical path and the second optical path is shielded by a movable mechanical shutter.
- the first optical path is an optical path for forming the first optical image.
- the second optical path is an optical path for forming a second optical image.
- the mechanical shutter is disposed in the second optical path, the first optical image is formed on the image sensor 28.
- a second optical image is formed on the image sensor 28.
- the measurement processing unit 44 may perform three-dimensional measurement processing other than stereo measurement.
- the measurement processing unit 44 may perform measurement processing based on the principle of the phase shift method.
- the illumination unit 29 has a plurality of light sources (LED 29a and LED 29b) independent of each other.
- the illumination control unit 46 selects a light source that generates illumination light.
- the illumination unit 29 has a plurality of light sources (LED 29a and LED 29b) including a measurement light source (LED 29b) for projecting a pattern or a stripe onto a subject.
- the endoscope apparatus 1 includes a measurement processing unit 44 that performs measurement processing based on a video signal.
- the illumination control unit 46 may turn on the light source for measurement when the measurement processing unit 44 performs measurement processing.
- the illumination control unit 46 selects the LED 29a.
- the illumination control unit 46 selects the LED 29a.
- the illumination control unit 46 selects the LED 29b.
- FIG. 6 shows an operation when the image sensor 28 is driven by a rolling shutter.
- the horizontal direction indicates time
- the vertical direction indicates row position.
- the operation in the pixels 54 in eight rows is shown. The top row is the first row and the bottom row is the eighth row.
- the light source of the illumination unit 29 is continuously lit.
- the pixel 54 in the first row is reset. That is, in the pixels 54 in the first row, the reset unit 63 resets the charges in the photoelectric conversion unit 60 and the charge storage unit 62. As a result, exposure is started at the pixels 54 in the first row. After the reset, charge transfer is performed in the pixels 54 in the first row. That is, in the pixels 54 in the first row, the charge transfer unit 61 transfers the charges generated by the photoelectric conversion unit 60 to the charge storage unit 62. This completes the exposure at the pixels 54 in the first row. The period from the start of exposure to the end of exposure is the exposure period (exposure possible period).
- the exposure period is a period from the end of reset to the start of charge transfer.
- signal readout is performed in the pixels 54 in the first row. That is, in the pixel 54 in the first row, the output unit 65 outputs the imaging signal to the vertical signal line 56. After the signal is read out, the pixels 54 in the first row stand by until the next frame period starts.
- the reset is performed in the pixels 54 in the second row at a timing when a predetermined time has elapsed from the timing in which the pixels 54 in the first row were reset.
- the operation in the pixels 54 in the second row is the same as the operation in the pixels 54 in the first row.
- the operation in the pixels 54 in the second row is performed at a timing shifted by a predetermined time with respect to the operation timing in the pixels 54 in the first row.
- the operation in the pixels 54 in each row after the third row is performed at a timing shifted by a predetermined time with respect to the operation timing in the pixels 54 in the previous row.
- FIG. 7 shows a characteristic operation of the endoscope apparatus 1.
- the horizontal direction indicates time
- the vertical direction indicates row position.
- FIG. 7 shows the operation in the pixels 54 in eight rows. The top row is the first row and the bottom row is the eighth row.
- the image sensor 28 is driven by a rolling shutter.
- the exposure period is set so that at least part of the exposure periods of the pixels 54 in two or more rows overlap.
- the exposure period is set so that at least a part of the exposure period of the pixels 54 in the first to eighth rows overlaps.
- the illumination control unit 46 controls the illumination unit 29 so that the light source of the illumination unit 29 is intermittently turned on.
- the light source of the illumination unit 29 is turned off at the timing t1 when the reset is started in the pixels 54 in the first row.
- the light source of the illumination unit 29 is turned on at a timing t3 when the signal readout from the pixels 54 in the sixth row is completed.
- the video signal generation unit 41 notifies the illumination control unit 46 of the timing t2 when the imaging signal of the pixels 54 in the sixth row is output.
- the illumination control unit 46 calculates the timing t3 based on the timing t2.
- the illumination control unit 46 turns on the light source of the illumination unit 29 at the calculated timing t3.
- the light source of the illumination unit 29 is turned off.
- the illumination control unit 46 calculates the timing t4 based on the timing t3.
- the illumination control unit 46 turns off the light source of the illumination unit 29 at the calculated timing t4.
- the light source of the illumination unit 29 is turned on from the timing t3 to the timing t4 at which the pixels 54 in the first to sixth rows are simultaneously exposed.
- the periphery of the distal end portion 21 is dark, most of the light incident on the plurality of pixels 54 is based only on the light of the light source of the illumination unit 29 that is lit from the timing t3 to the timing t4.
- a subject image based on the light that is simultaneously incident on the pixels 54 is captured. Therefore, in the image based on the imaging signal output from the pixels 54 in the first to sixth rows, the distortion of the subject is reduced.
- a period other than the exposure period is included in the timing t3 to the timing t4. That is, the time for which the pixels 54 in the seventh and eighth rows are exposed is shorter than the time for which the pixels 54 in the first to sixth rows are exposed. For this reason, in the pixels 54 in the seventh and eighth rows, the exposure amount is insufficient as compared with the pixels 54 in the first to sixth rows.
- the control unit 47 controls at least one of a scan rate, a scan area, a scan start timing, an exposure time, and a gain.
- the scan rate is the scan rate of the plurality of pixels 54.
- the difference in operation timing between the pixels 54 in each row arranged in the image sensor 28 driven by the rolling shutter is based on the scan rate.
- An imaging signal is read from the pixels 54 in each row at a timing based on the scan rate.
- the scan area includes all or part of the plurality of pixels 54 arranged in the imaging area of the imaging device 28.
- the scan region includes at least all of the pixels 54 on which reset and charge transfer are performed, and includes at least all of the pixels 54 on which signal readout is performed.
- the scan region may include a pixel 54 that is reset and charge transferred and that does not perform signal readout. All rows in the scan region include one or more pixels 54 from which the imaging signal is read. Imaging signals are read from all or some of the pixels 54 arranged in the scan area. For example, block reading may be performed in which an imaging signal is read from only the pixels 54 in a part of the columns.
- the control unit 47 may control an area where block reading is performed in the scan area.
- the pixels 54 in the first to eighth rows are included in the scan area.
- the control unit 47 controls the image sensor 28 so that an imaging signal is output only from the pixels 54 in the scan area.
- the scan area is set only in a part of the imaging area, the processing load on the CPU 18 necessary for reading the imaging signal is reduced. For this reason, the endoscope apparatus 1 can perform an imaging signal generation and a measurement process in one frame period. That is, the endoscope apparatus 1 can perform measurement processing in real time in synchronization with continuous imaging.
- the scan start timing is a timing at which scanning of the plurality of pixels 54 is started.
- the scan start timing indicates the start timing of the operation of the plurality of pixels 54 in the frame period.
- the scan start timing indicates the start timing of the operation in the pixels 54 in the first row.
- the scan start timing indicates the timing at which reset is started in the pixels 54 in the first row.
- Exposure time is the length of the exposure period. That is, the exposure time is the time from the reset end timing to the charge transfer start timing.
- the exposure time in the operation shown in FIG. 7 may be longer than the exposure time in the operation shown in FIG. By increasing the exposure time, the exposure periods of the pixels 54 in more rows tend to overlap.
- the gain is an amplification gain in the video signal generation unit 41 or the signal processing unit 52.
- a different gain may be set for each row in the arrangement of the plurality of pixels 54.
- the illumination control unit 46 controls at least one of lighting timing, lighting time, and light quantity.
- the lighting timing is the timing when the light source of the illumination unit 29 starts to light.
- the lighting time is a time for which the light source of the illumination unit 29 continues to be lit. That is, the lighting time is the time from the lighting start timing (lighting timing) to the end timing (lighting timing).
- the lighting time is shorter than the exposure time.
- the light amount is the light amount of the light source of the illumination unit 29.
- the illumination control unit 46 performs illumination so that the light source of the illumination unit 29 is turned on during a period in which at least a part of the exposure period of the pixels 54 in the first to eighth rows included in the scan region overlaps.
- the unit 29 is controlled.
- the control unit 47 captures at least a part of the exposure period of the pixels 54 arranged in at least a part of the scan region. 28 may be controlled.
- the illumination control unit 46 emits a light source during a period in which at least part of the exposure period of the pixels 54 arranged in at least part of the scan region overlaps.
- the lighting unit 29 may be controlled so that is lit.
- FIG. 8 shows an operation procedure of the endoscope apparatus 1 regarding the control of the image sensor 28 and the illumination unit 29.
- the control unit 47 acquires the light amount detection result (step S100).
- step S100 the control unit 47 acquires a video signal as a light amount detection result.
- the video signal generated from the imaging signal output from the pixel 54 constituting the light amount detection unit 28a indicates the light amount detection result.
- step S110 the controller 47 determines whether or not the detected light amount is equal to or greater than a predetermined amount.
- step S110 the control unit 47 determines whether or not the signal value of the video signal generated from the imaging signal output from the pixel 54 constituting the light amount detection unit 28a is greater than or equal to a predetermined amount. For example, in step S110, the control unit 47 compares the total signal value of the video signal corresponding to each pixel 54 constituting the light amount detection unit 28a with a predetermined amount.
- step S110 If it is determined in step S110 that the light amount is equal to or greater than the predetermined amount, the control unit 47 sets the exposure time to a time corresponding to the light amount (step S120).
- the exposure time is set to a shorter time.
- the endoscope apparatus 1 can reduce the occurrence of whiteout in the image by shortening the exposure time compared to the exposure time when the light amount is small.
- the exposure time set in step S120 is equal to or shorter than a predetermined time corresponding to a predetermined amount of light.
- step S130 the controller 47 sets the exposure time to a long time (step S130).
- the exposure time set in step S130 is longer than the longest exposure time that can be set in step S120. By lengthening the exposure time, the endoscope apparatus 1 can set the exposure period so that the exposure periods of the pixels 54 in more rows overlap.
- the illumination control unit 46 intermittently turns on the light source of the illumination unit 29 during a period in which at least a part of the exposure period of all the pixels 54 arranged in the scan region overlaps (step S140).
- the light source of the illumination unit 29 is intermittently turned on, so that the endoscope apparatus 1 can acquire an image in which the distortion of the subject is reduced.
- the endoscope apparatus 1 When the image sensor 28 continuously captures the subject, the endoscope apparatus 1 repeatedly performs the process shown in FIG.
- the entire imaging area is a scan area.
- Different scan areas may be set for the case where the light amount is equal to or greater than the predetermined amount and for the case where the light amount is less than the predetermined amount.
- the amount of light is greater than or equal to a predetermined amount
- the entire imaging region may be set as the scan region.
- the amount of light is less than a predetermined amount, a part of the imaging area may be set as the scan area.
- FIG. 9 shows a first operation of the endoscope apparatus 1.
- the number of vertical pixels in the imaging region that is, the number of rows is V.
- a graph G10 shows the operation timing of each pixel 54 in the imaging region.
- the horizontal direction indicates time and the vertical direction indicates row position.
- the uppermost row is the first row, and the lowermost row is the Vth row.
- the length of the frame period, that is, the display cycle of the monitor 4 is Tf1.
- the frame rate for displaying a live image is 1 / Tf1.
- FIG. 9 shows operations in the frame period F10 and the frame period F11 among a plurality of consecutive frame periods.
- the control of the image sensor 28 and the illumination unit 29 in each frame period is based on the light amount detection result in the previous frame period.
- the LED 29a is turned off.
- the control unit 47 sets all the pixels 54 arranged in the imaging region as a scan region. Reset, charge transfer, and signal readout are performed in the pixels 54 in all rows arranged in the imaging region. By block readout, signal readout may be performed only in a part of the pixels 54 arranged in the imaging region. That is, reset and charge transfer may be performed in the pixels 54 in all rows arranged in the imaging region, and signal reading may be performed only in some columns of pixels 54 arranged in the imaging region.
- the control unit 47 When the light amount is less than a predetermined amount in the frame period immediately before the frame period F10, the control unit 47 generates the image signal output from the pixels 54 (light amount detection line) in the first row in the frame period F10. The amount of light is determined based on the video signal. That is, the pixels 54 in the first row constitute the light amount detection unit 28a. Based on the determination result of the light amount in the frame period F10, the operation in the frame period F11 is determined.
- a straight line L10 indicates the reset end timing, that is, the exposure start timing, of the pixels 54 in each row arranged in the imaging region.
- a straight line L11 indicates the charge transfer start timing, that is, the exposure end timing, in the pixels 54 of each row arranged in the imaging region. The slopes of the straight line L10 and the straight line L11 are based on the scan rate.
- the exposure period is a period from the timing indicated by the straight line L10 to the timing indicated by the straight line L11.
- the length of the exposure period, that is, the exposure time is ⁇ Te1.
- the illumination control unit 46 intermittently lights the LEDs 29a during a period in which at least a part of the exposure period of all the pixels 54 except the pixels 54 in the first row overlaps in the imaging region. That is, the illumination control unit 46 intermittently lights the LEDs 29a during a period in which at least a part of the exposure period of all the pixels 54 except the pixels 54 constituting the light amount detection unit 28a in the imaging region overlap.
- the pattern may be projected onto the subject by turning on the LED 29b intermittently.
- the lighting of the LED 29a is started at the timing when the exposure is completed in the pixels 54 in the first row.
- the time during which the illumination light is applied to the subject is shorter than the lighting time of the LED 29a.
- the video signal generation unit 41 may generate the video signal by amplifying the imaging signal output from the pixel 54 with a predetermined gain.
- the signal processing unit 52 may amplify the imaging signal output from the pixel 54 with a predetermined gain.
- the predetermined gain may be a value corresponding to a ratio between the time during which the illumination light is irradiated onto the subject during the exposure period and the lighting time of the LED 29a.
- the control of the image sensor 28 and the illumination unit 29 in the frame period F11 is the same as the control in the frame period F10.
- the amount of light is less than a predetermined amount in each frame period, the operation of intermittently lighting the LED 29a continues in a plurality of frame periods.
- the pixels 54 having two or more rows and less than V rows may constitute the light amount detection unit 28a.
- FIG. 10 shows a second operation of the endoscope apparatus 1.
- a graph G11 shows the timing of the operation of each pixel 54 in the imaging region.
- the horizontal direction indicates time
- the vertical direction indicates row position.
- the uppermost row is the first row
- the lowermost row is the Vth row.
- the length of the frame period, that is, the display cycle of the monitor 4 is Tf1.
- the frame rate for displaying a live image is 1 / Tf1.
- FIG. 10 shows operations in the frame period F12 and the frame period F13 among a plurality of consecutive frame periods.
- the control of the image sensor 28 and the illumination unit 29 in each frame period is based on the light amount detection result in the previous frame period.
- the LED 29a is turned off.
- the control unit 47 sets all the pixels 54 arranged in the imaging region as a scan region. Reset, charge transfer, and signal readout are performed in the pixels 54 in all rows arranged in the imaging region. By block readout, signal readout may be performed only in a part of the pixels 54 arranged in the imaging region. That is, reset and charge transfer may be performed in the pixels 54 in all rows arranged in the imaging region, and signal reading may be performed only in some columns of pixels 54 arranged in the imaging region.
- Control of the image sensor 28 and the illumination unit 29 in the frame period F12 is the same as the control in the frame period F10.
- the LED 29a is controlled to continue the light-off state in the frame period F13.
- a straight line L12 indicates the reset end timing, that is, the exposure start timing, of the pixels 54 in each row arranged in the imaging region.
- a straight line L13 indicates the charge transfer start timing, that is, the exposure end timing, in the pixels 54 of each row arranged in the imaging region.
- the slopes of the straight line L12 and the straight line L13 are based on the scan rate.
- the slopes of the straight lines L12 and L13 are the same as the slopes of the straight lines L10 and L11.
- the exposure period is a period from the timing indicated by the straight line L12 to the timing indicated by the straight line L13.
- the length of the exposure period, that is, the exposure time is ⁇ Te2.
- the exposure time ⁇ Te2 is shorter than the exposure time ⁇ Te1.
- the exposure time ⁇ Te2 may be longer than the exposure time ⁇ Te1.
- the exposure time ⁇ Te2 may be the same as the exposure time ⁇ Te1.
- the control unit 47 determines the light amount based on the video signal generated from the imaging signal output from all the pixels 54 arranged in the imaging region. That is, all the pixels 54 arranged in the imaging region constitute the light amount detection unit 28a. Based on the determination result of the light amount in the frame period F13, the operation in the frame period next to the frame period F13 is determined.
- the control of the image sensor 28 and the illumination unit 29 in the frame period subsequent to the frame period F13 is the same as the control in the frame period F13.
- the LED 29a is turned off for a plurality of frame periods.
- the pixels 54 having two or more rows and less than V rows may constitute the light amount detection unit 28a.
- FIG. 11 shows a third operation of the endoscope apparatus 1.
- a graph G12 shows the timing of the operation of each pixel 54 in the imaging region.
- the horizontal direction indicates time
- the vertical direction indicates row position.
- the uppermost row is the first row
- the lowermost row is the Vth row.
- the length of the frame period, that is, the display cycle of the monitor 4 is Tf1.
- the frame rate for displaying a live image is 1 / Tf1.
- FIG. 11 shows operations in the frame period F14 and the frame period F15 among a plurality of consecutive frame periods.
- the control of the image sensor 28 and the illumination unit 29 in each frame period is based on the light amount detection result in the previous frame period.
- the LED 29a is turned off.
- the control unit 47 sets all the pixels 54 arranged in the imaging region as a scan region. Reset, charge transfer, and signal readout are performed in the pixels 54 in all rows arranged in the imaging region. By block readout, signal readout may be performed only in a part of the pixels 54 arranged in the imaging region. That is, reset and charge transfer may be performed in the pixels 54 in all rows arranged in the imaging region, and signal reading may be performed only in some columns of pixels 54 arranged in the imaging region.
- Control of the image sensor 28 and the illumination unit 29 in the frame period F14 is the same as the control in the frame period F13.
- the control unit 47 in the frame period F14 When the amount of light is equal to or greater than a predetermined amount in the frame period immediately before the frame period F14, the control unit 47 in the frame period F14 generates video generated from the imaging signals output from all the pixels 54 arranged in the imaging region. The amount of light is determined based on the signal. That is, all the pixels 54 arranged in the imaging region constitute the light amount detection unit 28a. Based on the determination result of the light amount in the frame period F14, the operation in the frame period F15 is determined.
- the LED 29a When the light amount is less than the predetermined amount in the frame period F14, the LED 29a is controlled to be intermittently lit in the frame period F15.
- the control of the image sensor 28 and the illumination unit 29 in the frame period F15 is the same as the control in the frame period F10.
- the amount of light is less than a predetermined amount in each frame period after the frame period F15, the operation in which the LEDs 29a are lit intermittently continues in a plurality of frame periods.
- the pixels 54 having two or more rows and less than V rows may constitute the light amount detection unit 28a.
- FIG. 12 shows a fourth operation of the endoscope apparatus 1.
- a graph G20 shows the operation timing of each pixel 54 in the imaging region.
- the horizontal direction indicates time
- the vertical direction indicates row position.
- the uppermost row is the first row
- the lowermost row is the Vth row.
- the length of the frame period, that is, the display cycle of the monitor 4 is Tf2.
- the frame rate for displaying a live image is 1 / Tf2.
- FIG. 12 shows operations in the frame period F20 and the frame period F21 among a plurality of consecutive frame periods.
- the control of the image sensor 28 and the illumination unit 29 in each frame period is based on the light amount detection result in each frame period.
- the LED 29a is turned off.
- the pixel 54 is scanned twice.
- the control unit 47 sets the first row of pixels 54 arranged in the imaging region as the scan region. Reset, charge transfer, and signal readout are performed in the pixels 54 in the first row arranged in the imaging region.
- signal reading may be performed only in the pixels 54 in some columns of the first row. That is, reset and charge transfer are performed in the pixels 54 in the first row arranged in the imaging region, and signal readout is performed only in the pixels 54 in some columns in the first row arranged in the imaging region. Also good.
- the exposure time in the first scan is ⁇ Te3.
- the control unit 47 determines the light amount based on the video signal generated from the imaging signal output from the pixel 54 (light amount detection line) in the first row. That is, the pixels 54 in the first row constitute the light amount detection unit 28a. Based on the determination result of the light amount in the frame period F20, the operation in the frame period F20 is determined.
- the LED 29a is controlled to be intermittently lit in the frame period F20.
- the control unit 47 sets all the pixels 54 arranged in the imaging region as the scan region. Reset, charge transfer, and signal readout are performed in the pixels 54 in all rows arranged in the imaging region. By block readout, signal readout may be performed only in a part of the pixels 54 arranged in the imaging region. That is, reset and charge transfer may be performed in the pixels 54 in all rows arranged in the imaging region, and signal reading may be performed only in some columns of pixels 54 arranged in the imaging region.
- the straight line L20 indicates the reset end timing, that is, the exposure start timing, in the pixels 54 of each row arranged in the imaging region.
- a straight line L21 indicates the charge transfer start timing, that is, the exposure end timing, in the pixels 54 of each row arranged in the imaging region.
- the slopes of the straight line L20 and the straight line L21 are based on the scan rate.
- the exposure period is a period from the timing indicated by the straight line L20 to the timing indicated by the straight line L21.
- the length of the exposure period, that is, the exposure time is ⁇ Te4.
- the exposure time ⁇ Te4 is longer than the exposure time ⁇ Te3.
- Control of the image sensor 28 and the illumination unit 29 in the frame period F21 is the same as the control in the frame period F20.
- the amount of light is less than a predetermined amount in each frame period, the operation of intermittently lighting the LED 29a continues in a plurality of frame periods.
- FIG. 13 shows a fifth operation of the endoscope apparatus 1.
- a graph G21 shows the operation timing of each pixel 54 in the imaging region.
- the horizontal direction indicates time
- the vertical direction indicates row position.
- the uppermost row is the first row
- the lowermost row is the Vth row.
- the length of the frame period, that is, the display cycle of the monitor 4 is Tf2.
- the frame rate for displaying a live image is 1 / Tf2.
- FIG. 13 shows operations in the frame period F22 and the frame period F23 among a plurality of consecutive frame periods.
- the control of the image sensor 28 and the illumination unit 29 in each frame period is based on the light amount detection result in each frame period. When each frame period starts, the LED 29a is turned off.
- the pixel 54 is scanned twice.
- the control unit 47 sets the first row of pixels 54 arranged in the imaging region as the scan region. Reset, charge transfer, and signal readout are performed in the pixels 54 in the first row arranged in the imaging region.
- signal reading may be performed only in the pixels 54 in some columns of the first row. That is, reset and charge transfer are performed in the pixels 54 in the first row arranged in the imaging region, and signal readout is performed only in the pixels 54 in some columns in the first row arranged in the imaging region. Also good.
- the exposure time in the first scan is ⁇ Te3.
- the control unit 47 determines the light amount based on the video signal generated from the imaging signal output from the pixel 54 (light amount detection line) in the first row. That is, the pixels 54 in the first row constitute the light amount detection unit 28a. Based on the determination result of the light amount in the frame period F22, the operation in the frame period F22 is determined.
- the LED 29a is controlled to continue to be turned off in the frame period F22.
- the control unit 47 sets all the pixels 54 arranged in the imaging region as the scan region. Reset, charge transfer, and signal readout are performed in the pixels 54 in all rows arranged in the imaging region. By block readout, signal readout may be performed only in a part of the pixels 54 arranged in the imaging region. That is, reset and charge transfer may be performed in the pixels 54 in all rows arranged in the imaging region, and signal reading may be performed only in some columns of pixels 54 arranged in the imaging region.
- the straight line L22 indicates the reset end timing, that is, the exposure start timing, in the pixels 54 of each row arranged in the imaging region.
- a straight line L23 indicates the charge transfer start timing, that is, the exposure end timing, in the pixels 54 of each row arranged in the imaging region.
- the slopes of the straight line L22 and the straight line L23 are based on the scan rate.
- the slopes of the straight lines L22 and L23 are the same as the slopes of the straight lines L20 and L21.
- the exposure period is a period from the timing indicated by the straight line L22 to the timing indicated by the straight line L23.
- the length of the exposure period, that is, the exposure time is ⁇ Te2.
- the exposure time ⁇ Te2 is shorter than the exposure time ⁇ Te4.
- the exposure time ⁇ Te2 is longer than the exposure time ⁇ Te3.
- the exposure time ⁇ Te2 may be shorter than the exposure time ⁇ Te3.
- the exposure time ⁇ Te2 may be the same
- Control of the image sensor 28 and the illumination unit 29 in the frame period F23 is the same as the control in the frame period F22.
- the LED 29a is turned off for a plurality of frame periods.
- the endoscope apparatus 1 performs the light amount determination and the light source control of the illumination unit 29 in one frame period by performing scanning twice in one frame period. Can do. For this reason, inconsistency between the state of light around the image sensor 28 and the content of control based on the determination result of the light amount is reduced.
- control unit 47 may compare the total signal value of the video signal corresponding to each pixel constituting the light amount detection unit 28a with a predetermined amount.
- the control unit 47 may set the exposure time of the pixel 54 to the first time ( ⁇ Te1) when the light amount detected by the light amount detection unit 28a is less than a predetermined amount.
- the control unit 47 may set the exposure time of the pixel 54 to a second time ( ⁇ Te2) shorter than the first time when the light amount detected by the light amount detection unit 28a is a predetermined amount or more (FIG. 10).
- the control unit 47 may set the exposure time of the pixel 54 to a time corresponding to the light amount when the light amount detected by the light amount detection unit 28a is a predetermined amount or more (step S120).
- the control unit 47 exposes the exposure period of the pixels 54 arranged in at least a part of the scan region in the second frame period.
- the image sensor 28 may be controlled so that at least a part of each overlaps (FIG. 11).
- the first frame period and the second frame period are continuous frame periods.
- the illumination control unit 46 may control the illumination unit 29 so that the light source is turned off when the light amount detected by the light amount detection unit 28a is greater than or equal to a predetermined amount.
- a first scan (first scan) and a second scan (second scan) may be performed.
- the control unit 47 may set each of the scan area in the first scan and the scan area in the second scan in the image sensor 28.
- the light quantity detection unit 28a may be the pixels 54 arranged in at least one of a plurality of rows.
- the pixels 54 constituting the light amount detection unit 28a may constitute a scan area in the first scan.
- the control unit 47 overlaps at least a part of the exposure period of the pixels 54 arranged in at least a part of the scan area in the second scan.
- the image sensor 28 may be controlled (FIG. 12).
- All the pixels 54 arranged in the imaging area may constitute a scan area in the second scanning.
- the control unit 47 may set the exposure time of the pixel 54 in the scan area in the first scan to the first time ( ⁇ Te3).
- the control unit 47 sets the exposure time of the pixels 54 in the scan area in the second scan to a second time ( ⁇ Te4) longer than the first time. (FIG. 12).
- the illumination control unit 46 may control the illumination unit 29 so that the light source is turned off in the second scanning when the light amount detected by the light amount detection unit 28a is equal to or greater than a predetermined amount.
- the control unit 47 may control the imaging element 28 so that the imaging signal is read only from the pixels 54 of a part of the columns arranged in the imaging region in the second scanning.
- the control unit 47 may set the exposure time of the pixel 54 in the scan area in the second scan to the first time ( ⁇ Te4) when the light amount detected by the light amount detection unit 28a is less than a predetermined amount.
- the control unit 47 sets the exposure time of the pixels 54 in the scan region in the second scan to a second time ( ⁇ Te2) that is shorter than the first time. May be set.
- the illumination control unit 46 may control the illumination unit 29 so that the light source is turned off in the second scanning when the light amount detected by the light amount detection unit 28a is greater than or equal to a predetermined amount (FIGS. 12 and 13). .
- the control unit 47 overlaps at least a part of the exposure period of the pixels 54 arranged in at least a part of the scan region. In this manner, the image sensor 28 is controlled.
- the illumination control unit 46 when the light amount detected by the light amount detection unit 28a is equal to or less than a predetermined amount, the light source is turned on in a period in which at least a part of the exposure period of the pixels 54 arranged in at least a part of the scan region overlaps.
- the illumination unit 29 is controlled as described above. For this reason, the endoscope apparatus 1 can acquire an image in which the distortion of the subject is reduced.
- the endoscope device 1 can reduce the occurrence of whiteout in the image by turning off the illumination unit 29. Moreover, the endoscope apparatus 1 can reduce power consumption.
- the control unit 47 may set the scan area only in a part of the imaging area. As a result, the processing load on the CPU 18 necessary for reading the image pickup signal is reduced.
- the configuration of the endoscope apparatus 1 shown in FIG. 3 is changed to the configuration of the endoscope apparatus 1a shown in FIG.
- FIG. 14 shows a configuration related to main functions of the endoscope apparatus 1a.
- the endoscope apparatus 1a includes a monitor 4 (display unit), an operation unit 6, a light amount detection unit 27, an image sensor 28 (imaging unit), an LED 29a, an LED 29b, and a video signal.
- the light amount detection unit 27 is a device provided independently of the image sensor 28.
- the light quantity detection unit 27 is a photodetector.
- the light quantity detection unit 27 is disposed at the distal end portion 21.
- the light amount detection unit 27 is disposed in the vicinity of the image sensor 28.
- the light quantity detection unit 27 may be in contact with the image sensor 28.
- the light amount detection unit 27 may be disposed on the surface of the image sensor 28.
- the light amount detection unit 27 detects the light amount at the place where the image sensor 28 is disposed.
- the configuration shown in FIG. 14 is the same as the configuration shown in FIG.
- the operation of the endoscope apparatus 1a in the second embodiment is the same as the operation of the endoscope apparatus 1 in the first embodiment. For this reason, description about operation
- the endoscope apparatus 1a can acquire an image in which the distortion of the subject is reduced.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
内視鏡装置は、撮像部と、映像信号生成部と、照明部と、光量検出部と、撮像制御部と、照明制御部とを有する。複数の画素が配置された撮像領域は、スキャン領域を含む。前記撮像制御部は、光量が所定量未満である場合、前記スキャン領域の少なくとも一部に配置された前記画素の露光期間の少なくとも一部が重なるように前記撮像部を制御する。前記照明制御部は、前記光量が所定量未満である場合、前記スキャン領域の少なくとも一部に配置された前記画素の前記露光期間の少なくとも一部が重なる期間に光源が点灯するように前記照明部を制御する。
Description
本発明は、内視鏡装置に関する。
本願は、2015年10月16日に日本に出願された特願2015-204496号に基づき優先権を主張し、その内容をここに援用する。
本願は、2015年10月16日に日本に出願された特願2015-204496号に基づき優先権を主張し、その内容をここに援用する。
内視鏡が取得した被写体の画像に基づいて被写体に対して3次元計測を行う内視鏡装置が使用されている。例えば、互いに視差を有する2つの画像に基づいてステレオ計測を行う内視鏡装置が特許文献1に開示されている。特許文献1に開示された内視鏡装置では、リアルタイムに取得される2つの画像の一方の指定された位置における被写体までの距離がリアルタイムに表示される。
内視鏡装置に使用される撮像素子の一般的な駆動方法としてローリングシャッタがある。撮像素子は、行列状に配置された複数の画素を有する。ローリングシャッタでは、撮像信号の生成と読み出しとが複数の画素の配列における行毎に行われる。
観察または計測の対象である被写体が動体である場合がある。例えば、タービンおよびエンジンは、回転体を含む。ローリングシャッタでは、各行の画素の動作に時間差がある。このため、動体である被写体の画像において被写体の歪みが発生する場合がある。内視鏡装置のユーザは、不自然な歪みを有する画像を観察することにより、被写体の状態を正確に把握できない可能性がある。また、内視鏡装置は、不自然な歪みを有する画像に基づいて3次元計測を行うことにより、正確な計測結果を取得できない可能性がある。
上記の事情に鑑み、本発明は、被写体の歪みが低減された画像を取得することができる内視鏡装置を提供する。
本発明の第1の態様によれば、内視鏡装置は、撮像部と、映像信号生成部と、照明部と、光量検出部と、撮像制御部と、照明制御部とを有する。前記撮像部は、被写体を撮像し、撮像信号を生成する。前記映像信号生成部は、前記撮像信号から映像信号を生成する。前記照明部は、前記被写体に照射される照明光を発生する光源を有する。前記光量検出部は、前記撮像部が配置された場所の光量を検出する。前記撮像制御部は、前記撮像部を制御する。前記照明制御部は、前記照明部を制御する。前記撮像部は、行列状に配置された複数の画素を有する。前記複数の画素が配置された撮像領域は、スキャン領域を含む。前記スキャン領域において各々の行の前記画素の少なくとも一部から前記撮像信号が読み出される。前記撮像制御部は、前記光量検出部によって検出された前記光量が所定量未満である場合、前記スキャン領域の少なくとも一部に配置された前記画素の露光期間の少なくとも一部が重なるように前記撮像部を制御する。前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記スキャン領域の少なくとも一部に配置された前記画素の前記露光期間の少なくとも一部が重なる期間に前記光源が点灯するように前記照明部を制御する。
本発明の第2の態様によれば、第1の態様において、前記光量検出部は、前記複数の画素の少なくとも一部であってもよい。
本発明の第3の態様によれば、第1の態様において、前記光量検出部は、前記撮像部とは独立して設けられたデバイスであってもよい。
本発明の第4の態様によれば、第2の態様において、前記撮像制御部は、前記光量検出部を構成する各画素に対応する映像信号の信号値の合計を前記所定量と比較してもよい。
本発明の第5の態様によれば、第1の態様において、前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記画素の露光時間を第1の時間に設定してもよい。前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記画素の前記露光時間を前記第1の時間よりも短い第2の時間に設定してもよい。
本発明の第6の態様によれば、第5の態様において、前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記画素の前記露光時間を前記光量に応じた時間に設定してもよい。
本発明の第7の態様によれば、第1の態様において、前記撮像制御部は、第1のフレーム期間において前記光量検出部によって検出された前記光量が前記所定量未満である場合、第2のフレーム期間において、前記スキャン領域の少なくとも一部に配置された前記画素の露光期間の少なくとも一部が重なるように前記撮像部を制御してもよい。前記第1のフレーム期間と前記第2のフレーム期間とは、連続するフレーム期間であってもよい。
本発明の第8の態様によれば、第1の態様において、前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記光源が消灯するように前記照明部を制御してもよい。
本発明の第9の態様によれば、第1の態様において、フレーム期間において第1の走査と第2の走査とが行われてもよい。前記撮像制御部は、前記第1の走査における前記スキャン領域と、前記第2の走査における前記スキャン領域との各々を前記撮像部に設定してもよい。前記光量検出部は、複数行の少なくとも1つに配置された前記画素であってもよい。前記光量検出部を構成する前記画素は、前記第1の走査における前記スキャン領域を構成してもよい。前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記第2の走査における前記スキャン領域の少なくとも一部に配置された前記画素の露光期間の少なくとも一部が重なるように前記撮像部を制御してもよい。
本発明の第10の態様によれば、第9の態様において、前記撮像領域に配置された全ての前記画素は、前記第2の走査における前記スキャン領域を構成してもよい。
本発明の第11の態様によれば、第9の態様において、前記撮像制御部は、前記第1の走査における前記スキャン領域の前記画素の露光時間を第1の時間に設定してもよい。前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記第2の走査における前記スキャン領域の前記画素の前記露光時間を前記第1の時間よりも長い第2の時間に設定してもよい。
本発明の第12の態様によれば、第10の態様において、前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記第2の走査において前記光源が消灯するように前記照明部を制御してもよい。前記撮像制御部は、前記第2の走査において、前記撮像領域に配置された一部の列の前記画素のみから前記撮像信号が読み出されるように前記撮像部を制御してもよい。
本発明の第13の態様によれば、第9の態様において、前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記第2の走査における前記スキャン領域の前記画素の露光時間を第1の時間に設定してもよい。前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記第2の走査における前記スキャン領域の前記画素の前記露光時間を前記第1の時間よりも短い第2の時間に設定してもよい。前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記第2の走査において前記光源が消灯するように前記照明部を制御してもよい。
上記の各態様によれば、被写体の歪みが低減された画像を取得することができる。
(第1の実施形態)
図1は、本発明の第1の実施形態による内視鏡装置1の全体構成を示している。図2は、内視鏡装置1の内部構成を示している。図1に示すように、内視鏡装置1は、内視鏡2と、装置本体3とを有する。内視鏡2は、細長な挿入部20と、ユーザが装置全体の制御に必要な操作を行うための操作部6とを有する。装置本体3は、内視鏡2に接続されている。装置本体3は、モニタ4と、筐体5とを有する。モニタ4は、内視鏡2で撮像された被写体の画像および操作メニュー等を表示する。筐体5は、内部に制御ユニット10(図2参照)を有する。
図1は、本発明の第1の実施形態による内視鏡装置1の全体構成を示している。図2は、内視鏡装置1の内部構成を示している。図1に示すように、内視鏡装置1は、内視鏡2と、装置本体3とを有する。内視鏡2は、細長な挿入部20と、ユーザが装置全体の制御に必要な操作を行うための操作部6とを有する。装置本体3は、内視鏡2に接続されている。装置本体3は、モニタ4と、筐体5とを有する。モニタ4は、内視鏡2で撮像された被写体の画像および操作メニュー等を表示する。筐体5は、内部に制御ユニット10(図2参照)を有する。
挿入部20は、被検体の内部に挿入される。挿入部20は、硬質な先端部21と、湾曲可能な湾曲部22と、柔軟性を有する可撓管部23とを有する。挿入部20において先端側に先端部21が配置されている。挿入部20において本体側に可撓管部23が配置されている。先端部21と可撓管部23との間に湾曲部22が配置されている。先端部21には、被写体像を結像するための光学アダプタが着脱可能である。
図2に示すように、先端部21は、撮像素子28と照明部29とを有する。撮像素子28は、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。例えば、撮像素子28は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子28は、行列状に配置された複数の画素を有する。複数の画素の動作は、複数の画素の配列における行毎に制御される。
照明部29は、被写体に照射される照明光を発生する光源を有する。例えば、光源はLED(Light Emitting Diode)である。照明部29が筐体5内に配置され、かつ照明部29が発生した照明光がライトガイドによって先端部21に導かれてもよい。
筐体5は、内視鏡ユニット8と、CCU(カメラコントロールユニット)9と、制御ユニット10とを有する。内視鏡ユニット8は、照明部29の光源を駆動する光源駆動装置と、湾曲部22を湾曲させる湾曲装置とを有する。CCU9は、撮像素子28を駆動する。撮像素子28から出力された撮像信号がCCU9に入力される。CCU9は、撮像素子28により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。CCU9は、前処理が行われた撮像信号をNTSC信号等の映像信号に変換する。
制御ユニット10は、映像信号処理回路12と、ROM(Read Only Memory)13と、RAM(Random Access Memory)14と、カードインタフェース15と、外部機器インタフェース16と、制御インタフェース17と、CPU(Central Processing Unit)18とを有する。
映像信号処理回路12は、CCU9から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路12は、CCU9から出力された映像信号と、CPU18によって生成される操作画面の画像または計測情報とを合成する。映像信号処理回路12は、合成された映像信号をモニタ4に出力する。
ROM13は、CPU18が内視鏡装置1の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。RAM14は、CPU18が内視鏡装置1の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。CPU18は、ROM13に記録されたプログラムに基づいて内視鏡装置1の動作を制御する。CPU18は、CCU9を介さずに撮像素子28を駆動してもよい。
着脱可能な記録媒体であるメモリカード32がカードインタフェース15に接続される。カードインタフェース15は、メモリカード32に記憶されている制御処理情報および画像情報等を制御ユニット10に取り込む。また、カードインタフェース15は、内視鏡装置1によって生成された制御処理情報および画像情報等をメモリカード32に記録する。
USB機器等の外部機器が外部機器インタフェース16に接続される。例えば、パーソナルコンピュータ31が外部機器インタフェース16に接続される。外部機器インタフェース16は、パーソナルコンピュータ31への情報の送信とパーソナルコンピュータ31からの情報の受信とを行う。これによって、パーソナルコンピュータ31のモニタが情報を表示することができる。また、ユーザがパーソナルコンピュータ31を介して、内視鏡装置1の制御に関する操作を行うことができる。
制御インタフェース17は、操作部6、内視鏡ユニット8、およびCCU9と動作制御のための通信を行う。制御インタフェース17は、操作部6を介してユーザによって入力された指示をCPU18に通知する。制御インタフェース17は、照明部29の制御のための制御信号を内視鏡ユニット8に出力する。制御インタフェース17は、撮像素子28の制御のための制御信号をCCU9に出力する。CPU18がCCU9を介さずに撮像素子28を制御する場合、制御インタフェース17は、撮像素子28の制御のための制御信号を撮像素子28に出力する。
図3は、内視鏡装置1の主要な機能に関する構成を示している。図3に示すように、内視鏡装置1は、モニタ4(表示部)と、操作部6と、撮像素子28(撮像部)と、LED29aと、LED29bと、映像信号生成部41と、操作検出部42と、グラフィック画像生成部43と、計測処理部44と、照明制御部46と、制御部47(撮像制御部)と、LED駆動部48aと、LED駆動部48bと、信号合成部49とを有する。
撮像素子28は、光量検出部28aを有する。光量検出部28aは、撮像素子28が有する複数の画素の少なくとも一部である。光量検出部28aは、撮像素子28が配置された場所(環境)の光量を検出する。つまり、光量検出部28aは、被写体からの光を含む撮像素子28の周囲の光量を検出する。
照明部29は、光源であるLED29aとLED29bとを有する。LED29aは、観察用およびステレオ計測用の光源である。例えば、LED29bは、被写体に模様を投影するための光源である。ステレオ計測では、視差を有する2つの画像の対応位置を検出するマッチング処理が行われる。被写体の表面に特徴が少ない場合、マッチング処理の精度が低下しやすい。被写体に模様を投影することにより、マッチング処理の精度が向上する。LED29bは、被写体に縞を投影するための光源であってもよい。内視鏡装置1は、位相シフト法により3次元計測を行ってもよい。位相シフト法では、平行な縞からなるパターンが被写体の表面に投射される。縞の位置は、時間的に変化する。被写体像の各画素の輝度の変化に基づいて3次元計測が行われる。
照明部29の光源は、LED以外の光源であってもよい。照明部29は、1つのみまたは3つ以上の光源を有してもよい。
映像信号生成部41は、CCU9の機能に対応する。映像信号生成部41は、撮像素子28から出力された撮像信号から映像信号を生成する。映像信号生成部41は、撮像信号に対して、増幅およびノイズ除去等を含む前処理を行い、かつ撮像信号を映像信号に変換する。
操作検出部42と、グラフィック画像生成部43と、計測処理部44と、照明制御部46と、制御部47とは、CPU18の機能に対応する。操作検出部42は、ユーザによる操作部6の操作を検出する。操作検出部42は、操作内容に応じて、モニタ4の画面上に表示される照準の表示位置を設定する。照準は、計測点の位置を示す。ユーザは、操作部6を操作することにより、画面内で照準を移動させることができる。
グラフィック画像生成部43は、モニタ4の画面上に表示される操作メニューと計測情報とに対応するグラフィック画像信号を生成する。計測情報は、照準の画像と計測結果とを含む。上記のように、画面内における照準の表示位置は、操作検出部42によって設定される。計測処理部44は、映像信号生成部41によって生成された映像信号に基づいて計測処理を行う。計測処理では、物体距離、長さ、および面積等が算出される。物体距離は、先端部21から被写体までの距離である。
照明制御部46は、照明部29を制御するための制御信号を出力する。これによって、照明制御部46は、照明部29を制御する。挿入部20が挿入される観察または計測の対象物の内部が暗い場合が多い。このため、照明制御部46は、被写体の撮像時に照明部29を点灯させる。挿入部20が対象物に挿入される前、撮像素子28の周囲が明るい場合がある。つまり、対象物が明るい場所に配置されている場合がある。挿入部20が対象物に挿入される前、ユーザは、モニタ4に表示される画像を目視することにより、内視鏡装置1によって画像が取得されているか否かを確認する。このとき、照明部29が点灯している必要はない。撮像素子28の周囲が明るい場合、照明部29を消灯させることによって、内視鏡装置1は、画像における白飛び(blown out highlights)の発生を低減させることができる。また、内視鏡装置1は、消費電力を低減させることができる。
映像信号生成部41は、撮像素子28から出力される撮像信号に基づいて、撮像信号の読み出しが行われている行位置を検出する。映像信号生成部41は、検出された行位置を照明制御部46に通知する。照明制御部46は、映像信号生成部41から通知された行位置におけるタイミングを基準に照明部29の動作タイミングを制御する。照明制御部46は、制御部47が決定する撮像素子28の動作タイミングを基準に照明部29の動作タイミングを制御してもよい。
制御部47は、操作検出部42と、グラフィック画像生成部43と、計測処理部44と、照明制御部46との各々への処理の割り当てを制御し、かつ内視鏡装置1全体の動作を制御する。また、制御部47は、撮像素子28を制御するための制御信号を出力する。この制御信号は、CCU9と内視鏡ユニット8とを介して撮像素子28に送信される。あるいは、この制御信号は、撮像素子28に直接送信される。これによって、制御部47は、撮像素子28を制御する。
LED駆動部48aとLED駆動部48bとは、内視鏡ユニット8の機能に対応する。LED駆動部48aは、照明制御部46から出力された制御信号に基づいて、LED29aを駆動するための駆動信号を出力する。LED29aは、LED駆動部48aから出力された駆動信号に基づいて照明光を発生する。LED駆動部48bは、照明制御部46から出力された制御信号に基づいて、LED29bを駆動するための駆動信号を出力する。LED29bは、LED駆動部48bから出力された駆動信号に基づいて照明光を発生する。
信号合成部49は、映像信号処理回路12の機能に対応する。信号合成部49は、映像信号生成部41によって生成された映像信号と、グラフィック画像生成部43によって生成されたグラフィック画像信号とを合成する。モニタ4は、信号合成部49から出力された映像信号に基づいて画像を表示する。
図4は、撮像素子28の構成を示している。図4に示すように、撮像素子28は、画素部50と、垂直走査部51と、信号処理部52と、水平走査部53とを有する。
画素部50は、行列状に配置された複数の画素54を有する。複数の画素54は、撮像素子28の撮像領域に配置されている。複数の画素54の配列における行数と列数との各々は、2以上である。行数と列数とが同一でなくてもよい。複数の画素54の各々は、画素54に入射した光の量に応じた撮像信号を生成する。複数の画素54の各々は、垂直信号線56に接続されている。複数の垂直信号線56が配置されている。複数の垂直信号線56の各々は、複数の画素54の配列における列毎に配置されている。複数の画素54の各々は、生成された撮像信号を垂直信号線56に出力する。
複数の画素54の少なくとも一部は、光量検出部28aを構成する。光量検出部28aを構成する画素54は、光量の検出結果を撮像信号として出力する。光量検出部28aを構成する画素54は、固定されていなくてもよい。例えば、制御部47は、撮像領域に配置された一部の画素54と、撮像領域に配置された全ての画素54とのいずれか一方が光量検出部28aを構成するように、光量検出部28aを構成する画素54の領域を設定してもよい。
複数の画素54の各々は、制御信号線57に接続されている。複数の制御信号線57が配置されている。複数の制御信号線57の各々は、複数の画素54の配列における行毎に配置されている。複数の制御信号線57の各々は、垂直走査部51に接続されている。複数の画素54の動作を制御するための制御信号が垂直走査部51から制御信号線57に出力される。1行の画素54に対して複数の制御信号線57が配置されている。図4では1行の画素54に対して1つの制御信号線57が示され、他の制御信号線57は省略されている。制御信号の詳細については、後述する。
複数の画素54の動作は、制御信号線57に出力された制御信号に基づいて制御される。1行の画素54に対応する制御信号は、その行における全ての画素54に共通に供給される。このため、同一の行に配置された2つ以上の画素54に対して同一の動作タイミングが設定される。つまり、同一の行に配置された2つ以上の画素54は、同時に動作する。画素54の構成の詳細については、後述する。
制御部47によって生成された制御信号が、CCU9と内視鏡ユニット8とを介して撮像素子28に送信される。あるいは、制御部47によって生成された制御信号が撮像素子28に直接送信される。撮像素子28は、制御信号を受信する。垂直走査部51は、受信された制御信号に基づいて、複数の画素54の動作を制御するための制御信号を生成する。垂直走査部51は、複数の画素54の配列における複数の行の各々に対応する制御信号を生成する。垂直走査部51は、生成された制御信号を制御信号線57に出力する。
信号処理部52は、複数の信号処理回路55を有する。信号処理回路55は、複数の画素54の配列における列毎に配置されている。信号処理回路55は、垂直信号線56に接続されている。信号処理回路55は、垂直信号線56に出力された撮像信号に対して、増幅およびノイズ除去等を含む信号処理を行う。信号処理回路55と映像信号生成部41(CCU9)との少なくとも1つが、撮像信号に対する信号処理を行えばよい。
信号処理回路55によって処理された撮像信号は、水平走査部53に入力される。水平走査部53は、複数の画素54の配列における列を順次選択する。水平走査部53によって選択された列に対応する撮像信号は、出力端子58から出力される。
上記のように、内視鏡装置1は、撮像素子28と、映像信号生成部41と、照明部29と、光量検出部28aと、制御部47と、照明制御部46とを有する。撮像素子28は、被写体を撮像し、撮像信号を生成する。映像信号生成部41は、撮像信号から映像信号を生成する。照明部29は、被写体に照射される照明光を発生する光源(LED29aおよびLED29b)を有する。光量検出部28aは、撮像素子28が配置された場所の光量を検出する。制御部47は、撮像素子28を制御する。照明制御部46は、照明部29を制御する。
撮像素子28は、行列状に配置された複数の画素54を有する。複数の画素54が配置された撮像領域は、スキャン領域を含む。スキャン領域において各々の行の画素54の少なくとも一部から撮像信号が読み出される。制御部47は、光量検出部28aによって検出された光量が所定量未満である場合、スキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なるように撮像素子28を制御する。照明制御部46は、光量検出部28aによって検出された光量が所定量未満である場合、スキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なる期間に光源が点灯するように照明部29を制御する。スキャン領域と、撮像素子28および照明部29の制御の詳細とについては、後述する。
図5は、画素54の構成を示している。図5に示すように、画素54は、光電変換部60と、電荷転送部61と、電荷蓄積部62と、リセット部63と、増幅部64と、出力部65とを有する。光電変換部60は、フォトダイオードである。電荷蓄積部62は、容量である。例えば、電荷蓄積部62は、増幅部64を構成するトランジスタのゲート容量である。電荷転送部61と、リセット部63と、増幅部64と、出力部65とは、トランジスタである。
光電変換部60は、画素54に入射した光の量に応じた電荷を生成する。電荷転送部61は、光電変換部60によって生成された電荷を電荷蓄積部62に転送する。電荷蓄積部62は、光電変換部60から転送された電荷を蓄積する。リセット部63は、電源電圧VDDに基づいて、光電変換部60と電荷蓄積部62における電荷をリセットする。電荷転送部61とリセット部63とがオンになることにより、リセット部63は光電変換部60と電荷蓄積部62とにおける電荷をリセットすることができる。増幅部64は、電荷蓄積部62に蓄積された電荷に基づく信号を増幅する。出力部65は、増幅部64によって増幅された信号を撮像信号として垂直信号線56に出力する。
電荷転送部61の動作は、制御信号φTXによって制御される。リセット部63の動作は、制御信号φRSTによって制御される。出力部65の動作は、制御信号φSELによって制御される。制御信号φTXと、制御信号φRSTと、制御信号φSELとは、制御信号線57を介して垂直走査部51から供給される。
画素54の動作は、リセットと電荷転送と信号読み出しとを含む。リセットは、リセット部63の動作に対応する。電荷転送は、電荷転送部61の動作に対応する。信号読み出しは、出力部65の動作に対応する。
計測処理部44が行う計測処理について説明する。例えば、計測処理部44は、ステレオ計測の原理に基づく計測処理を行う。ステレオ計測では、視差がある第1の光学像と第2の光学像とを結像する光学アダプタが使用される。撮像素子28は、第1の光学像と第2の光学像とに基づく撮像信号を生成する。モニタ4は、第1の光学像に対応する第1の画像と、第2の光学像に対応する第2の画像とを表示する。例えば、モニタ4は、第1の画像と第2の画像とが左右に並んだ画像を表示する。
ユーザは、操作部6を介してモニタ4の画面上の照準を操作することにより、第1の画像と第2の画像とのいずれか1つに対して計測点を指定する。例えば、第1の画像に対して計測点が指定される。計測処理部44は、映像信号を処理することにより、第1の画像の計測点に対応する第2の画像の対応点を探索する。つまり、計測処理部44は、第1の画像と第2の画像とのパターンマッチングにより対応点を探索する。計測処理部44は、計測点と対応点とを使用して三角測量の原理により、計測点に対応する3次元座標を算出する。
ステレオ計測では、第1の光学像と第2の光学像とが同時にまたは交互に撮像素子28に結像される。例えば、第1の光学像と第2の光学像とが交互に撮像素子28に結像される場合、移動可能なメカニカルシャッタにより第1の光路と第2の光路との一方が遮蔽される。第1の光路は、第1の光学像を形成するための光路である。第2の光路は、第2の光学像を形成するための光路である。メカニカルシャッタが第2の光路に配置された場合、第1の光学像が撮像素子28に結像される。メカニカルシャッタが第1の光路に配置された場合、第2の光学像が撮像素子28に結像される。
ステレオ計測では、被写体に模様を投影することにより、マッチング処理の精度が向上する。このため、ステレオ計測では、被写体に模様が投影されてもよい。計測処理部44は、ステレオ計測以外の3次元計測の処理を行ってもよい。例えば、計測処理部44は、位相シフト法の原理に基づく計測処理を行ってもよい。
図3に示すように、照明部29は、互いに独立した複数の光源(LED29aおよびLED29b)を有する。照明制御部46は、照明光を発生する光源を選択する。
照明部29は、模様または縞を被写体に投影するための計測用の光源(LED29b)を含む複数の光源(LED29aおよびLED29b)を有する。内視鏡装置1は、映像信号に基づいて計測処理を行う計測処理部44を有する。照明制御部46は、計測処理部44が計測処理を行う場合、計測用の光源を点灯させてもよい。
例えば、内視鏡装置1が被写体を連続的に撮像することにより映像信号を生成し、かつ被写体の画像を表示する場合、照明制御部46は、LED29aを選択する。通常のステレオ計測が行われる場合、照明制御部46は、LED29aを選択する。計測処理が行われ、かつ模様または縞が被写体に投影される場合、照明制御部46は、LED29bを選択する。
内視鏡装置1の動作を説明する。図6は、ローリングシャッタにより撮像素子28が駆動される場合の動作を示している。図6において、横方向は時間を示し、縦方向は行位置を示している。図6では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。例えば、図6に示す動作において、照明部29の光源は連続的に点灯する。
モニタ4の表示周期に基づくフレーム期間が開始されたとき、1行目の画素54においてリセットが行われる。つまり、1行目の画素54において、リセット部63は、光電変換部60と電荷蓄積部62とにおける電荷をリセットする。これによって、1行目の画素54において露光が開始される。リセットが行われた後、1行目の画素54において電荷転送が行われる。つまり、1行目の画素54において、電荷転送部61は、光電変換部60によって生成された電荷を電荷蓄積部62に転送する。これによって、1行目の画素54において露光が終了する。露光開始から露光終了までの期間が露光期間(露光可能期間)である。つまり、露光期間は、リセットの終了から電荷転送の開始までの期間である。電荷転送が行われた後、1行目の画素54において信号読み出しが行われる。つまり、1行目の画素54において、出力部65は、撮像信号を垂直信号線56に出力する。信号読み出しが行われた後、1行目の画素54は、次のフレーム期間が開始されるまで待機する。
1行目の画素54においてリセットが行われたタイミングから所定時間が経過したタイミングで、2行目の画素54においてリセットが行われる。2行目の画素54における動作は、1行目の画素54における動作と同様である。2行目の画素54における動作は、1行目の画素54における動作のタイミングに対して所定時間ずれたタイミングで行われる。同様に、3行目以降の各行の画素54における動作は、1つ前の行の画素54における動作のタイミングに対して所定時間ずれたタイミングで行われる。
図7は、内視鏡装置1の特徴的な動作を示している。図7において、横方向は時間を示し、縦方向は行位置を示している。図7では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。
図7に示す動作では、撮像素子28はローリングシャッタにより駆動される。2つ以上の行の画素54の露光期間の少なくとも一部が重なるように露光期間が設定される。図7に示す動作では、1行目から8行目の画素54の露光期間の少なくとも一部が重なるように露光期間が設定される。照明制御部46は、照明部29の光源が間欠的に点灯するように照明部29を制御する。
1行目の画素54においてリセットが開始されるタイミングt1では、照明部29の光源は消灯している。6行目の画素54における信号読み出しが終了するタイミングt3において、照明部29の光源が点灯する。例えば、6行目の画素54の撮像信号が出力されたタイミングt2が映像信号生成部41から照明制御部46に通知される。照明制御部46は、タイミングt2に基づいてタイミングt3を算出する。照明制御部46は、算出されたタイミングt3で照明部29の光源を点灯させる。1行目の画素54における信号読み出しが開始されるタイミングt4において、照明部29の光源が消灯する。例えば、照明制御部46は、タイミングt3に基づいてタイミングt4を算出する。照明制御部46は、算出されたタイミングt4で照明部29の光源を消灯させる。
上記のように、1行目から6行目の画素54が同時に露光されるタイミングt3からタイミングt4において、照明部29の光源が点灯する。先端部21の周囲が暗い場合、複数の画素54に入射する光の大部分は、タイミングt3からタイミングt4に点灯する照明部29の光源の光のみに基づく。このため、ローリングシャッタにより駆動される撮像素子28の1行目から6行目の画素54では、画素54に同時に入射する光に基づく被写体像が撮像される。したがって、1行目から6行目の画素54から出力された撮像信号に基づく画像では、被写体の歪みが低減される。
7行目と8行目との画素54において露光期間以外の期間がタイミングt3からタイミングt4に含まれる。つまり、7行目と8行目との画素54が露光される時間は、1行目から6行目の画素54が露光される時間よりも短い。このため、7行目と8行目との画素54では、1行目から6行目の画素54と比較して、露光量が不足する。
制御部47は、スキャンレートと、スキャン領域と、スキャン開始タイミングと、露光時間と、ゲインとの少なくとも1つを制御する。
スキャンレートは、複数の画素54の走査レートである。ローリングシャッタにより駆動される撮像素子28に配置された各行の画素54における動作タイミングの差は、スキャンレートに基づく。スキャンレートに基づくタイミングで各行の画素54から撮像信号が読み出される。
スキャン領域は、撮像素子28の撮像領域に配置された複数の画素54の全てまたは一部を含む。スキャン領域は、少なくともリセットと電荷転送とが行われる画素54の全てを含み、かつ信号読み出しが行われる画素54の全てを少なくとも含む。スキャン領域は、リセットと電荷転送とが行われ、かつ信号読み出しが行われない画素54を含んでもよい。スキャン領域において全ての行は、撮像信号が読み出される1つ以上の画素54を含む。スキャン領域に配置された全てまたは一部の画素54から撮像信号が読み出される。例えば、一部の列の画素54のみから撮像信号を読み出すブロック読み出しが行われてもよい。制御部47は、スキャン領域においてブロック読み出しが行われる領域を制御してもよい。
図7に示す動作では、1行目から8行目の画素54がスキャン領域に含まれる。タイミングt3からタイミングt4において照明部29の光源が点灯する場合、1行目から6行目の画素54のみがスキャン領域に含まれてもよい。制御部47は、スキャン領域の画素54のみから撮像信号が出力されるように撮像素子28を制御する。撮像領域の一部のみにスキャン領域が設定された場合、撮像信号の読み出しに必要なCPU18の処理負荷が低減する。このため、内視鏡装置1は、1フレーム期間に撮像信号の生成と計測処理とを行うことができる。つまり、内視鏡装置1は、連続的な撮像に同期してリアルタイムに計測処理を行うことができる。
スキャン開始タイミングは、複数の画素54の走査が開始されるタイミングである。スキャン開始タイミングは、フレーム期間における複数の画素54の動作の開始タイミングを示す。1行目の画素54から順に各行の画素54の走査が行われる場合、スキャン開始タイミングは、1行目の画素54における動作の開始タイミングを示す。例えば、スキャン開始タイミングは、1行目の画素54においてリセットが開始されるタイミングを示す。
露光時間は、露光期間の長さである。つまり、露光時間は、リセットの終了タイミングから電荷転送の開始タイミングまでの時間である。図7に示す動作における露光時間は、図6に示す動作における露光時間よりも長くてもよい。露光時間が長くなることにより、より多くの行の画素54の露光期間が重なりやすくなる。
ゲインは、映像信号生成部41または信号処理部52における増幅のゲインである。複数の画素54の配列における行毎に異なるゲインが設定されてもよい。
照明制御部46は、点灯タイミングと、点灯時間と、光量との少なくとも1つを制御する。
点灯タイミングは、照明部29の光源が点灯を開始するタイミングである。点灯時間は、照明部29の光源が点灯を継続する時間である。つまり、点灯時間は、点灯の開始タイミング(点灯タイミング)から終了タイミング(消灯タイミング)までの時間である。照明部29の光源が間欠的に点灯する場合、点灯時間は、露光時間よりも短い。光量は、照明部29の光源の光量である。図7に示す動作では、照明制御部46は、スキャン領域に含まれる1行目から8行目の画素54の露光期間の少なくとも一部が重なる期間に照明部29の光源が点灯するように照明部29を制御する。
制御部47は、光量が所定量未満であり、かつ計測処理部44が計測処理を行う場合、スキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なるように撮像素子28を制御してもよい。照明制御部46は、光量が所定量未満であり、かつ計測処理部44が計測処理を行う場合、スキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なる期間に光源が点灯するように照明部29を制御してもよい。これによって、内視鏡装置1は、被写体の歪みが低減された画像に基づいて計測処理を行うことができる。つまり、計測精度が向上する。
撮像素子28と照明部29との制御に関する内視鏡装置1の動作を説明する。図8は、撮像素子28と照明部29との制御に関する内視鏡装置1の動作の手順を示している。制御部47は、光量の検出結果を取得する(ステップS100)。ステップS100において制御部47は、光量の検出結果として映像信号を取得する。光量検出部28aを構成する画素54から出力された撮像信号から生成された映像信号が光量の検出結果を示す。
ステップS100の後、制御部47は、検出された光量が所定量以上であるか否かを判定する(ステップS110)。ステップS110において制御部47は、光量検出部28aを構成する画素54から出力された撮像信号から生成された映像信号の信号値が所定量以上であるか否かを判定する。例えば、ステップS110において制御部47は、光量検出部28aを構成する各画素54に対応する映像信号の信号値の合計を所定量と比較する。
ステップS110において光量が所定量以上であると判定された場合、制御部47は、露光時間を光量に応じた時間に設定する(ステップS120)。光量が所定量以上であって、かつ光量がより大きい場合、露光時間は、より短い時間に設定される。光量が大きい場合、光量が小さい場合の露光時間よりも露光時間を短くすることによって、内視鏡装置1は、画像における白飛びの発生を低減させることができる。ステップS120で設定される露光時間は、所定量の光量に対応する所定時間以下である。
ステップS110において光量が所定量未満であると判定された場合、制御部47は、露光時間を長時間に設定する(ステップS130)。ステップS130で設定される露光時間は、ステップS120で設定可能な最長の露光時間よりも長い。露光時間を長くすることにより、内視鏡装置1は、より多くの行の画素54の露光期間が重なるように露光期間を設定することができる。
ステップS130の後、照明制御部46は、スキャン領域に配置された全ての画素54の露光期間の少なくとも一部が重なる期間に照明部29の光源を間欠的に点灯させる(ステップS140)。光量が小さい場合に照明部29の光源が間欠的に点灯することによって、内視鏡装置1は、被写体の歪みが低減された画像を取得することができる。
撮像素子28が被写体を連続的に撮像する場合、内視鏡装置1は、図8に示す処理を繰り返し行う。
例えば、図8に示す処理では、撮像領域の全体がスキャン領域である。光量が所定量以上である場合と、光量が所定量未満である場合とで、異なるスキャン領域が設定されてもよい。光量が所定量以上である場合、撮像領域の全体がスキャン領域に設定されてもよい。光量が所定量未満である場合、撮像領域の一部がスキャン領域に設定されてもよい。
内視鏡装置1の動作を説明する。以下では、撮像素子28が被写体を連続的に撮像する場合における内視鏡装置1の動作の例が示される。
図9は、内視鏡装置1の第1の動作を示している。以下の説明において、撮像領域の垂直画素数すなわち行数はVである。図9において、グラフG10は、撮像領域における各画素54の動作のタイミングを示している。グラフG10において、横方向は時間を示し、縦方向は行位置を示している。最も上の行が1行目であり、最も下の行がV行目である。フレーム期間の長さ、つまりモニタ4の表示周期は、Tf1である。ライブ画像を表示するためのフレームレートは、1/Tf1である。
撮像素子28と照明部29との制御は、フレーム期間毎に行われる。図9において、連続する複数のフレーム期間のうちフレーム期間F10とフレーム期間F11とにおける動作が示されている。各フレーム期間における撮像素子28と照明部29との制御は、1つ前のフレーム期間における光量の検出結果に基づく。各フレーム期間が開始されたとき、LED29aは消灯している。
各フレーム期間において制御部47は、撮像領域に配置された全ての画素54をスキャン領域として設定する。撮像領域に配置された全ての行の画素54においてリセットと電荷転送と信号読み出しとが行われる。ブロック読み出しにより、撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。つまり、撮像領域に配置された全ての行の画素54においてリセットと電荷転送とが行われ、かつ撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。
フレーム期間F10の1つ前のフレーム期間において光量が所定量未満である場合、フレーム期間F10において制御部47は、1行目の画素54(光量検出ライン)から出力された撮像信号から生成された映像信号に基づいて光量を判定する。つまり、1行目の画素54が光量検出部28aを構成する。フレーム期間F10における光量の判定結果に基づいて、フレーム期間F11における動作が決定される。
フレーム期間F10の1つ前のフレーム期間において光量が所定量未満である場合、フレーム期間F10においてLED29aは、間欠的に点灯するように制御される。直線L10は、撮像領域に配置された各行の画素54におけるリセットの終了タイミングすなわち露光の開始タイミングを示している。直線L11は、撮像領域に配置された各行の画素54における電荷転送の開始タイミングすなわち露光の終了タイミングを示している。直線L10および直線L11の傾きは、スキャンレートに基づく。露光期間は、直線L10が示すタイミングから直線L11が示すタイミングまでの期間である。露光期間の長さすなわち露光時間は、ΔTe1である。
照明制御部46は、撮像領域において1行目の画素54を除く全ての画素54の露光期間の少なくとも一部が重なる期間にLED29aを間欠的に点灯させる。つまり、照明制御部46は、撮像領域において光量検出部28aを構成する画素54を除く全ての画素54の露光期間の少なくとも一部が重なる期間にLED29aを間欠的に点灯させる。LED29bが間欠的に点灯することにより模様が被写体に投影されてもよい。
グラフG10に示す動作では、1行目の画素54において露光が終了したタイミングでLED29aの点灯が開始される。一部の行の画素54の露光期間において照明光が被写体に照射される時間がLED29aの点灯時間よりも短い。映像信号生成部41は、その画素54から出力された撮像信号を所定のゲインで増幅することにより映像信号を生成してもよい。あるいは、信号処理部52は、その画素54から出力された撮像信号を所定のゲインで増幅してもよい。所定のゲインは、露光期間において照明光が被写体に照射される時間とLED29aの点灯時間との比に応じた値であってもよい。
フレーム期間F10において光量が所定量未満である場合、フレーム期間F11における撮像素子28と照明部29との制御は、フレーム期間F10における制御と同様である。各フレーム期間において光量が所定量未満である場合、LED29aが間欠的に点灯する動作が複数のフレーム期間で継続する。
光量が所定量未満である場合、2行以上かつV行未満の画素54が光量検出部28aを構成してもよい。
図10は、内視鏡装置1の第2の動作を示している。図10において、グラフG11は、撮像領域における各画素54の動作のタイミングを示している。グラフG11において、横方向は時間を示し、縦方向は行位置を示している。最も上の行が1行目であり、最も下の行がV行目である。フレーム期間の長さ、つまりモニタ4の表示周期は、Tf1である。ライブ画像を表示するためのフレームレートは、1/Tf1である。
撮像素子28と照明部29との制御は、フレーム期間毎に行われる。図10において、連続する複数のフレーム期間のうちフレーム期間F12とフレーム期間F13とにおける動作が示されている。各フレーム期間における撮像素子28と照明部29との制御は、1つ前のフレーム期間における光量の検出結果に基づく。各フレーム期間が開始されたとき、LED29aは消灯している。
各フレーム期間において制御部47は、撮像領域に配置された全ての画素54をスキャン領域として設定する。撮像領域に配置された全ての行の画素54においてリセットと電荷転送と信号読み出しとが行われる。ブロック読み出しにより、撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。つまり、撮像領域に配置された全ての行の画素54においてリセットと電荷転送とが行われ、かつ撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。
フレーム期間F12における撮像素子28と照明部29との制御は、フレーム期間F10における制御と同様である。フレーム期間F12において光量が所定量以上である場合、フレーム期間F13においてLED29aは、消灯状態を継続するように制御される。直線L12は、撮像領域に配置された各行の画素54におけるリセットの終了タイミングすなわち露光の開始タイミングを示している。直線L13は、撮像領域に配置された各行の画素54における電荷転送の開始タイミングすなわち露光の終了タイミングを示している。直線L12および直線L13の傾きは、スキャンレートに基づく。直線L12および直線L13の傾きは、直線L10および直線L11の傾きと同一である。露光期間は、直線L12が示すタイミングから直線L13が示すタイミングまでの期間である。露光期間の長さすなわち露光時間は、ΔTe2である。露光時間ΔTe2は、露光時間ΔTe1よりも短い。露光時間ΔTe2は、露光時間ΔTe1よりも長くてもよい。露光時間ΔTe2は、露光時間ΔTe1と同一であってもよい。
フレーム期間F13において制御部47は、撮像領域に配置された全ての画素54から出力された撮像信号から生成された映像信号に基づいて光量を判定する。つまり、撮像領域に配置された全ての画素54が光量検出部28aを構成する。フレーム期間F13における光量の判定結果に基づいて、フレーム期間F13の次のフレーム期間における動作が決定される。
フレーム期間F13において光量が所定量以上である場合、フレーム期間F13の次のフレーム期間における撮像素子28と照明部29との制御は、フレーム期間F13における制御と同様である。フレーム期間F13の後の各フレーム期間において光量が所定量以上である場合、LED29aが消灯している状態が複数のフレーム期間で継続する。
光量が所定量未満である場合、2行以上かつV行未満の画素54が光量検出部28aを構成してもよい。
図11は、内視鏡装置1の第3の動作を示している。図11において、グラフG12は、撮像領域における各画素54の動作のタイミングを示している。グラフG12において、横方向は時間を示し、縦方向は行位置を示している。最も上の行が1行目であり、最も下の行がV行目である。フレーム期間の長さ、つまりモニタ4の表示周期は、Tf1である。ライブ画像を表示するためのフレームレートは、1/Tf1である。
撮像素子28と照明部29との制御は、フレーム期間毎に行われる。図11において、連続する複数のフレーム期間のうちフレーム期間F14とフレーム期間F15とにおける動作が示されている。各フレーム期間における撮像素子28と照明部29との制御は、1つ前のフレーム期間における光量の検出結果に基づく。各フレーム期間が開始されたとき、LED29aは消灯している。
各フレーム期間において制御部47は、撮像領域に配置された全ての画素54をスキャン領域として設定する。撮像領域に配置された全ての行の画素54においてリセットと電荷転送と信号読み出しとが行われる。ブロック読み出しにより、撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。つまり、撮像領域に配置された全ての行の画素54においてリセットと電荷転送とが行われ、かつ撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。
フレーム期間F14における撮像素子28と照明部29との制御は、フレーム期間F13における制御と同様である。フレーム期間F14の1つ前のフレーム期間において光量が所定量以上である場合、フレーム期間F14において制御部47は、撮像領域に配置された全ての画素54から出力された撮像信号から生成された映像信号に基づいて光量を判定する。つまり、撮像領域に配置された全ての画素54が光量検出部28aを構成する。フレーム期間F14における光量の判定結果に基づいて、フレーム期間F15における動作が決定される。
フレーム期間F14において光量が所定量未満である場合、フレーム期間F15においてLED29aは、間欠的に点灯するように制御される。フレーム期間F15における撮像素子28と照明部29との制御は、フレーム期間F10における制御と同様である。フレーム期間F15の後の各フレーム期間において光量が所定量未満である場合、LED29aが間欠的に点灯する動作が複数のフレーム期間で継続する。
光量が所定量未満である場合、2行以上かつV行未満の画素54が光量検出部28aを構成してもよい。
図12は、内視鏡装置1の第4の動作を示している。図12において、グラフG20は、撮像領域における各画素54の動作のタイミングを示している。グラフG20において、横方向は時間を示し、縦方向は行位置を示している。最も上の行が1行目であり、最も下の行がV行目である。フレーム期間の長さ、つまりモニタ4の表示周期は、Tf2である。ライブ画像を表示するためのフレームレートは、1/Tf2である。
撮像素子28と照明部29との制御は、フレーム期間毎に行われる。図12において、連続する複数のフレーム期間のうちフレーム期間F20とフレーム期間F21とにおける動作が示されている。各フレーム期間における撮像素子28と照明部29との制御は、各フレーム期間における光量の検出結果に基づく。各フレーム期間が開始されたとき、LED29aは消灯している。
各フレーム期間において、画素54の走査が2回行われる。1回目の走査では制御部47は、撮像領域に配置された1行目の画素54をスキャン領域として設定する。撮像領域に配置された1行目の画素54においてリセットと電荷転送と信号読み出しとが行われる。ブロック読み出しにより、1行目の一部の列の画素54のみにおいて信号読み出しが行われてもよい。つまり、撮像領域に配置された1行目の画素54においてリセットと電荷転送とが行われ、かつ撮像領域に配置された1行目の一部の列の画素54のみにおいて信号読み出しが行われてもよい。
1回目の走査における露光時間はΔTe3である。制御部47は、1行目の画素54(光量検出ライン)から出力された撮像信号から生成された映像信号に基づいて光量を判定する。つまり、1行目の画素54が光量検出部28aを構成する。フレーム期間F20における光量の判定結果に基づいて、フレーム期間F20における動作が決定される。
フレーム期間F20において光量が所定量未満である場合、フレーム期間F20においてLED29aは、間欠的に点灯するように制御される。フレーム期間F20において、2回目の走査では制御部47は、撮像領域に配置された全ての画素54をスキャン領域として設定する。撮像領域に配置された全ての行の画素54においてリセットと電荷転送と信号読み出しとが行われる。ブロック読み出しにより、撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。つまり、撮像領域に配置された全ての行の画素54においてリセットと電荷転送とが行われ、かつ撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。
直線L20は、撮像領域に配置された各行の画素54におけるリセットの終了タイミングすなわち露光の開始タイミングを示している。直線L21は、撮像領域に配置された各行の画素54における電荷転送の開始タイミングすなわち露光の終了タイミングを示している。直線L20および直線L21の傾きは、スキャンレートに基づく。露光期間は、直線L20が示すタイミングから直線L21が示すタイミングまでの期間である。露光期間の長さすなわち露光時間は、ΔTe4である。露光時間ΔTe4は、露光時間ΔTe3よりも長い。
フレーム期間F21における撮像素子28と照明部29との制御は、フレーム期間F20における制御と同様である。各フレーム期間において光量が所定量未満である場合、LED29aが間欠的に点灯する動作が複数のフレーム期間で継続する。
図13は、内視鏡装置1の第5の動作を示している。図13において、グラフG21は、撮像領域における各画素54の動作のタイミングを示している。グラフG21において、横方向は時間を示し、縦方向は行位置を示している。最も上の行が1行目であり、最も下の行がV行目である。フレーム期間の長さ、つまりモニタ4の表示周期は、Tf2である。ライブ画像を表示するためのフレームレートは、1/Tf2である。
撮像素子28と照明部29との制御は、フレーム期間毎に行われる。図13において、連続する複数のフレーム期間のうちフレーム期間F22とフレーム期間F23とにおける動作が示されている。各フレーム期間における撮像素子28と照明部29との制御は、各フレーム期間における光量の検出結果に基づく。各フレーム期間が開始されたとき、LED29aは消灯している。
各フレーム期間において、画素54の走査が2回行われる。1回目の走査では制御部47は、撮像領域に配置された1行目の画素54をスキャン領域として設定する。撮像領域に配置された1行目の画素54においてリセットと電荷転送と信号読み出しとが行われる。ブロック読み出しにより、1行目の一部の列の画素54のみにおいて信号読み出しが行われてもよい。つまり、撮像領域に配置された1行目の画素54においてリセットと電荷転送とが行われ、かつ撮像領域に配置された1行目の一部の列の画素54のみにおいて信号読み出しが行われてもよい。
1回目の走査における露光時間はΔTe3である。制御部47は、1行目の画素54(光量検出ライン)から出力された撮像信号から生成された映像信号に基づいて光量を判定する。つまり、1行目の画素54が光量検出部28aを構成する。フレーム期間F22における光量の判定結果に基づいて、フレーム期間F22における動作が決定される。
フレーム期間F22において光量が所定量以上である場合、フレーム期間F22においてLED29aは、消灯状態を継続するように制御される。フレーム期間F22において、2回目の走査では制御部47は、撮像領域に配置された全ての画素54をスキャン領域として設定する。撮像領域に配置された全ての行の画素54においてリセットと電荷転送と信号読み出しとが行われる。ブロック読み出しにより、撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。つまり、撮像領域に配置された全ての行の画素54においてリセットと電荷転送とが行われ、かつ撮像領域に配置された一部の列の画素54のみにおいて信号読み出しが行われてもよい。
直線L22は、撮像領域に配置された各行の画素54におけるリセットの終了タイミングすなわち露光の開始タイミングを示している。直線L23は、撮像領域に配置された各行の画素54における電荷転送の開始タイミングすなわち露光の終了タイミングを示している。直線L22および直線L23の傾きは、スキャンレートに基づく。直線L22および直線L23の傾きは、直線L20および直線L21の傾きと同一である。露光期間は、直線L22が示すタイミングから直線L23が示すタイミングまでの期間である。露光期間の長さすなわち露光時間は、ΔTe2である。露光時間ΔTe2は、露光時間ΔTe4よりも短い。露光時間ΔTe2は、露光時間ΔTe3よりも長い。露光時間ΔTe2は、露光時間ΔTe3よりも短くてもよい。露光時間ΔTe2は、露光時間ΔTe3と同一であってもよい。
フレーム期間F23における撮像素子28と照明部29との制御は、フレーム期間F22における制御と同様である。各フレーム期間において光量が所定量以上である場合、LED29aが消灯している状態が複数のフレーム期間で継続する。
グラフG20とグラフG21とに示す動作では、内視鏡装置1は、1フレーム期間に2回の走査を行うことにより、光量の判定と照明部29の光源の制御とを1フレーム期間に行うことができる。このため、撮像素子28の周囲の光の状態と、光量の判定結果に基づく制御の内容との不整合が低減される。
上記のように、制御部47は、光量検出部28aを構成する各画素に対応する映像信号の信号値の合計を所定量と比較してもよい。
制御部47は、光量検出部28aによって検出された光量が所定量未満である場合、画素54の露光時間を第1の時間(ΔTe1)に設定してもよい。制御部47は、光量検出部28aによって検出された光量が所定量以上である場合、画素54の露光時間を第1の時間よりも短い第2の時間(ΔTe2)に設定してもよい(図10)。
制御部47は、光量検出部28aによって検出された光量が所定量以上である場合、画素54の露光時間を光量に応じた時間に設定してもよい(ステップS120)。
制御部47は、第1のフレーム期間において光量検出部28aによって検出された光量が所定量未満である場合、第2のフレーム期間において、スキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なるように撮像素子28を制御してもよい(図11)。第1のフレーム期間と第2のフレーム期間とは、連続するフレーム期間である。
照明制御部46は、光量検出部28aによって検出された光量が所定量以上である場合、光源が消灯するように照明部29を制御してもよい。
フレーム期間において第1の走査(1回目の走査)と第2の走査(2回目の走査)とが行われてもよい。制御部47は、第1の走査におけるスキャン領域と、第2の走査におけるスキャン領域との各々を撮像素子28に設定してもよい。光量検出部28aは、複数行の少なくとも1つに配置された画素54であってもよい。光量検出部28aを構成する画素54は、第1の走査におけるスキャン領域を構成してもよい。制御部47は、光量検出部28aによって検出された光量が所定量未満である場合、第2の走査におけるスキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なるように撮像素子28を制御してもよい(図12)。
撮像領域に配置された全ての画素54は、第2の走査におけるスキャン領域を構成してもよい。
制御部47は、第1の走査におけるスキャン領域の画素54の露光時間を第1の時間(ΔTe3)に設定してもよい。制御部47は、光量検出部28aによって検出された光量が所定量未満である場合、第2の走査におけるスキャン領域の画素54の露光時間を第1の時間よりも長い第2の時間(ΔTe4)に設定してもよい(図12)。
照明制御部46は、光量検出部28aによって検出された光量が所定量以上である場合、第2の走査において光源が消灯するように照明部29を制御してもよい。制御部47は、第2の走査において、撮像領域に配置された一部の列の画素54のみから撮像信号が読み出されるように撮像素子28を制御してもよい。
制御部47は、光量検出部28aによって検出された光量が所定量未満である場合、第2の走査におけるスキャン領域の画素54の露光時間を第1の時間(ΔTe4)に設定してもよい。制御部47は、光量検出部28aによって検出された光量が所定量以上である場合、第2の走査におけるスキャン領域の画素54の露光時間を第1の時間よりも短い第2の時間(ΔTe2)に設定してもよい。照明制御部46は、光量検出部28aによって検出された光量が所定量以上である場合、第2の走査において光源が消灯するように照明部29を制御してもよい(図12、図13)。
第1の実施形態では、制御部47は、光量検出部28aによって検出された光量が所定量以下である場合、スキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なるように撮像素子28を制御する。照明制御部46は、光量検出部28aによって検出された光量が所定量以下である場合、スキャン領域の少なくとも一部に配置された画素54の露光期間の少なくとも一部が重なる期間に光源が点灯するように照明部29を制御する。このため、内視鏡装置1は、被写体の歪みが低減された画像を取得することができる。
光量検出部28aによって検出された光量が所定量未満である場合、照明部29を消灯させることによって、内視鏡装置1は、画像における白飛びの発生を低減させることができる。また、内視鏡装置1は、消費電力を低減させることができる。
制御部47は、撮像領域の一部のみにスキャン領域を設定してもよい。これによって、撮像信号の読み出しに必要なCPU18の処理負荷が低減する。
(第2の実施形態)
本発明の第2の実施形態では、図3に示す内視鏡装置1の構成が、図14に示す内視鏡装置1aの構成に変更される。図14は、内視鏡装置1aの主要な機能に関する構成を示している。図14に示すように、内視鏡装置1aは、モニタ4(表示部)と、操作部6と、光量検出部27と、撮像素子28(撮像部)と、LED29aと、LED29bと、映像信号生成部41と、操作検出部42と、グラフィック画像生成部43と、計測処理部44と、照明制御部46と、制御部47(撮像制御部)と、LED駆動部48aと、LED駆動部48bと、信号合成部49とを有する。
本発明の第2の実施形態では、図3に示す内視鏡装置1の構成が、図14に示す内視鏡装置1aの構成に変更される。図14は、内視鏡装置1aの主要な機能に関する構成を示している。図14に示すように、内視鏡装置1aは、モニタ4(表示部)と、操作部6と、光量検出部27と、撮像素子28(撮像部)と、LED29aと、LED29bと、映像信号生成部41と、操作検出部42と、グラフィック画像生成部43と、計測処理部44と、照明制御部46と、制御部47(撮像制御部)と、LED駆動部48aと、LED駆動部48bと、信号合成部49とを有する。
図14に示す構成について、図3に示す構成と異なる点を説明する。内視鏡装置1aにおいて、光量検出部27は、撮像素子28とは独立して設けられたデバイスである。例えば、光量検出部27は、光検出器である。光量検出部27は、先端部21に配置される。光量検出部27は、撮像素子28の近傍に配置される。光量検出部27は、撮像素子28と接触してもよい。光量検出部27は、撮像素子28の表面に配置されてもよい。光量検出部27は、撮像素子28が配置された場所の光量を検出する。上記以外の点については、図14に示す構成は図3に示す構成と同様である。
第2の実施形態における内視鏡装置1aの動作は、第1の実施形態における内視鏡装置1の動作と同様である。このため、内視鏡装置1aの動作についての説明を省略する。
第2の実施形態では第1の実施形態と同様に、内視鏡装置1aは、被写体の歪みが低減された画像を取得することができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
本発明の各実施形態によれば、被写体の歪みが低減された画像を取得することができる。
1,1a 内視鏡装置
2 内視鏡
3 装置本体
4 モニタ
5 筐体
6 操作部
8 内視鏡ユニット
9 CCU
10 制御ユニット
12 映像信号処理回路
13 ROM
14 RAM
15 カードインタフェース
16 外部機器インタフェース
17 制御インタフェース
18 CPU
20 挿入部
21 先端部
22 湾曲部
23 可撓管部
27,28a 光量検出部
28 撮像素子
29 照明部
29a,29b LED
41 映像信号生成部
42 操作検出部
43 グラフィック画像生成部
44 計測処理部
46 照明制御部
47 制御部
48a,48b LED駆動部
49 信号合成部
50 画素部
51 垂直走査部
52 信号処理部
53 水平走査部
54 画素
55 信号処理回路
60 光電変換部
61 電荷転送部
62 電荷蓄積部
63 リセット部
64 増幅部
65 出力部
2 内視鏡
3 装置本体
4 モニタ
5 筐体
6 操作部
8 内視鏡ユニット
9 CCU
10 制御ユニット
12 映像信号処理回路
13 ROM
14 RAM
15 カードインタフェース
16 外部機器インタフェース
17 制御インタフェース
18 CPU
20 挿入部
21 先端部
22 湾曲部
23 可撓管部
27,28a 光量検出部
28 撮像素子
29 照明部
29a,29b LED
41 映像信号生成部
42 操作検出部
43 グラフィック画像生成部
44 計測処理部
46 照明制御部
47 制御部
48a,48b LED駆動部
49 信号合成部
50 画素部
51 垂直走査部
52 信号処理部
53 水平走査部
54 画素
55 信号処理回路
60 光電変換部
61 電荷転送部
62 電荷蓄積部
63 リセット部
64 増幅部
65 出力部
Claims (13)
- 被写体を撮像し、撮像信号を生成する撮像部と、
前記撮像信号から映像信号を生成する映像信号生成部と、
前記被写体に照射される照明光を発生する光源を有する照明部と、
前記撮像部が配置された場所の光量を検出する光量検出部と、
前記撮像部を制御する撮像制御部と、
前記照明部を制御する照明制御部と、
を有し、
前記撮像部は、行列状に配置された複数の画素を有し、
前記複数の画素が配置された撮像領域は、スキャン領域を含み、
前記スキャン領域において各々の行の前記画素の少なくとも一部から前記撮像信号が読み出され、
前記撮像制御部は、前記光量検出部によって検出された前記光量が所定量未満である場合、前記スキャン領域の少なくとも一部に配置された前記画素の露光期間の少なくとも一部が重なるように前記撮像部を制御し、
前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記スキャン領域の少なくとも一部に配置された前記画素の前記露光期間の少なくとも一部が重なる期間に前記光源が点灯するように前記照明部を制御する
内視鏡装置。 - 前記光量検出部は、前記複数の画素の少なくとも一部である請求項1に記載の内視鏡装置。
- 前記光量検出部は、前記撮像部とは独立して設けられたデバイスである請求項1に記載の内視鏡装置。
- 前記撮像制御部は、前記光量検出部を構成する各画素に対応する映像信号の信号値の合計を前記所定量と比較する請求項2に記載の内視鏡装置。
- 前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記画素の露光時間を第1の時間に設定し、
前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記画素の前記露光時間を前記第1の時間よりも短い第2の時間に設定する
請求項1に記載の内視鏡装置。 - 前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記画素の前記露光時間を前記光量に応じた時間に設定する請求項5に記載の内視鏡装置。
- 前記撮像制御部は、第1のフレーム期間において前記光量検出部によって検出された前記光量が前記所定量未満である場合、第2のフレーム期間において、前記スキャン領域の少なくとも一部に配置された前記画素の露光期間の少なくとも一部が重なるように前記撮像部を制御し、
前記第1のフレーム期間と前記第2のフレーム期間とは、連続するフレーム期間である
請求項1に記載の内視鏡装置。 - 前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記光源が消灯するように前記照明部を制御する請求項1に記載の内視鏡装置。
- フレーム期間において第1の走査と第2の走査とが行われ、
前記撮像制御部は、前記第1の走査における前記スキャン領域と、前記第2の走査における前記スキャン領域との各々を前記撮像部に設定し、
前記光量検出部は、複数行の少なくとも1つに配置された前記画素であり、
前記光量検出部を構成する前記画素は、前記第1の走査における前記スキャン領域を構成し、
前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記第2の走査における前記スキャン領域の少なくとも一部に配置された前記画素の露光期間の少なくとも一部が重なるように前記撮像部を制御する
請求項1に記載の内視鏡装置。 - 前記撮像領域に配置された全ての前記画素は、前記第2の走査における前記スキャン領域を構成する請求項9に記載の内視鏡装置。
- 前記撮像制御部は、前記第1の走査における前記スキャン領域の前記画素の露光時間を第1の時間に設定し、
前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記第2の走査における前記スキャン領域の前記画素の前記露光時間を前記第1の時間よりも長い第2の時間に設定する
請求項9に記載の内視鏡装置。 - 前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記第2の走査において前記光源が消灯するように前記照明部を制御し、
前記撮像制御部は、前記第2の走査において、前記撮像領域に配置された一部の列の前記画素のみから前記撮像信号が読み出されるように前記撮像部を制御する
請求項10に記載の内視鏡装置。 - 前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量未満である場合、前記第2の走査における前記スキャン領域の前記画素の露光時間を第1の時間に設定し、
前記撮像制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記第2の走査における前記スキャン領域の前記画素の前記露光時間を前記第1の時間よりも短い第2の時間に設定し、
前記照明制御部は、前記光量検出部によって検出された前記光量が前記所定量以上である場合、前記第2の走査において前記光源が消灯するように前記照明部を制御する
請求項9に記載の内視鏡装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017545164A JP6839089B2 (ja) | 2015-10-16 | 2016-10-04 | 内視鏡装置、内視鏡装置の作動方法、および記録媒体 |
US15/948,264 US10447949B2 (en) | 2015-10-16 | 2018-04-09 | Endoscope apparatus, method of operating endoscope apparatus, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-204496 | 2015-10-16 | ||
JP2015204496 | 2015-10-16 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/948,264 Continuation US10447949B2 (en) | 2015-10-16 | 2018-04-09 | Endoscope apparatus, method of operating endoscope apparatus, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017065057A1 true WO2017065057A1 (ja) | 2017-04-20 |
Family
ID=58518062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/079463 WO2017065057A1 (ja) | 2015-10-16 | 2016-10-04 | 内視鏡装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10447949B2 (ja) |
JP (1) | JP6839089B2 (ja) |
WO (1) | WO2017065057A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022517128A (ja) * | 2019-01-17 | 2022-03-04 | ストライカー コーポレイション | ローリングシャッタイメージャを使用する医療用撮像のためのシステムおよび方法 |
US12003861B2 (en) | 2020-12-30 | 2024-06-04 | Stryker Corporation | Systems and methods for mitigating artifacts in medical imaging |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6790111B2 (ja) * | 2016-10-24 | 2020-11-25 | オリンパス株式会社 | 内視鏡装置 |
CN110325098A (zh) | 2016-11-28 | 2019-10-11 | 适内有限责任公司 | 具有可分离一次性轴的内窥镜 |
JP7176855B2 (ja) * | 2018-04-23 | 2022-11-22 | 株式会社エビデント | 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体 |
USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
WO2022001024A1 (en) * | 2020-06-30 | 2022-01-06 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for monitoring control |
USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049083A (ja) * | 2000-08-04 | 2002-02-15 | Fuji Photo Film Co Ltd | 電子カメラのストロボ装置 |
JP2013046672A (ja) * | 2011-08-29 | 2013-03-07 | Toshiba Corp | 撮像装置及び内視鏡装置 |
JP2013118698A (ja) * | 2013-03-06 | 2013-06-13 | Sony Corp | イメージセンサおよび制御方法 |
WO2013157368A1 (ja) * | 2012-04-16 | 2013-10-24 | オリンパスメディカルシステムズ株式会社 | 撮像システム、撮像方法 |
JP2014153655A (ja) * | 2013-02-13 | 2014-08-25 | Canon Inc | 閃光装置、撮像装置及び撮像システム |
JP2014204198A (ja) * | 2013-04-02 | 2014-10-27 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6864916B1 (en) * | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
JP2004233664A (ja) * | 2003-01-30 | 2004-08-19 | Olympus Corp | 顕微鏡画像取得装置および方法 |
JP2004325872A (ja) * | 2003-04-25 | 2004-11-18 | Fuji Photo Film Co Ltd | 露光装置及び露光方法 |
JP5113990B2 (ja) | 2005-05-24 | 2013-01-09 | オリンパス株式会社 | 計測用内視鏡装置 |
JP4905187B2 (ja) * | 2007-03-09 | 2012-03-28 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
JP4127411B1 (ja) * | 2007-04-13 | 2008-07-30 | キヤノン株式会社 | 画像処理装置及び方法 |
JP2009088706A (ja) * | 2007-09-27 | 2009-04-23 | Fujifilm Corp | 撮像装置及び固体撮像素子の駆動方法 |
JP2010130343A (ja) * | 2008-11-27 | 2010-06-10 | Fujifilm Corp | 撮像装置及びその駆動制御方法 |
JP5467797B2 (ja) * | 2009-05-11 | 2014-04-09 | パナソニック株式会社 | カメラおよびled点灯制御方法 |
CN102301693B (zh) * | 2009-12-01 | 2014-09-24 | 松下电器产业株式会社 | 识别用摄像装置以及其控制方法 |
JP2012095176A (ja) * | 2010-10-28 | 2012-05-17 | Sony Corp | 撮像装置、撮像方法およびプログラム |
JP6604297B2 (ja) * | 2016-10-03 | 2019-11-13 | 株式会社デンソー | 撮影装置 |
-
2016
- 2016-10-04 WO PCT/JP2016/079463 patent/WO2017065057A1/ja active Application Filing
- 2016-10-04 JP JP2017545164A patent/JP6839089B2/ja active Active
-
2018
- 2018-04-09 US US15/948,264 patent/US10447949B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049083A (ja) * | 2000-08-04 | 2002-02-15 | Fuji Photo Film Co Ltd | 電子カメラのストロボ装置 |
JP2013046672A (ja) * | 2011-08-29 | 2013-03-07 | Toshiba Corp | 撮像装置及び内視鏡装置 |
WO2013157368A1 (ja) * | 2012-04-16 | 2013-10-24 | オリンパスメディカルシステムズ株式会社 | 撮像システム、撮像方法 |
JP2014153655A (ja) * | 2013-02-13 | 2014-08-25 | Canon Inc | 閃光装置、撮像装置及び撮像システム |
JP2013118698A (ja) * | 2013-03-06 | 2013-06-13 | Sony Corp | イメージセンサおよび制御方法 |
JP2014204198A (ja) * | 2013-04-02 | 2014-10-27 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022517128A (ja) * | 2019-01-17 | 2022-03-04 | ストライカー コーポレイション | ローリングシャッタイメージャを使用する医療用撮像のためのシステムおよび方法 |
US12003861B2 (en) | 2020-12-30 | 2024-06-04 | Stryker Corporation | Systems and methods for mitigating artifacts in medical imaging |
Also Published As
Publication number | Publication date |
---|---|
US20180234646A1 (en) | 2018-08-16 |
US10447949B2 (en) | 2019-10-15 |
JP6839089B2 (ja) | 2021-03-03 |
JPWO2017065057A1 (ja) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017065057A1 (ja) | 内視鏡装置 | |
JP6803908B2 (ja) | 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ | |
JP6800871B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、および記録媒体 | |
US8994877B2 (en) | Method and system for synchronizing a flash to an imager | |
US9538108B2 (en) | Endoscope system and pixel correction method | |
JP4285641B2 (ja) | 撮像装置 | |
JP5942053B1 (ja) | 内視鏡システム | |
US20090147077A1 (en) | Light-source control system, shutter control system, endoscope processor, and endoscope system | |
JP7297850B2 (ja) | 動画のためのledフリッカ軽減 | |
JP6230395B2 (ja) | 撮像装置およびその駆動方法 | |
JP6872956B2 (ja) | 撮像システム及び撮像システムの制御方法 | |
JP2009164846A (ja) | 固体撮像装置及びその駆動方法 | |
JP2010183195A (ja) | 撮像装置 | |
JP2013048694A (ja) | 内視鏡装置 | |
JP2004313523A (ja) | 固体撮像素子、電子内視鏡 | |
JP6790111B2 (ja) | 内視鏡装置 | |
JP7176855B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体 | |
JP6419983B2 (ja) | 撮像装置、内視鏡および内視鏡システム | |
JP5538067B2 (ja) | 内視鏡システム | |
JP6970825B2 (ja) | 撮像システム | |
JP5063503B2 (ja) | 撮像装置及びその制御方法 | |
JP2010156596A (ja) | 計測装置及び計測方法 | |
JP4439245B2 (ja) | 電子内視鏡装置 | |
JP2011087826A (ja) | 撮像装置および電子内視鏡装置 | |
JP2009014494A (ja) | 計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16855311 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017545164 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16855311 Country of ref document: EP Kind code of ref document: A1 |