WO2012033200A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2012033200A1
WO2012033200A1 PCT/JP2011/070610 JP2011070610W WO2012033200A1 WO 2012033200 A1 WO2012033200 A1 WO 2012033200A1 JP 2011070610 W JP2011070610 W JP 2011070610W WO 2012033200 A1 WO2012033200 A1 WO 2012033200A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
pixel
read
pixels
Prior art date
Application number
PCT/JP2011/070610
Other languages
English (en)
French (fr)
Inventor
大野 渉
秀範 橋本
尊正 三上
勉 浦川
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2012533045A priority Critical patent/JPWO2012033200A1/ja
Priority to CN201180042693.5A priority patent/CN103081456A/zh
Publication of WO2012033200A1 publication Critical patent/WO2012033200A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • an endoscope system has been used to observe the inside of an organ of a subject.
  • a flexible insertion part having an elongated shape is inserted into a body cavity of a subject such as a patient, and white light is irradiated to a living tissue in the body cavity through the insertion part. Then, the reflected light is received by the imaging unit at the distal end of the insertion unit, and an in-vivo image is captured. The living body image thus captured is displayed on the monitor of the endoscope system.
  • a user such as a doctor observes the body cavity of a subject through an in-vivo image displayed on a monitor of an endoscope system.
  • an image pickup device is built in the distal end of the insertion portion, and the image pickup device transmits an electric signal after photoelectric conversion to a signal processing device as an image signal, and the transmission signal is processed in the signal processing device. By doing so, the image picked up by the image pickup device is displayed on the monitor to observe inside the body.
  • the image pickup device at the tip of the insertion portion and the signal processing device are connected by a collective cable in which a plurality of signal lines are bundled for image signal transmission, clock signal transmission, drive power supply to the image pickup device, and the like. (For example, see Patent Document 1).
  • CMOS sensor capable of increasing the number of pixels is employed as an image sensor built in the distal end of the insertion portion.
  • CMOS sensor since high-definition images are advanced by adopting a CMOS sensor, there is a problem that the amount of image data increases and smooth processing cannot be performed.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide an imaging apparatus capable of performing efficient processing while accommodating high pixels when a CMOS sensor is employed as an imaging element.
  • an imaging apparatus uses, as pixel information, an electrical signal after photoelectric conversion from a pixel arbitrarily designated as a reading target among a plurality of pixels for imaging.
  • Pixel information is obtained from an imaging unit that can output, a setting unit that can arbitrarily set a pixel to be read in the imaging unit, and a pixel that is designated as a reading target in the imaging unit according to the setting of the setting unit
  • a reading unit that reads out pixel information by outputting, an image processing unit that generates an image from the pixel information read out by the reading unit, and a display unit that displays an image generated by the image processing unit It is characterized by.
  • the imaging apparatus further includes a control unit that changes a pixel to be read set by the setting unit.
  • the image pickup apparatus is characterized in that the control unit changes a pixel to be read set by the setting unit according to an optical system in the image pickup unit.
  • the imaging apparatus further includes a detection unit that detects an imaging region having a luminance of a predetermined value or more based on pixel information of pixels of the predetermined line read by the reading unit, and the control unit includes: The pixel to be read set by the setting unit is changed based on a detection result by the detection unit.
  • control unit sets the next line of the predetermined line read by the reading unit or the same line corresponding to the next frame based on the detection result by the detection unit.
  • the pixel to be read set by the setting unit is changed.
  • the display unit displays an image in a predetermined shape obtained by cutting a predetermined part from the image
  • the control unit displays the pixel to be read set by the setting unit as the display
  • the pixel is changed to a pixel located in a pixel region corresponding to a predetermined shape of an image displayed by the unit.
  • the control unit includes display shape information indicating a predetermined shape of an image displayed by the display unit among the plurality of predetermined shapes.
  • the readout unit has in advance position information of a plurality of pixel regions respectively corresponding to the plurality of predetermined shapes, and the pixel region corresponding to the predetermined shape indicated by the display shape information output from the control unit The pixel information of the pixel located is read out.
  • the imaging apparatus further includes a reading speed changing unit that changes a reading speed of the pixel information by the reading unit, and the control unit changes the speed changing pixel to be read by the setting unit.
  • the section is changed according to the read speed changed.
  • the imaging apparatus further includes a transmission unit that wire-transmits the electrical signal output from the imaging unit in a predetermined signal format, and the control unit includes pixel information per unit time in the transmission unit. The pixel to be read set by the setting unit is changed so that the transmission amount does not exceed a predetermined standard transmission amount.
  • the control unit when the control unit changes the reading speed from the first reading speed to the second reading speed higher than the first reading speed by the speed changing unit,
  • the readout target pixel set by the setting unit is changed to a remaining pixel obtained by thinning out all the pixels of the imaging unit.
  • the imaging apparatus further includes a motion amount detection unit that detects a relative motion amount of the imaging unit with respect to a subject image, and the speed changing unit determines the motion amount detected by the motion amount detection unit. The reading speed is changed accordingly.
  • an imaging apparatus includes: a functional unit that can be freely moved forward and backward in an imaging region in the imaging unit; and a functional unit detection unit that detects whether the functional unit is located in the imaging region.
  • the speed changing unit may change the reading speed according to a detection result of the function unit detecting unit.
  • the imaging apparatus further includes a mode setting unit capable of setting an enlargement mode in which an image displayed on the display unit is partially enlarged and displayed, and the speed changing unit includes the mode setting. The reading speed is changed in accordance with the setting of the enlargement mode by the unit.
  • the control unit causes the setting unit to set the remaining pixels obtained by thinning out the pixels at a predetermined interval among all the pixels of the imaging unit as a first readout target pixel, Pixels located in a partial region of the entire pixel region of the imaging unit are set as second readout target pixels, and the readout unit includes pixel information of the first readout target pixel and the second readout Alternately reading out pixel information of the target pixel, and the image processing unit includes an image corresponding to the pixel information of the first target pixel read out before and after the pixel information read out by the reading unit, and One image is generated by combining the image corresponding to the pixel information of the second pixel to be read out.
  • the imaging apparatus further includes a detection unit that detects an imaging region having a luminance equal to or higher than a predetermined value in the image based on pixel information corresponding to the one image read by the reading unit.
  • the control unit causes the setting unit to set a pixel located in a bright region detected by the detection unit as the second readout target pixel.
  • the imaging apparatus sets a pixel to be read by the imaging unit, reads pixel information from only the set pixel, and transmits the pixel information. Therefore, the pixel to be read is changed according to various conditions, and the image data By adjusting the data amount, it is possible to perform efficient processing corresponding to the increase in the number of pixels.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the endoscope system according to the first embodiment.
  • FIG. 3 is a diagram showing an example of an imaging circle that forms an image on the CMOS sensor shown in FIG.
  • FIG. 4 is a flowchart showing a processing procedure of in-vivo image display processing of the endoscope system shown in FIG.
  • FIG. 5 is a timing chart for explaining the brightness detection process and the read address setting process.
  • FIG. 6 is a timing chart for explaining another example of the read address setting process.
  • FIG. 7 is a diagram illustrating a schematic configuration of the endoscope main body according to the first modification of the first embodiment.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the endoscope system according to the first embodiment.
  • FIG. 3 is a
  • FIG. 8 is a cross-sectional view for explaining the outline of the internal configuration of the distal end portion of the endoscope main body shown in FIG.
  • FIG. 9 is a block diagram illustrating a configuration of the endoscope system 100 according to the first modification of the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a display screen of the display unit illustrated in FIG.
  • FIG. 11 is a block diagram illustrating an example of the configuration of the endoscope system according to the first modification of the first embodiment.
  • FIG. 12 is a block diagram of a configuration of the endoscope system according to the second embodiment.
  • FIG. 13 is a diagram for explaining the setting of pixels to be read by the read address setting unit shown in FIG. FIG.
  • FIG. 14 is a timing chart for explaining an image signal transmitted in the endoscope system shown in FIG.
  • FIG. 15 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system shown in FIG.
  • FIG. 16 is a diagram for explaining the thinning readout setting process shown in FIG.
  • FIG. 17 is a diagram for explaining another example of the thinning readout setting process shown in FIG.
  • FIG. 18 is a block diagram illustrating a configuration of an endoscope system according to the first modification of the second embodiment.
  • FIG. 19 is a diagram illustrating the detection process of the motion detection unit illustrated in FIG.
  • FIG. 20 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system shown in FIG. FIG.
  • FIG. 21 is a block diagram illustrating a configuration of an endoscope system according to the second modification of the second embodiment.
  • FIG. 22 is a view for explaining the treatment tool expression from the distal end of the endoscope.
  • FIG. 23 is a diagram showing an example of a display screen of the display unit shown in FIG.
  • FIG. 24 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system shown in FIG.
  • FIG. 25 is a block diagram illustrating a configuration of an endoscope system according to the third modification of the second embodiment.
  • FIG. 26 is a diagram illustrating the treatment instrument insertion detection unit illustrated in FIG.
  • FIG. 27 is a flowchart showing a processing procedure of in-vivo image display processing of the endoscope system shown in FIG. FIG.
  • FIG. 28 is a block diagram of a configuration of the endoscope system according to the third embodiment.
  • FIG. 29 is a diagram for explaining the setting process of the read address setting unit shown in FIG.
  • FIG. 30 is a diagram illustrating an image generated by the image processing unit illustrated in FIG.
  • FIG. 31 is a diagram illustrating an image generated by the image processing unit illustrated in FIG.
  • FIG. 32 is a timing chart for explaining an image signal transmitted in the endoscope system shown in FIG.
  • FIG. 33 is a flowchart showing a processing procedure of in-vivo image display processing of the endoscope system shown in FIG.
  • FIG. 34 is a block diagram of a configuration of the endoscope system according to the fourth embodiment.
  • FIG. 35 is a diagram for explaining setting processing by the read address setting unit shown in FIG. FIG.
  • FIG. 36 is a diagram for explaining image composition processing by the composition unit shown in FIG. 34.
  • FIG. 37 is a flowchart showing a processing procedure of in-vivo image display processing of the endoscope system shown in FIG.
  • FIG. 38 is a view for explaining image composition processing by the composition unit shown in FIG.
  • FIG. 39 is a block diagram illustrating a configuration of an endoscope system according to the first modification of the fourth embodiment.
  • FIG. 40 is a diagram illustrating a surgical procedure.
  • 41 is a diagram showing an example of the display screen of the display unit shown in FIG.
  • FIG. 42 is a diagram showing an example of the display screen of the display unit shown in FIG.
  • FIG. 43 is a diagram for explaining the brightness detection processing of the brightness detection unit shown in FIG. FIG.
  • FIG. 44 is a diagram for explaining setting processing by the read address setting unit shown in FIG.
  • FIG. 45 is a diagram for explaining another example of setting processing by the read address setting unit shown in FIG.
  • FIG. 46 is a block diagram showing another configuration of the endoscope system according to the embodiment of the present invention.
  • FIG. 47 is a block diagram showing another configuration of the endoscope system according to the embodiment of the present invention.
  • FIG. 48 is a block diagram showing another configuration of the endoscope system according to the embodiment of the present invention.
  • a medical endoscope system that includes an imaging device at the distal end of an insertion portion and captures and displays an image of a body cavity of a subject such as a patient will be described.
  • the present invention is not limited to the embodiments.
  • the same parts are denoted by the same reference numerals.
  • the drawings are schematic, and it is necessary to note that the relationship between the thickness and width of each member, the ratio of each member, and the like are different from the actual ones. Also in the drawings, there are included portions having different dimensional relationships and ratios.
  • FIG. 1 is a diagram illustrating a schematic configuration of the endoscope system according to the first embodiment.
  • an endoscope system 101 according to the present embodiment is an elongated insertion having an objective lens (not shown) on which a subject image obtained by insertion into a body cavity or a duct is formed.
  • Unit 102 Light source device 60 that supplies irradiation light to insertion unit 102, and camera head unit that detachably attaches to the base end of insertion unit 102 and images a subject image formed on the objective lens of insertion unit 102 105, a control device 40 that processes an electrical signal output by imaging of the camera head unit 105 into an image signal so that it can be displayed on a monitor, and a display unit that is a peripheral device on which a video signal converted by the control device 40 is displayed 71.
  • the camera head part 105 is detachably attached to the eyepiece part 111 at the base end part of the insertion part 102.
  • the camera head unit 105 is connected to the control device 40 by a collective cable 131 having a plurality of signal lines.
  • a connector 123 detachably attached to the control device 40 is provided at the end of the collective cable 131.
  • CMOS image sensor 80 that captures a subject image formed on an objective lens (not shown) of the insertion unit 102 is provided inside the camera head unit 105.
  • the CMOS image sensor 80 outputs an electrical signal of the subject image subjected to photoelectric conversion to the control device 40 via the signal line of the collective cable 131.
  • the control device 40 is a device that supplies power to the image sensor and receives an electrical signal photoelectrically converted from the image sensor.
  • the controller 40 processes the electrical signal imaged by the CMOS image sensor 80 and connects it via the connection line 132.
  • a drive signal for controlling and driving the gain adjustment of the image sensor and the like is output.
  • the light source device 60 includes a white light source, a special light source, and the like, and is connected with light from the white light source or the special light source via a light guide connector under the control of the control device 40 connected via the signal line 133. It is supplied to the camera head unit 105 as illumination light.
  • FIG. 2 is a block diagram illustrating a configuration of the endoscope system according to the first embodiment.
  • the endoscope system 101 according to the first embodiment is connected to a CMOS image sensor 80 provided in the camera head unit 105 via a collective cable 131 having a plurality of signal lines.
  • a light source device 60 for supplying white light or special light, a display unit 71 for displaying an in-vivo image captured by the CMOS image sensor 80, an output unit 73 for outputting information relating to in-vivo observation, and various instruction information required for in-vivo observation Input unit 72 and a storage unit 74 for storing in-vivo images and the like.
  • the camera head unit 105 is provided with a CMOS image sensor 80.
  • the CMOS image sensor 80 includes an AFE (Analog Front End) unit 36 including a light receiving unit 28, a control circuit 35, a timing generator 34, a noise removing unit 37, and an A / D conversion unit 38, and an input digital signal.
  • the P / S converter 39 converts the parallel form to the serial form.
  • the light receiving unit 28 and the CMOS sensor peripheral circuit constituting the CMOS image sensor 80 are formed on a single chip, for example.
  • the light receiving unit 28 outputs, as pixel information, an electrical signal after photoelectric conversion from a pixel arbitrarily designated as a reading target among a plurality of pixels for imaging arranged two-dimensionally in a matrix.
  • the control circuit 35 performs an imaging process on the light receiving unit 28, an imaging speed of the light receiving unit 28, a readout process of pixel information from the pixels of the light receiving unit 28, and transmission of the read pixel information. Control processing.
  • the timing generator 34 is driven according to the timing signal output from the control device 40, and outputs the electrical signal after photoelectric conversion from the pixel at the position (address) designated as the reading target in the plurality of pixels constituting the light receiving unit 28. Output as information.
  • the noise removing unit 37 removes noise from a pixel information signal output from a predetermined pixel of the light receiving unit 28.
  • the A / D conversion unit 38 converts the pixel information signal from which noise has been removed from an analog signal into a digital signal, and outputs the signal to the P / S conversion unit 39.
  • the pixel information read from the light receiving unit 28 by the timing generator 34 and the AFE unit 36 is converted into a serial image signal converted by the P / S conversion unit 39 via a predetermined signal line of the collective cable 131. 40.
  • the control device 40 processes the image signal to display the in-vivo image on the display unit 71, and controls each component of the endoscope system 101.
  • the control device 40 includes an S / P converter 41, an image processor 42, a brightness detector 51, a dimmer 52, a read address setting unit 53, a CMOS drive signal generator 54, a controller 55, and a reference clock generator 56.
  • the S / P converter 41 converts the image signal, which is a digital signal received from the camera head unit 105, from a serial form to a parallel form.
  • the image processing unit 42 reads the parallel image signal output from the S / P conversion unit 41, that is, the pixel information of the pixel read by the timing generator 34 and the AFE unit 36, and the timing generator 34 and the AFE unit 36 read it out.
  • An in-vivo image displayed on the display unit 71 is generated based on the pixel address of the light receiving unit 28.
  • the image processing unit 42 includes a synchronization unit 43, a WB adjustment unit 44, a gain adjustment unit 45, a ⁇ correction unit 46, a D / A conversion unit 47, a format change unit 48, a sample memory 49, and a still image memory 50. .
  • the synchronization unit 43 inputs the input image signals of the R, G, and B pixels to a memory (not shown) provided for each pixel, and the pixels of the light receiving unit 28 read by the timing generator 34 and the AFE unit 36.
  • the values of the memories are held while being sequentially updated with the input image signals, and the image signals of the three memories are synchronized as RGB image signals.
  • the synchronized RGB image signals are sequentially output to the WB adjustment unit 44, and some of the synchronized RGB image signals are also output to the sample memory 49 for image analysis such as brightness detection. , Retained.
  • the WB adjustment unit 44 adjusts the white balance of the RGB image signal.
  • the gain adjusting unit 45 adjusts the gain of the RGB image signal.
  • the ⁇ correction unit 46 performs gradation conversion of the RGB image signal corresponding to the display unit 71.
  • the D / A converter 47 converts the RGB image signal after gradation conversion from a digital signal to an analog signal.
  • the format changing unit 48 changes the image signal converted into the analog signal into a format such as a high-definition method and outputs the same to the display unit 71. As a result, one in-vivo image is displayed on the display unit 71.
  • a part of the RGB image signal gain-adjusted by the gain adjusting unit 45 is also held in the still image memory 50 for still image display, enlarged image display, or emphasized image display.
  • the brightness detection unit 51 detects a brightness level corresponding to each pixel from the RGB image signals held in the sample memory 49, and the detected brightness level is stored in a memory provided in the brightness detection unit 51.
  • the brightness detection unit 51 calculates a gain adjustment value and a light irradiation amount based on the detected brightness level.
  • the calculated gain adjustment value is output to the gain adjustment unit 45, and the calculated light irradiation amount is output to the dimming unit 52. Further, the detection result by the brightness detection unit 51 is also output to the control unit 55.
  • the dimmer 52 sets the amount of current supplied to each light source and the driving condition of the neutral density filter based on the light irradiation amount output from the brightness detector 51, and generates a light source synchronization signal including the setting condition. Output to the light source device 60.
  • the dimmer 52 sets the type, amount of light, and light emission timing of the light emitted from the light source device 60.
  • the read address setting unit 53 can arbitrarily set the pixel to be read in the light receiving unit 28 based on the brightness level of each pixel of the RGB image signal detected by the brightness detection unit 51. That is, the read address setting unit 53 can arbitrarily set the pixel address of the light receiving unit 28 read by the timing generator 34 and the AFE unit 36. Further, the read address setting unit 53 outputs the set address of the pixel to be read to the synchronization unit 43.
  • the CMOS drive signal generation unit 54 generates a driving timing signal for driving the light receiving unit 28 and the CMOS sensor peripheral circuit, and outputs the timing signal to the timing generator 34 via a predetermined signal line in the collective cable 131.
  • This timing signal includes the address of the pixel to be read out.
  • the control unit 55 is constituted by a CPU or the like, reads various programs stored in a memory (not shown), and executes each processing procedure indicated in the program, thereby controlling each drive of each component, and each of these components Information input / output control and information processing for inputting / outputting various types of information to / from these components.
  • the control device 40 outputs setting data for imaging control to the control circuit 35 of the camera head unit 105 via a predetermined signal line in the collective cable 131.
  • the setting data includes an imaging speed of the light receiving unit 28, instruction information for instructing a reading speed of pixel information from an arbitrary pixel of the light receiving unit 28, transmission control information of the read pixel information, and the like.
  • the control unit 55 changes the pixel to be read set by the read address setting unit 53.
  • the reference clock generation unit 56 generates a reference clock signal that is an operation reference of each component of the endoscope system 101 and supplies the generated reference clock signal to each component of the endoscope system 101.
  • the light source device 60 operates under the control of the control unit 55.
  • the light source device 60 includes a white light source 61 composed of LEDs and the like, a special light source 62 that emits each color light of RGB narrowed by a narrow-band bandpass filter, and a white light source according to the light source synchronization signal transmitted from the light control unit 52.
  • a predetermined amount of current is supplied to the white light source 61 or the special light source 62 under the control of the light source drive circuit 63, and the amount of current supplied to the light source 61 or the special light source 62 and the light source drive circuit 63 for controlling the driving of the neutral density filter.
  • LED driver 64 is provided.
  • the light emitted from the white light source 61 or the special light source 62 is supplied to the insertion unit 102 via the light guide 21 and is emitted to the outside from the distal end of the insertion unit 102.
  • the image signals corresponding to all the pixels of the light receiving unit 28 are not always transmitted, but only the pixels having addresses arbitrarily set by the read address setting unit 53 are supported.
  • the image signal to be transmitted is transmitted to the control device 40 by the collective cable 131.
  • the endoscope system 101 can adjust the amount of signal to be transmitted by changing the pixel to be read out for each reading process according to various conditions.
  • the endoscope system 101 can perform transmission processing suitable for increasing the number of pixels or the frame rate even when the transmission amount of the signal line is limited.
  • the control unit 55 changes the pixel to be read set by the read address setting unit 53 in accordance with the optical system of the CMOS image sensor 80.
  • the control unit 55 changes the pixel to be read set by the read address setting unit 53 in accordance with the optical system of the CMOS image sensor 80.
  • the control unit 55 changes the pixel to be read set by the read address setting unit 53 in accordance with the optical system of the CMOS image sensor 80.
  • the thin insertion portion 102 when the thin insertion portion 102 is set in the camera head portion 105 when observing the inside of a thin body cavity, the light incident area in the thin insertion portion 102 is the standard diameter insertion portion. It becomes smaller than the case where 102 is set.
  • FIG. 3A is a diagram showing an imaging circle when the small-diameter insertion portion 102 is set.
  • FIG. 3B is a diagram showing an imaging circle when the standard-diameter insertion portion 102 is set.
  • 3 (1) and 3 (2) are shown at the same scale.
  • the circle C1 (see FIG. 3 (1)) in which light is actually incident on the light receiving unit 28 when the small-diameter insertion unit 102 is set has the standard-diameter insertion unit 102. When set, it is smaller than the circle C2 (see FIG. 3B) on which light is incident, and fits in the sensor region Si including all the pixels of the light receiving unit. When the small-diameter insertion portion 102 is set, no light is incident on the pixels outside the circle C1, and therefore pixel information on the pixels outside the circle C1 is not particularly necessary.
  • the control unit 55 in the control device 40 corresponds to the pixel to be read set by the read address setting unit 53 corresponding to the small-diameter insertion unit 102.
  • the pixel is changed to the pixel in the region S1 in the same range as the actual light incident region (circle C1), and the timing generator 34 and the AFE unit 36 read out the pixels in the region S1.
  • the control unit 55 determines the pixel to be read set by the read address setting unit 53. , All the pixels in the sensor region Si are changed.
  • FIG. 4 is a flowchart showing a processing procedure of in-vivo image display processing of the endoscope system 101 shown in FIG.
  • the control unit 55 of the control device 40 determines whether there is an instruction to start displaying the in-vivo image based on the instruction information input from the input unit 72 or the like. (Step S1). The control unit 55 repeats the determination process in step S1 until determining that there is an instruction to start displaying the in-vivo image.
  • the control unit 55 determines that there is an instruction to start displaying the in-vivo image (step S1: Yes)
  • the read address setting unit 53, the light control unit 52, and the control circuit 35 are controlled to perform an imaging process.
  • the pixel information of all the pixels in the sensor area Si of the light receiving unit 28 is set to be read, and the read address setting unit 53 is controlled by the control unit 55. All 28 pixels are set as pixels to be read.
  • the control unit 55 determines whether or not it is the first imaging process ( Step S3-1).
  • step S3-1 When the control unit 55 determines that it is the first imaging process (step S3-1: Yes), the timing generator 34 and the AFE unit 36 obtain pixel information from all pixels of the light receiving unit 28 according to a predetermined timing signal. Read (step S3-2). Then, the image processing unit 42 performs image processing for processing an image signal from all the pixels of the light receiving unit 28 to generate a single in-vivo image (step S4). The display unit 71 displays the image generated by the image processing unit 42 (step S5).
  • control unit 55 determines whether or not the end of the image display is instructed based on the instruction information input from the input unit 72 or the like (step S6). When it is determined that the end of image display has been instructed (step S6: Yes), the control unit 55 ends the image display process. On the other hand, when determining that the end of image display is not instructed (step S6: No), the control unit 55 determines whether it is the read address setting timing (step S7). For example, when information indicating that the small-diameter insertion unit 102 is set is input from the input unit 72, the control unit 55 determines that it is the read address setting timing. The control unit 55 periodically determines that it is the read address setting timing.
  • control unit 55 determines that it is not the read address setting timing (step S7: No)
  • the control unit 55 returns to the imaging process of step S2 without changing the read address of the read address setting unit 53.
  • the timing generator 34 and the AFE unit 36 perform the reading process on all the pixels of the light receiving unit 28 (step S3), similarly to the previous reading process. .
  • step S7 when the control unit 55 determines that it is the read address setting timing (step S7: Yes), the brightness detection unit 51 is based on the luminance information of the RGB image signal held in the sample memory 49. Then, brightness detection processing is performed to detect an imaging region (bright region) in which pixels having luminances greater than or equal to a predetermined value are distributed (step S8).
  • an imaging region (bright region) in which pixels having luminances greater than or equal to a predetermined value are distributed.
  • control unit 55 performs a read address setting process (step S9) in which the pixel to be read set by the read address setting unit 53 is changed to a pixel located in the bright area detected by the brightness detection unit 51. Thereafter, the read address setting unit 53 causes the timing generator 34 to output a timing signal including the address of the pixel to be read from the CMOS drive signal generation unit 54 (step S10), and returns to step S2.
  • step S3-1 the control unit 55 determines whether or not it is the first imaging process.
  • step S3-1 the timing generator 34 and the AFE unit 36 among the pixels of the light receiving unit 28, the bright area set by the read address setting unit 53
  • the image processing unit 42 processes the image signal from the pixels in the bright region of the light receiving unit 28 and corresponds to the actual image formation region. Image processing for generating a single in-vivo image is performed (step S4).
  • the thickness and number of signal lines that can be built into the collective cable 131 are limited. May be. For this reason, there is a limit to the amount of signal per unit time that can be stably transmitted via the signal line.
  • a CMOS image sensor is employed, image distortion of a moving image, that is, a so-called rolling shutter is likely to occur, so that the frame rate needs to be increased.
  • the endoscope system 101 according to the first embodiment only the pixels in the bright area involved in the image configuration are read out and transmitted to the control device 40, so that the transmission amount of the image signal in the collective cable 131 can be reduced. For this reason, according to the first embodiment, it is possible to cope with a high frame rate and to appropriately display the in-vivo image in correspondence with the actual imaging region, which is efficient while accommodating a high pixel count. Can be processed.
  • the brightness detection unit 51 detects a bright area for each line of the RGB image signal for brightness detection. For example, in the example shown in the timing chart of FIG. 5 (1), the brightness detection unit 51 decreases the brightness with the pixel at the time Pa when the brightness rises, based on the line data on the m lines of the n frames as a sample. A pixel at time Pb is detected. Then, the brightness detection unit 51 detects that the region corresponding to the period from the time Pa to the time Pb is a bright region, and the address of the pixel located corresponding to the period from the time Pa to the time Pb is controlled by the control unit 55. Output to.
  • the control unit 55 causes the readout address setting unit 53 to display the pixels located corresponding to the period between the time Pa and the time Pb detected in FIG. 5 (1) as shown in FIG. 5 (2).
  • the pixel is changed as a pixel to be read on the same line, that is, the m line of the image of the n + 1 frame, and the timing generator 34 and the AFE unit 36 are caused to perform the reading process.
  • the brightness detection unit 51 detects a bright area in the predetermined line based on the pixel information of the pixels in the predetermined line read by the timing generator 34 and the AFE unit 36.
  • the setting unit 55 changes the pixel to be read on the same line as the predetermined line of the image of the next frame to a pixel located in the bright area detected by the brightness detection unit 51.
  • control unit 55 can also reflect the read address on the next line of the same frame in steps S9 and S10. is there.
  • the control unit 55 In the read address setting unit 53, the pixels positioned corresponding to the period from the time Pa to the time Pb are set to the next line of the same frame, that is, the m + 1 line of the image of the n frame, as shown in FIG. Is set as a pixel to be read, and the timing generator 34 and the AFE unit 36 are caused to perform read processing. That is, the brightness detection unit 51 detects a bright area in the predetermined line based on the pixel information of the pixels in the predetermined line read by the timing generator 34 and the AFE unit 36.
  • control unit 55 changes the pixel to be read in the line next to the predetermined line to a pixel located in the bright area detected by the brightness detection unit 51. In this way, when the read address is reflected on the next line of the same frame, a large memory is not necessary, and the configuration can be simplified.
  • Modification 1 of Embodiment 1 Next, Modification 1 of Embodiment 1 will be described.
  • the pixel to be read is set in correspondence with the display shape of the image actually displayed on the display unit 71.
  • FIG. 7 is a diagram showing a schematic configuration of the endoscope main body portion in Modification 1 of Embodiment 1.
  • the endoscope 1 according to the first modification of the first embodiment includes an elongated insertion portion 2 and a proximal end side of the insertion portion 2 that is held by an endoscope apparatus operator.
  • An operation unit 3 and a flexible universal cord 4 extending from the side of the operation unit 3 are provided.
  • the universal cord 4 includes a light guide cable, an electric cable, and the like.
  • the insertion portion 2 is a distal end portion 5 incorporating a CMOS sensor as an image sensor, a bending portion 6 that is configured by a plurality of bending pieces, and is provided on the proximal end side of the bending portion 6. And a long flexible tube portion 7 having flexibility.
  • the connector 8 is provided at the end of the universal cord 4.
  • the connector portion 8 includes a light guide connector 9 that is detachably connected to the light source device, and an electrical contact that is connected to the control device to transmit an electrical signal of the subject image photoelectrically converted by the CMOS sensor to the signal processing control device.
  • An air supply base 11 for sending air to the nozzles of the part 10 and the tip part 5 is provided.
  • the light source device includes a white light source, a special light source, and the like, and supplies light from the white light source or the special light source as illumination light to the endoscope 1 connected via the light guide connector 9.
  • the control device is a device that supplies power to the image sensor and receives an electrical signal photoelectrically converted from the image sensor, and processes the electrical signal imaged by the image sensor to display an image on a display unit that is connected. In addition to displaying, a drive signal for controlling and driving the gain adjustment of the image sensor is output.
  • the operation section 3 includes a bending knob 12 that bends the bending section 6 in the vertical direction and the left-right direction, a treatment instrument insertion section 13 that inserts a treatment instrument 16 such as a biopsy forceps and a laser probe into the body cavity, a control device, and a light source device.
  • a plurality of switches 14 for operating peripheral devices such as air supply, water supply, and gas supply means are provided.
  • the treatment tool 16 inserted from the treatment tool insertion portion 13 is exposed from the opening 15 at the distal end of the insertion portion 2 through a treatment tool channel provided inside. For example, when the treatment tool 16 is a biopsy forceps, a biopsy is performed in which the affected tissue is collected with the biopsy forceps.
  • FIG. 8 is a cross-sectional view for explaining the outline of the internal configuration of the distal end portion 5 of the endoscope 1 shown in FIG.
  • an illumination lens 22 At the distal end of the insertion portion 5 of the endoscope 1, an illumination lens 22, an observation window 23, a treatment instrument exposing opening 15 communicating with the treatment instrument channel 33, and air / water supply A nozzle (not shown) is provided.
  • a light receiving unit 28 having a plurality of pixels for imaging arranged two-dimensionally in a matrix at the imaging position of the optical system composed of the lenses 24a and 24b is arranged.
  • the light receiving unit 28 receives light incident through the optical system including the lenses 24a and 24b and images the inside of the body cavity.
  • a cover glass 25 is provided on the light receiving surface side of the light receiving unit 28.
  • An on-chip filter 27 in which R, G, or B filters are arranged corresponding to the arrangement of the pixels of the light receiving unit 28 is provided between the cover glass 25 and the light receiving unit 28.
  • the light receiving unit 28 is mounted on the circuit board 26 together with an IC 29, a chip capacitor 30, and the like that instruct the light receiving unit 28 at the imaging timing and read an image signal from the light receiving unit 28 and convert it into an electrical signal.
  • An electrode 32 is provided on the circuit board 26.
  • the electrode 32 is connected to the collective cable 31 that transmits an electric signal to the control device via, for example, an anisotropic conductive resin film.
  • the collective cable 31 includes a plurality of signal lines such as a signal line for transmitting an image signal which is an electric signal output from the light receiving unit 28 or a signal line for transmitting a control signal from a control device.
  • FIG. 9 is a block diagram illustrating a configuration of the endoscope system 100 according to the first modification of the first embodiment.
  • the endoscope system 100 differs from the endoscope system 101 shown in FIG. 2 in that a CMOS image sensor 80 is provided at the distal end portion 5, and the CMOS image sensor 80 and the control device 40 are different from each other.
  • the connection is made via the collective cable 31 in the insertion portion 2. Further, the light emitted from the light source device 60 is emitted to the outside from the tip of the tip 5 via the light guide 21.
  • the entire in-vivo image generated by the image processing unit 42 is not displayed as it is in the menu M1 displayed on the display unit 71.
  • An octagonal image G1 is displayed in which a square part including the above is taken out and the vertex part is cut out in a triangular shape.
  • the display unit 71 displays an image in a predetermined shape by cutting out a predetermined part from one in-vivo image generated by the image processing unit 42 according to the type of the display menu.
  • the read address setting unit 53 includes a sensor area Si including all pixels of the light receiving unit 28, as shown in FIG. 10 (2).
  • a pixel located in the octagonal pixel region S3 corresponding to the shape of the image displayed on the display unit 71 is set as a pixel to be read.
  • the setting unit 55 changes the pixel to be read set by the read address setting unit 53 in accordance with the display shape of the actually displayed image among the plurality of display shapes.
  • the thickness of the insertion portion 2 is limited to be introduced into the body, the thickness and number of signal lines that can be built in the insertion portion 2 are also limited. Limited. For this reason, it is difficult to significantly increase the amount of signal transmitted per unit time via the signal line.
  • a CMOS image sensor is employed, image distortion of a moving image, that is, a so-called rolling shutter is likely to occur, so that the frame rate needs to be increased.
  • pixel information is read out only from pixels corresponding to the shape of an actually displayed image, as in the first embodiment.
  • the transmission amount of the image signal in the collective cable 31 can be reduced, the in-vivo image having a predetermined display shape can be efficiently displayed while supporting a higher pixel and a higher frame rate. be able to.
  • the following embodiments will be described with an endoscope having the same form as the endoscope system 100 shown in FIG.
  • the timing generator 34 at the front end portion is previously provided with positional information of each pixel area corresponding to each predetermined shape of the image displayed on the display unit 71, and the timing generator 34 and the AFE side are subject to reading.
  • the pixel area may be switched in hardware.
  • the timing generator 34a provided at the distal end portion 5a has a pixel region corresponding to each predetermined shape of the image displayed on the display unit 71.
  • a mask group 34b to be masked is provided in advance. Each mask in the mask group 34b corresponds to position information of a plurality of pixel regions respectively corresponding to a plurality of predetermined shapes.
  • the read address setting unit 53a of the control device 40a outputs display shape information indicating the display shape of an image to be displayed next among the plurality of predetermined display shapes as a timing signal. And output to the timing generator 34a.
  • the timing generator 34a and the AFE unit 36a switch to a mask corresponding to the display shape indicated by the received display shape information, and change the pixel information of the pixels in the switched mask, that is, the display shape of the image actually displayed by the display unit 71. Pixel information is read out only from pixels located in the corresponding pixel region. Further, the read address setting unit 53a may instruct the switching of the mask and may further set the pixel to be read out of the pixels in the mask based on the brightness detection result of the brightness detection unit 51. In this case, since the data for designating the pixel to be read by the light receiving unit 28 is reduced, the efficiency can be further increased.
  • FIG. 12 is a block diagram of a configuration of the endoscope system according to the second embodiment.
  • the control device 240 of the endoscope system 200 includes a control unit 255 having the same function as the control unit 55 instead of the control unit 55 in the control device 40.
  • a read address setting unit 253 is provided.
  • the control device 240 further includes a frame rate switching unit 254 as compared with the control device 40.
  • the frame rate switching unit 254 changes the frame rate.
  • the frame rate switching unit 254 also changes the imaging timing in the light receiving unit 28 and the readout speed in the timing generator 34 in accordance with the changed frame rate. In other words, in response to the frame rate changed by the frame rate switching unit 254, the imaging timing in the light receiving unit 28 of the tip 5 and the readout timing of the timing generator 34 are also controlled. Note that the light emission processing in the light source device 60 is also controlled in accordance with the frame rate changed by the frame rate switching unit 254.
  • the control unit 255 changes the pixel to be read set by the read address setting unit 253 according to the read speed changed by the frame rate switching unit 254.
  • the setting of the pixel to be read by the read address setting unit 253 will be described. For example, a case where a standard frame rate and a high-speed frame rate faster than the standard frame rate are provided as frame rates will be described as an example.
  • the control unit 255 causes the reading address setting unit 253 to set all pixels of the light receiving unit 28 as reading targets as shown in FIG. A fine image can be generated.
  • the control unit 255 causes the read address setting unit 253 to set the pixels at a predetermined interval among all the pixels of the light receiving unit 28 as illustrated in FIG. The remaining pixels obtained by thinning out are set as readout target pixels.
  • the control unit 255 has the light receiving unit 28 at the high frame rate. Only half of the pixels are read out by the timing generator 34 and the AFE unit 36.
  • the data amount Db of the image signal corresponding to one image at the high frame rate is the data amount Da of the image signal corresponding to one image of the standard frame rate (see FIG. 14). 14 (1))).
  • the control unit 255 reads the address setting unit so that the transmission amount per unit time of the signal lines for transmitting the image signals of the aggregate cable 31 is the same as the predetermined standard transmission amount at the standard frame rate.
  • the pixel to be read set by H.253 is changed.
  • the transmission amount of the signal line can be stabilized regardless of the frame rate. Therefore, in the second embodiment, a moving image with a high resolution can be displayed at a standard frame rate when there is little motion. Further, in the second embodiment, when the motion is fast, the motion can be observed smoothly without any transmission trouble even when the frame rate is increased to improve the moving image, and the image distortion of the moving image, so-called rolling shutter can be prevented.
  • the control unit 255 sends the collective cable to the read address setting unit 253 so that the transmission amount per unit time of the signal line for transmitting the image signal of the collective cable 31 does not exceed a predetermined standard transmission at the standard frame rate.
  • the pixel to be read may be set so that the transmission amount per unit time of the signal line for transmitting 31 image signals is lower than a predetermined standard transmission amount at the standard frame rate.
  • FIG. 15 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system 200 shown in FIG.
  • control unit 255 determines whether or not there is an instruction to start displaying the in-vivo image, similarly to step S1 shown in FIG. 4 (step S11). The control unit 255 repeats the determination process in step S11 until determining that there is an instruction to start displaying the in-vivo image.
  • the frame rate switching unit 254 sets the frame rate to the default standard frame rate because the first imaging process is performed. (Step S12). Since this is the first imaging process, the control unit 255 causes the read address setting unit 253 to set all pixels of the light receiving unit 28 as pixels to be read (step S13). As a result, after the light receiving unit 28 performs the imaging process at the timing corresponding to the standard frame rate set by the frame rate switching unit 254 (step S14), the timing generator 34 and the AFE unit 36 receive the light reception. Pixel information is read from all the pixels of the unit 28 (step S15).
  • the image processing unit 42 performs image processing for processing an image signal from all the pixels of the light receiving unit 28 to generate one high-definition in-vivo image (step S16).
  • the display unit 71 displays the image generated by the image processing unit 42 (step S17).
  • step S18 determines whether or not the end of the image display is instructed as in step S6 of FIG. 4 (step S18).
  • step S18: Yes the control unit 255 ends the image display process.
  • step S18: No the control unit 255 has an instruction to increase the frame rate based on the instruction information input from the input unit 72. Whether or not (step S19).
  • step S19: No the standard frame rate remains unchanged, so that the process returns to step S13 and the readout processing is set for all pixels before the next imaging.
  • the timing generator 34 and the AFE unit 36 perform the readout process on all the pixels of the light receiving unit 28 in the same manner as the previous readout process (step S15).
  • step S19: Yes when the control unit 255 determines that there is an instruction to increase the frame rate (step S19: Yes), the frame rate switching unit 254 sets the frame rate to the high frame rate (step S20).
  • control unit 255 thins out the pixels to be read set by the read address setting unit 253 to only half the pixels of the light receiving unit 28 in which all pixels of the light receiving unit 28 are thinned out at predetermined intervals. Read setting processing is performed (step S21).
  • the control unit 255 sets the pixels of the lines R1 and R2 and the lines R5 and R6 out of the lines R1 to R7 so that the pixel information is read every two lines, as shown in FIG. It is set as a pixel to be read out.
  • the control unit 255 may cause the read address setting unit 253 to set to read two pixels of R, G or G, B alternately.
  • the two pixels P1 and P2 of R and G are set as readout objects, and the remaining pixel P3. , P4 are not subject to reading.
  • the two pixels P7 and P8 of B and G are set as reading targets, and the remaining pixels P5 and P6 are excluded from reading targets.
  • the control unit 255 may cause the read address setting unit 253 to set the pixel to be read so that it is read every two lines in the vertical direction. May be divided into blocks, and pixels to be read out may be set in units of blocks.
  • the light receiving unit 28 performs an imaging process at a timing corresponding to the high-speed frame rate set by the frame rate switching unit 254 (step S ⁇ b> 22), and the timing generator 34 and the AFE unit 36 are connected to the light receiving unit 28.
  • a thinning-out reading process for reading out pixel information from only half of the pixels thinned out from all pixels is performed (step S23).
  • the image processing unit 42 processes the image signal by the half-thinned pixels and performs image processing to generate one in-vivo image (step S24), and the display unit 71 is generated by the image processing unit 42.
  • the displayed image is displayed (step S25). In this case, the image displayed on the display unit 71 is rewritten at a high rate and the movement is smoothly displayed. Therefore, even if the image has a lower resolution than the image at the standard frame rate, the observation is hindered. There is no.
  • control unit 255 determines whether there is an instruction to standardize the frame rate based on the instruction information input from the input unit 72 (step S26).
  • step S26 determines that there is no instruction to standardize the frame rate (step S26: No)
  • the high-speed frame rate remains unchanged, so the process returns to step S21 to perform the thinning readout setting process in which half of the pixels are to be read out.
  • step S22 the next imaging process (step S22) is performed, and the timing generator 34 and the AFE unit 36 perform thinning-out reading similarly to the previous reading process (step S23).
  • step S26 determines that there is an instruction to standardize the frame rate
  • the process returns to step S12, and the frame rate switching unit 254 sets the frame rate to the standard frame rate (step S12).
  • the control unit 255 causes the read address setting unit 253 to set all pixels of the light receiving unit 28 as pixels to be read, so that the next imaging process ( Step S14) is performed, and the timing generator 34 and the AFE unit 36 perform a reading process on all the pixels of the light receiving unit 28 (step S15).
  • the transmission amount of the signal line can be stabilized regardless of the frame rate, it is possible to appropriately cope with either a high pixel count or a high frame rate.
  • the read address setting unit 253 refers to a correspondence table between each frame rate stored in advance and each address distribution of the pixel to be read, and the like, for example, the signal line for transmitting the image signal of the collective cable 31.
  • the pixel to be read may be set at a thinning rate corresponding to each frame rate so that the transmission amount per unit time does not exceed a predetermined standard transmission amount at the standard frame rate.
  • FIG. 18 is a block diagram illustrating a configuration of an endoscope system according to the first modification of the second embodiment.
  • a control device 240a of the endoscope system 200a is a control unit having the same function as the control unit 255 instead of the control unit 255 in the control device 240.
  • a motion detection unit 251a that detects a relative motion amount of the CMOS image sensor 80 with respect to the subject image as compared with the control device 240.
  • the motion detector 251a uses a plurality of back and forth RGB image signals held in the sample memory 49, and uses a predetermined pixel region (for example, a pixel region corresponding to a bleeding part) set on each RGB image.
  • the amount of motion from the previous image is detected, and the detected amount of motion is output to the control unit 255a.
  • the motion detection unit 251a compares the image of the nth frame with the image of the (n + 1) th frame that is the next frame, and a plurality of pixel regions set on each image.
  • Correlation value for example, a normalized cross-correlation value, is calculated, and a motion vector of each pixel region between adjacent images of this series of images is calculated as a motion amount.
  • This pixel area is an area constituted by one or more pixel blocks on the image.
  • the frame rate switching unit 254 changes the frame rate from the standard frame rate to the high-speed frame rate when the motion amount detected by the motion detection unit 251a exceeds a predetermined amount, and accordingly, the timing generator 34 and the AFE unit 36 Is changed to a speed corresponding to a high-speed frame rate faster than a predetermined standard speed.
  • FIG. 20 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system 200a shown in FIG.
  • control unit 255a determines whether or not there is an instruction to start displaying the in-vivo image, similarly to step S11 shown in FIG. 15 (step S11-1).
  • step S11 shown in FIG. 15 the control unit 255a repeats the determination process of step S11-1 until it is determined that there is an instruction to start displaying the in-vivo image (step S11-1: Yes).
  • step S11-1: Yes the frame rate switching unit 254 sets the standard frame rate in the same manner as in steps S12 to S17 shown in FIG.
  • the read address setting unit 253 sets all the pixels of the light receiving unit 28 as pixels to be read (step S13-1), and the light receiving unit 28 takes an image at a timing corresponding to the standard frame rate.
  • step S14-1 After performing the processing (step S14-1), the timing generator 34 and the AFE unit 36 read pixel information from all the pixels of the light receiving unit 28 (step S15-1), and the image processing unit 42 uses all the pixels of the light receiving unit 28. Image processing for generating an in-vivo image based on the image signal is performed (step S16-1), and the display unit 71 displays the in-vivo image. Step S17-1).
  • step S18 of FIG. 15 the control unit 255a determines whether or not the end of image display is instructed (step S18-1), and determines that the end of image display is instructed (step S18). -1: Yes), the image display process is terminated.
  • step S18-1 determines that the end of image display is not instructed (step S18-1: No)
  • the motion detection unit 251a detects the relative motion amount of the CMOS image sensor 80 with respect to the subject image. A quantity detection process is performed (step S19-1).
  • the control unit 255a determines whether or not the motion detected by the motion detection unit 251a has increased beyond a predetermined amount (step S19-2).
  • step S19-2 determines that the amount of motion has not increased (step S19-2: No)
  • the process returns to step S13-1, and readout processing is performed for all pixels. Is set.
  • step S19-2 determines that the motion detected by the motion detection unit 251a has increased beyond a predetermined amount (step S19-2: Yes)
  • the frame rate switching unit 254 responds to the fast motion.
  • the frame rate is set to a high frame rate (step S20-1). Similarly to steps S21 to S24 in FIG.
  • control unit 255a causes the read address setting unit 253 to perform a thinning-out read setting process (step S21-1), and at the timing corresponding to the high-speed frame rate, 28 performs imaging processing (step S22-1), the timing generator 34 and the AFE unit 36 perform thinning-out reading (step S23-1), and the image processing unit 42 based on the image signal of the half-thinned pixels. Then, image processing for generating an in-vivo image is performed (step S24-1), and the display unit 71 displays the in-vivo image (step S25-1).
  • the motion detection unit 251a performs motion amount detection processing (step S26-1), and the control unit 255a determines whether or not the motion detected by the motion detection unit 251a is lower than a predetermined amount (step S26). -2).
  • step S26-2 determines that the amount of motion has not decreased (step S26-2: No)
  • the thinned-out readout setting process is performed by returning to step S21-1 while maintaining the high-speed frame rate in order to cope with the fast motion, Each process including the thinning-out reading process is performed at a timing corresponding to the high-speed frame rate.
  • step S26-2 determines that the amount of motion has decreased (step S26-2: Yes)
  • step S13-1 the all pixel readout setting process
  • the pixel to be read is set in accordance with the changed frame rate, so that the transmission amount of the signal line is stabilized and appropriate. In-vivo observation can be realized.
  • FIG. 21 is a block diagram illustrating a configuration of an endoscope system according to the second modification of the second embodiment.
  • the control device 240 b of the endoscope system 200 b according to the second modification of the second embodiment is a control unit having the same function as the control unit 255 instead of the control unit 255 in the control device 240.
  • a treatment instrument detection unit 251b as compared with the control device 240.
  • the treatment tool 16 when surgical treatment is performed by exposing the treatment tool 16 from the opening 15 a at the distal end of the insertion portion 2 of the endoscope 1, the treatment tool is included in the imaging region of the light receiving unit 28. Since the 16 tips are also positioned, the tip of the treatment instrument 16 is also displayed in the image G2 as shown in the menu M1 in FIG. Note that the treatment tool 16 corresponds to a functional unit that can be operated to freely move back and forth in the imaging region of the CMOS image sensor 80 in the claims. Therefore, the treatment instrument detection unit 251b processes the image signal held in the sample memory 49, detects whether or not the in-vivo image includes an image corresponding to the treatment instrument, and the treatment instrument 16 is within the imaging region.
  • the distal end of the treatment tool 16 is colored with a color that does not normally exist in the body cavity of the endoscope observation target, for example, a blue marker, and the treatment tool detection unit 251b distributes G pixels having a luminance of a predetermined value or more over a predetermined region. In the case, it is detected that the treatment tool 16 is in the imaging field.
  • 223 of FIG. 22 is an air / water supply nozzle.
  • the frame rate switching unit 254 changes the frame rate from the standard frame rate in order to appropriately display the fast movement for the treatment.
  • the high-speed frame rate is changed, and accordingly, the reading speed by the timing generator 34 is changed to a speed corresponding to a high-speed frame rate faster than a predetermined standard speed.
  • FIG. 24 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system 200b shown in FIG.
  • control unit 255b determines whether or not there is an instruction to start displaying the in-vivo image, similarly to step S11 shown in FIG. 15 (step S11-3).
  • the control unit 255b repeats the determination process of step S11-3 until it is determined that there is an instruction to start displaying the in-vivo image (step S11-3: Yes), similarly to step S11 shown in FIG.
  • the frame rate switching unit 254 sets the standard frame rate in the same manner as in steps S12 to S17 shown in FIG.
  • the control unit 255b causes the read address setting unit 253 to set all pixels in the light receiving unit 28 as pixels to be read (step S13-3), and receives light at a timing corresponding to the standard frame rate.
  • the unit 28 performs an imaging process (step S14-3), the timing generator 34 and the AFE unit 36 read out pixel information from all the pixels of the light receiving unit 28 (step S15-3), and the image processing unit 42 sets all the light receiving units 28.
  • Image processing for generating an in-vivo image based on the image signal from the pixel is performed (step S16-3), and the display unit 71 displays the body image. Displaying an image (step S17-3).
  • step S18 of FIG. 15 the control unit 255b determines whether or not an instruction to end image display is given (step S18-3), and determines that an instruction to end image display is given (step S18). -3: Yes), the image display process is terminated.
  • the treatment instrument detection unit 251b determines whether the in-vivo image includes an image corresponding to the treatment instrument. A treatment tool detection process to be detected is performed (step S19-3). The control unit 255b determines whether there is an image corresponding to the treatment tool in the in-vivo image from the detection result of the treatment tool detection unit 251b (step S19-4).
  • control unit 255b determines that there is no image corresponding to the treatment tool in the in-vivo image (step S19-4: No), it is before the surgical treatment and there is no problem in observation even at the standard frame rate.
  • readout processing is set for all pixels.
  • the frame rate switching unit 254 performs smooth processing corresponding to the fast movement of the surgical procedure.
  • the frame rate is set to a high frame rate (step S20-3). Similarly to steps S21 to S24 in FIG.
  • control unit 255b causes the read address setting unit 253 to perform a thinning-out read setting process (step S21-3), and at the timing corresponding to the high-speed frame rate, 28 performs imaging processing (step S22-3), the timing generator 34 performs thinning-out reading (step S23-3), and the image processing unit 42 extracts the in-vivo image based on the image signal of the half-thinned pixels.
  • the generated image processing is performed (step S24-3), and the display unit 71 displays the in-vivo image (step S25-3).
  • the treatment instrument detection unit 251b performs treatment instrument detection processing (step S26-3), and the control unit 255b determines whether there is an image corresponding to the treatment instrument in the in-vivo image based on the detection result of the treatment instrument detection unit 251b. Is determined (step S26-4). If the control unit 255b determines that there is an image corresponding to the treatment tool in the in-vivo image (step S26-4: Yes), the process proceeds to step S21-3 while maintaining the high frame rate in order to cope with the fast movement of the surgical procedure. Return decimation readout setting processing is performed, and each processing including decimation readout processing is performed at a timing corresponding to the high-speed frame rate.
  • step S26-4 determines that there is no image corresponding to the treatment tool in the in-vivo image (step S26-4: No)
  • the frame rate is set to cope with the case where the surgical treatment is finished and the treatment tool is taken out. Since there is no problem even if the value is lowered, the process returns to step S12-3.
  • the frame rate is set to the standard frame rate (step S12-3) and the all-pixel readout setting process (step S13-3) is performed
  • the all-pixel readout process is included at a timing corresponding to the standard frame rate. Each process is performed.
  • the readout target pixel is set in accordance with the changed frame rate, so that the transmission amount of the signal line is stabilized and appropriately In-vivo observation can be realized.
  • FIG. 25 is a block diagram illustrating a configuration of an endoscope system according to the third modification of the second embodiment.
  • the endoscope system 200c according to the third modification of the second embodiment includes a treatment instrument insertion detection unit 275 that detects insertion of a treatment instrument into the endoscope 1.
  • the frame rate switching unit 254 of the control device 240c switches the frame rate from the standard frame rate to the high frame rate when the treatment instrument insertion detection unit 275 detects the insertion of the treatment instrument 16 into the endoscope 1.
  • the treatment instrument insertion detection unit 275 includes a switch 214 provided in the middle of the insertion path 213, a detection circuit 215, and a signal line 216 connected to the control unit 255c, as illustrated in FIG.
  • the switch 214 provided in the middle of the insertion path is depressed as indicated by the arrow Y2
  • a signal indicating the switch depression is received from the detection circuit 215.
  • the signal is output to the control unit 255c via the signal line 216.
  • the control unit 255c determines that the treatment tool 16 is used.
  • the frame rate switching unit 254 changes the frame rate from the standard frame rate to the high frame rate in order to appropriately display the fast movement for treatment, and accordingly, the reading speed by the timing generator 34 and the AFE unit 36 is changed. Is changed to a speed corresponding to a high-speed frame rate faster than a predetermined standard speed.
  • the pressing of the switch 214 is also released, and a signal indicating release of the pressing of the switch is output from the detection circuit 215 to the control unit 255c via the signal line 216. Is done.
  • the control unit 255c receives this signal, the control unit 255c determines that the use of the treatment instrument 16 is finished, and the frame rate switching unit 254 changes the frame rate from the high-speed frame rate to the standard frame rate.
  • FIG. 27 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system 200c shown in FIG.
  • control unit 255c determines whether or not there is an instruction to start displaying the in-vivo image, similarly to step S11 shown in FIG. 15 (step S11-5).
  • step S11 shown in FIG. 15 the control unit 255c repeats the determination process of step S11-5 until it is determined that there is an instruction to start displaying the in-vivo image (step S11-5: Yes).
  • step S11-5: Yes the frame rate switching unit 254 sets the standard frame rate in the same manner as in steps S12 to S17 shown in FIG.
  • Step S12-5 the control unit 255c causes the read address setting unit 253 to set all pixels of the light receiving unit 28 as pixels to be read (step S13-5), and at a timing corresponding to the standard frame rate,
  • the light receiving unit 28 performs an imaging process (step S14-5), the timing generator 34 and the AFE unit 36 read pixel information from all the pixels of the light receiving unit 28 (step S15-5), and the image processing unit 42 Image processing for generating in-vivo images based on image signals from all pixels is performed (step S16-5), and the display unit 71 Show internal image (step S17-5).
  • control unit 255c determines whether or not an instruction to end image display is given (step S18-5), and determines that an instruction to end image display is given (step S18). ⁇ 5: Yes), and the image display process ends.
  • the treatment instrument insertion detection is performed based on the presence / absence of a signal input from the treatment instrument insertion detection unit 275. It is determined whether or not the part 275 has detected the insertion of the treatment instrument (step S19-5).
  • step S19-5 determines that the treatment instrument insertion detection unit 275 does not detect the insertion of the treatment instrument (step S19-5: No), since it is before the surgical procedure and there is no hindrance to observation even at the standard frame rate, Returning to step S13-5, readout processing is set for all pixels.
  • the frame rate switching unit 254 responds to the rapid movement of the surgical procedure.
  • the frame rate is set to a high frame rate (step S20-5). Similarly to steps S21 to S24 in FIG.
  • control unit 255c causes the read address setting unit 253 to perform a thinning-out reading setting process (step S21-5), and at the timing corresponding to the high-speed frame rate, 28 performs imaging processing (step S22-5), the timing generator 34 and the AFE unit 36 perform thinning-out reading (step S23-5), and the image processing unit 42 based on the image signal of the half-thinned pixels. Then, image processing for generating an in-vivo image is performed (step S24-5), and the display unit 71 displays the in-vivo image (step S25-5).
  • step S19-5 the control unit 255c determines whether the treatment instrument insertion detection unit 275 has detected removal of the treatment instrument (step S26-5).
  • the control unit 255c determines that the treatment tool insertion detection unit 275 does not detect removal of the treatment tool (step S26-5: No)
  • the high frame rate is maintained at the high frame rate in order to cope with the fast movement of the surgical procedure.
  • the thinning readout setting process is performed, and each process including the thinning readout process is performed at a timing corresponding to the high-speed frame rate.
  • step S26-5 Yes
  • the process returns to step S12-5.
  • the frame rate is set to the standard frame rate (step S12-5) and the all pixel readout setting process (step S13-5) is performed, the all pixel readout process is included at a timing corresponding to the standard frame rate. Each process is performed.
  • Embodiment 3 Next, Embodiment 3 will be described.
  • the frame rate is automatically changed, and the pixels in the pixel area corresponding to the part of the in-vivo image to be enlarged are read out. The case of using the pixel will be described.
  • FIG. 28 is a block diagram of a configuration of the endoscope system according to the third embodiment.
  • the endoscope system 300 according to the third embodiment is an enlargement in which the in-vivo image displayed on the display unit 71 is partially enlarged instead of the input unit 72 shown in FIG.
  • An input unit 372 further includes an enlargement mode setting unit 375 that sets a mode and outputs enlargement mode setting information.
  • the control device 340 includes a control unit 355 having the same function as that of the control unit 255 instead of the control unit 255 of FIG. 12, and includes a read address setting unit 353 instead of the read address setting unit 253.
  • a frame rate switching unit 354 is provided instead of the rate switching unit 254.
  • the frame rate switching unit 354 changes the frame rate from the standard frame rate to the high-speed frame rate and changes the reading speed by the timing generator 34 and the AFE unit 36. The speed is changed to a speed corresponding to a high-speed frame rate higher than a predetermined standard speed. As described above, the frame rate switching unit 354 changes the frame rate according to the setting of the enlargement mode setting unit 375.
  • the control unit 355 does not display all the pixels of the light receiving unit 28 on the readout address setting unit 353 but the in-vivo image actually enlarged in the enlargement mode. Only the pixels in the pixel area corresponding to a part of the pixel are set as pixels to be read.
  • the frame rate switching unit 354 sets the frame rate to the standard frame rate
  • the read address setting unit 353 has the light receiving unit as shown in FIG. A sensor region Si including all 28 pixels is set as a reading target so that a high-definition image Gc can be generated.
  • the frame rate switching unit 354 sets the frame rate to a high frame rate and the read address setting unit 353 is configured as shown in FIG.
  • a pixel in a region S4 that is actually enlarged and displayed on the display unit 71 in the sensor region of the light receiving unit 28 is set as a reading target, and an image Gd corresponding to the region S4 is set to a high-speed frame rate. It can be generated corresponding to. 30 and 31 are shown at the same scale.
  • the control unit 355 reads the read address when the transmission amount per unit time of the signal lines for transmitting the image signals of the aggregate cable 31 is the same as the predetermined standard transmission amount at the standard frame rate at the high speed rate.
  • the setting unit 353 is caused to set, as a reading target, a central region where half of all the pixels are located as the region S4 of the light receiving unit 28, and the pixel signals of the half pixels of the light receiving unit 28 are set to the timing generator 34 and the AFE.
  • the unit 36 reads the data.
  • the data amount Dd of the image signal corresponding to one image in the enlargement mode is the data amount Dc of the image signal corresponding to one image at the standard magnification (FIG. 32). (See (1)), and the transmission amount of the signal line can be made substantially constant.
  • the control unit 355 reads the readout address setting unit 353 so that the transmission amount per unit time of the signal lines for transmitting the image signals of the collective cable 31 is lower than the predetermined standard transmission amount at the standard frame rate.
  • a target pixel may be set.
  • FIG. 33 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system 300 shown in FIG.
  • control unit 355 determines whether there is an instruction to start displaying the in-vivo image (step S31), as in step S11 shown in FIG. Control unit 355 repeats the determination process of step S31 until it is determined that there is an instruction to start displaying the in-vivo image (step S31: Yes), similarly to step S11 shown in FIG.
  • the frame rate switching unit 354 sets the standard frame rate, as in steps S12 to S17 shown in FIG.
  • Step S32 the control unit 355 causes the read address setting unit 353 to set all the pixels of the light receiving unit 28 as pixels to be read (step S33), and the light receiving unit 28 performs an imaging process at a timing corresponding to the standard frame rate.
  • Step S34 the timing generator 34 and the AFE unit 36 read out the pixel information from all the pixels of the light receiving unit 28 (Step S35), and the image processing unit 42 performs the in-vivo image based on the image signal from all the pixels of the light receiving unit 28. Is processed (step S36), and the display unit 71 displays the in-vivo image (step S). 7).
  • control unit 355 determines whether or not an instruction to end image display has been instructed (step S38), and determines that an instruction to end image display has been instructed (step S38: Yes). ), The image display process is terminated.
  • step S38 determines that the end of image display is not instructed (step S38: No)
  • the enlargement mode is set based on the input of the enlargement mode setting information input from the enlargement mode setting unit 375. It is determined whether it has been set (step S39).
  • step S39 No
  • the control unit 355 determines that the enlargement mode is not set (step S39: No)
  • the process returns to step S33 and the reading process is set for all pixels.
  • the frame rate switching unit 354 sets the frame rate to a high-speed frame rate in order to reduce image blur during enlargement display (Ste S40). Then, the control unit 355 causes the readout address setting unit 353 to use a region S4 that is a pixel region corresponding to a part of the in-vivo image that is actually displayed in an enlarged manner and that is a part of the sensor region Ci of the light receiving unit 28 for the expansion mode. Is set as a reading area (step S41).
  • the light receiving unit 28 performs an imaging process at a timing corresponding to the high-speed frame rate (step S42), and the timing generator 34 and the AFE unit 36 are for an enlarged mode for reading out pixel information of pixels in the set region S4.
  • Read processing is performed (step S43).
  • the image processing unit 42 performs image processing for generating an in-vivo image based on the image signal from the pixel in the region S4 (step S44), and the display unit 71 displays the generated image (step S45).
  • control unit 355 determines whether or not the enlargement mode has been changed to the standard magnification mode based on the input of the instruction information from the input unit 372 (step S46).
  • step S46 determines that the mode has not been changed to the standard magnification mode (step S46: No)
  • the process returns to step S41 and the enlargement mode read setting process is performed because the enlargement mode is continued.
  • Each process including an expansion mode read process for reading pixel information of the pixels in the region S4 is performed at a timing corresponding to the high-speed frame rate.
  • step S46 determines that the mode has been changed to the standard magnification mode (step S46: Yes)
  • the process returns to step S32.
  • the frame rate is set to the standard frame rate (step S32) and the all pixel readout setting process (step S33) is performed, each process including the all pixel readout process is performed at a timing corresponding to the standard frame rate. Is called.
  • the third embodiment in the enlargement mode, only the pixels located within the pixel region corresponding to a part of the in-vivo image that is actually enlarged and displayed are set as the pixels to be read and the frame rate is increased. In this way, it is possible to perform an enlarged display without image blur due to movement while stabilizing the transmission amount of the signal line.
  • FIG. 34 is a block diagram illustrating a configuration of an endoscope system according to the fourth embodiment.
  • the control device 440 of the endoscope system 400 according to the fourth embodiment is replaced with a control unit 455 having the same function as the control unit 55 in place of the control unit 55 in the control device 40 of FIG.
  • a read address setting unit 453 instead of the read address setting unit 53.
  • the control unit 455 sets the remaining pixels obtained by thinning out the pixels at a predetermined interval among all the pixels in the sensor region Si of the light receiving unit 28, as shown in FIG. It is set as a pixel. Then, the control unit 455 sets all the pixels located in the region S5 in the center of the sensor region Si of the light receiving unit 28 as second readout target pixels in the readout address setting unit 453, as shown in FIG. 35 (2). Let Note that FIG. 35 (1) and FIG. 35 (2) are shown at the same scale.
  • the timing generator 34 and the AFE unit 36 alternately read out the pixel information of the first readout target pixel and the pixel information of the second readout target pixel set by the readout address setting unit 453 from the light receiving unit 28, in the order of readout.
  • the image signal is output to the control device 440.
  • the image processing unit 442 includes an image corresponding to the pixel information of the first pixel to be read read before and after the pixel information read by the timing generator 34.
  • the image forming apparatus further includes a combining unit 446 that combines the image corresponding to the pixel information of the second readout target pixel to generate one in-vivo image.
  • the synthesis unit 446 has a memory that temporarily stores an image to be synthesized (not shown), and the image in the memory is rewritten for each synthesis process.
  • the synchronization unit 43 includes an RGB image based on the pixel information of the first readout target pixel output from the readout address setting unit 453, and the pixel information of the second readout target pixel.
  • the RGB image based on the image is synchronized.
  • the synchronization unit 43 thins out the pixels in the sensor region Si of the light receiving unit 28 in the reading order of the timing generator 34 and the AFE unit 36, and receives the received light.
  • a small-sized image G52, a thinned image G61, a small-sized image G62, a thinned-out image G71, and a small-sized image G72 corresponding to all the pixels in the partial region S5 in the center of the sensor region Si of the unit 28 are output.
  • Each image is processed by the WB adjustment unit 44, the gain adjustment unit 45, and the ⁇ correction unit 46, and then the two images before and after are synthesized into one image by the synthesis unit 446.
  • the combining unit 446 combines the thinned image G51 and the image G52 having a smaller size read next to the thinned image G51, thereby generating a single combined image.
  • G5 is generated.
  • the synthesizing unit 446 generates a composite image G6 by combining the thinned image G61 and the small image G62, and generates a composite image G7 by combining the thinned image G71 and the small image G72. .
  • the combined images G5, G6, and G7 combined by the combining unit 446 are displayed by the display unit 71 in the combining order.
  • the display unit 71 combines the thinned image obtained by thinning and reading out the pixels in the sensor region Si of the light receiving unit 28 and an image having a small size corresponding to all the pixels in the partial region S5 of the sensor region Si of the light receiving unit 28.
  • the image is displayed as a single in-vivo image.
  • the pixel information of all the pixels in the central portion is synthesized by combining the images before and after reading by changing the thinning rate at the time of the reading process in accordance with the size of the reading area with respect to the light receiving unit 28.
  • a single in-vivo image is displayed, which is a high-definition image based on the above and is a low-resolution image obtained by thinning and reading the peripheral portion.
  • the optical system of the endoscope 1 can form an image with a high resolution in the central portion of the imaging region, but forms an image with a low resolution in the peripheral portion of the imaging region. In most cases, the central portion of the image is the region of interest of the user.
  • the central portion is high-definition and the peripheral portion is Even if a low-resolution image is displayed, there is no problem in in-vivo observation.
  • FIG. 37 is a flowchart showing the processing procedure of the in-vivo image display processing of the endoscope system 400 shown in FIG.
  • control unit 455 determines whether or not there is an instruction to start displaying the in-vivo image, similarly to step S1 shown in FIG. 4 (step S51).
  • the control unit 455 repeats the determination process in step S51 until determining that there is an instruction to start displaying the in-vivo image.
  • control unit 455 determines that there is an instruction to start displaying the in-vivo image (step S51: Yes)
  • the control unit 455 initializes the frame number n to 1 (step S52).
  • the control unit 455 determines whether the frame number n is an odd number or an even number (step S53).
  • step S53 odd number
  • the read address setting unit 453 leaves the remaining pixels after thinning out the pixels at a predetermined interval among all the pixels in the sensor region Si of the light receiving unit 28.
  • the low-resolution readout setting process for setting the pixel No. 1 as the first readout target pixel is performed (step S54).
  • the timing generator 34 and the AFE unit 36 obtain pixel information of the remaining pixels obtained by thinning out the pixels at a predetermined interval from all the pixels of the light receiving unit 28.
  • a low resolution reading process for reading is performed (step S56).
  • the image processing unit 442 performs the first image generation process for processing the image signal read out by thinning out in the low resolution reading process and generating a low resolution thinned image (step S57).
  • the control unit 455 adds 1 to the frame number n (step S58). Note that the image generated in the first image generation process is subjected to WB adjustment, gain adjustment, and ⁇ correction, and then held in a memory in the synthesis unit 446.
  • step S53 when the control unit 455 determines that the frame number n is an even number (step S53: even number), the control unit 455 proceeds to step S59, and sets the read address setting unit 453 to a partial region S5 in the center of the sensor region Si of the light receiving unit 28.
  • a high-definition readout setting process for setting all the pixels located as the second readout target pixels is performed (step S59).
  • the light receiving unit 28 performs an imaging process (step S60), and the timing generator 34 and the AFE unit 36 read out pixel information of all the pixels in a partial region S5 at the center of the light receiving unit 28.
  • a high-definition reading process is performed (step S61).
  • the image processing unit 442 performs a second image generation process for processing the image signal read in the high-definition reading process to generate an image with a high definition and a small size (step S62), and the control unit In 455, 1 is added to the frame number n (step S63). It should be noted that the image generated in the second image generation process is held in the memory in the synthesis unit 446 after being subjected to WB adjustment, gain adjustment, and ⁇ correction.
  • control unit 455 determines whether the frame number n is an odd number or an even number (step S64).
  • step S64 even number
  • the process proceeds to step S59, and causes the read address setting unit 453 to perform a high-definition read setting process for acquiring a high-definition image.
  • step S64 odd number
  • the synthesizing unit 446 uses the thinned image generated in the first image generation process and the second image generation process.
  • a synthesis process for synthesizing the generated high-definition image with a small size is performed (step S65).
  • the synthesizing unit 446 adjoins the lines R12, R14, and R16 (see FIG. 38 (1)) thinned out in the thinned image, respectively.
  • the image information De see FIG. 38 (3)
  • the high-definition small image is overwritten on the complemented image.
  • step S66 displays that the in-vivo image synthesized by the synthesis unit 446 is displayed.
  • step S67 determines whether or not the end of image display has been instructed. If the control unit 455 determines that the end of image display is not instructed (step S67: No), step S53 determines whether the frame number n is an odd number or an even number in order to generate an image of the next frame. Judging. On the other hand, when the control unit 455 determines that the end of image display is instructed (step S67: Yes), the image display process ends.
  • the size of the reading area for the light receiving unit 28 is set in accordance with the resolution of the optical system of the endoscope 1, and further, the reading area is set in accordance with the size of the reading area.
  • the pixel to be read out of the light receiving unit 28 is not automatically changed.
  • the pixel to be read out of the light receiving unit 28 may be changed in accordance with instruction information input to the control device 40 by operating a switch (not shown) of the unit 105 and the input units 72 and 372.
  • an operator of the endoscope system inputs to the control device 40 by operating the switch 14 of the operation unit 3, the switch (not shown) of the camera head unit 105, and the input units 72 and 372.
  • the imaging mode normal observation, special light observation
  • the pixel to be read out of the light receiving unit 28 corresponding to each imaging mode in conjunction with this switching. May be changed.
  • Modification 1 of Embodiment 4 Next, Modification 1 of Embodiment 4 will be described.
  • image analysis is performed to detect a bright area on the image, and all pixels are read out so that the bright area is high definition, and other dark areas are thinned out. A case where pixel information is read will be described.
  • FIG. 39 is a block diagram illustrating a configuration of an endoscope system according to the first modification of the fourth embodiment.
  • the control device 440a of the endoscope system 400a according to the first modification of the fourth embodiment has the same function as the control unit 455 instead of the control unit 455 in the control device 440 of FIG.
  • the image processing unit 442a includes a synthesis unit 446a instead of the synthesis unit 446 illustrated in FIG.
  • the brightness detection unit 451a detects an imaging region having a luminance equal to or higher than a predetermined value in the image, that is, a bright region, based on pixel information corresponding to one in-vivo image read by the timing generator 34 and the AFE unit 36. The detection result is output to the read address setting unit 453a.
  • the bright area is an area in which pixels having luminances greater than or equal to a predetermined value are distributed.
  • the surgical instrument 16a is introduced from the outside of the abdominal wall Ws into the abdominal cavity Hs, There is a case where a surgical treatment is performed by operating the treatment tool 16a while confirming an image photographed by the endoscope 1a.
  • a surgical treatment is performed by operating the treatment tool 16a while confirming an image photographed by the endoscope 1a.
  • the position of the endoscope distal end is adjusted so that the distal end of the treatment tool 16a is positioned in the visual field F1, as shown in the image G8 in FIG. 41 and the image G9 in FIG.
  • light is applied to the tips of the treatment tools 16 and 16a in the vicinity of the blood vessel B, and the lower region of the image where the tips of the treatment tools 16 and 16a to be operated are positioned is displayed brighter than the upper region of the image.
  • the brightness detection unit 451a detects the brightness of the upper region At and the lower region Au as shown in an image G10 in FIG. Then, the control unit 455a determines that the pixel located in the bright region detected by the brightness detection unit 451a is the surgical treatment target region where the treatment tool 16a is located, and causes the read address setting unit 453a to transmit this bright region. Is set as the second readout target pixel to be read out.
  • the control unit 455a sends the read address setting unit 453a to the brighter area Au.
  • a pixel located in the lower region Su (see FIG. 44) of the sensor region Si of the corresponding light receiving unit 28 is set as a second readout target pixel (step S59 in FIG. 37). That is, the control unit 455a causes the read address setting unit 453a to set so as to read all the pixels in the lower region Su of the sensor region Si of the light receiving unit 28.
  • control unit 455a sets the remaining pixels obtained by thinning out the pixels at a predetermined interval as the first readout target pixels.
  • the read address setting unit 453a is set (step S54 in FIG. 37).
  • the timing generator 34 and the AFE unit 36 perform thinning-out reading, that is, low-resolution reading processing for the upper region St in the sensor region Si of the light receiving unit 28 (step S56 in FIG. 37).
  • the timing generator 34 and the AFE unit 36 perform high-definition reading processing (step S61 in FIG. 37) for reading all pixels in the lower region Su in the sensor region Si of the light receiving unit 28.
  • the timing generator 34 and the AFE unit 36 alternately transmit the read image information of each region to the control device 440a.
  • the pixel information of all the pixels of the light receiving unit 28 is transmitted to the signal line in one transmission process as compared with the case where the pixel information is read each time. Transmission amount can be reduced.
  • the combining unit 446 combines the thinned image of the upper region St of the sensor region Si of the light receiving unit 28 and the high-definition image of the lower region Su of the sensor region Si of the light receiving unit 28 (step S65 in FIG. 37).
  • a single in-vivo image is generated.
  • the in-vivo image is displayed in a high-definition state in the region to be treated where the distal ends of the treatment tools 16 and 16a are located (step S66 in FIG. 37), smooth in-vivo observation and surgical treatment are possible.
  • the control units 455 and 455a correspond to the read address setting units 453 and 453a in a region S6 obtained by cutting out a partial region at the center from the sensor region Si of the light receiving unit 28 in FIG.
  • the thinning-out rate of readout pixels may be changed with the central region S7 of 45 (2).
  • 45 (1) and 45 (2) are shown at the same scale.
  • the pixel located in the region S6 corresponding to the peripheral region may be set as the second readout target pixel that is a high-definition readout target, and the pixel located in the central region S7 is the first readout target. It may be set as a pixel to be read.
  • control unit 455a associates the region where the first readout target pixel is located with the region where the second readout target pixel is located in correspondence with the in-vivo observation conditions of the endoscope system.
  • the read address setting units 453 and 453a may be set.
  • the reference clock signal transmitted from the reference clock generation unit 56 a to the control device 40 b via the signal line of the collective cable 31 may be a signal having a longer interval than the drive signal for the light receiving unit 28.
  • an accurate reference clock signal with little deterioration can be output to the control device 40b even through a long signal line, and the signal line compared to the endoscope system 100 can be output. It is also possible to reduce the influence of the reference clock signal on the image signal transmitted via.
  • the control device 40b is provided with a synchronization signal generator 56b that generates a predetermined synchronization signal for each component based on the reference clock output from the reference clock generator 56a.
  • the distal end portion 5c of the endoscope and the control device 40c are connected by a collective cable 31C formed of an optical fiber 31c.
  • the image signal can be converted into an optical signal and transmitted, so that a large-capacity signal can be transmitted.
  • the CMOS image pickup device 80c at the distal end portion 5c of the endoscope is further added with an E / O conversion portion 39c that converts an electrical signal into an optical signal in the CMOS image pickup device 80 described above.
  • the configuration. And what is necessary is just to provide the O / E conversion part 41c which converts an optical signal into an electric signal in the control apparatus 40c.
  • a white light source 61, a special light source 62, and an LED driver 64d are provided at the distal end portion 5d of the endoscope, and a light guide is provided. It is also possible to emit light directly from the tip 5d without going through the light and irradiate the light from the light source to the outside without waste.
  • the LED driver 64d uses the light source driving signal output at a predetermined timing from the illumination timing generation unit 65d of the control device 40d via the predetermined signal line 31d in the collective cable 31D, and the white light source 61, The special light source 62 is driven.
  • the present embodiment is not limited to an endoscope system, and can be improved in efficiency when applied to a photographing apparatus such as a digital camera, a digital single lens reflex camera, a digital video camera, or a camera-equipped mobile phone.
  • a photographing apparatus such as a digital camera, a digital single lens reflex camera, a digital video camera, or a camera-equipped mobile phone.

Abstract

 本発明にかかる内視鏡システムは、撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能であるCMOS撮像素子80と、CMOS撮像素子80における読出し対象の画素を任意に設定可能である読出しアドレス設定部53と、CMOS撮像素子80において読出し対象として指定された画素から画素情報を出力させることで画素情報を読出すタイミングジェネレータ34およびAFE部36と、画像処理部42と、画像を表示する表示部71と、を備える。

Description

撮像装置
 従来から、医療分野においては、被検体の臓器内部を観察する際に内視鏡システムが用いられている。内視鏡システムにおいては、一般に、患者等の被検体の体腔内に細長形状をなす可撓性の挿入部を挿入し、この挿入した挿入部を介して体腔内の生体組織に白色光を照射し、その反射光を挿入部先端の撮像部によって受光して、体内画像を撮像する。このように撮像された生体画像は、この内視鏡システムのモニタに表示される。医師等のユーザは、内視鏡システムのモニタに表示された体内画像を通して、被検体の体腔内を観察する。
 このような内視鏡システムにおいては、挿入部の先端に撮像素子を内蔵し、撮像素子が光電変換後の電気信号を画像信号として信号処理装置に伝送し、この信号処理装置において伝送信号を処理することによって、撮像素子が撮像した画像をモニタに映し出して体内の観察を行なっている。この挿入部先端の撮像素子と信号処理装置とは、画像信号の伝送、クロック信号の伝送、撮像素子への駆動電源の供給などのため、複数本の信号線を束ねた集合ケーブルで接続されている(たとえば、特許文献1参照)。
特許第3863583号公報
 ここで、体内画像の高精細化のために、挿入部先端に内蔵される撮像素子として高画素化可能であるCMOSセンサが採用される。しかしながら、CMOSセンサの採用によって画像の高精細化を進めた場合、画像データのデータ量が多くなってしまい、円滑な処理ができないという問題があった。
 本発明は、上記に鑑みてなされたものであって、撮像素子としてCMOSセンサを採用した場合において、高画素化に対応しながら効率的な処理を行うことができる撮像装置を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能である撮像部と、前記撮像部における読出し対象の画素を任意に設定可能である設定部と、前記設定部の設定に応じて前記撮像部において読出し対象として指定された画素から画素情報を出力させることで画素情報を読出す読出し部と、前記読出し部が読出した画素情報から画像を生成する画像処理部と、前記画像処理部が生成した画像を表示する表示部と、を備えたことを特徴とする。
 また、本発明にかかる撮像装置は、前記設定部が設定する読出し対象の画素を変更する制御部をさらに備えたことを特徴とする。
 また、本発明にかかる撮像装置は、前記制御部は、前記設定部が設定する読出し対象の画素を、前記撮像部における光学系に応じて変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記読出し部が読出した所定ラインの画素の画素情報をもとに所定値以上の輝度を有する撮像領域を検出する検出部をさらに備え、前記制御部は、前記検出部による検出結果をもとに、前記設定部が設定する読出し対象の画素を変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記制御部は、前記検出部による検出結果をもとに、前記読出し部が読出した所定ラインの次のライン、または、次のフレームにおいて対応する同ラインに対して、前記設定部が設定する読出し対象の画素を変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記表示部は、前記画像から所定部分を切り取った所定形状で画像を表示し、前記制御部は、前記設定部が設定する読出し対象の画素を、前記表示部が表示する画像の所定形状に対応した画素領域内に位置する画素に変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記所定形状は、複数設定され、前記制御部は、複数の前記所定形状のうち前記表示部が表示する画像の所定形状を示す表示形状情報を前記読出し部に出力し、前記読出し部は、前記複数の所定形状にそれぞれ対応する複数の画素領域の位置情報を予め有し、前記制御部から出力された表示形状情報が示す所定形状に対応した画素領域に位置する画素の画素情報を読み出すことを特徴とする。
 また、本発明にかかる撮像装置は、前記読出し部による画素情報の読出し速度を変更する読出し速度変更部をさらに備え、前記制御部は、前記設定部が設定する読出し対象の画素を、前記速度変更部が変更した読出し速度に応じて変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記撮像部が出力した電気信号を所定の信号形式で有線で伝送する伝送部をさらに備え、前記制御部は、前記伝送部における単位時間当たりの画素情報の伝送量が所定の標準伝送量を超えないように前記設定部が設定する読出し対象の画素を変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記制御部は、前記速度変更部によって読出し速度が第1の読出し速度から前記第1の読出し速度よりも速い第2の読出し速度に変更された場合、前記設定部が設定する読出し対象の画素を、前記撮像部の全画素を間引きした残りの画素に変更することを特徴とする。
 また、本発明にかかる撮像装置は、被写体像に対する前記撮像部の相対的な動き量を検出する動き量検出部をさらに備え、前記速度変更部は、前記動き量検出部が検出した動き量に応じて前記読出し速度を変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記撮像部における撮像領域に進退自在に操作可能な機能部と、前記機能部が前記撮像領域に位置するか否かを検出する機能部検出部と、をさらに備え、前記速度変更部は、前記機能部検出部の検出結果に応じて前記読出し速度を変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記表示部に表示される画像を部分的に拡大して表示させる拡大モードを設定可能であるモード設定部をさらに備え、前記速度変更部は、前記モード設定部による前記拡大モードの設定に応じて前記読出し速度を変更することを特徴とする。
 また、本発明にかかる撮像装置は、前記制御部は、前記設定部に、前記撮像部の全画素のうち所定間隔で画素を間引きした残りの画素を第1の読出し対象の画素として設定させ、前記撮像部の全画素領域の一部の領域に位置する画素を第2の読出し対象の画素として設定させ、前記読出し部は、前記第1の読出し対象の画素の画素情報と前記第2の読出し対象の画素の画素情報とを交互に読出し、前記画像処理部は、前記読出し部が読出した各画素情報のうち前後して読出した前記第1の読出し対象の画素の画素情報に対応する画像と前記第2の読出し対象の画素の画素情報に対応する画像とを合成して1枚の前記画像を生成することを特徴とする。
 また、本発明にかかる撮像装置は、前記読出し部が読出した1枚の前記画像に対応する画素情報をもとに該画像における所定値以上の輝度を有する撮像領域を検出する検出部をさらに備え、前記制御部は、前記設定部に、前記検出部が検出した明領域に位置する画素を前記第2の読出し対象の画素として設定させることを特徴とする。
 本発明にかかる撮像装置は、撮像部の読出し対象の画素を設定し、設定した画素のみから画素情報を読出して伝送するため、各種条件に応じて読出し対象の画素を変更して、画像データのデータ量を調整することで、高画素化に対応した効率的な処理を行うことができる。
図1は、実施の形態1における内視鏡システムの概略構成を示す図である。 図2は、実施の形態1にかかる内視鏡システムの構成を示すブロック図である。 図3は、図2に示すCMOSセンサ上に結像する結像サークルの例を示す図である。 図4は、図3に示す内視鏡システムの体内画像表示処理の処理手順を示すフローチャートである。 図5は、明るさ検出処理および読出アドレス設定処理について説明するタイミングチャートである。 図6は、読出アドレス設定処理の他の例について説明するタイミングチャートである。 図7は、実施の形態1の変形例1における内視鏡本体部概略構成を示す図である。 図8は、図7に示す内視鏡本体部の先端部の内部構成の概略を説明する断面図である。 図9は、実施の形態1の変形例1にかかる内視鏡システム100の構成を示すブロック図である。 図10は、図8に示す表示部の表示画面の一例を示す図である。 図11は、実施の形態1の変形例1にかかる内視鏡システムの構成の一例を示すブロック図である。 図12は、実施の形態2にかかる内視鏡システムの構成を示すブロック図である。 図13は、図12に示す読出アドレス設定部による読出し対象の画素の設定について説明する図である。 図14は、図12に示す内視鏡システムにおいて伝送される画像信号を説明するためのタイミングチャートである。 図15は、図12に示す内視鏡システムの体内画像表示処理の処理手順を示すフローチャートである。 図16は、図15に示す間引き読出し設定処理を説明する図である。 図17は、図15に示す間引き読出し設定処理の他の例を説明する図である。 図18は、実施の形態2の変形例1にかかる内視鏡システムの構成を示すブロック図である。 図19は、図18に示す動き検出部の検出処理を説明する図である。 図20は、図18に示す内視鏡システムの体内画像表示処理の処理手順を示すフローチャートである。 図21は、実施の形態2の変形例2にかかる内視鏡システムの構成を示すブロック図である。 図22は、内視鏡先端からの処置具表出を説明する図である。 図23は、図21に示す表示部の表示画面の一例を示す図である。 図24は、図21に示す内視鏡システムの体内画像表示処理の処理手順を示すフローチャートである。 図25は、実施の形態2の変形例3にかかる内視鏡システムの構成を示すブロック図である。 図26は、図25に示す処置具挿入検知部を説明する図である。 図27は、図25に示す内視鏡システムの体内画像表示処理の処理手順を示すフローチャートである。 図28は、実施の形態3にかかる内視鏡システムの構成を示すブロック図である。 図29は、図28に示す読出アドレス設定部の設定処理について説明する図である。 図30は、図28に示す画像処理部によって生成される画像について説明する図である。 図31は、図28に示す画像処理部によって生成される画像について説明する図である。 図32は、図29に示す内視鏡システムにおいて伝送される画像信号を説明するためのタイミングチャートである。 図33は、図28に示す内視鏡システムの体内画像表示処理の処理手順を示すフローチャートである。 図34は、実施の形態4にかかる内視鏡システムの構成を示すブロック図である。 図35は、図34に示す読出アドレス設定部による設定処理を説明する図である。 図36は、図34に示す合成部による画像の合成処理を説明する図である。 図37は、図34に示す内視鏡システムの体内画像表示処理の処理手順を示すフローチャートである。 図38は、図37に示す合成部による画像の合成処理を説明する図である。 図39は、実施の形態4の変形例1にかかる内視鏡システムの構成を示すブロック図である。 図40は、外科的処置を説明する図である。 図41は、図39に示す表示部の表示画面の一例を示す図である。 図42は、図39に示す表示部の表示画面の一例を示す図である。 図43は、図39に示す明るさ検出部の明るさ検出処理を説明する図である。 図44は、図39に示す読出アドレス設定部による設定処理を説明する図である。 図45は、図35に示す読出アドレス設定部による設定処理の他の例を説明する図である。 図46は、本発明の実施の形態にかかる内視鏡システムの他の構成を示すブロック図である。 図47は、本発明の実施の形態にかかる内視鏡システムの他の構成を示すブロック図である。 図48は、本発明の実施の形態にかかる内視鏡システムの他の構成を示すブロック図である。
 以下に、本発明にかかる実施の形態として、挿入部先端に撮像素子を備え、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、図面は模式的なものであり、各部材の厚みと幅との関係、各部材の比率などは、現実と異なることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている。
(実施の形態1)
 まず、実施の形態1における内視鏡システムについて説明する。図1は、本実施の形態1にかかる内視鏡システムの概略構成を示す図である。図1に示すように、本実施の形態における内視鏡システム101は、体腔内や管路内等に挿入して得た被写体像が結像される図示しない対物レンズを内部に有する細長の挿入部102と、挿入部102に照射光を供給する光源装置60と、挿入部102の基端部に着脱自在に取り付けられ挿入部102の対物レンズに結像された被写体像を撮像するカメラヘッド部105と、カメラヘッド部105の撮像によって出力された電気信号をモニタ表示できるよう画像信号に処理する制御装置40と、この制御装置40で変換された映像信号が表示される周辺装置である表示部71と、を有する。
 カメラヘッド部105は、挿入部102の基端部の接眼部111に着脱自在である。カメラヘッド部105は、信号線を複数有する集合ケーブル131によって制御装置40に接続される。集合ケーブル131の端部には、制御装置40に着脱自在であるコネクタ123が設けられる。
 カメラヘッド部105の内部には、挿入部102の図示しない対物レンズに結像された被写体像を撮像するCMOS撮像素子80が設けられている。CMOS撮像素子80は、集合ケーブル131の信号線を介して、光電変換した被写体像の電気信号を制御装置40に出力する。
 制御装置40は、撮像素子に電源を供給し、撮像素子から光電変換された電気信号が入力される装置であり、CMOS撮像素子80によって撮像された電気信号を処理して、接続線132を介して接続する表示部71に画像を表示させるとともに、撮像素子のゲイン調整などの制御および駆動を行なう駆動信号の出力を行なう。光源装置60は、白色光源や特殊光源などを有し、信号線133を介して接続する制御装置40による制御のもと、白色光源あるいは特殊光源からの光を、ライトガイドコネクタを介して接続されたカメラヘッド部105へ照明光として供給する。
 次に、本実施の形態1にかかる内視鏡システムの構成について説明する。図2は、本実施の形態1にかかる内視鏡システムの構成を示すブロック図である。図2に示すように、実施の形態1にかかる内視鏡システム101は、カメラヘッド部105に設けられたCMOS撮像素子80と複数の信号線を有する集合ケーブル131を介して接続する制御装置40、白色光あるいは特殊光を供給する光源装置60、CMOS撮像素子80が撮像した体内画像を表示する表示部71を有し、体内観察に関する情報を出力する出力部73、体内観察に要する各種指示情報を入力する入力部72および体内画像等を記憶する記憶部74を備える。
 カメラヘッド部105には、CMOS撮像素子80が設けられる。CMOS撮像素子80は、受光部28、制御回路35、タイミングジェネレータ34、ノイズ除去部37とA/D変換部38とによって構成されるAFE(Analog Front End)部36、および、入力したデジタル信号をパラレル形態からシリアル形態に変換するP/S変換部39によって構成される。CMOS撮像素子80を構成する受光部28およびCMOSセンサ周辺回路は、たとえば1チップ化されている。
 受光部28は、2次元的にマトリックス状に配置された撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力する。制御回路35は、制御装置40から出力された設定データにしたがって、受光部28に対する撮像処理、受光部28の撮像速度、受光部28の画素からの画素情報の読出し処理および読出した画素情報の伝送処理を制御する。
 タイミングジェネレータ34は、制御装置40から出力されたタイミング信号にしたがって駆動し、受光部28を構成する複数の画素において読出し対象として指定された位置(アドレス)の画素から光電変換後の電気信号を画素情報として出力させる。
 ノイズ除去部37は、受光部28の所定の画素から出力された画素情報の信号のノイズを除去する。A/D変換部38は、ノイズ除去された画素情報の信号をアナログ信号からデジタル信号に変換し、P/S変換部39に出力する。タイミングジェネレータ34およびAFE部36によって受光部28から読み出された画素情報は、P/S変換部39が変換したシリアル形態の画像信号として、集合ケーブル131の所定の信号線を介して、制御装置40に伝送される。
 制御装置40は、画像信号を処理して表示部71に体内画像を表示させるとともに、内視鏡システム101の各構成部位を制御する。制御装置40は、S/P変換部41、画像処理部42、明るさ検出部51、調光部52、読出アドレス設定部53、CMOS駆動信号生成部54、制御部55および基準クロック生成部56を有する。
 S/P変換部41は、カメラヘッド部105から受信したデジタル信号である画像信号をシリアル形態からパラレル形態に変換する。
 画像処理部42は、S/P変換部41から出力されたパラレル形態の画像信号、すなわち、タイミングジェネレータ34およびAFE部36が読出した画素の画素情報から、タイミングジェネレータ34およびAFE部36が読出した受光部28の画素のアドレスをもとに表示部71に表示される体内画像を生成する。
 画像処理部42は、同時化部43、WB調整部44、ゲイン調整部45、γ補正部46、D/A変換部47、フォーマット変更部48、サンプル用メモリ49および静止画像用メモリ50を備える。
 同時化部43は、入力された各R,G,B画素の画像信号を画素ごとに設けられたメモリ(図示しない)に入力し、タイミングジェネレータ34およびAFE部36が読出した受光部28の画素のアドレスに対応させて、各メモリの値を入力された各画像信号で順次更新しながら保持するとともに、これら3つのメモリの各画像信号をRGB画像信号として同時化する。同時化されたRGB画像信号は、WB調整部44に順次出力されるとともに、同時化されたRGB画像信号のうちのいくつかは明るさ検出などの画像解析用にサンプル用メモリ49にも出力され、保持される。
 WB調整部44は、RGB画像信号のホワイトバランスを調整する。ゲイン調整部45は、RGB画像信号のゲイン調整を行う。γ補正部46は、表示部71に対応させてRGB画像信号を階調変換する。
 D/A変換部47は、階調変換後のRGB画像信号をデジタル信号からアナログ信号に変換する。フォーマット変更部48は、アナログ信号に変換された画像信号をハイビジョン方式などのフォーマットに変更して表示部71に出力する。この結果、表示部71には、1枚の体内画像が表示される。なお、ゲイン調整部45によってゲイン調整されたRGB画像信号のうちの一部は、静止画像表示用、拡大画像表示用または強調画像表示用として、静止画像用メモリ50にも保持される。
 明るさ検出部51は、サンプル用メモリ49に保持されたRGB画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを明るさ検出部51内部に設けられたメモリに記憶する。また、明るさ検出部51は、検出した明るさレベルをもとにゲイン調整値および光照射量を算出する。算出されたゲイン調整値はゲイン調整部45へ出力され、算出された光照射量は、調光部52に出力される。さらに、明るさ検出部51による検出結果は、制御部55にも出力される。
 調光部52は、明るさ検出部51から出力された光照射量をもとに、各光源に供給する電流量、減光フィルタの駆動条件を設定して、設定条件を含む光源同期信号を光源装置60に出力する。調光部52は、光源装置60が発する光の種別、光量、発光タイミングを設定する。
 読出アドレス設定部53は、明るさ検出部51が検出したRGB画像信号の画素ごとの明るさレベルをもとに、受光部28における読出し対象の画素を任意に設定可能である。すなわち、読出アドレス設定部53は、タイミングジェネレータ34およびAFE部36が読出す受光部28の画素のアドレスを任意に設定可能である。また、読出アドレス設定部53は、設定した読出し対象の画素のアドレスを同時化部43に出力する。
 CMOS駆動信号生成部54は、受光部28とCMOSセンサ周辺回路とを駆動するための駆動用のタイミング信号を生成し、集合ケーブル131内の所定の信号線を介してタイミングジェネレータ34に出力する。なお、このタイミング信号は、読出し対象の画素のアドレスを含むものである。
 制御部55は、CPUなどによって構成され、図示しないメモリに格納された各種プログラムを読み込み、プログラムに示された各処理手順を実行することで、各構成部の各駆動制御、これらの各構成部に対する情報の入出力制御、および、これらの各構成部との間で各種情報を入出力するための情報処理とを行う。制御装置40は、撮像制御のための設定データを、集合ケーブル131内の所定の信号線を介してカメラヘッド部105の制御回路35に出力する。設定データは、受光部28の撮像速度、受光部28の任意の画素からの画素情報の読出し速度を指示する指示情報、および、読出した画素情報の伝送制御情報などを含む。制御部55は、読出しアドレス設定部53が設定する読出し対象の画素を変更する。
 基準クロック生成部56は、内視鏡システム101の各構成部の動作基準となる基準クロック信号を生成し、内視鏡システム101の各構成部に生成した基準クロック信号を供給する。
 光源装置60は、制御部55の制御のもと、動作する。光源装置60は、LEDなどによって構成される白色光源61、狭帯域バンドパスフィルタによって狭帯域化したRGBの各色光を発する特殊光光源62、調光部52から送信された光源同期信号にしたがって白色光源61あるいは特殊光光源62に供給する電流量や減光フィルタの駆動を制御する光源駆動回路63、白色光源61あるいは特殊光光源62に光源駆動回路63の制御のもと所定量の電流を供給するLEDドライバ64を備える。白色光源61あるいは特殊光光源62から発せられた光は、ライトガイド21を介して挿入部102に供給され、挿入部102先端から外部に出射する。
 この実施の形態1にかかる内視鏡システム101では、受光部28の全画素に対応する画像信号が常に伝送されるのではなく、読出アドレス設定部53が任意に設定したアドレスの画素のみに対応する画像信号が、集合ケーブル131によって制御装置40に伝送される。このため、内視鏡システム101では、各種条件に応じて読出し対象となる画素を、読出し処理ごとに変更して、伝送する信号量を調整できる。この結果、内視鏡システム101においては、信号線の伝送量に制限がある場合であっても高画素化あるいは高フレームレート化に適合した伝送処理を行うことができる。
 ここで、内視鏡システム101における読出し対象の画素の設定処理について詳細に説明する。内視鏡システム101においては、制御部55は、CMOS撮像素子80の光学系に応じて、読出しアドレス設定部53が設定する読出し対象の画素を変更している。たとえば、内視鏡システム101では、細い体腔内を観察する際にカメラヘッド部105に細径の挿入部102をセットした場合、細径の挿入部102における光入射領域は、標準径の挿入部102がセットされている場合よりも小さくなる。図3(1)は、細径の挿入部102をセットした場合における結像サークルを示す図である。図3(2)は、標準径の挿入部102をセットした場合における結像サークルを示す図である。図3(1)と図3(2)は、同じ縮尺で示される。
 これらの図に示すように、細径の挿入部102がセットされた場合に受光部28上に実際に光が入射するサークルC1(図3(1)参照)は、標準径の挿入部102がセットされた場合に光が入射するサークルC2(図3(2)参照)と比較して小さく、受光部28の全画素を含むセンサ領域Si内に納まる。そして、細径の挿入部102がセットされた場合には、サークルC1外の画素には光が入射しないため、サークルC1外の部分の画素の画素情報は特に必要ない。
 このため、細径の挿入部102がセットされた場合には、制御装置40内の制御部55は、読出アドレス設定部53が設定する読出し対象の画素を、細径の挿入部102に対応した実際の光の入射領域(サークルC1)と同範囲の領域S1内の画素に変更し、タイミングジェネレータ34およびAFE部36に領域S1内の画素を読出させる。一方、標準径の挿入部102がセットされた場合、光の入射領域(サークルC2)はセンサ領域Siよりも大きくなるため、制御部55は、読出アドレス設定部53が設定する読出し対象の画素を、センサ領域Si内の全画素に変更する。
 次いで、図2に示す内視鏡システム101の体内画像表示処理について説明する。図4は、図2に示す内視鏡システム101の体内画像表示処理の処理手順を示すフローチャートである。
 図4のフローチャートに示すように、まず、制御装置40の制御部55は、入力部72等から入力される指示情報をもとに、体内画像の表示の開始の指示があるか否かを判断する(ステップS1)。制御部55は、体内画像の表示の開始の指示があると判断するまでステップS1の判断処理を繰り返す。
 制御部55が体内画像の表示の開始の指示があると判断した場合(ステップS1:Yes)、読出アドレス設定部53、調光部52および制御回路35に撮像処理を行わせるように制御する。まず、1回目の撮像処理においては、受光部28のセンサ領域Si内の全画素の画素情報を読出すように設定され、読出アドレス設定部53は、制御部55の制御のもと、受光部28の全画素を読出し対象の画素として設定する。カメラヘッド部105では、光源装置60からの光照射タイミングに対応させて受光部28が撮像処理を行った後(ステップS2)、制御部55が、1回目の撮像処理か否かを判断する(ステップS3-1)。制御部55が1回目の撮像処理であると判断した場合(ステップS3-1:Yes)、タイミングジェネレータ34およびAFE部36は、所定のタイミング信号にしたがって、受光部28の全画素から画素情報を読出す(ステップS3-2)。そして、画像処理部42は、受光部28の全画素による画像信号を処理して、一枚の体内画像を生成する画像処理を行う(ステップS4)。表示部71は、画像処理部42によって生成された画像を表示する(ステップS5)。
 次いで、制御部55は、入力部72等から入力される指示情報をもとに、画像表示の終了が指示されたか否かを判断する(ステップS6)。制御部55は、画像表示の終了が指示されたと判断した場合(ステップS6:Yes)、画像表示処理を終了する。一方、制御部55は、画像表示の終了が指示されていないと判断した場合(ステップS6:No)、読出しアドレス設定タイミングであるか否かを判断する(ステップS7)。たとえば、制御部55は、入力部72から細径の挿入部102がセットされた旨を示す情報が入力された場合には、読出アドレス設定タイミングであると判断する。また、制御部55は、定期的に読出しアドレス設定タイミングであると判断する。
 制御部55は、読出しアドレス設定タイミングでないと判断した場合(ステップS7:No)、読出アドレス設定部53の読出しアドレスの変更を行わず、そのままステップS2の撮像処理に戻る。そして、タイミングジェネレータ34およびAFE部36は、次の撮像処理(ステップS2)が行われた後、前回の読出し処理と同様に、受光部28の全画素に対して読出し処理を行う(ステップS3)。
 これに対し、制御部55が読出しアドレス設定タイミングであると判断した場合(ステップS7:Yes)、明るさ検出部51は、サンプル用メモリ49に保持されるRGB画像信号の輝度情報をもとに、所定値以上の輝度を有する画素が分布する撮像領域(明領域)を検出する明るさ検出処理を行う(ステップS8)。細径の挿入部102をセットしている場合にはサークルC1(図3(1)参照)外に位置する画素には光が入射しないため、明領域は、実際に光が入射する領域であるサークルC1に対応することとなる。このため、制御部55は、読出アドレス設定部53が設定する読出し対象の画素を、明るさ検出部51が検出した明領域に位置する画素に変更する読出アドレス設定処理(ステップS9)を行う。その後、読出アドレス設定部53は、CMOS駆動信号生成部54から読出し対象の画素のアドレスを含むタイミング信号をタイミングジェネレータ34に出力させ(ステップS10)、ステップS2に戻る。
 次いで、次の撮像処理(ステップS2)が行われた後に、制御部55は、1回目の撮像処理か否かを判断する(ステップS3-1)。制御部55が1回目の撮像処理でないと判断した場合(ステップS3-1:No)、タイミングジェネレータ34およびAFE部36は、受光部28の画素のうち、読出アドレス設定部53が設定した明領域に位置する画素のみに対して読出し処理を行い(ステップS3-3)、画像処理部42は、受光部28の明領域内の画素による画像信号を処理して、実際の結像領域に対応した一枚の体内画像を生成する画像処理を行う(ステップS4)。
 内視鏡システム101においては、カメラヘッド部105と制御装置40との間の集合ケーブル131が長く、太さに制限もあることから、集合ケーブル131に内蔵できる信号線の太さ、本数が制限される場合がある。このため、信号線を介して安定して伝送可能である単位時間あたりの信号量に限界がある。また、CMOS撮像素子を採用した場合、移動画像の画像歪み、いわゆるローリングシャッタが発生しやすいため、フレームレートを高める必要がある。実施の形態1にかかる内視鏡システム101では、画像構成に関与する明領域の画素のみを読み出して制御装置40に伝送するため、集合ケーブル131における画像信号の伝送量を減らすことができる。このため、本実施の形態1によれば、高フレームレート化に対応できるとともに、体内画像を実際の結像領域に対応させて適切に表示することができ、高画素化に対応しながら効率的な処理を行うことができる。
 次に、明るさ検出処理および読出アドレス設定処理について説明する。明るさ検出部51は、明るさ検出用のRGB画像信号のラインごとに明領域を検出する。たとえば、図5(1)のタイミングチャートに示す例では、明るさ検出部51は、サンプルとなるnフレームのmラインにおけるラインデータをもとに、輝度が立ち上がる時間Paの画素と輝度がたち下がる時間Pbの画素とを検出する。そして、明るさ検出部51は、この時間Paから時間Pbの間に対応する領域が明領域であると検出し、時間Paから時間Pbの間に対応して位置する画素のアドレスを制御部55に出力する。
 制御部55は、読出アドレス設定部53に、図5(1)で検出された時間Paから時間Pbの間に対応して位置する画素を、図5(2)に示すように、次フレームの同ライン、すなわち、n+1フレームの画像のmラインにおける読出し対象の画素として変更させ、タイミングジェネレータ34およびAFE部36に読出し処理を行わせる。言い換えると、明るさ検出部51は、タイミングジェネレータ34およびAFE部36が読み出した所定ラインの画素の画素情報をもとに、この所定ラインにおける明領域を検出する。そして、設定部55は、次フレームの画像の所定ラインと同ラインにおける読出し対象の画素を、明るさ検出部51が検出した明領域に位置する画素に変更する。
 なお、光が入射する領域が隣り合うラインで大幅に変わることはないため、制御部55は、ステップS9およびステップS10において、同フレームの次のラインに対して読出しアドレスを反映させることも可能である。
 たとえば、図6(1)のタイミングチャートに示すように、明るさ検出部51がnフレームのmラインにおける時間Paから時間Pbの間を明領域であると検出した場合には、制御部55は、読出アドレス設定部53に、時間Paから時間Pbの間に対応して位置する画素を、図6(2)に示すように、同フレームの次のライン、すなわち、nフレームの画像のm+1ラインにおける読出し対象の画素として設定させ、タイミングジェネレータ34およびAFE部36に読出し処理を行わせる。すなわち、明るさ検出部51は、タイミングジェネレータ34およびAFE部36が読みだした所定ラインの画素の画素情報をもとに、この所定ラインにおける明領域を検出する。そして、制御部55は、この所定ラインの次のラインにおける読出し対象の画素を、明るさ検出部51が検出した明領域に位置する画素に変更する。このように同フレームの次のラインに対して読出しアドレスを反映させる場合には、要領の大きいメモリが不要となるため、構成を簡易化できる。
(実施の形態1の変形例1)
 次に、実施の形態1の変形例1について説明する。実施の形態1の変形例においては、実際に表示部71に表示される画像の表示形状に対応させて読出し対象の画素を設定する場合について説明する。
 まず、実施の形態1の変形例1における内視鏡システムの内視鏡本体部について説明する。図7は、本実施の形態1の変形例1における内視鏡本体部の概略構成を示す図である。図7に示すように、本実施の形態1の変形例1における内視鏡1は、細長な挿入部2と、この挿入部2の基端側であって内視鏡装置操作者が把持する操作部3と、この操作部3の側部より延伸する可撓性のユニバーサルコード4とを備える。ユニバーサルコード4は、ライトガイドケーブルや電気系ケーブルなどを内蔵する。
 挿入部2は、撮像素子としてCMOSセンサを内蔵した先端部5と、複数の湾曲駒によって構成され湾曲自在な湾曲部6と、この湾曲部6の基端側に設けられた長尺であって可撓性を有する長尺状の可撓管部7とを備える。
 ユニバーサルコード4の端部にはコネクタ部8が設けられている。コネクタ部8には、光源装置に着脱自在に接続されるライトガイドコネクタ9、CMOSセンサで光電変換した被写体像の電気信号を信号処理用の制御装置に伝送するため制御装置に接続される電気接点部10、先端部5のノズルに空気を送るための送気口金11などが設けられている。ここで、光源装置は、白色光源や特殊光源などを有し、白色光源あるいは特殊光源からの光を、ライトガイドコネクタ9を介して接続された内視鏡1へ照明光として供給する。また、制御装置は、撮像素子に電源を供給し、撮像素子から光電変換された電気信号が入力される装置であり、撮像素子によって撮像された電気信号を処理して接続する表示部に画像を表示させるとともに、撮像素子のゲイン調整などの制御および駆動を行なう駆動信号の出力を行なう。
 操作部3には、湾曲部6を上下方向および左右方向に湾曲させる湾曲ノブ12、体腔内に生検鉗子、レーザプローブ等の処置具16を挿入する処置具挿入部13、制御装置、光源装置あるいは送気、送水、送ガス手段などの周辺機器の操作を行なう複数のスイッチ14が設けられている。処置具挿入部13から挿入された処置具16は、内部に設けられた処置具用チャンネルを経て挿入部2先端の開口部15から表出する。たとえば処置具16が生検鉗子の場合には、生検鉗子によって患部組織を採取する生検などを行なう。
 次に、挿入部2の先端部5における構成を説明する。図8は、図7に示す内視鏡1の先端部5の内部構成の概略を説明する断面図である。図8に示すように、内視鏡1の挿入部5先端には、照明レンズ22、観察窓23、処置具用チャンネル33と連通する処置具表出用の開口部15および送気・送水用ノズル(図示しない)が設けられている。
 照明レンズ22からは、グラスファイバ束等で構成されるライトガイド21を介して光源装置から供給された白色光あるいは特殊光が出射する。観察窓23には、レンズ24a,24bからなる光学系の結像位置に、2次元的にマトリックス状に配置された撮像用の複数の画素を有する受光部28が配置される。受光部28は、レンズ24a,24bからなる光学系を介して入射した光を受光して体腔内を撮像する。受光部28の受光面側には、カバーガラス25が設けられている。カバーガラス25と受光部28との間には、受光部28の画素の配列に対応してR,GあるいはBのフィルタが配列するオンチップフィルタ27が設けられる。受光部28は、受光部28に撮像タイミングを指示するとともに受光部28による画像信号を読出して電気信号に変換するIC29やチップコンデンサ30などとともに回路基板26に実装される。この回路基板26には、電極32が設けられる。この電極32は、電気信号を制御装置に伝送する集合ケーブル31と、たとえば異方性導電性樹脂フィルムを介して接続する。集合ケーブル31は、受光部28が出力した電気信号である画像信号を伝送する信号線あるいは制御装置から制御信号を伝送する信号線など複数の信号線を備える。
 図9は、実施の形態1の変形例1にかかる内視鏡システム100の構成を示すブロック図である。図9に示すように、内視鏡システム100は、図2に示す内視鏡システム101と異なり、先端部5にCMOS撮像素子80が設けられており、CMOS撮像素子80と制御装置40とは、挿入部2内の集合ケーブル31を介して接続する。また、光源装置60から発せられた光は、ライトガイド21を介して先端部5先端から外部に出射する。
 ここで、図10(1)に示すように、表示部71において表示されるメニューM1には、画像処理部42が生成した体内画像全体がそのまま表示されるのではなく、たとえば、体内画像から中心を含む正方形部分を取り出し、頂点部分を三角形状に切り取った八角形状の画像G1が表示される。このように、表示部71は、表示メニューの種別に応じて、画像処理部42が生成した一枚の体内画像から所定部分を切り取った所定形状で画像を表示する。
 図10(1)のように八角形状で画像が表示される場合には、図10(2)のように、読出アドレス設定部53は、受光部28の全画素を含むセンサ領域Siのうち、表示部71が表示する画像の形状に対応した八角形の画素領域S3内に位置する画素を読出し対象の画素として設定する。設定部55は、複数の表示形状のうち、実際に表示される画像の表示形状に対応させて、読出アドレス設定部53が設定する読出し対象の画素を変更する。
 ここで、図7に示す形態の内視鏡システム100の場合、体内に導入するため挿入部2の太さに制限があることから、挿入部2内に内蔵できる信号線の太さ、本数も制限される。このため、信号線を介して伝送される単位時間あたりの信号量を大幅に増やすことが難しい。また、CMOS撮像素子を採用した場合、移動画像の画像歪み、いわゆるローリングシャッタが発生しやすいため、フレームレートを高める必要がある。実施の形態1の変形例1では、このような形態の内視鏡システムであっても、実施の形態1と同様に、実際に表示される画像の形状に対応した画素のみから画素情報を読出して制御装置40に伝送するため、集合ケーブル31における画像信号の伝送量を減らすことができることから高画素化および高フレームレート化に対応しながら、所定の表示形状の体内画像を効率的に表示することができる。なお、以降の実施の形態については、図7に示す内視鏡システム100と同形態の内視鏡を備えたものについて説明する。
 また、先端部のタイミングジュネレータ34に、表示部71が表示する画像の各所定形状にそれぞれ対応する各画素領域の位置情報を予め持たせておき、タイミングジュネレータ34およびAFE側で読出し対象の画素領域をハード的に切り替えるようにしてもよい。
 この場合には、図11の内視鏡システム100aに示すように、先端部5aに設けられたタイミングジェネレータ34aに、表示部71が表示する画像の各所定形状にそれぞれ対応する各画素領域外をマスクするマスク群34bを予め持たせておく。このマスク群34bの各マスクは、複数の所定形状にそれぞれ対応する複数の画素領域の位置情報に相当する。そして、制御装置40aの読出アドレス設定部53aは、制御部55の制御のもと、複数の所定の表示形状のうち表示部71が次に表示する画像の表示形状を示す表示形状情報をタイミング信号に含めてタイミングジェネレータ34aに出力する。タイミングジェネレータ34aおよびAFE部36aは、受信した表示形状情報が示す表示形状に対応したマスクに切り替え、切り替えたマスク内の画素の画素情報、すなわち、表示部71が実際に表示する画像の表示形状に対応した画素領域に位置する画素のみから画素情報を読出す。さらに、読出アドレス設定部53aは、マスクの切り替えを指示するとともに、明るさ検出部51の明るさ検出結果をもとにマスク内の画素のうちさらに読出し対象の画素を細かく設定してもよい。この場合には、受光部28の読出し対象の画素を指定するためのデータが少なくなるため、さらに効率化できる。
(実施の形態2)
 次に、実施の形態2について説明する。実施の形態2においては、フレームレートに対応させて読出し対象の画素を設定する場合について説明する。図12は、実施の形態2にかかる内視鏡システムの構成を示すブロック図である。
 図12に示すように、実施の形態2にかかる内視鏡システム200の制御装置240は、制御装置40における制御部55に代えて、制御部55と同様の機能を有する制御部255を有し、読出アドレス設定部53に代えて、読出アドレス設定部253を備える。そして、制御装置240は、制御装置40に比して、フレームレート切替部254をさらに有する。
 フレームレート切替部254は、フレームレートを変更する。フレームレート切替部254は、変更したフレームレートに対応させて受光部28における撮像タイミングおよびタイミングジェネレータ34における読出し速度も変更する。言い換えると、フレームレート切替部254が変更したフレームレートに対応して、先端部5の受光部28における撮像タイミングおよびタイミングジェネレータ34の読出しタイミングも制御される。なお、フレームレート切替部254が変更したフレームレートに対応して、光源装置60における発光処理も制御される。
 制御部255は、読出アドレス設定部253が設定する読出し対象の画素を、フレームレート切替部254が変更した読出し速度に応じて変更する。図13および図14を参照し、読出アドレス設定部253による読出し対象の画素の設定について説明する。たとえば、フレームレートとして、標準フレームレートと、標準フレームレートよりも速い高速フレームレートが設けられている場合を例に説明する。
 制御部255は、フレームレートとして標準フレームレートが設定された場合には、図13(1)に示すように、読出アドレス設定部253に、受光部28の全画素を読出し対象に設定させ、高精細画像を生成できるようにしている。これに対して、制御部255は、高速フレームレートが設定された場合には、図13(2)に示すように、読出アドレス設定部253に、受光部28の全画素のうち所定間隔で画素を間引きした残りの画素を読出し対象の画素として設定させる。
 たとえば、図14に示すように、標準フレームレートが30f/secであり、高速フレームレートが標準フレームレートの2倍の60f/secである場合を例に説明する。制御部255は、集合ケーブル31の画像信号を伝送する信号線の単位時間当たりの伝送量を標準フレームレート時における所定の標準伝送量と同じ量にする場合、高速フレームレート時には、受光部28の半分の画素のみをタイミングジェネレータ34およびAFE部36に読出させる。
 この結果、高速フレームレート時の1枚の画像に対応する画像信号のデータ量Db(図14(2)参照)は、標準フレームレートの1枚の画像に対応する画像信号のデータ量Da(図14(1)参照)の2分の1となる。このように、制御部255は、集合ケーブル31の画像信号を伝送する信号線の単位時間当たりの伝送量が標準フレームレート時における所定の標準伝送量と同じ量になるように、読出アドレス設定部253が設定する読出し対象の画素を変更する。
 これによって、実施の形態2においては、信号線の伝送量をフレームレートによらず安定化させることができる。このため、実施の形態2においては、動きが少ない場合には標準フレームレートにおいて解像度の高い動画像を表示することができる。また、実施の形態2においては、動きが速い場合には、動画改善のためにフレームレートを上げても伝送トラブル無く動きを滑らかに観察できるとともに、移動画像の画像歪み、いわゆるローリングシャッタも防止できる。もちろん、制御部255は、読出アドレス設定部253に、集合ケーブル31の画像信号を伝送する信号線の単位時間当たりの伝送量が標準フレームレート時における所定の標準伝送を超えないように、集合ケーブル31の画像信号を伝送する信号線の単位時間当たりの伝送量を標準フレームレート時における所定の標準伝送量よりも低くなるように読出し対象の画素を設定させてもよい。
 次に、内視鏡システム200の体内画像表示処理について説明する。図15は、図12に示す内視鏡システム200の体内画像表示処理の処理手順を示すフローチャートである。
 図15のフローチャートに示すように、制御部255は、図4に示すステップS1と同様に、体内画像の表示の開始の指示があるか否かを判断する(ステップS11)。制御部255は、体内画像の表示の開始の指示があると判断するまでステップS11の判断処理を繰り返す。
 制御部255が体内画像の表示の開始の指示があると判断した場合(ステップS11:Yes)、最初の撮像処理となるため、フレームレート切替部254は、フレームレートをデフォルトの標準フレームレートに設定する(ステップS12)。そして、最初の撮像処理となるため、制御部255は、読出アドレス設定部253に、受光部28の全画素を読出し対象の画素として設定させる(ステップS13)。これによって、先端部5では、フレームレート切替部254が設定した標準フレームレートに対応するタイミングで、受光部28が撮像処理を行った後(ステップS14)、タイミングジェネレータ34およびAFE部36は、受光部28の全画素から画素情報を読出す(ステップS15)。そして、画像処理部42は、受光部28の全画素による画像信号を処理して、一枚の高精細の体内画像を生成する画像処理を行う(ステップS16)。表示部71は、画像処理部42によって生成された画像を表示する(ステップS17)。
 次いで、制御部255は、図4のステップS6と同様に、画像表示の終了が指示されたか否かを判断する(ステップS18)。制御部255は、画像表示の終了が指示されたと判断した場合(ステップS18:Yes)、画像表示処理を終了する。一方、制御部255は、画像表示の終了が指示されていないと判断した場合(ステップS18:No)、入力部72から入力される指示情報をもとに、フレームレートを高速化させる指示があるか否かを判断する(ステップS19)。制御部255がフレームレートを高速化させる指示がないと判断した場合(ステップS19:No)、標準フレームレートのままであるため、ステップS13に戻り全画素について読出し処理が設定されてから次の撮像処理(ステップS14)が行われた後、タイミングジェネレータ34およびAFE部36は、前回の読出し処理と同様に受光部28の全画素に対して読出し処理を行う(ステップS15)。
 一方、制御部255がフレームレートを高速化させる指示があったと判断した場合(ステップS19:Yes)、フレームレート切替部254は、フレームレートを高速フレームレートに設定する(ステップS20)。
 この場合には、制御部255は、読出アドレス設定部253が設定する読出し対象の画素を、受光部28の全画素を所定間隔で画素を間引きした受光部28の半分の画素のみに変更する間引き読出し設定処理を行う(ステップS21)。
 たとえば、制御部255は、読出アドレス設定部253に、図16に示すように、2ラインごとに画素情報を読出すようにラインR1~R7のうちラインR1,R2およびラインR5,R6の画素を読出し対象の画素として設定させる。これ以外にも、制御部255は、読出アドレス設定部253に、R,GあるいはG,Bの2画素を交互に読出すように設定させてもよい。具体的には、図17に示すように、ブロックB1を構成するR,G,G,Bの画素については、R,Gの2つの画素P1,P2が読出し対象に設定され、残りの画素P3,P4は読出し対象外となる。そして、ブロックB1に隣り合うブロックB2については、B,Gの2つの画素P7,P8が読出し対象に設定され、残りの画素P5,P6は読出し対象外となる。もちろん、制御部255は、読出アドレス設定部253に、縦方向の2ラインごとに読出させるように読出し対象の画素を設定させてもよく、4画素以上の所定数の画素を1ブロックとして全画素をブロック分けし、ブロック単位で読出し対象の画素を設定させてもよい。
 そして、先端部5では、フレームレート切替部254が設定した高速フレームレートに対応するタイミングで、受光部28が撮像処理を行い(ステップS22)、タイミングジェネレータ34およびAFE部36は、受光部28の全画素から間引かれた半分の画素のみから画素情報を読出す間引き読出し処理を行う(ステップS23)。画像処理部42は、間引かれた半分の画素による画像信号を処理して、一枚の体内画像を生成する画像処理を行い(ステップS24)、表示部71は、画像処理部42によって生成された画像を表示する(ステップS25)。この場合、表示部71に表示される画像は速いレートで書き換えられ動きが滑らかに表示されるため、標準フレームレート時の画像と比較して解像度の低い画像であっても観察に支障をきたすことはない。
 次いで、制御部255は、入力部72から入力される指示情報をもとに、フレームレートを標準化させる指示があるか否かを判断する(ステップS26)。制御部255がフレームレートを標準化させる指示がないと判断した場合(ステップS26:No)、高速フレームレートのままであるため、ステップS21に戻り半分の画素が読出し対象となる間引き読出し設定処理が行われた後、次の撮像処理(ステップS22)が行われ、タイミングジェネレータ34およびAFE部36は、前回の読出し処理と同様に間引き読出しを行う(ステップS23)。
 一方、制御部255がフレームレートを標準化させる指示があったと判断した場合(ステップS26:Yes)、ステップS12に戻り、フレームレート切替部254は、フレームレートを標準フレームレートに設定する(ステップS12)。そして、次のステップS13において、制御部255は、読出アドレス設定部253に、受光部28の全画素を読出し対象の画素として設定させるため、標準フレームレートに対応するタイミングで、次の撮像処理(ステップS14)が行われ、タイミングジェネレータ34およびAFE部36は、受光部28の全画素に対して読出し処理を行う(ステップS15)。
 このように、実施の形態2においては、信号線の伝送量をフレームレートによらず安定化させることができるため、高画素化あるいは高フレームレートのいずれにも適切に対応可能である。
 なお、実施の形態2においては、フレームレートとして標準フレームレートと高速フレームレートが設けられた場合を例に説明したが、2以上の複数のフレームレートを設定できる場合にも適用できる。この場合には、読出アドレス設定部253は、予め記憶する各フレームレートと読出し対象の画素の各アドレス分布との対応表を参照するなどして、集合ケーブル31の画像信号を伝送する信号線の単位時間当たりの伝送量が標準フレームレート時における所定の標準伝送量を超えないように、各フレームレートに対応した間引き率で読出し対象の画素を設定すればよい。
(実施の形態2の変形例1)
 次に、実施の形態2の変形例1について説明する。実施の形態2の変形例1においては、画像解析を行い先端部5の動き量に対応させて自動的にフレームレートを変更させる場合について説明する。図18は、実施の形態2の変形例1にかかる内視鏡システムの構成を示すブロック図である。
 図18に示すように、実施の形態2の変形例1にかかる内視鏡システム200aの制御装置240aは、制御装置240における制御部255に代えて、制御部255と同様の機能を有する制御部255aを有し、制御装置240に比して、被写体像に対するCMOS撮像素子80の相対的な動き量を検出する動き検出部251aをさらに有する。
 動き検出部251aは、サンプル用メモリ49に保持される前後する複数のRGB画像信号を用いて、各RGB画像上に設定された所定の画素領域(たとえば出血部などに対応する画素領域)の一つ前の画像からの動き量を検出し、制御部255aに検出した動き量を出力する。たとえば、動き検出部251aは、図19に示すように、nフレーム目の画像と、次のフレームである(n+1)フレーム目の画像とを比較して、各画像上に設定した複数の画素領域の相関値たとえば正規化相互相関値を算出し、この一連の画像の各隣接画像間での各画素領域の動きベクトルを動き量として演算する。この画素領域とは、画像上の1以上の画素ブロックによって構成される領域である。
 フレームレート切替部254は、動き検出部251aが検出した動き量が所定量を超えた場合に、フレームレートを標準フレームレートから高速フレームレートに変更し、これにともない、タイミングジェネレータ34およびAFE部36による読出し速度を所定の標準速度よりも速い高速フレームレートに対応した速度に変更する。
 次に、内視鏡システム200aの体内画像表示処理について説明する。図20は、図18に示す内視鏡システム200aの体内画像表示処理の処理手順を示すフローチャートである。
 図20のフローチャートに示すように、制御部255aは、図15に示すステップS11と同様に、体内画像の表示の開始の指示があるか否かを判断する(ステップS11-1)。
 制御部255aは、図15に示すステップS11と同様に、体内画像の表示の開始の指示がある(ステップS11-1:Yes)と判断するまで、ステップS11-1の判断処理を繰り返す。制御部255が体内画像の表示の開始の指示があると判断した場合(ステップS11-1:Yes)、図15に示すステップS12~ステップS17と同様に、フレームレート切替部254が標準フレームレートに設定し(ステップS12-1)、読出アドレス設定部253が受光部28の全画素を読出し対象の画素として設定し(ステップS13-1)、標準フレームレートに対応したタイミングで、受光部28が撮像処理を行った後(ステップS14-1)、タイミングジェネレータ34およびAFE部36が受光部28の全画素から画素情報を読出し(ステップS15-1)、画像処理部42が受光部28の全画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS16-1)、表示部71が体内画像を表示する(ステップS17-1)。
 次いで、制御部255aは、図15のステップS18と同様に、画像表示の終了が指示されたか否かを判断し(ステップS18-1)、画像表示の終了が指示されたと判断した場合(ステップS18-1:Yes)、画像表示処理を終了する。
 一方、制御部255aが画像表示の終了が指示されていないと判断した場合(ステップS18-1:No)、動き検出部251aが被写体像に対するCMOS撮像素子80の相対的な動き量を検出する動き量検出処理を行う(ステップS19-1)。制御部255aは、動き検出部251aが検出した動きが所定量を超えて増加しているか否かを判断する(ステップS19-2)。
 制御部255aが動き量が増加していないと判断した場合(ステップS19-2:No)、標準フレームレートのままでも観察に支障がないため、ステップS13-1に戻り、全画素について読出し処理が設定される。
 一方、制御部255aが動き検出部251aが検出した動きが所定量を超えて増加していると判断した場合(ステップS19-2:Yes)、フレームレート切替部254は、速い動きに対応させて滑らかな動画を表示するためにフレームレートを高速フレームレートに設定する(ステップS20-1)。そして、図15のステップS21~24と同様に、制御部255aは、読出アドレス設定部253に、間引き読出し設定処理を行わせ(ステップS21-1)、高速フレームレートに対応するタイミングで、受光部28が撮像処理を行い(ステップS22-1)、タイミングジェネレータ34およびAFE部36が間引き読出しを行い(ステップS23-1)、画像処理部42が間引かれた半分の画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS24-1)、表示部71が体内画像を表示する(ステップS25-1)。
 次いで、動き検出部251aが動き量検出処理を行い(ステップS26-1)、制御部255aは、動き検出部251aが検出した動きが所定量よりも低下しているか否かを判断する(ステップS26-2)。
 制御部255aが動き量が低下していないと判断した場合(ステップS26-2:No)、速い動きに対応するため高速フレームレートのまま、ステップS21-1に戻り間引き読出し設定処理が行われ、高速フレームレートに対応したタイミングで間引き読出し処理を含む各処理が行われる。
 一方、制御部255aが動き量が低下したと判断した場合(ステップS26-2:Yes)、フレームレートを下げても支障がないため、ステップS12-1に戻る。そして、フレームレートが標準フレームレートに設定され(ステップS12-1)、全画素読出し設定処理(ステップS13-1)が行われた後に、標準フレームレートに対応するタイミングで、全画素読出し処理を含む各処理が行われる。
 このように、画像の動き量に合わせて自動的にフレームレートを変更させた場合も、変更したフレームレートに対応させて読出し対象の画素を設定するため、信号線の伝送量の安定化と適切な体内観察とを実現させることができる。
(実施の形態2の変形例2)
 次に、実施の形態2の変形例2について説明する。実施の形態2の変形例2においては、外科処置用の処置具16を使用する際には、処置のための速い動きを適切に表示させるために自動的にフレームレートを高速化させる場合について説明する。
 図21は、実施の形態2の変形例2にかかる内視鏡システムの構成を示すブロック図である。図21に示すように、実施の形態2の変形例2にかかる内視鏡システム200bの制御装置240bは、制御装置240における制御部255に代えて、制御部255と同様の機能を有する制御部255bを有し、制御装置240に比して、処置具検出部251bをさらに有する。
 たとえば、図22に示すように、処置具16を内視鏡1の挿入部2先端の開口部15aから表出させて外科的処置を行う場合には、受光部28の撮像領域内に処置具16先端も位置するため、図23のメニューM1に示すように、画像G2内に処置具16の先端部も含んで表示される。なお、処置具16は、特許請求の範囲における、CMOS撮像素子80の撮像領域に進退自在に操作可能である機能部に対応する。そこで、処置具検出部251bは、サンプル用メモリ49に保持される画像信号を処理し、体内画像に処置具に対応する画像が含まれるか否かを検出して、処置具16が撮像領域内に位置するか否かを検出する。処置具16の先端を、内視鏡観察対象の体腔内に通常存在しない色、たとえば青色マーカで着色し、処置具検出部251bは、所定値以上の輝度を有するG画素が所定領域以上分布する場合には、撮像視野内に処置具16があることを検出する。なお、図22の223は、送気・送水用ノズルである。
 フレームレート切替部254は、処置具検出部251bが処置具に対応する画像が含まれることを検出した場合には、処置のための速い動きを適切に表示させるためにフレームレートを標準フレームレートから高速フレームレートに変更し、これにともない、タイミングジェネレータ34による読出し速度を所定の標準速度よりも速い高速フレームレートに対応した速度に変更する。
 次に、内視鏡システム200bの体内画像表示処理について説明する。図24は、図21に示す内視鏡システム200bの体内画像表示処理の処理手順を示すフローチャートである。
 図24のフローチャートに示すように、制御部255bは、図15に示すステップS11と同様に、体内画像の表示の開始の指示があるか否かを判断する(ステップS11-3)。
 制御部255bは、図15に示すステップS11と同様に、体内画像の表示の開始の指示がある(ステップS11-3:Yes)と判断するまで、ステップS11-3の判断処理を繰り返す。制御部255bが体内画像の表示の開始の指示があると判断した場合(ステップS11-3:Yes)、図15に示すステップS12~ステップS17と同様に、フレームレート切替部254が標準フレームレートに設定し(ステップS12-3)、制御部255bが読出アドレス設定部253に受光部28の全画素を読出し対象の画素として設定させ(ステップS13-3)、標準フレームレートに対応したタイミングで、受光部28が撮像処理を行い(ステップS14-3)、タイミングジェネレータ34およびAFE部36が受光部28の全画素から画素情報を読出し(ステップS15-3)、画像処理部42が受光部28の全画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS16-3)、表示部71が体内画像を表示する(ステップS17-3)。
 次いで、制御部255bは、図15のステップS18と同様に、画像表示の終了が指示されたか否かを判断し(ステップS18-3)、画像表示の終了が指示されたと判断した場合(ステップS18-3:Yes)、画像表示処理を終了する。
 一方、制御部255bが画像表示の終了が指示されていないと判断した場合(ステップS18-3:No)、処置具検出部251bが体内画像に処置具に対応する画像が含まれるか否かを検出する処置具検出処理を行う(ステップS19-3)。制御部255bは、処置具検出部251bの検出結果より体内画像内に処置具に対応する画像があるか否かを判断する(ステップS19-4)。
 制御部255bが体内画像内に処置具に対応する画像がないと判断した場合(ステップS19-4:No)、外科的処置前であり標準フレームレートのままでも観察に支障がないため、ステップS13-3に戻り全画素について読出し処理が設定される。
 一方、制御部255bが体内画像内に処置具に対応する画像があると判断した場合(ステップS19-4:Yes)、フレームレート切替部254は、外科的処置の速い動きに対応させて滑らかな動画を表示するためにフレームレートを高速フレームレートに設定する(ステップS20-3)。そして、図15のステップS21~24と同様に、制御部255bは、読出アドレス設定部253に、間引き読出し設定処理を行わせ(ステップS21-3)、高速フレームレートに対応するタイミングで、受光部28が撮像処理を行い(ステップS22-3)、タイミングジェネレータ34が間引き読出しを行い(ステップS23-3)、画像処理部42が間引かれた半分の画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS24-3)、表示部71が体内画像を表示する(ステップS25-3)。
 次いで、処置具検出部251bが処置具検出処理を行い(ステップS26-3)、制御部255bは、処置具検出部251bの検出結果より体内画像内に処置具に対応する画像があるか否かを判断する(ステップS26-4)。制御部255bが体内画像内に処置具に対応する画像があると判断した場合(ステップS26-4:Yes)、外科的処置の速い動きに対応するため高速フレームレートのまま、ステップS21-3に戻り間引き読出し設定処理が行われ、高速フレームレートに対応したタイミングで間引き読出し処理を含む各処理が行われる。
 一方、制御部255bが体内画像内に処置具に対応する画像がないと判断した場合(ステップS26-4:No)、外科的処置が終了し処置具を取り出した場合に対応するため、フレームレートを下げても支障がないことから、ステップS12-3に戻る。そして、フレームレートが標準フレームレートに設定され(ステップS12-3)、全画素読出し設定処理(ステップS13-3)が行われた後に、標準フレームレートに対応するタイミングで、全画素読出し処理を含む各処理が行われる。
 このように、処置具の有無に合わせて自動的にフレームレートを変更させた場合も、変更したフレームレートに対応させて読出し対象の画素を設定するため、信号線の伝送量の安定化と適切な体内観察とを実現させることができる。
(実施の形態2の変形例3)
 次に、実施の形態2の変形例3について説明する。図25は、実施の形態2の変形例3にかかる内視鏡システムの構成を示すブロック図である。図25に示すように、実施の形態2の変形例3にかかる内視鏡システム200cは、処置具の内視鏡1への挿入を検知する処置具挿入検知部275を有する。制御装置240cのフレームレート切替部254は、この処置具挿入検知部275が内視鏡1内への処置具16の挿入を検知した場合に、フレームレートを標準フレームレートから高速フレームレートに切り替える。
 処置具挿入検知部275は、図26に例示するように、挿入経路213の途中に設けられたスイッチ214と、検知回路215と、制御部255cに接続する信号線216とを備える。矢印Y1のように処置具16が処置具挿入部13から挿入された場合には、挿入経路途中に設けられたスイッチ214が矢印Y2のように押下され、検知回路215からスイッチ押下を示す信号が信号線216を介して制御部255cに出力される。制御部255cは、この信号を受信した場合には、処置具16が使用されるものと判断する。すなわち、処置具16がCMOS撮像素子80の撮像視野に位置する状態になるものと考えられる。次いで、フレームレート切替部254は、処置のための速い動きを適切に表示させるためにフレームレートを標準フレームレートから高速フレームレートに変更し、これにともない、タイミングジェネレータ34およびAFE部36による読出し速度を所定の標準速度よりも速い高速フレームレートに対応した速度に変更する。
 そして、外科的処置が終了し処置具16が抜き出された場合には、スイッチ214の押下も解除され、検知回路215からスイッチ押下解除を示す信号が信号線216を介して制御部255cに出力される。制御部255cは、この信号を受信した場合には、処置具16の使用が終了したものと判断し、フレームレート切替部254は、フレームレートを高速フレームレートから標準フレームレートに変更する。
 次に、内視鏡システム200cの体内画像表示処理について説明する。図27は、図25に示す内視鏡システム200cの体内画像表示処理の処理手順を示すフローチャートである。
 図27のフローチャートに示すように、制御部255cは、図15に示すステップS11と同様に、体内画像の表示の開始の指示があるか否かを判断する(ステップS11-5)。
 制御部255cは、図15に示すステップS11と同様に、体内画像の表示の開始の指示がある(ステップS11-5:Yes)と判断するまで、ステップS11-5の判断処理を繰り返す。制御部255cが体内画像の表示の開始の指示があると判断した場合(ステップS11-5:Yes)、図15に示すステップS12~ステップS17と同様に、フレームレート切替部254が標準フレームレートに設定し(ステップS12-5)、制御部255cが読出アドレス設定部253に、受光部28の全画素を読出し対象の画素として設定させ(ステップS13-5)、標準フレームレートに対応したタイミングで、受光部28が撮像処理を行い(ステップS14-5)、タイミングジェネレータ34およびAFE部36が受光部28の全画素から画素情報を読出し(ステップS15-5)、画像処理部42が受光部28の全画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS16-5)、表示部71が体内画像を表示する(ステップS17-5)。
 次いで、制御部255cは、図15のステップS18と同様に、画像表示の終了が指示されたか否かを判断し(ステップS18-5)、画像表示の終了が指示されたと判断した場合(ステップS18-5:Yes)、画像表示処理を終了する。
 一方、制御部255cは、画像表示の終了が指示されていないと判断した場合(ステップS18-5:No)、処置具挿入検知部275からの信号入力の有無をもとに、処置具挿入検知部275が処置具の挿入を検知したか否かを判断する(ステップS19-5)。
 制御部255cが処置具挿入検知部275が処置具の挿入を検知しないと判断した場合(ステップS19-5:No)、外科的処置前であり標準フレームレートのままでも観察に支障がないため、ステップS13-5に戻り全画素について読出し処理が設定される。
 一方、制御部255cが処置具挿入検知部275が処置具の挿入を検知したと判断した場合(ステップS19-5:Yes)、フレームレート切替部254は、外科的処置の速い動きに対応させて滑らかな動画を表示するためにフレームレートを高速フレームレートに設定する(ステップS20-5)。そして、図15のステップS21~24と同様に、制御部255cは、読出アドレス設定部253に、間引き読出し設定処理を行わせ(ステップS21-5)、高速フレームレートに対応するタイミングで、受光部28が撮像処理を行い(ステップS22-5)、タイミングジェネレータ34およびAFE部36が間引き読出しを行い(ステップS23-5)、画像処理部42が間引かれた半分の画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS24-5)、表示部71が体内画像を表示する(ステップS25-5)。
 次いで、制御部255cは、ステップS19-5と同様に、処置具挿入検知部275が処置具の取り出しを検知したか否かを判断する(ステップS26-5)。制御部255cが処置具挿入検知部275が処置具の取り出しを検知しないと判断した場合(ステップS26-5:No)、外科的処置の速い動きに対応するため高速フレームレートのまま、ステップS21-5に戻り間引き読出し設定処理が行われ、高速フレームレートに対応したタイミングで間引き読出し処理を含む各処理が行われる。
 一方、制御部255cが処置具挿入検知部275が処置具の取り出しを検知したと判断した場合(ステップS26-5:Yes)、外科的処置が終了し処置具を取り出した場合に対応するため、フレームレートを下げても支障がないことから、ステップS12-5に戻る。そして、フレームレートが標準フレームレートに設定され(ステップS12-5)、全画素読出し設定処理(ステップS13-5)が行われた後に、標準フレームレートに対応するタイミングで、全画素読出し処理を含む各処理が行われる。
(実施の形態3)
 次に、実施の形態3について説明する。実施の形態3では、体内画像の一部分の拡大表示が設定された場合には、自動的にフレームレートを変更させるとともに、拡大表示される体内画像の一部分に対応する画素領域内の画素を読出し対象の画素とする場合について説明する。
 図28は、実施の形態3にかかる内視鏡システムの構成を示すブロック図である。図28に示すように、実施の形態3にかかる内視鏡システム300は、図3に示す入力部72に代えて、表示部71に表示される体内画像を部分的に拡大して表示させる拡大モードを設定し、拡大モード設定情報を出力する拡大モード設定部375をさらに有する入力部372を備える。制御装置340は、図12の制御部255に代えて、制御部255と同様の機能を有する制御部355を有し、読出アドレス設定部253に代えて、読出アドレス設定部353を有し、フレームレート切替部254に代えて、フレームレート切替部354を有する。
 画像の一部が拡大表示される場合には、動きに対する画像ぶれも拡大されて表示される。このため、拡大モードが設定された場合には、画像ぶれのない滑らかな動画を実現するためにフレームレートを高速化することが望ましい。そこで、フレームレート切替部354は、拡大モード設定部375が拡大モードを設定した場合には、フレームレートを標準フレームレートから高速フレームレートに変更するとともに、タイミングジェネレータ34およびAFE部36による読出し速度を所定の標準速度よりも速い高速フレームレートに対応した速度に変更する。このように、フレームレート切替部354は、拡大モード設定部375の設定に応じてフレームレートを変更する。
 また、拡大モードが設定された場合には、図29に示すように、実際に表示部71に表示されるのは、受光部28の全画素を含むセンサ領域Siのうちの一部の領域S4に対応する画像である。このため、制御部355は、拡大モード設定部375が拡大モードを設定した場合には、読出アドレス設定部353に、受光部28の全画素ではなく、拡大モードにおいて実際に拡大表示される体内画像の一部分に対応する画素領域内の画素のみを読出し対象の画素として設定させる。
 すなわち、拡大モードが設定されていない標準倍率モードの場合には、フレームレート切替部354は、フレームレートを標準フレームレートに設定するとともに、読出アドレス設定部353は、図30のように、受光部28の全画素を含むセンサ領域Siを読出し対象に設定して高精細画像Gcを生成できるようにしている。
 これに対して、拡大モードが設定された場合には、動きによる画像ぶれを防ぐために、フレームレート切替部354は、フレームレートを高速フレームレートに設定するとともに、読出アドレス設定部353は、図31に示すように、受光部28のセンサ領域のうち、実際に表示部71に拡大して表示される領域S4内の画素を読出し対象に設定し、この領域S4に対応する画像Gdを高速フレームレートに対応して生成できるようにしている。なお、図30と図31は、同じ縮尺で示される。
 たとえば、図32に示すように、標準倍率時における標準フレームレートが30f/secであり、拡大モード時の高速フレームレートが標準フレームレートの2倍の60f/secである場合を例に説明する。この場合、制御部355は、高速レート時には、集合ケーブル31の画像信号を伝送する信号線の単位時間当たりの伝送量を標準フレームレート時における所定の標準伝送量と同じ量にする場合、読出アドレス設定部353に対して、受光部28の領域S4として全画素の半分の画素が位置する中央部の領域を読出し対象として設定させ、受光部28の半分の画素の画素信号をタイミングジェネレータ34およびAFE部36に読出させる。
 この結果、拡大モード時の1枚の画像に対応する画像信号のデータ量Dd(図32(2)参照)は、標準倍率時の1枚の画像に対応する画像信号のデータ量Dc(図32(1)参照)の2分の1となり、信号線の伝送量をほぼ一定化させることができる。もちろん、制御部355は、読出アドレス設定部353に、集合ケーブル31の画像信号を伝送する信号線の単位時間当たりの伝送量を標準フレームレート時における所定の標準伝送量よりも低くなるように読出し対象の画素を設定させてもよい。
 次に、内視鏡システム300の体内画像表示処理について説明する。図33は、図28に示す内視鏡システム300の体内画像表示処理の処理手順を示すフローチャートである。
 図33のフローチャートに示すように、制御部355は、図15に示すステップS11と同様に、体内画像の表示の開始の指示があるか否かを判断する(ステップS31)。制御部355は、図15に示すステップS11と同様に、体内画像の表示の開始の指示がある(ステップS31:Yes)と判断するまで、ステップS31の判断処理を繰り返す。制御部355が体内画像の表示の開始の指示があると判断した場合(ステップS31:Yes)、図15に示すステップS12~ステップS17と同様に、フレームレート切替部354が標準フレームレートに設定し(ステップS32)、制御部355が読出アドレス設定部353に受光部28の全画素を読出し対象の画素として設定させ(ステップS33)、標準フレームレートに対応したタイミングで、受光部28が撮像処理を行い(ステップS34)、タイミングジェネレータ34およびAFE部36が受光部28の全画素から画素情報を読出し(ステップS35)、画像処理部42が受光部28の全画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS36)、表示部71が体内画像を表示する(ステップS37)。
 次いで、制御部355は、図15のステップS18と同様に、画像表示の終了が指示されたか否かを判断し(ステップS38)、画像表示の終了が指示されたと判断した場合(ステップS38:Yes)、画像表示処理を終了する。
 一方、制御部355は、画像表示の終了が指示されていないと判断した場合(ステップS38:No)、拡大モード設定部375から入力された拡大モード設定情報の入力をもとに、拡大モードが設定されたか否かを判断する(ステップS39)。
 制御部355が拡大モードが設定されていないと判断した場合(ステップS39:No)、標準フレームレートのままでも観察に支障がないため、ステップS33に戻り全画素について読出し処理が設定される。
 一方、制御部355が拡大モードが設定されたと判断した場合(ステップS39:Yes)、フレームレート切替部354は、拡大表示時の画像ぶれを低減させるため、フレームレートを高速フレームレートに設定する(ステップS40)。そして、制御部355は、読出アドレス設定部353に、実際に拡大表示される体内画像の一部分に対応する画素領域であって、受光部28のセンサ領域Ciの一部の領域S4を拡大モード用の読出しエリアとして設定させる(ステップS41)。そして、高速フレームレートに対応するタイミングで、受光部28が撮像処理を行い(ステップS42)、タイミングジェネレータ34およびAFE部36は、設定された領域S4内の画素の画素情報を読出す拡大モード用読出し処理を行う(ステップS43)。次いで、画像処理部42が領域S4の画素による画像信号をもとに体内画像を生成する画像処理を行い(ステップS44)、表示部71が生成された画像を表示する(ステップS45)。
 次に、制御部355は、入力部372からの指示情報の入力をもとに、拡大モードから標準倍率モードに変更されたか否かを判断する(ステップS46)。制御部355が標準倍率モードに変更されていないと判断した場合(ステップS46:No)、拡大モードが継続されることから高速フレームレートのまま、ステップS41に戻り拡大モード用読出し設定処理が行われ、高速フレームレートに対応したタイミングで、領域S4内の画素の画素情報を読出す拡大モード用読出し処理を含む各処理が行われる。
 一方、制御部355が標準倍率モードに変更されたと判断した場合(ステップS46:Yes)、受光部28の全画素を含むセンサ領域Siを読出し対象とするためフレームレートを下げる必要があることから、ステップS32に戻る。そして、フレームレートが標準フレームレートに設定され(ステップS32)、全画素読出し設定処理(ステップS33)が行われた後に、標準フレームレートに対応するタイミングで、全画素読出し処理を含む各処理が行われる。
 このように、実施の形態3においては、拡大モード時には、実際に拡大表示される体内画像の一部分に対応する画素領域内に位置する画素のみを読出し対象の画素として設定するとともに、フレームレートを高速化させて、信号線の伝送量を安定化させながら、動きによる画像ぶれのない拡大表示を可能とする。
(実施の形態4)
 次に、実施の形態4について説明する。実施の形態4では、先端部5の光学系の解像度分布に合わせて、受光部28に対する読出し領域の大きさと読出し処理時の間引き率が異なる2つの読出し条件を設定し、それぞれの読出し条件で読出された画像情報に対応する2枚の画像を合成して1枚の画像に生成する。
 図34は、実施の形態4にかかる内視鏡システムの構成を示すブロック図である。図34に示すように、実施の形態4にかかる内視鏡システム400の制御装置440は、図2の制御装置40における制御部55に代えて、制御部55と同様の機能を有する制御部455を有し、読出アドレス設定部53に代えて、読出アドレス設定部453を有する。
 制御部455は、読出アドレス設定部453に、図35(1)に示すように、受光部28のセンサ領域Siの全画素のうち所定間隔で画素を間引きした残りの画素を第1の読出し対象の画素として設定させる。そして、制御部455は、読出アドレス設定部453に、図35(2)に示すように、受光部28のセンサ領域Si中央の領域S5に位置する全画素を第2の読出し対象の画素として設定させる。なお、図35(1)と図35(2)は、同じ縮尺で示される。
 タイミングジェネレータ34およびAFE部36は、読出アドレス設定部453が設定した第1の読出し対象の画素の画素情報と第2の読出し対象の画素の画素情報とを受光部28から交互に読出し、読出し順に画像信号を制御装置440に出力する。
 画像処理部442は、図2に示す画像処理部42に比して、タイミングジェネレータ34が読出した各画素情報のうち前後して読出した第1の読出し対象の画素の画素情報に対応する画像と第2の読出し対象の画素の画素情報に対応する画像とを合成して1枚の体内画像を生成する合成部446をさらに備える。なお、合成部446は、図示しない合成対象の画像を一時的に保持するメモリを有し、メモリ内の画像は合成処理ごとに書き換えられる。
 画像処理部442では、同時化部43が、読出アドレス設定部453から出力された第1の読出し対象の画素の画素情報をもととしたRGB画像と、第2の読出し対象の画素の画素情報をもととしたRGB画像とを同時化する。
 具体的には、同時化部43は、図36(1)に示すように、タイミングジェネレータ34およびAFE部36の読出し順に、受光部28のセンサ領域Siの画素を間引き読出しした間引き画像G51、受光部28のセンサ領域Si中央の一部の領域S5の全画素に対応する大きさの小さい画像G52、間引き画像G61、大きさの小さい画像G62、間引き画像G71および大きさの小さい画像G72を出力する。各画像は、WB調整部44、ゲイン調整部45、γ補正部46での処理が行われた後、合成部446において、前後する2枚の画像が一枚の画像に合成される。具体的には、合成部446は、図36(2)に示すように、間引き画像G51と間引き画像G51の次に読出された大きさの小さい画像G52とを合成して、一枚の合成画像G5を生成する。また、合成部446は、間引き画像G61と大きさの小さい画像G62とを合成して合成画像G6を生成し、間引き画像G71と大きさの小さい画像G72とを合成して合成画像G7を生成する。合成部446が合成した合成画像G5,G6,G7は、合成順に表示部71によって表示される。
 したがって、表示部71は、受光部28のセンサ領域Siの画素を間引き読出しした間引き画像と受光部28のセンサ領域Siの一部の領域S5の全画素に対応する大きさの小さい画像との合成画像を、一枚の体内画像として表示する。
 このように、実施の形態4では、受光部28に対する読出し領域の大きさに対応させて読出し処理時の間引き率を変えて読出した前後する画像を合成することで、中央部が全画素の画素情報をもととした高精細画像であり、周辺部が間引き読出しされた解像度の低い画像である一枚の体内画像を表示している。通常、内視鏡1の光学系は、結像領域のうちの中央部は高い解像度で結像可能であるものの、結像領域のうちの周辺部は解像度が低い状態で結像される。また、画像中央部分がユーザの関心領域であることがほとんどである。このため、内視鏡システムでは、必ずしも受光部28の全画素を読出して画像全体を一様に高精細化させる必要はなく、実施の形態4のように中央部が高精細であり周辺部が低解像度の画像を表示させても体内観察に支障は生じない。
 次に、内視鏡システム400の体内画像表示処理について説明する。図37は、図34に示す内視鏡システム400の体内画像表示処理の処理手順を示すフローチャートである。
 図37のフローチャートに示すように、制御部455は、図4に示すステップS1と同様に、体内画像の表示の開始の指示があるか否かを判断する(ステップS51)。制御部455は、体内画像の表示の開始の指示があると判断するまでステップS51の判断処理を繰り返す。
 そして、制御部455は、体内画像の表示の開始の指示があると判断した場合(ステップS51:Yes)、フレーム番号nを初期化して1とする(ステップS52)。次に、制御部455は、フレーム番号nが奇数であるか偶数であるかを判断する(ステップS53)。
 制御部455は、フレーム番号nが奇数であると判断した場合(ステップS53:奇数)、読出アドレス設定部453に、受光部28のセンサ領域Siの全画素のうち所定間隔で画素を間引きした残りの画素を第1の読出し対象の画素として設定させる低解像読出し設定処理を行う(ステップS54)。先端部5では、受光部28が撮像処理を行った後(ステップS55)、タイミングジェネレータ34およびAFE部36は、受光部28の全画素から所定間隔で画素を間引いた残りの画素の画素情報を読出す低解像読出し処理を行う(ステップS56)。そして、画像処理部442は、低解像度読出し処理において間引きして読出された画像信号を処理して、低解像の間引き画像を生成する第1の画像生成処理を行った後(ステップS57)、制御部455は、フレーム番号nに1を加算する(ステップS58)。なお、第1の画像生成処理において生成された画像は、WB調整、ゲイン調整、γ補正が行われた後、合成部446内のメモリに保持される。
 制御部455は、フレーム番号nが偶数であると判断した場合(ステップS53:偶数)、ステップS59に進み、読出アドレス設定部453に、受光部28のセンサ領域Si中央の一部の領域S5に位置する全画素を第2の読出し対象の画素として設定させる高精細読出し設定処理を行う(ステップS59)。この結果、先端部5では、受光部28が撮像処理を行い(ステップS60)、タイミングジェネレータ34およびAFE部36は、受光部28中央の一部の領域S5内の全画素の画素情報を読出す高精細読出し処理を行う(ステップS61)。そして、画像処理部442は、高精細度読出し処理において読出された画像信号を処理して、高精細の大きさの小さい画像を生成する第2の画像生成処理を行い(ステップS62)、制御部455は、フレーム番号nに1を加算する(ステップS63)。なお、第2の画像生成処理において生成された画像は、WB調整、ゲイン調整、γ補正が行われた後、合成部446内のメモリに保持される。
 次いで、制御部455は、フレーム番号nが奇数であるか偶数であるかを判断する(ステップS64)。制御部455がフレーム番号nが偶数であると判断した場合(ステップS64:偶数)、ステップS59に進み、高精細画像取得のために読出アドレス設定部453に高精細読出し設定処理を行わせる。
 そして、制御部455がフレーム番号nが奇数であると判断した場合(ステップS64:奇数)、合成部446は、第1の画像生成処理において生成された間引き画像と、第2の画像生成処理において生成された大きさの小さい高精細画像とを合成する合成処理を行う(ステップS65)。図36(2)の画像G5の一部領域S6の部分を例とした場合、合成部446は、間引き画像において間引きされたラインR12,R14,R16(図38(1)参照)を、それぞれ隣接するラインR11,R13,R15の画素情報で図38(2)のように補完してから、補完後の画像に、高精細の小さい画像の画像情報De(図38(3)参照)を上書きすることで一枚の体内画像を合成する。
 次いで、表示部71は、合成部446によって合成された体内画像を表示する(ステップS66)を表示する。そして、制御部455は、図4のステップS6と同様に、画像表示の終了が指示されたか否かを判断する(ステップS67)。制御部455は、画像表示の終了が指示されていないと判断した場合(ステップS67:No)、ステップS53は、次フレームの画像生成のために、フレーム番号nが奇数であるか偶数であるかを判断する。一方、制御部455は、画像表示の終了が指示されたと判断した場合(ステップS67:Yes)、画像表示処理を終了する。
 このように、実施の形態4では、内視鏡1の光学系の解像度に対応させて、受光部28に対する読出し領域の大きさを設定し、さらに読出し領域の大きさに対応させて読出し処理時の間引き率を変えることによって、毎回、受光部28の全画素の画素情報を読出す場合と比して、一度の伝送処理において信号線に伝送される伝送量を低減させるとともに、円滑な体内観察を可能にする。
 また、実施の形態1~4においては、受光部28の読出し対象の画素の変更を自動的に行う場合に限らず、もちろん、内視鏡システムの操作者による操作部3のスイッチ14、カメラヘッド部105のスイッチ(図示しない)、入力部72,372の操作によって制御装置40に入力された指示情報にしたがって、受光部28の読出し対象の画素を変更してもよい。また、実施の形態1~4においては、内視鏡システムの操作者による操作部3のスイッチ14、カメラヘッド部105のスイッチ(図示しない)、入力部72,372の操作によって制御装置40に入力された指示情報にしたがって、内視鏡の撮像モード(通常観察、特殊光観察)が切り替わった場合に、この切り替えに連動して、各撮像モードにそれぞれ対応させて受光部28の読出し対象の画素を変更してもよい。
(実施の形態4の変形例1)
 次に、実施の形態4の変形例1について説明する。実施の形態4の変形例1では、画像解析を行い、画像上の明領域を検出し、明領域については高精細となるように全画素を読出し対象とし、それ以外の暗い領域については間引きして画素情報を読出す場合について説明する。
 図39は、実施の形態4の変形例1にかかる内視鏡システムの構成を示すブロック図である。図39に示すように、実施の形態4の変形例1にかかる内視鏡システム400aの制御装置440aは、図34の制御装置440における制御部455に代えて、制御部455と同様の機能を有する制御部455aを有し、明るさ検出部51に代えて、明るさ検出部451aを有し、読出アドレス設定部453に代えて、読出アドレス設定部453aを有する。また、画像処理部442aは、図34に示す合成部446に代えて、合成部446aを有する。
 明るさ検出部451aは、タイミングジェネレータ34およびAFE部36が読出した1枚の体内画像に対応する画素情報をもとに該画像における所定値以上の輝度を有する撮像領域、すなわち明領域を検出して、検出結果を読出アドレス設定部453aに出力する。明領域は、所定値以上の輝度を有する画素が分布する領域である。
 ここで、内視鏡1先端の開口部15から処置具を表出させて外科的処理を行う場合や、図40に示すように、腹壁Ws外から腹腔Hs内に処置具16aを導入し、内視鏡1aによって撮影された画像を確認しながら処置具16aを操作して外科的処置を行う場合がある。このような場合には、視野F1内に処置具16a先端が位置するように内視鏡先端の位置を調整することから、図41の画像G8および図42の画像G9に示すように、腫瘍Csあるいは血管B近辺の処置具16,16a先端に対して光が照射され、操作対象の処置具16,16a先端が位置する画像の下部領域が画像の上部領域よりも明るく表示される。
 そこで、明るさ検出部451aは、図43の画像G10に示すように、画像上部の領域Atと画像下部の領域Auとの明るさを検出する。そして、制御部455aは、明るさ検出部451aが検出した明領域に位置する画素を、処置具16aが位置する外科的処置対象の領域と判断して、読出アドレス設定部453aに、この明領域に位置する画素を、高精細読出し対象の第2の読出し対象の画素として設定させる。
 領域Auの方が領域Atよりも明るく、領域Auと領域Atとの明るさの比が所定比よりも高い場合には、制御部455aは、読出アドレス設定部453aに、明るい方の領域Auに対応する受光部28のセンサ領域Siの下部領域Su(図44参照)に位置する画素を第2の読出し対象の画素として設定させる(図37のステップS59)。すなわち、制御部455aは、読出アドレス設定部453aに、受光部28のセンサ領域Siの下部領域Suの全画素を読出すように設定させる。また、制御部455aは、領域Auよりも暗い領域Atに対応する受光部28のセンサ領域Siの上部領域Stについては、所定間隔で画素を間引きした残りの画素を第1の読出し対象の画素として読出アドレス設定部453aに設定させる(図37のステップS54)。
 そして、タイミングジェネレータ34およびAFE部36は、受光部28のセンサ領域Siのうち上部領域Stについては間引き読出し、すなわち低解像読出し処理を行う(図37のステップS56)。また、タイミングジェネレータ34およびAFE部36は、受光部28のセンサ領域Siのうち下部領域Suについては全画素を読出す高精細読出し処理(図37のステップS61)を行う。そして、タイミングジェネレータ34およびAFE部36は、読出したそれぞれの領域の画像情報を交互に制御装置440aに伝送する。したがって、実施の形態4の変形例1においても、実施の形態4と同様に、毎回受光部28の全画素の画素情報を読出す場合と比較して、一度の伝送処理において信号線に伝送される伝送量を低減させることができる。
 次いで、合成部446は、受光部28のセンサ領域Siの上部領域Stの間引き画像と受光部28のセンサ領域Siの下部領域Suの高精細画像とを合成し(図37のステップS65)、一枚の体内画像を生成する。この結果、処置具16,16a先端が位置する処置対象の領域は高精細な状態で体内画像が表示される(図37のステップS66)ため、円滑な体内観察および外科的処置が可能になる。
 なお、制御部455,455aは、読出アドレス設定部453,453aに、図45(1)の受光部28のセンサ領域Siから中央の一部領域を切り抜いた領域S6と、切り抜き領域に対応する図45(2)の中央領域S7とで読出し画素の間引き率を変更させてもよい。なお、図45(1)と図45(2)は、同じ縮尺で示される。もちろん、周辺領域に対応する領域S6に位置する画素を高精細読出し対象である第2の読出し対象の画素として設定してもよく、中央領域S7に位置する画素を間引き読出し対象である第1の読出し対象の画素として設定してもよい。このように、制御部455aは、内視鏡システムの体内観察条件等に対応させて、第1の読出し対象の画素が位置する領域と第2の読出し対象の画素の画素が位置する領域とを読出アドレス設定部453,453aに設定させればよい。
(その他の実施の形態)
 本発明の別の実施の形態として、図46の内視鏡システム100bのように、内視鏡の先端部5bに基準クロック生成部56aを設けた構成とすることもできる。この場合には、基準クロック生成部56aから集合ケーブル31の信号線を介して制御装置40bに送信される基準クロック信号は、受光部28に対する駆動信号よりも間隔が長い信号でよい。このため、内視鏡システム100bにおいては、長さの長い信号線を介しても劣化の少ない正確な基準クロック信号を制御装置40bに出力できるとともに、内視鏡システム100と比較して、信号線を介して伝送される画像信号に対する基準クロック信号の影響も低減できる。なお、制御装置40bには、基準クロック生成部56aから出力された基準クロックをもとに各構成部位に対して所定の同期信号を生成する同期信号生成部56bが設けられる。
 また、本発明の別の実施の形態として、図47の内視鏡システム100cのように、内視鏡の先端部5cと制御装置40cとを光ファイバ31cで形成された集合ケーブル31Cで接続し、画像信号を光信号化して伝送することで、大容量の信号を伝送可能にした構成にすることもできる。この場合には、図47のように、内視鏡の先端部5cのCMOS撮像素子80cを、前述したCMOS撮像素子80に電気信号を光信号に変換するE/O変換部39cをさらに加えた構成とする。そして、制御装置40cに光信号を電気信号に変換するO/E変換部41cを設ければよい。
 また、本発明の別の実施の形態として、図48の内視鏡システム100dのように、内視鏡の先端部5dに、白色光源61、特殊光光源62およびLEDドライバ64dを設け、ライトガイドを介さずに先端部5dから直接光を発して、光源からの光を無駄なく外部に照射できる構成にすることもできる。この場合、LEDドライバ64dは、制御装置40dの照明タイミング生成部65dから集合ケーブル31D内の所定の信号線31dを介して所定タイミングで出力された光源駆動信号等をもとに、白色光源61、特殊光光源62を駆動する。
 また、本実施の形態は、内視鏡システムに限らず、デジタルカメラ、デジタル一眼レフカメラ、デジタルビデオカメラ又はカメラ付き携帯電話等の撮影装置に適用しても、効率化が可能である。
 1 内視鏡
 2,102 挿入部
 3 操作部
 4 ユニバーサルコード
 5,5a~5d 先端部
 6 湾曲部
 7 可撓管部
 8 コネクタ部
 9 ライトガイドコネクタ
 10 電気接点部
 11 送気口金
 12 湾曲ノブ
 13 処置具挿入部
 14 スイッチ
 15,15a 開口部
 16,16a 処置具
 21 ライトガイド
 22 照明レンズ
 23 観察窓
 24a,24b レンズ
 25 カバーガラス
 26 回路基板
 27 オンチップフィルタ
 28 受光部
 30 チップコンデンサ
 31c 光ファイバ
 31,31C,31D,131 集合ケーブル
 31d 信号線
 32 電極
 33 処置具用チャンネル
 34,34a タイミングジェネレータ
 34b マスク群
 35 制御回路
 36,36a AFE部
 37 ノイズ除去部
 38 A/D変換部
 39 P/S変換部
 39c E/O変換部
 40,40a~40d,240,240a~240c,340,440,440a 制御装置
 41 S/P変換部
 41c O/E変換部
 42,442,442a 画像処理部
 43 同時化部
 44 WB調整部
 45 ゲイン調整部
 46 γ補正部
 47 D/A変換部
 48 フォーマット変更部
 49 サンプル用メモリ
 50 静止画像用メモリ
 51,451a 明るさ検出部
 52 調光部
 53,53a,253,353,453,453a 読出アドレス設定部
 54 CMOS駆動信号生成部
 55,255,255a,255b,255c,355,455,455a 制御部
 56,56a 基準クロック生成部
 56b 同期信号生成部
 60 光源装置
 61 白色光源
 62 特殊光光源
 63 光源駆動回路
 64,64d LEDドライバ
 65d 照明タイミング生成部
 71 表示部
 72,372 入力部
 73 出力部
 74 記憶部
 80,80c CMOS撮像素子
 100,100a~100d,101,200,200a~200c,300,400,400a 内視鏡システム
 105 カメラヘッド部
 111 接眼部
 123 コネクタ
 132 接続線
 133 信号線
 213 挿入経路
 214 スイッチ
 215 検知回路
 216 信号線
 251a 動き検出部
 251b 処置具検出部
 254,354 フレームレート切替部
 275 処置具挿入検知部
 375 拡大モード設定部
 446,446a 合成部

Claims (15)

  1.  撮像用の複数の画素のうち読出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能である撮像部と、
     前記撮像部における読出し対象の画素を任意に設定可能である設定部と、
     前記設定部の設定に応じて前記撮像部において読出し対象として指定された画素から画素情報を出力させることで画素情報を読出す読出し部と、
     前記読出し部が読出した画素情報から画像を生成する画像処理部と、
     前記画像処理部が生成した画像を表示する表示部と、
     を備えたことを特徴とする撮像装置。
  2.  前記設定部が設定する読出し対象の画素を変更する制御部をさらに備えたことを特徴とする請求項1に記載の撮像装置。
  3.  前記制御部は、前記設定部が設定する読出し対象の画素を、前記撮像部における光学系に応じて変更することを特徴とする請求項2に記載の撮像装置。
  4.  前記読出し部が読出した所定ラインの画素の画素情報をもとに所定値以上の輝度を有する撮像領域を検出する検出部をさらに備え、
     前記制御部は、前記検出部による検出結果をもとに、前記設定部が設定する読出し対象の画素を変更することを特徴とする請求項2に記載の撮像装置。
  5.  前記制御部は、前記検出部による検出結果をもとに、前記読出し部が読出した所定ラインの次のライン、または、次のフレームにおいて対応する同ラインに対して、前記設定部が設定する読出し対象の画素を変更することを特徴とする請求項4に記載の撮像装置。
  6.  前記表示部は、前記画像から所定部分を切り取った所定形状で画像を表示し、
     前記制御部は、前記設定部が設定する読出し対象の画素を、前記表示部が表示する画像の所定形状に対応した画素領域内に位置する画素に変更することを特徴とする請求項2に記載の撮像装置。
  7.  前記所定形状は、複数設定され、
     前記制御部は、複数の前記所定形状のうち前記表示部が表示する画像の所定形状を示す表示形状情報を前記読出し部に出力し、
     前記読出し部は、前記複数の所定形状にそれぞれ対応する複数の画素領域の位置情報を予め有し、前記制御部から出力された表示形状情報が示す所定形状に対応した画素領域に位置する画素の画素情報を読み出すことを特徴とする請求項6に記載の撮像装置。
  8.  前記読出し部による画素情報の読出し速度を変更する読出し速度変更部をさらに備え、
     前記制御部は、前記設定部が設定する読出し対象の画素を、前記速度変更部が変更した読出し速度に応じて変更することを特徴とする請求項2に記載の撮像装置。
  9.  前記撮像部が出力した電気信号を所定の信号形式で有線で伝送する伝送部をさらに備え、
     前記制御部は、前記伝送部における単位時間当たりの画素情報の伝送量が所定の標準伝送量を超えないように前記設定部が設定する読出し対象の画素を変更することを特徴とする請求項8に記載の撮像装置。
  10.  前記制御部は、前記速度変更部によって読出し速度が第1の読出し速度から前記第1の読出し速度よりも速い第2の読出し速度に変更された場合、前記設定部が設定する読出し対象の画素を、前記撮像部の全画素を間引きした残りの画素に変更することを特徴とする請求項8に記載の撮像装置。
  11.  被写体像に対する前記撮像部の相対的な動き量を検出する動き量検出部をさらに備え、
     前記速度変更部は、前記動き量検出部が検出した動き量に応じて前記読出し速度を変更することを特徴とする請求項8に記載の撮像装置。
  12.  前記撮像部における撮像領域に進退自在に操作可能な機能部と、
     前記機能部が前記撮像領域に位置するか否かを検出する機能部検出部と、
     をさらに備え、
     前記速度変更部は、前記機能部検出部の検出結果に応じて前記読出し速度を変更することを特徴とする請求項8に記載の撮像装置。
  13.  前記表示部に表示される画像を部分的に拡大して表示させる拡大モードを設定可能であるモード設定部をさらに備え、
     前記速度変更部は、前記モード設定部による前記拡大モードの設定に応じて前記読出し速度を変更することを特徴とする請求項8に記載の撮像装置。
  14.  前記制御部は、前記設定部に、前記撮像部の全画素のうち所定間隔で画素を間引きした残りの画素を第1の読出し対象の画素として設定させ、前記撮像部の全画素領域の一部の領域に位置する画素を第2の読出し対象の画素として設定させ、
     前記読出し部は、前記第1の読出し対象の画素の画素情報と前記第2の読出し対象の画素の画素情報とを交互に読出し、
     前記画像処理部は、前記読出し部が読出した各画素情報のうち前後して読出した前記第1の読出し対象の画素の画素情報に対応する画像と前記第2の読出し対象の画素の画素情報に対応する画像とを合成して1枚の前記画像を生成することを特徴とする請求項2に記載の撮像装置。
  15.  前記読出し部が読出した1枚の前記画像に対応する画素情報をもとに該画像における所定値以上の輝度を有する撮像領域を検出する検出部をさらに備え、
     前記制御部は、前記設定部に、前記検出部が検出した明領域に位置する画素を前記第2の読出し対象の画素として設定させることを特徴とする請求項14に記載の撮像装置。
PCT/JP2011/070610 2010-09-10 2011-09-09 撮像装置 WO2012033200A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012533045A JPWO2012033200A1 (ja) 2010-09-10 2011-09-09 撮像装置
CN201180042693.5A CN103081456A (zh) 2010-09-10 2011-09-09 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-203487 2010-09-10
JP2010203487 2010-09-10

Publications (1)

Publication Number Publication Date
WO2012033200A1 true WO2012033200A1 (ja) 2012-03-15

Family

ID=45810796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070610 WO2012033200A1 (ja) 2010-09-10 2011-09-09 撮像装置

Country Status (3)

Country Link
JP (1) JPWO2012033200A1 (ja)
CN (1) CN103081456A (ja)
WO (1) WO2012033200A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036055A (ja) * 2013-08-13 2015-02-23 Hoya株式会社 内視鏡システム
CN104919367A (zh) * 2013-02-01 2015-09-16 奥林巴斯株式会社 更换镜头、照相机系统、摄像装置、照相机系统的控制方法及摄像装置的控制方法
JP2015532040A (ja) * 2012-08-15 2015-11-05 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
JPWO2015136963A1 (ja) * 2014-03-12 2017-04-06 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2018047478A1 (ja) * 2016-09-06 2018-03-15 ソニー株式会社 医療用画像処理装置、画像処理方法、及びプログラム
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
WO2018163498A1 (ja) 2017-03-08 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用装置および医療用装置の製造方法
JP2018192002A (ja) * 2017-05-17 2018-12-06 オリンパス株式会社 内視鏡装置、および撮像方法
JP2020137614A (ja) * 2019-02-27 2020-09-03 Hoya株式会社 電子内視鏡システム
US11457795B2 (en) * 2017-11-06 2022-10-04 Hoya Corporation Processor for electronic endoscope and electronic endoscope system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014188852A1 (ja) * 2013-05-20 2014-11-27 オリンパスメディカルシステムズ株式会社 撮像装置
JP5932173B2 (ja) * 2014-06-13 2016-06-08 オリンパス株式会社 固体撮像装置及び撮像方法
CN109906604B (zh) * 2016-11-09 2021-04-20 富士胶片株式会社 摄像装置、摄像方法及记录介质
CN110337260B (zh) * 2017-03-30 2022-03-25 Hoya株式会社 电子内窥镜装置
CN107786863A (zh) * 2017-11-08 2018-03-09 深圳市英唐光显技术有限公司 一种基于spd技术改善成像产品的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135592A (ja) * 1993-11-11 1995-05-23 Canon Inc 撮像装置
JP2002058631A (ja) * 2000-04-19 2002-02-26 Fuji Photo Film Co Ltd 撮像方法および装置
JP2004336338A (ja) * 2003-05-07 2004-11-25 Canon Inc 撮像装置
JP3863583B2 (ja) 1995-09-28 2006-12-27 オリンパス株式会社 撮像装置
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2008187480A (ja) * 2007-01-30 2008-08-14 Fujifilm Corp 撮像装置、撮像方法
JP2008252461A (ja) * 2007-03-30 2008-10-16 Olympus Corp 撮像装置
JP2009164767A (ja) * 2007-12-28 2009-07-23 Hitachi Ltd 撮像装置及びその表示方法
JP2009253693A (ja) * 2008-04-07 2009-10-29 Olympus Corp 撮像装置
JP2010068992A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 電子内視鏡システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209838A (ja) * 2001-01-22 2002-07-30 Olympus Optical Co Ltd 内視鏡撮像装置
JP3811137B2 (ja) * 2003-04-15 2006-08-16 日本アビオニクス株式会社 被写体の動き検出回路

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135592A (ja) * 1993-11-11 1995-05-23 Canon Inc 撮像装置
JP3863583B2 (ja) 1995-09-28 2006-12-27 オリンパス株式会社 撮像装置
JP2002058631A (ja) * 2000-04-19 2002-02-26 Fuji Photo Film Co Ltd 撮像方法および装置
JP2004336338A (ja) * 2003-05-07 2004-11-25 Canon Inc 撮像装置
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2008187480A (ja) * 2007-01-30 2008-08-14 Fujifilm Corp 撮像装置、撮像方法
JP2008252461A (ja) * 2007-03-30 2008-10-16 Olympus Corp 撮像装置
JP2009164767A (ja) * 2007-12-28 2009-07-23 Hitachi Ltd 撮像装置及びその表示方法
JP2009253693A (ja) * 2008-04-07 2009-10-29 Olympus Corp 撮像装置
JP2010068992A (ja) * 2008-09-18 2010-04-02 Fujifilm Corp 電子内視鏡システム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208262A (ja) * 2012-08-15 2019-12-05 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
US10806325B2 (en) 2012-08-15 2020-10-20 Intuitive Surgical Operations, Inc. Methods and systems for optimizing video streaming
US11889975B2 (en) 2012-08-15 2024-02-06 Intuitive Surgical Operations, Inc. Methods and systems for optimizing video streaming
JP2018042293A (ja) * 2012-08-15 2018-03-15 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
JP7379609B2 (ja) 2012-08-15 2023-11-14 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
JP7114760B2 (ja) 2012-08-15 2022-08-08 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
JP2021072644A (ja) * 2012-08-15 2021-05-06 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
JP2015532040A (ja) * 2012-08-15 2015-11-05 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
CN104919367A (zh) * 2013-02-01 2015-09-16 奥林巴斯株式会社 更换镜头、照相机系统、摄像装置、照相机系统的控制方法及摄像装置的控制方法
JP2015036055A (ja) * 2013-08-13 2015-02-23 Hoya株式会社 内視鏡システム
JPWO2015136963A1 (ja) * 2014-03-12 2017-04-06 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2018047478A1 (ja) * 2016-09-06 2018-03-15 ソニー株式会社 医療用画像処理装置、画像処理方法、及びプログラム
US20190183322A1 (en) * 2016-09-06 2019-06-20 Sony Corporation Medical image processing device, image processing method, and program
US10952596B2 (en) 2016-09-06 2021-03-23 Sony Corporation Medical image processing device and image processing method
US11606516B2 (en) 2016-12-28 2023-03-14 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing system
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
US11166621B2 (en) 2017-03-08 2021-11-09 Sony Olympus Medical Solutions Inc. Medical apparatus and method of manufacturing medical apparatus
WO2018163498A1 (ja) 2017-03-08 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用装置および医療用装置の製造方法
JP2018192002A (ja) * 2017-05-17 2018-12-06 オリンパス株式会社 内視鏡装置、および撮像方法
US11457795B2 (en) * 2017-11-06 2022-10-04 Hoya Corporation Processor for electronic endoscope and electronic endoscope system
JP2020137614A (ja) * 2019-02-27 2020-09-03 Hoya株式会社 電子内視鏡システム

Also Published As

Publication number Publication date
JPWO2012033200A1 (ja) 2014-01-20
CN103081456A (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
WO2012033200A1 (ja) 撮像装置
JP5435916B2 (ja) 電子内視鏡システム
JP5259882B2 (ja) 撮像装置
JP5245022B1 (ja) 撮像装置
JP5326065B2 (ja) 内視鏡装置
JP5452776B2 (ja) 撮像装置
WO2013099942A1 (ja) 撮像装置
JP6109456B1 (ja) 画像処理装置および撮像システム
KR20040069332A (ko) 내시경 화상 처리 장치
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
JPWO2017022324A1 (ja) 内視鏡システムの信号処理方法および内視鏡システム
JP2009240531A (ja) 撮影装置
JP6945660B2 (ja) 撮像システムおよび処理装置
JP6137892B2 (ja) 撮像システム
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
JP6242552B1 (ja) 画像処理装置
JP6937902B2 (ja) 内視鏡システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP2017123997A (ja) 撮像システムおよび処理装置
US20200129044A1 (en) Medical observation apparatus and medical observation system
JP2000342529A (ja) 内視鏡装置
JP7213245B2 (ja) 内視鏡用光源装置、内視鏡用光源の制御方法および内視鏡システム
WO2019130834A1 (ja) 画像処理装置および画像処理方法
JP2018202006A (ja) 撮像システム、撮像方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180042693.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11823674

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012533045

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011823674

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE