WO2018211755A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018211755A1
WO2018211755A1 PCT/JP2018/004636 JP2018004636W WO2018211755A1 WO 2018211755 A1 WO2018211755 A1 WO 2018211755A1 JP 2018004636 W JP2018004636 W JP 2018004636W WO 2018211755 A1 WO2018211755 A1 WO 2018211755A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video data
imaging
read
effective
Prior art date
Application number
PCT/JP2018/004636
Other languages
English (en)
French (fr)
Inventor
美志 安達
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018537677A priority Critical patent/JP6489671B1/ja
Priority to CN201880033259.2A priority patent/CN110650669B/zh
Publication of WO2018211755A1 publication Critical patent/WO2018211755A1/ja
Priority to US16/576,910 priority patent/US11432704B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention relates to an imaging apparatus including a plurality of imaging elements that sequentially read out images for each line.
  • an endoscope system that includes an endoscope that captures a subject inside a subject, and an image processing device that generates an observation image of the subject captured by the endoscope, such as a medical field and an industrial field, etc. Widely used.
  • an imaging device for example, a CMOS image sensor
  • a predetermined clock signal is used as an endoscope in such an endoscope system, and an imaging signal output from the imaging device is transmitted.
  • An endoscope having a cable disposed therein is known.
  • the stereoscopic endoscope including such left and right imaging devices adopts a configuration in which the imaging device is placed horizontally, that is, the imaging device is placed horizontally with respect to the insertion axis of the insertion portion. (See, for example, US Pat. No. 8,194,121).
  • the substrates each having left and right imaging elements are arranged in the insertion portion
  • a configuration in which the two substrates are arranged above and below the insertion portion, for example, to reduce the diameter of the insertion portion is used.
  • the substrates on which the imaging elements are arranged are arranged above and below the insertion portion, the subject image captured by the left and right imaging elements is inverted.
  • the CMOS image sensor has an inversion readout function for inverting the readout in the vertical direction
  • the subject image can be obtained by inverting the readout in the vertical direction of one image sensor. Even when the image is reversed, the subject image can be read from the same direction.
  • an endoscope performs imaging by light emission control by a light source device, but the light amount of the light source may change with time. Therefore, in an image sensor that sequentially reads out, if the left and right image sensors do not read out the effective pixel area at the same time, there is a risk that unevenness or noise will occur in the image when the left and right images are combined due to changes in exposure conditions, etc. There is.
  • an object of the present invention is to provide an imaging apparatus that can read out pixel information at the same position of a plurality of imaging elements that perform sequential readout at the same timing.
  • a plurality of imaging elements that capture the same subject and sequentially read out the images line by line, and the image formed on the plurality of imaging elements are image formation positions in the respective imaging elements.
  • the image readout timings of the plurality of image sensors are read in order to match the optical system that forms images different from each other and the head positions of the plurality of effective images at the same position of the subject imaged by the plurality of image sensors.
  • FIG. 1 is a diagram illustrating a configuration of an endoscope system including an imaging device (endoscope) according to a first embodiment of the present invention. It is a perspective view which shows the structure of the front-end
  • FIG. 3 is a timing chart for explaining an example of data read timing by the image sensors 21 and 31.
  • FIG. 3 is a timing chart for explaining an example of data read timing by the image sensors 21 and 31.
  • FIG. 8A It is a figure for demonstrating an example of the imaging area of the image pick-up element of 2nd Embodiment. It is a timing chart for demonstrating an example of the read-out timing of the data by the image pick-up elements 21A and 31A. It is a perspective view which shows the structure of the front-end
  • FIG. 1 is a diagram illustrating a configuration of an endoscope system including an imaging apparatus (endoscope) according to a first embodiment of the present invention.
  • an imaging apparatus endoscope
  • an example of an endoscope that has a solid-state imaging device and images a subject inside a subject will be described as an imaging device.
  • an endoscope system 1 having an imaging apparatus (endoscope) according to the first embodiment includes an endoscope 2 that observes a subject and outputs an imaging signal, and an endoscope. 2, a video processor 3 that performs predetermined image processing on the imaging signal from the endoscope 2, a light source device 4 that supplies illumination light for illuminating the subject, and observation according to the imaging signal And a monitor device 5 for displaying an image.
  • an imaging apparatus endoscope
  • the endoscope 2 includes an elongated insertion portion 6 that is inserted into a body cavity or the like of a subject, and an endoscope operation portion 10 that is disposed on the proximal end side of the insertion portion 6 and is operated by being grasped by an operator.
  • the universal cord 41 is provided with one end so as to extend from the side of the endoscope operation unit 10.
  • the insertion portion 6 includes a rigid distal end portion 7 provided on the distal end side, a bendable bending portion 8 provided at the rear end of the distal end portion 7, and a long and flexible portion provided at the rear end of the bending portion 8. And a flexible tube portion 9 having flexibility.
  • a connector 42 is provided on the base end side of the universal cord 41, and the connector 42 is connected to the light source device 4. That is, a base (not shown) serving as a connection end of a fluid conduit projecting from the tip of the connector 42 and a light guide base (not shown) serving as an illumination light supply end are detachable from the light source device 4. It is to be connected with.
  • connection cable 43 is connected to the electrical contact portion provided on the side surface of the connector 42.
  • a signal line for transmitting an imaging signal from the endoscope 2 is provided in the connection cable 43, and the connector at the other end is connected to the video processor 3.
  • the connector 42 is provided with a connector circuit 51 (see FIG. 3) described later.
  • the configuration of the connector circuit 51 will be described later.
  • FIG. 2A is a perspective view illustrating a configuration of a distal end portion of the insertion portion according to the first embodiment
  • FIG. 2B is a diagram when FIG. 2A is viewed from an arrow A direction (backward direction)
  • FIG. It is the figure which looked at 2A from the arrow B direction (upper surface direction).
  • the distal end portion 7 of the insertion portion 6 has an objective optical system 20 for the right eye, an image sensor 21 disposed on an image plane in the objective optical system 20, and an image sensor 21. Are disposed on the substrate 22. Furthermore, at the distal end portion 7 of the insertion portion 6, there are an objective optical system 30 for the left eye, an image sensor 31 disposed on the imaging surface of the objective optical system 30, and a substrate 32 on which the image sensor 31 is disposed. It is arranged.
  • the objective optical system 20 includes an objective lens 23 and a prism 24.
  • the objective optical system 30 includes an objective lens 33 and a prism 34.
  • the objective optical system 20 is not limited to the configuration having the objective lens 23 and the prism 24, and may have a configuration having a plurality of objective lenses and a prism, for example.
  • the objective optical system 30 is not limited to the configuration having the objective lens 33 and the prism 34, and may have a configuration having a plurality of objective lenses and a prism, for example.
  • the prism 24 is a right-angle prism and is disposed on the rear side of the objective lens 23.
  • the prism 24 totally reflects the reflected light from the subject emitted from the objective lens 23 and emits the reflected light to the image sensor 21.
  • the prism 34 is a right-angle prism and is disposed on the rear side of the objective lens 33.
  • the prism 34 totally reflects the reflected light from the subject emitted from the objective lens 33 and emits the reflected light to the image sensor 31.
  • the substrate 22 is disposed above the tip portion 7, and the substrate 32 is disposed below the tip portion 7.
  • the subject image captured by the image sensor 21 via the right-eye objective optical system 20 and the subject image captured by the image sensor 31 via the left-eye objective optical system 30 are vertically moved. Inverted. That is, the objective optical systems 20 and 30 form an image by inverting the image formed on the imaging elements 21 and 31 up and down. In this way, the objective optical systems 20 and 30 constitute an optical system that forms images formed on the plurality of image pickup devices 21 and 31 so that the image formation positions of the image pickup devices 21 and 31 are different.
  • FIG. 3 is a block diagram illustrating an electrical configuration of the endoscope system according to the first embodiment.
  • the image pickup devices 21 and 31 are arranged at the distal end portion 7.
  • the image pickup devices 21 and 31 are rolling shutter systems, that is, CMOS image sensors that sequentially read out line by line. It is a solid-state image sensor comprised by these.
  • the connector 42 is provided with a connector circuit 51.
  • the connector circuit 51 includes an FPGA 52 and a memory 56.
  • the FPGA 52 is configured by a so-called FPGA (Field Programmable Gate Gate Array), receives operation control from the video processor 3, and functions for driving the image sensors 21 and 31 and processing image signals from the image sensors 21 and 31. In addition, it has a function of controlling various circuits in the endoscope 2.
  • the FPGA 52 includes an I2C control circuit 53, an I2C control circuit 54, and a line memory 55.
  • the video processor 3 includes an FPGA 61.
  • the FPGA 61 includes an image processing unit 62 and a synchronization unit 63.
  • the synchronization unit 63 outputs a master synchronization signal for controlling the driving of the image sensors 21 and 31 to the I2C control circuits 53 and 54.
  • the memory 56 stores information for changing the readout timing between the image sensor 21 and the image sensor 31 (information on a predetermined time difference). The information on the information on the predetermined time difference is stored in the I2C control circuit 53 and the memory 56. 54.
  • the I2C control circuit 53 generates a synchronization signal R1 according to the master synchronization signal from the synchronization unit 63 and information on a predetermined time difference from the memory 56, and outputs the synchronization signal R1 to the image sensor 21.
  • the I2C control circuit 54 generates a synchronization signal L 1 according to the master synchronization signal from the synchronization unit 63 and information on a predetermined time difference from the memory 56, and outputs the synchronization signal L 1 to the image sensor 31.
  • the synchronization signal R1 and the synchronization signal L1 are synchronization signals whose readout timing is changed according to information on a predetermined time difference from the memory 56. Thereby, in this embodiment, it controls so that the reading timing of the area
  • the synchronization signals R1 and L1 are transmitted by so-called I2C (Inter-Integrated Circuit).
  • the I2C control circuits 53 and 54 read the plurality of image pickup devices 21 and 31 in order to match and read the start positions of the plurality of effective images at the same position of the subject imaged by the plurality of image pickup devices 21 and 31.
  • a timing control circuit for controlling the image reading timing is configured.
  • the video data R2 captured by the image sensor 21 and the video data L2 captured by the image sensor 31 are input to the line memory 55.
  • the line memory 55 performs a process of matching the video formats of the video data R2 and the video data L2, and outputs the video data R3 and the video data L3 having the matched video format to the image processing unit 62 of the video processor 3. Although details will be described later, the line memory 55 outputs the video data R3 and the video data L3 subjected to the process of changing or changing the position of the optical black (OB).
  • OB optical black
  • the image processing unit 62 combines the video data R3 for the right eye and the video data L3 for the left eye, and outputs the combined video data to the monitor device 5. As a result, a stereoscopic image having parallax is displayed on the monitor device 5.
  • FIG. 4 is a diagram for explaining an example of the imaging regions of the imaging elements 21 and 31, and FIG. 5 is a timing chart for explaining an example of data read timing by the imaging elements 21 and 31.
  • the image sensor 21 has an optical black area 25 from 1 to 100 lines, an unused data area 26 from 101 to 200 lines, and an effective pixel area 27 from 201 to 1000 lines. ing.
  • the image pickup device 31 has an optical black area 35 from 1 to 100 lines, an effective pixel area 36 from 101 to 900 lines, and an unused data area 37 from 901 to 1000 lines.
  • the image sensor 21 and the image sensor 31 have different effective pixel lines, if the image sensor 21 and the image sensor 31 start reading at the same timing, the image sensor 21 and the image sensor 31 Pixels at the same position cannot be read out at the same timing. That is, the effective pixel region 27 of the image sensor 21 is from the 201st line, and the effective pixel region 36 of the image sensor 31 is from the 101st line. The image sensor 31 is 100 lines from the image sensor 21. The effective pixel area 36 is read out quickly. In other words, the imaging device 31 can start reading out the effective pixel region 36 at the same timing as the effective pixel region 27 of the imaging device 21 by starting reading out 100 lines later than the imaging device 21. .
  • Information of a predetermined time difference for the image sensor 31 to start reading 100 lines later than the image sensor 21 (that is, information for controlling the read timing) is stored in the memory 56 as described above. Input to the I2C control circuits 53 and 54. Thereby, the I2C control circuits 53 and 54 have the same timing for the effective pixel region 27 of the image sensor 21 and the effective pixel region 36 of the image sensor 31 according to the information for controlling the read timing from the memory 56.
  • the synchronization signals R1 and L1 are generated so as to be read out at the same time.
  • the synchronization signal L1 output from the I2C control circuit 54 is generated with a predetermined time difference from the synchronization signal R1 output from the I2C control circuit 53.
  • the imaging device 21 captures the OB data (OB pixel) in the optical black area 25, the unused data (unused pixel) in the unused data area 26, and the effective pixel area 27 in accordance with the synchronization signal R1.
  • the video data R2 read in the order of the area data (effective pixels) is output to the line memory 55.
  • the image pickup device 31 detects OB data (OB pixels) in the optical black area 35, image pickup area data (effective pixels) in the effective pixel area 36, and unused data (unused pixels) in accordance with the synchronization signal L1.
  • the video data L2 read in the order of unused data in the area 37 is output to the line memory.
  • the imaging area data of the imaging element 21 and the imaging area data of the imaging element 31 are read at the same timing.
  • the line memory 55 temporarily stores the video data R2 output from the image sensor 21, and outputs the video data R3 obtained by replacing the OB data immediately before the imaging area data to the image processing unit 62 of the video processor 3.
  • the line memory 55 temporarily stores the video data output from the image sensor 31 and outputs the video data L3 to the image processing unit 62 of the video processor 3.
  • the video data R3 and L3 having the same video format are input to the image processing unit 62.
  • the image processing unit 62 of the video processor 3 can generate a stereoscopic video having parallax by simply synthesizing the video data R3 and the video data L3.
  • the endoscope 2 of the present embodiment generates the synchronization signals R1 and L1 for independently controlling the image sensors 21 and 31 according to the information of the predetermined time difference stored in the memory 56,
  • the effective pixel region 27 of the image sensor 21 and the effective pixel region 36 of the image sensor 31 are read at the same timing.
  • the endoscope (imaging device) of the present embodiment it is possible to read out pixel information at the same position of a plurality of imaging elements that are sequentially read out at the same timing.
  • FIG. 6 is a diagram for explaining an example of an imaging region of the imaging device according to the second embodiment.
  • the endoscope system 1 is configured using imaging elements 21 ⁇ / b> A and 31 ⁇ / b> A, respectively, instead of the imaging elements 21 and 31 of the first embodiment.
  • the optical black regions are arranged in the same direction.
  • the image sensor 21A has an optical black area 28 from 1 to 100 lines and an effective pixel area 29 from 101 to 1000 lines.
  • the effective pixel region 38 is from 1 to 900 lines
  • the optical black region 39 is from 901 to 1000 lines.
  • FIG. 7 is a timing chart for explaining an example of data read timing by the image pickup devices 21A and 31A.
  • the procedure for generating the synchronization signals R1 and L1 by the I2C control circuits 53 and 54 is the same as that in the first embodiment, and is generated so that the imaging area data of the imaging elements 21A and 31A are read at the same timing. That is, the synchronization signal L1 output from the I2C control circuit 54 is generated with a predetermined time difference from the synchronization signal R1 output from the I2C control circuit 53.
  • the image sensor 21A outputs to the line memory 55 video data R2 read in the order of the OB data of the optical black area 28 and the image area data of the effective pixel area 29 in accordance with the synchronization signal R1.
  • the imaging device 31A outputs to the line memory 55 video data L2 read in the order of the imaging region data of the effective pixel region 38 and the OB data of the optical black region 39 in accordance with the synchronization signal L1.
  • the line memory 55 generates video data R3 and L3 having the same video format. Specifically, the line memory 55 performs control to replace the OB data of the video data of the previous frame with the head of the imaging area data of the current frame with respect to the video data L2. As a result, the video data R3 and L3 having the same video format are output from the line memory 55 and input to the image processing unit 62 of the video processor 3. Other configurations and operations are the same as those in the first embodiment. As a result, according to the endoscope (imaging device) of the present embodiment, pixel information at the same position of a plurality of image sensors that are sequentially read can be read at the same timing as in the first embodiment.
  • the two substrates 22 and 32 are arranged at the distal end portion 7.
  • one substrate is arranged at the distal end portion 7.
  • the substrate on which the two image sensors are arranged is a common substrate.
  • FIG. 8A is a perspective view showing the configuration of the distal end portion of the insertion portion of the third embodiment
  • FIG. 8B is a view of FIG. 8A seen from the direction of arrow C (rear direction)
  • FIG. It is the figure which looked at 8A from the arrow D direction (front side).
  • the distal end portion 7 of the insertion portion 6 is provided with an objective optical system 20A for the right eye and an image sensor 21B disposed on the image plane of the objective optical system 20A.
  • the distal end portion 7 is provided with an objective optical system 30A for the left eye and an image sensor 31B disposed on the image plane in the objective optical system 30A.
  • a substrate 70 is disposed at the distal end portion 7, the image sensor 21 ⁇ / b> B is disposed on one surface of the substrate 70, and the image sensor 31 ⁇ / b> B is disposed on the other surface of the substrate 70.
  • the objective optical system 20A includes an objective lens 23 and a prism 24, as in FIG. 2A.
  • the objective optical system 30A includes an objective lens 33 and a prism 34, as in FIG. 2A.
  • the arrangement of the prisms 24 and 34 is different from that in FIG. In the present embodiment, the prisms 24 and 34 are arranged so as to totally reflect the reflected light from the subject in the direction of the central axis of the insertion portion 6.
  • the subject image captured by the image sensor 21B via the right-eye objective optical system 20A and the subject image captured by the image sensor 31B via the left-eye objective optical system 30A are left and right. Inverted.
  • the objective optical systems 20A and 30A invert the images formed on the image sensors 21B and 31B to the left and right to form an image.

Abstract

撮像装置は、同一の被写体を撮像し、画像をライン毎に順次読み出す複数の撮像素子２１及び３１と、複数の撮像素子２１及び３１への結像画像が、それぞれの撮像素子２１及び３１において結像位置が異なるように結像させる対物光学系２０及び２１と、複数の撮像素子２１及び２０が撮像した被写体の同一位置の複数の有効画像の先頭位置を一致させて読み出すために、複数の撮像素子２０及び２１の画像読み出しタイミングを制御するＩ２Ｃ制御回路５３及び５４と、を備える。

Description

撮像装置
　本発明は、画像をライン毎に順次読み出す複数の撮像素子を備えた撮像装置に関する。
　従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成する画像処理装置等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。
　このような内視鏡システムに内視鏡としては、従来、所定のクロック信号により駆動される撮像素子（例えばＣＭＯＳイメージセンサ）を採用し、また、この撮像素子から出力される撮像信号を伝送するケーブルを内部に配設する内視鏡が知られている。
　さらに、近年、左右２つの撮像光学系及び撮像素子を用いて異なる視点から被写体を撮像する立体内視鏡が用いられるようになっている。このような左右の撮像素子を備える立体内視鏡は、挿入部の細径化のために、撮像素子を横置き、即ち、撮像素子を挿入部の挿入軸に対して水平に置く構成が採用される（例えば、米国特許第８１９４１２１号明細書参照）。
　例えば左右の撮像素子がそれぞれ配置された２つの基板を挿入部に配置する場合、挿入部の細径化のために２つの基板を挿入部の例えば上下に配置する構成が用いられる。挿入部の上下に撮像素子が配置された基板を配置する場合、左右の撮像素子によって撮像される被写体像が反転してしまう。
　ＣＭＯＳイメージセンサは、垂直方向の読み出しを反転させる反転読み出し機能を有しているため、撮像素子がＣＭＯＳイメージセンサである場合、一方の撮像素子の垂直方向の読み出しを反転させることで、被写体像が反転している場合でも、同じ方向から被写体像を読み出すことができる。
　しかしながら、左右の撮像素子において、画素領域における有効画素の領域が異なっている場合、反転読み出し機能で同時に読み出しを開始しても、有効画素の領域が同時に読み出されないという問題が発生する。
　一般的に、内視鏡は光源装置による発光制御により撮像を行うが、光源の光量は時間的に変化することがある。そのため、順次読み出しを行う撮像素子においては、左右の撮像素子が有効画素の領域を同時に読み出さないと、露光条件の変化等によって、左右の画像を合成した際に画像にムラやノイズが発生する虞がある。
　そこで、本発明は、順次読み出しを行う複数の撮像素子の同じ位置の画素情報を同じタイミングで読み出すことができる撮像装置を提供することを目的とする。
　本発明の一態様の撮像装置は、同一の被写体を撮像し、画像をライン毎に順次読み出す複数の撮像素子と、前記複数の撮像素子への結像画像が、それぞれの撮像素子において結像位置が異なるように結像させる光学系と、前記複数の撮像素子が撮像した前記被写体の同一位置の複数の有効画像の先頭位置を一致させて読み出すために、前記複数の撮像素子の画像読み出しタイミングを制御するタイミング制御回路と、を備える。
本発明の第１の実施形態の撮像装置（内視鏡）を含む内視鏡システムの構成を示す図である。 第１の実施形態の挿入部の先端部の構成を示す斜視図である。 図２Ａを矢印Ａ方向（背面方向）から見た図である。 図２Ａを矢印Ｂ方向（上面方向）から見た図である。 第１の実施形態の内視鏡システムの電気的な構成を示すブロック図である。 撮像素子２１及び３１の撮像領域の一例を説明するための図である。 撮像素子２１及び３１によるデータの読み出しタイミングの一例を説明するためのタイミングチャートである。 第２の実施形態の撮像素子の撮像領域の一例を説明するための図である。 撮像素子２１Ａ及び３１Ａによるデータの読み出しタイミングの一例を説明するためのタイミングチャートである。 第３の実施形態の挿入部の先端部の構成を示す斜視図である。 図８Ａを矢印Ｃ方向（背面方向）から見た図である。 図８Ａを矢印Ｄ方向（手前方向）から見た図である。
　以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
　図１は、本発明の第１の実施形態の撮像装置（内視鏡）を含む内視鏡システムの構成を示す図である。なお、本実施形態においては、撮像装置として、固体撮像素子を有し被検体の内部の被写体を撮像する内視鏡を例に挙げて説明する。
　図１に示すように、本第１の実施形態の撮像装置（内視鏡）を有する内視鏡システム１は、被検体を観察して撮像信号を出力する内視鏡２と、内視鏡２に接続され、内視鏡２からの撮像信号に対して所定の画像処理を施すビデオプロセッサ３と、被検体を照明するための照明光を供給する光源装置４と、撮像信号に応じた観察画像を表示するモニタ装置５と、を有している。
　内視鏡２は、被検体の体腔内等に挿入される細長の挿入部６と、挿入部６の基端側に配設され術者が把持して操作を行う内視鏡操作部１０と、内視鏡操作部１０の側部から延出するように一方の端部が設けられたユニバーサルコード４１と、を有して構成されている。
　挿入部６は、先端側に設けられた硬質の先端部７と、先端部７の後端に設けられた湾曲自在の湾曲部８と、湾曲部８の後端に設けられた長尺かつ可撓性を有する可撓管部９と、を有して構成されている。
　ユニバーサルコード４１の基端側にはコネクタ４２が設けられ、コネクタ４２は光源装置４に接続されるようになっている。すなわち、コネクタ４２の先端から突出する流体管路の接続端部となる口金（図示せず）と、照明光の供給端部となるライトガイド口金（図示せず）とは光源装置４に着脱自在で接続されるようになっている。
　さらに、コネクタ４２の側面に設けた電気接点部には接続ケーブル４３の一端が接続されるようになっている。この接続ケーブル４３には、例えば内視鏡２からの撮像信号を伝送する信号線が内設され、また、他端のコネクタ部はビデオプロセッサ３に接続されるようになっている。
　なお、コネクタ４２には、後述するコネクタ回路５１（図３参照）が配設されている。コネクタ回路５１の構成については後述する。
　次に、挿入部６の先端部７の構成について説明する。図２Ａは、第１の実施形態の挿入部の先端部の構成を示す斜視図であり、図２Ｂは、図２Ａを矢印Ａ方向（背面方向）から見た図であり、図２Ｃは、図２Ａを矢印Ｂ方向（上面方向）から見た図である。
　図２Ａ～図２Ｃに示すように、挿入部６の先端部７には、右眼用の対物光学系２０と、対物光学系２０における結像面に配置された撮像素子２１と、撮像素子２１が配置される基板２２と、が配設されている。さらに、挿入部６の先端部７には、左目用の対物光学系３０と、対物光学系３０における結像面に配置された撮像素子３１と、撮像素子３１が配置される基板３２と、が配設されている。
　対物光学系２０は、対物レンズ２３と、プリズム２４とを有して構成されている。また、対物光学系３０は、対物レンズ３３と、プリズム３４とを有して構成されている。なお、対物光学系２０は、対物レンズ２３と、プリズム２４とを有する構成に限定されることなく、例えば、複数の対物レンズと、プリズムとを有する構成であってもよい。また、対物光学系３０は、対物レンズ３３と、プリズム３４とを有する構成に限定されることなく、例えば、複数の対物レンズと、プリズムとを有する構成であってもよい。
　プリズム２４は、直角プリズムであり、対物レンズ２３の後側に配置されている。プリズム２４は、対物レンズ２３から出射された被写体からの反射光を全反射し、撮像素子２１に出射する。同様に、プリズム３４は、直角プリズムであり、対物レンズ３３の後側に配置されている。プリズム３４は、対物レンズ３３から出射された被写体からの反射光を全反射し、撮像素子３１に出射する。
　本実施形態では、挿入部６の細径化を図るために、基板２２は、先端部７の上側に配置され、基板３２は、先端部７の下側に配置されている。このような構成により、右眼用の対物光学系２０を介して撮像素子２１に撮像される被写体像と、左目用の対物光学系３０を介して撮像素子３１に撮像される被写体像とが上下反転している。すなわち、対物光学系２０及び３０は、撮像素子２１及び３１への結像画像を上下に反転させて結像させることになる。このように、対物光学系２０及び３０は、複数の撮像素子２１及び３１への結像画像が、それぞれの撮像素子２１及び３１において結像位置が異なるように結像させる光学系を構成する。
　以下、本第１の実施形態の内視鏡システム１の電気的構成について、図３を参照して説明する。図３は、第１の実施形態の内視鏡システムの電気的な構成を示すブロック図である。
　上述したように、先端部７には撮像素子２１及び３１が配設されるが、撮像素子２１及び３１は、本実施形態において、ローリングシャッタ方式、即ち、ライン毎に順次読み出しを行うＣＭＯＳイメージセンサにより構成される固体撮像素子である。
　図３に示すように、コネクタ４２には、コネクタ回路５１が配設されている。コネクタ回路５１は、ＦＰＧＡ５２と、メモリ５６とを有して構成されている。ＦＰＧＡ５２は、いわゆるＦＰＧＡ（Field Programmable Gate Array）により構成され、ビデオプロセッサ３からの動作制御を受け、撮像素子２１及び３１の駆動、および、撮像素子２１及び３１からの撮像信号の処理等の機能の他、内視鏡２における各種回路を制御する機能を備えている。ＦＰＧＡ５２は、Ｉ２Ｃ制御回路５３と、Ｉ２Ｃ制御回路５４と、ラインメモリ５５とを有して構成されている。
　また、ビデオプロセッサ３は、ＦＰＧＡ６１を備える。ＦＰＧＡ６１は、画像処理部６２と、同期部６３とを有して構成されている。
　同期部６３は、撮像素子２１及び３１の駆動を制御するためのマスター同期信号をＩ２Ｃ制御回路５３及び５４に出力する。また、メモリ５６には、撮像素子２１と撮像素子３１とで読み出しのタイミングを変更するための情報（所定時間差の情報）が格納されており、この所定時間差の情報の情報がＩ２Ｃ制御回路５３及び５４に入力される。
　Ｉ２Ｃ制御回路５３は、同期部６３からのマスター同期信号及びメモリ５６からの所定時間差の情報に応じて同期信号Ｒ１を生成し、撮像素子２１に出力する。また、Ｉ２Ｃ制御回路５４は、同期部６３からのマスター同期信号及びメモリ５６からの所定時間差の情報に応じて同期信号Ｌ１を生成し、撮像素子３１に出力する。
　１フレームにおいて、所定時間差をΔｔ、複数の有効画素間の先頭ラインのライン数差をΔＬ、１フレームの合計ライン数をＬ、フレームレートをＲとした場合、所定時間差Δｔは、Δｔ＝Ｒ×ΔＬ／Ｌの関係となる。
　同期信号Ｒ１と同期信号Ｌ１は、メモリ５６からの所定時間差の情報に応じて、読み出しタイミングが変更された同期信号となる。これにより、本実施形態では、撮像素子２１及び撮像素子３１の有効画素の領域の読み出しのタイミングが同一のタイミングとなるように制御している。なお、同期信号Ｒ１及びＬ１は、本実施形態においては、いわゆるＩ２Ｃ（Inter-Integrated Circuit）により伝送されるようになっている。
　このように、Ｉ２Ｃ制御回路５３及び５４は、複数の撮像素子２１及び３１が撮像した被写体の同一位置の複数の有効画像の先頭位置を一致させて読み出すために、複数の撮像素子２１及び３１の画像読み出しタイミングを制御するタイミング制御回路を構成する。
　撮像素子２１により撮像された映像データＲ２、及び、撮像素子３１により撮像された映像データＬ２は、ラインメモリ５５に入力される。ラインメモリ５５は、映像データＲ２及び映像データＬ２の映像フォーマットを一致させる処理を行い、映像フォーマットが一致した映像データＲ３及び映像データＬ３をビデオプロセッサ３の画像処理部６２に出力する。詳細は後述するが、ラインメモリ５５は、オプティカルブラック（ＯＢ）の位置を変更する、あるいは、付け替える処理を行った映像データＲ３及び映像データＬ３を出力する。
　画像処理部６２は、右目用の映像データＲ３と左目用の映像データＬ３とを合成し、合合成後の映像データをモニタ装置５に出力する。これにより、モニタ装置５に視差を有する立体映像が表示されることになる。
　次に、このように構成された内視鏡システム１の動作について、図４及び図５を用いて説明する。図４は、撮像素子２１及び３１の撮像領域の一例を説明するための図であり、図５は、撮像素子２１及び３１によるデータの読み出しタイミングの一例を説明するためのタイミングチャートである。
　図４に示すように、撮像素子２１は、１から１００ラインまでがオプティカルブラックの領域２５、１０１～２００ラインまでが未使用データの領域２６、２０１から１０００ラインまでが有効画素の領域２７となっている。
　一方、撮像素子３１は、１から１００ラインまでがオプティカルブラックの領域３５、１０１から９００ラインまでが有効画素の領域３６、９０１～１０００ラインまでが未使用データの領域３７となっている。
　このように、撮像素子２１と撮像素子３１とは、有効画素のラインが異なっているため、撮像素子２１と撮像素子３１とが同じタイミングで読み出しを開始すると、撮像素子２１と撮像素子３１との同じ位置の画素が同じタイミングで読み出せない。すなわち、撮像素子２１は有効画素の領域２７が２０１ライン目からに対し、撮像素子３１は有効画素の領域３６が１０１ライン目からとなっており、撮像素子３１は、撮像素子２１よりも１００ライン分早く有効画素の領域３６を読み出してしまう。換言すると、撮像素子３１は、撮像素子２１よりも１００ライン分遅く読み出しを開始することで、撮像素子２１の有効画素の領域２７と同じタイミングで有効画素の領域３６の読み出しを開始することができる。
　撮像素子３１が撮像素子２１よりも１００ライン分遅く読み出しを開始するための所定時間差の情報（すなわち、読み出しタイミングを制御するための情報）は、上述したように、メモリ５６に記憶されており、Ｉ２Ｃ制御回路５３及び５４に入力される。これにより、Ｉ２Ｃ制御回路５３及び５４は、メモリ５６からの読み出しタイミングを制御するための情報に応じて、撮像素子２１の有効画素の領域２７と撮像素子３１の有効画素の領域３６とが同じタイミングで読み出されるように、同期信号Ｒ１及びＬ１を生成する。
　この結果、図５に示すように、Ｉ２Ｃ制御回路５４から出力される同期信号Ｌ１は、Ｉ２Ｃ制御回路５３から出力される同期信号Ｒ１に対して、所定時間差ずれて生成されることになる。
　撮像素子２１は、同期信号Ｒ１に応じて、オプティカルブラックの領域２５のＯＢデータ（ＯＢ画素）、未使用データの領域２６の未使用データ（未使用画素）、及び、有効画素の領域２７の撮像領域データ（有効画素）の順で読み出した映像データＲ２をラインメモリ５５に出力する。一方、撮像素子３１は、同期信号Ｌ１に応じて、オプティカルブラックの領域３５のＯＢデータ（ＯＢ画素）、有効画素の領域３６の撮像領域データ（有効画素）、及び、未使用データ（未使用画素）の領域３７の未使用データの順で読み出した映像データＬ２をラインメモリに出力する。
　同期信号Ｌ１は、同期信号Ｒ１に対して所定時間差ずれているため、撮像素子２１の撮像領域データと撮像素子３１の撮像領域データとが同一のタイミングで読み出されることになる。
　ラインメモリ５５は、撮像素子２１から出力された映像データＲ２を一時的に記憶するとともに、ＯＢデータを撮像領域データの直前に付け替えた映像データＲ３をビデオプロセッサ３の画像処理部６２に出力する。また、ラインメモリ５５は、撮像素子３１から出力された映像データを一時的に記憶し、映像データＬ３をビデオプロセッサ３の画像処理部６２に出力する。これにより、映像フォーマットが一致した映像データＲ３及びＬ３が画像処理部６２に入力されることになる。この結果、ビデオプロセッサ３の画像処理部６２は、映像データＲ３及び映像データＬ３を単に合成するだけで、視差を有する立体映像を生成することができる。
　以上のように、本実施形態の内視鏡２は、メモリ５６に格納された所定時間差の情報に応じて、撮像素子２１及び３１を独立で制御するための同期信号Ｒ１及びＬ１を生成し、撮像素子２１の有効画素の領域２７と撮像素子３１の有効画素の領域３６とを同じタイミングで読み出すようにしている。この結果、本実施形態の内視鏡（撮像装置）によれば、順次読み出しを行う複数の撮像素子の同じ位置の画素情報を同じタイミングで読み出すことができる。
（第２の実施形態）
　次に、第２の実施形態について説明する。
　第２の実施形態の内視鏡システム１の全体構成は、第１の実施形態と同様である。第２の実施形態では、撮像素子の構成が第１の実施形態とは異なっている。図６は、第２の実施形態の撮像素子の撮像領域の一例を説明するための図である。
　図６に示すように、第２の実施形態の内視鏡システム１は、第１の実施形態の撮像素子２１及び３１に代わり、それぞれ撮像素子２１Ａ及び３１Ａを用いて構成されている。撮像素子２１Ａ及び３１Ａは、オプティカルブラックの領域が同じ方向に配置されている。
　撮像素子２１Ａは、１から１００ラインまでがオプティカルブラックの領域２８、１０１から１０００ラインまでが有効画素の領域２９となっている。一方、撮像素子３１Ａは、１から９００ラインまでが有効画素の領域３８、９０１から１０００ラインまでがオプティカルブラックの領域３９となっている。
　図７は、撮像素子２１Ａ及び３１Ａによるデータの読み出しタイミングの一例を説明するためのタイミングチャートである。
　Ｉ２Ｃ制御回路５３及び５４による同期信号Ｒ１及びＬ１の生成手順は、第１の実施形態と同様であり、撮像素子２１Ａ及び３１Ａの撮像領域データが同じタイミングで読み出されるように生成される。すなわち、Ｉ２Ｃ制御回路５４から出力される同期信号Ｌ１は、Ｉ２Ｃ制御回路５３から出力される同期信号Ｒ１に対して、所定時間差ずれて生成されることになる。
　撮像素子２１Ａは、同期信号Ｒ１に応じて、オプティカルブラックの領域２８のＯＢデータ、及び、有効画素の領域２９の撮像領域データの順で読み出した映像データＲ２をラインメモリ５５に出力する。一方、撮像素子３１Ａは、同期信号Ｌ１に応じて、有効画素の領域３８の撮像領域データ、及び、オプティカルブラックの領域３９のＯＢデータの順で読み出した映像データＬ２をラインメモリ５５に出力する。
　ラインメモリ５５は、映像フォーマットが一致した映像データＲ３及びＬ３を生成する。具体的には、ラインメモリ５５は、映像データＬ２に対して、１フレーム前の映像データのＯＢデータを現フレームの撮像領域データの先頭に付け替える制御を行う。これにより、映像フォーマットが一致した映像データＲ３及びＬ３がラインメモリ５５から出力され、ビデオプロセッサ３の画像処理部６２に入力されることになる。その他の構成及び動作は、第１の実施形態と同様である。　
　この結果、本実施形態の内視鏡（撮像装置）によれば、第１の実施形態と同様に、順次読み出しを行う複数の撮像素子の同じ位置の画素情報を同じタイミングで読み出すことができる。
（第３の実施形態）
　次に、第３の実施形態について説明する。
　第１の実施形態では、先端部７に２つの基板２２、３２が配置される構成であったが、第３の実施形態は、先端部７に１つの基板が配置される構成となっている。すなわち、第３の実施形態では、２つの撮像素子が配置される基板が共通の基板となっている。
　図８Ａは、第３の実施形態の挿入部の先端部の構成を示す斜視図であり、図８Ｂは、図８Ａを矢印Ｃ方向（背面方向）から見た図であり、図８Ｃは、図８Ａを矢印Ｄ方向（手前方向）から見た図である。
　図８Ａ～図８Ｃに示すように、挿入部６の先端部７には、右眼用の対物光学系２０Ａと、対物光学系２０Ａにおける結像面に配置された撮像素子２１Ｂと、が配設されている。また、先端部７には、左目用の対物光学系３０Ａと、対物光学系３０Ａにおける結像面に配置された撮像素子３１Ｂと、が配設されている。さらに、先端部７には、基板７０が配設され、基板７０の一方の面に撮像素子２１Ｂが配置され、基板７０の他方の面に撮像素子３１Ｂが配置されている。
　対物光学系２０Ａは、図２Ａと同様に、対物レンズ２３と、プリズム２４とを有して構成されている。また、対物光学系３０Ａは、図２Ａと同様に、対物レンズ３３と、プリズム３４とを有して構成されている。ただし、プリズム２４及び３４の配置が図２と異なっている。本実施形態では、プリズム２４及び３４は、それぞれ被写体からの反射光を挿入部６の中心軸方向に全反射するように配置されている。
　このような構成により、右眼用の対物光学系２０Ａを介して撮像素子２１Ｂに撮像される被写体像と、左目用の対物光学系３０Ａを介して撮像素子３１Ｂに撮像される被写体像とが左右反転している。すなわち、対物光学系２０Ａ及び３０Ａは、撮像素子２１Ｂ及び３１Ｂへの結像画像を左右に反転させて結像させることになる。
　その他の構成及び画像データの読み出しタイミングの制御は、第１の実施形態と同様である。本実施形態の内視鏡によれば、第１の実施形態と同様の効果を得るとともに、１つの基板７０を先端部に有する構成であるため、第１の実施形態よりも挿入部６を細径化することができる。
　本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本出願は、２０１７年５月１９日に日本国に出願された特願２０１７－９９５５３号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (7)

  1. 　同一の被写体を撮像し、画像をライン毎に順次読み出す複数の撮像素子と、
    　前記複数の撮像素子への結像画像が、それぞれの撮像素子において結像位置が異なるように結像させる光学系と、
    　前記複数の撮像素子が撮像した前記被写体の同一位置の複数の有効画像の先頭位置を一致させて読み出すために、前記複数の撮像素子の画像読み出しタイミングを制御するタイミング制御回路と、
    　を備えることを特徴とする撮像装置。
  2. 　前記タイミング制御回路は、前記複数の撮像素子の画像読み出しタイミングを独立制御する複数の同期信号を生成し、前記複数の有効画素の先頭位置を一致させて読み出すために、前記複数の同期信号を所定時間差ずらして前記複数の撮像素子に供給することを特徴とする請求項１に記載の撮像装置。
  3. 　前記所定時間差をΔｔ、１フレームにおいて、前記複数の有効画素間の先頭ラインのライン数差をΔＬ、１フレームの合計ライン数をＬ、フレームレートをＲとした場合、
    　前記所定時間差Δｔは、
    　Δｔ＝Ｒ×ΔＬ／Ｌの関係であることを特徴とする請求項２に記載の撮像装置。
  4. 　前記複数の撮像素子は、第１及び第２の撮像素子であって、
    　前記第１の撮像素子は、オプティカルブラック画素、未使用画素、及び、有効画素の順で読み出した第１の映像データを出力し、
    　前記第２の撮像素子は、オプティカルブラック画素、有効画素、及び、未使用画素の順で読み出した第２の映像データを出力することを特徴とする請求項１に記載の撮像装置。
  5. 　前記第１の映像データ及び前記第２の映像データの映像フォーマットを一致させる処理を行うラインメモリを有し、
    　前記ラインメモリは、前記第１の映像データのオプティカルブラック画素を、前記第１の映像データの前記有効画素の直前に付け替える処理を行うことを特徴とする請求項４に記載の撮像装置。
  6. 　前記複数の撮像素子は、第１及び第２の撮像素子であって、
    　前記第１の撮像素子は、オプティカルブラック画素、及び、有効画素の順で読み出した第１の映像データを出力し、
    　前記第２の撮像素子は、有効画素、及び、オプティカルブラック画素の順で読み出した第２の映像データを出力することを特徴とする請求項１に記載の撮像装置。
  7. 　前記第１の映像データ及び前記第２の映像データの映像フォーマットを一致させる処理を行うラインメモリを有し、
    　前記ラインメモリは、１フレーム前の前記第２の映像データのオプティカルブラック画素を、現フレームの前記第２の映像データの有効画素の直前に付け替える処理を行うことを特徴とする請求項６に記載の撮像装置。
PCT/JP2018/004636 2017-05-19 2018-02-09 撮像装置 WO2018211755A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018537677A JP6489671B1 (ja) 2017-05-19 2018-02-09 撮像装置
CN201880033259.2A CN110650669B (zh) 2017-05-19 2018-02-09 摄像装置
US16/576,910 US11432704B2 (en) 2017-05-19 2019-09-20 Image pickup apparatus and endoscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017099553 2017-05-19
JP2017-099553 2017-05-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/576,910 Continuation US11432704B2 (en) 2017-05-19 2019-09-20 Image pickup apparatus and endoscope

Publications (1)

Publication Number Publication Date
WO2018211755A1 true WO2018211755A1 (ja) 2018-11-22

Family

ID=64274327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004636 WO2018211755A1 (ja) 2017-05-19 2018-02-09 撮像装置

Country Status (4)

Country Link
US (1) US11432704B2 (ja)
JP (1) JP6489671B1 (ja)
CN (1) CN110650669B (ja)
WO (1) WO2018211755A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11867897B2 (en) * 2021-07-06 2024-01-09 Evident Corporation Insertion assisting instrument and extraction method of insertion portion of endoscope

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63210813A (ja) * 1987-02-27 1988-09-01 Olympus Optical Co Ltd ビデオスコ−プ装置
JPH08294062A (ja) * 1995-04-24 1996-11-05 Sony Corp 撮像システム
JPH1156757A (ja) * 1997-08-20 1999-03-02 Fuji Photo Optical Co Ltd 立体内視鏡
JP2002306406A (ja) * 2001-04-10 2002-10-22 Asahi Optical Co Ltd 電子内視鏡用クランプ回路
JP2005525896A (ja) * 2002-05-16 2005-09-02 シー２キュア インコーポレイティド 小型カメラヘッド
JP2012050602A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 電子内視鏡システム
JP2014140594A (ja) * 2013-01-25 2014-08-07 Fujifilm Corp 立体内視鏡装置
WO2016035401A1 (ja) * 2014-09-03 2016-03-10 オリンパス株式会社 内視鏡装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873572A (en) 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JPH115675A (ja) * 1997-06-16 1999-01-12 Hitachi Building Syst Co Ltd エレベータ用マグネットブレーキの診断装置
JP4891646B2 (ja) * 2006-04-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像表示装置
CN103648364B (zh) * 2012-03-01 2016-05-25 奥林巴斯株式会社 摄像系统
JP5620612B2 (ja) * 2012-06-27 2014-11-05 オリンパスメディカルシステムズ株式会社 撮像装置および撮像システム
WO2014017165A1 (ja) * 2012-07-24 2014-01-30 オリンパスメディカルシステムズ株式会社 制御装置および撮像システム
AU2013295565B2 (en) * 2012-07-26 2017-06-22 DePuy Synthes Products, Inc. Camera system with minimal area monolithic CMOS image sensor
US11257590B2 (en) * 2017-03-02 2022-02-22 Karl Storz Imaging, Inc. Method and apparatus for medical devices under regulatory control

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63210813A (ja) * 1987-02-27 1988-09-01 Olympus Optical Co Ltd ビデオスコ−プ装置
JPH08294062A (ja) * 1995-04-24 1996-11-05 Sony Corp 撮像システム
JPH1156757A (ja) * 1997-08-20 1999-03-02 Fuji Photo Optical Co Ltd 立体内視鏡
JP2002306406A (ja) * 2001-04-10 2002-10-22 Asahi Optical Co Ltd 電子内視鏡用クランプ回路
JP2005525896A (ja) * 2002-05-16 2005-09-02 シー２キュア インコーポレイティド 小型カメラヘッド
JP2012050602A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 電子内視鏡システム
JP2014140594A (ja) * 2013-01-25 2014-08-07 Fujifilm Corp 立体内視鏡装置
WO2016035401A1 (ja) * 2014-09-03 2016-03-10 オリンパス株式会社 内視鏡装置

Also Published As

Publication number Publication date
CN110650669B (zh) 2021-07-13
US11432704B2 (en) 2022-09-06
JP6489671B1 (ja) 2019-03-27
CN110650669A (zh) 2020-01-03
JPWO2018211755A1 (ja) 2019-06-27
US20200015667A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
JP5730339B2 (ja) 立体内視鏡装置
US7671888B2 (en) Stereoscopic-endoscope display control apparatus and stereoscopic endoscope system
JP2008068021A (ja) 電子内視鏡装置
JP2006181021A (ja) 電子内視鏡装置
US11467392B2 (en) Endoscope processor, display setting method, computer-readable recording medium, and endoscope system
JP6489671B1 (ja) 撮像装置
WO2013161485A1 (ja) 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
US10729309B2 (en) Endoscope system
US9832411B2 (en) Transmission system and processing device
JPH07323004A (ja) 立体視内視鏡システム
US10602113B2 (en) Medical imaging device and medical observation system
KR20070071791A (ko) 스테레오스코프를 이용한 내시경 및 이의 제어 방법
US10542866B2 (en) Medical imaging device
JP5818265B2 (ja) 立体内視鏡装置
JP2018023612A (ja) 内視鏡システム
WO2019171614A1 (ja) 内視鏡および内視鏡の作動方法
JP6188990B2 (ja) 撮像装置
JP2004222937A (ja) 立体視内視鏡装置
JPH10314111A (ja) 立体視内視鏡装置
JP2000115760A (ja) 内視鏡装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018537677

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18803187

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18803187

Country of ref document: EP

Kind code of ref document: A1