WO2019230093A1 - 撮像装置及び内視鏡システム - Google Patents

撮像装置及び内視鏡システム Download PDF

Info

Publication number
WO2019230093A1
WO2019230093A1 PCT/JP2019/007603 JP2019007603W WO2019230093A1 WO 2019230093 A1 WO2019230093 A1 WO 2019230093A1 JP 2019007603 W JP2019007603 W JP 2019007603W WO 2019230093 A1 WO2019230093 A1 WO 2019230093A1
Authority
WO
WIPO (PCT)
Prior art keywords
accumulated
image
unit
global reset
endoscope system
Prior art date
Application number
PCT/JP2019/007603
Other languages
English (en)
French (fr)
Inventor
啓介 筒井
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020521709A priority Critical patent/JP6970825B2/ja
Publication of WO2019230093A1 publication Critical patent/WO2019230093A1/ja
Priority to US17/104,246 priority patent/US11297257B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an imaging apparatus and an endoscope system.
  • endoscope systems that include an endoscope that captures a subject inside a subject and a processor that generates an observation image of the subject captured by the endoscope are widely used in the medical field, the industrial field, and the like. It is used.
  • CMOS image sensor As an endoscope in such an endoscope system, for example, a CMOS image sensor is adopted as a solid-state image sensor, and an image signal (video data) output from the CMOS image sensor is sent to an image processing apparatus at a subsequent stage. Transmitting endoscopes are widely known.
  • An image sensor such as the above-described CMOS image sensor is generally driven by receiving a predetermined power supply voltage and a control signal from an image processing apparatus via a cable disposed in an insertion portion of an endoscope and a universal cord. It has come to be.
  • an image pickup signal (video data) output from the image pickup device is also transferred via this cable toward a connector portion disposed at the base end portion of the insertion portion and further to the image processing apparatus.
  • CMOS image sensor mounted in such an endoscope system is arranged at the tip of the insertion portion of the endoscope, a small CMOS image sensor is used. Since a small CMOS image sensor has a small number of lines, exposure control with sufficient resolution cannot be performed even if an electronic shutter is mounted.
  • Japanese Unexamined Patent Application Publication No. 2011-206336 discloses an endoscope system in which exposure periods of all pixel rows are made to coincide by controlling a global reset signal and an illumination period (exposure time).
  • a therapeutic laser apparatus for performing treatment by irradiating a visible light laser such as a KTP laser or an invisible light laser such as a YAG laser may be used in combination.
  • the conventional endoscope system can control the self-illumination such as the brightness of the illumination light or the exposure time of the illumination light when the treatment laser device is used. It is impossible to control the amount of laser light from the laser beam or the irradiation time of the laser light.
  • the conventional endoscope system has a problem that when the therapeutic laser device is used, the CMOS image pickup device is saturated in charge and cannot be used together with the therapeutic laser device.
  • the present invention has been made in view of the above circumstances, and provides an imaging apparatus capable of suppressing charge saturation of a CMOS image sensor and obtaining an image that does not saturate even when irradiated with a therapeutic laser that is not self-illuminated.
  • the purpose is to do.
  • An imaging device is an imaging device that captures an image of a subject, and is arranged in a two-dimensional matrix that receives light from the outside and accumulates it as charges, and outputs the accumulated charges as an image signal.
  • An effective pixel region having a plurality of effective pixels; a global reset circuit that outputs a global reset signal for resetting the charge accumulated in the effective pixels; and dividing the effective pixel region into a plurality of divided regions,
  • a readout timing generation circuit that pauses and resumes readout of the charges accumulated in the effective pixels included in each region at an arbitrary timing.
  • An endoscope system includes an illumination unit that irradiates a subject with illumination light, an endoscope that captures the subject, and an information processing device that can be connected to the endoscope.
  • An endoscope system wherein the endoscope has a plurality of effective pixels that are arranged in a two-dimensional matrix, receive light from the outside, accumulate as charges, and output the accumulated charges as image signals
  • An effective pixel region, a global reset circuit that outputs a global reset signal for resetting the charge accumulated in the effective pixel, and the effective pixel region is divided into a plurality of divided regions, and each of the plurality of divided regions
  • a readout timing generation circuit that temporarily stops and resumes readout of the charges accumulated by the included effective pixels at an arbitrary timing; and
  • An information processing device that receives an image signal read from the imaging device, temporarily stores the image signal in a memory, and combines and outputs the image signal read from the plurality of divided regions;
  • a brightness detection unit that detects the brightness of the subject
  • FIG. 1 is a diagram showing an example of the overall configuration of an endoscope system according to an embodiment of the present invention.
  • the endoscope system 1 includes an endoscope 2, a video processor 3, a therapeutic laser device 4, a laser probe 5, and a monitor 6.
  • the endoscope 2 includes an insertion part 21 for insertion into a subject, an operation part 22 provided at the proximal end of the insertion part 21, a universal cord 23 extending from the operation part 22, and a universal cord 23 And a connector 24 provided at the base end.
  • the insertion part 21 has a tip part, a bending part and a flexible tube part from the tip side.
  • An illumination optical system 25, an objective optical system 26, and a CMOS image pickup device 27 constituted by a CMOS image pickup device are provided at the distal end portion of the insertion portion 21.
  • the illumination optical system 25 irradiates a subject in the subject with illumination light generated from a light source 37 described later from the distal end surface of the distal end portion of the insertion portion 21.
  • the objective optical system 26 forms an optical image of the subject illuminated by the illumination light.
  • the CMOS imaging device 27 receives light from the outside, accumulates it as a charge, and outputs the accumulated charge as an image signal.
  • the effective pixel area 27a has a plurality of effective pixels arranged in a two-dimensional matrix, and the effective pixel area
  • the global reset circuit 27b that outputs a global reset signal for resetting the charges accumulated in the effective pixels 27a and the reading of the charges in the divided areas where the effective pixels in the effective pixel area 27a are divided are temporarily stopped at an arbitrary timing.
  • a read timing generation circuit 27c that can be restarted, and a timing generation circuit 27d that includes a timing generator (TG) that generates a drive timing signal (vertical synchronization signal VD) of the CMOS imaging device 27.
  • TG timing generator
  • VD vertical synchronization signal
  • the video processor 3 as an information processing apparatus includes an image combining unit 31, a brightness detection unit 32, a division number determination unit 33, an imaging control unit 34, a light source control unit 35, an image processing unit 36, and a light source 37. And is configured.
  • the image combining unit 31 includes a receiving unit 31a and a memory 31b.
  • the light source 37 may be provided in a light source device that is separate from the video processor 3.
  • the therapeutic laser device 4 includes a laser emitting unit 41 that emits therapeutic laser light.
  • a laser probe 5 and a foot switch 7 are connected to the therapeutic laser device 4.
  • an operation signal is input to the therapeutic laser device 4.
  • the laser emitting unit 41 of the therapeutic laser device 4 emits laser light when an operation signal is input.
  • the laser light emitted from the laser emitting portion 41 is incident on the proximal end portion of the laser probe 5 and then emitted from the distal end portion of the laser probe 5.
  • the therapeutic laser device 4 can emit laser light at an arbitrary timing and for an arbitrary period by the operator.
  • the laser probe 5 may be configured to be inserted in a forceps channel (not shown) of the insertion portion 21 and used in a state of protruding from the distal end portion of the insertion portion 21.
  • the image signal output from the effective pixel area 27a is temporarily stored in the memory 31b after being received by the receiving unit 31a.
  • the image combining unit 31 combines the image signals for one frame stored in the memory 31 b and outputs the combined image signals to the brightness detection unit 32 and the image processing unit 36.
  • the brightness detection unit 32 detects the brightness of the subject based on the image signal output from the image combining unit 31, and outputs the brightness detection signal to the division number determination unit 33 and the light source control unit 35.
  • the division number determination unit 33 includes the number of divided regions obtained by dividing the effective pixel region 27a into a plurality of regions based on the brightness detection signal output from the brightness detection unit 32 and each of the plurality of divided regions.
  • the readout timing of the charges accumulated in the effective pixels and the output timing of the global reset signal output from the global reset circuit 27 b are determined and output to the imaging control unit 34.
  • the imaging control unit 34 as a transmission circuit outputs the number of divided regions of the effective pixel region 27a determined by the divided number determining unit 33, the readout timing of the charges accumulated in the effective pixels of the divided region, and the output of the global reset signal. Parameters for controlling the timing are transmitted to the CMOS image pickup device 27 to control the CMOS image pickup device 27.
  • the light source control unit 35 calculates a target illuminance value of the light source 37 that is the illumination unit based on the brightness detection signal output from the brightness detection unit 32, and the light emission amount and light emission of the illumination light emitted from the light source 37. Time and light emission timing are controlled.
  • the light source 37 is configured by a lamp capable of controlling light emission for an arbitrary period based on the control of the light source control unit 35.
  • the light source 37 is not limited to a lamp and may be, for example, an LED.
  • the image processing unit 36 performs predetermined image processing on the image signal input via the brightness detection unit 32, generates an image of the subject, and outputs the image to the monitor 6. Further, the image processing unit 36 performs AGC (auto gain control) control or image processing for removing the accumulated charge by the therapeutic laser device 4 when the brightness of the subject detected by the brightness detecting unit 32 is small. (Image correction) is performed. As a result, an image observed by the endoscope 2 is displayed on the monitor 6.
  • AGC auto gain control
  • the normal operation is an operation for reading without dividing the effective pixel area of the effective pixel area 27a.
  • FIG. 2 is a timing chart for explaining an example of normal operation of the endoscope system.
  • the treatment laser by the treatment laser device 4 is not emitted, and the brightness detection value of the subject detected by the brightness detection unit 32 is less than a predetermined threshold value. It is executed in the case of
  • the normal operation of the endoscope system 1 is to generate an image by a general rolling shutter system in which exposure and readout are performed at different timings for each line of the effective pixel region 27a. At this time, the exposure time for each line is a period from the previous reading to the next reading. In normal operation, no global reset signal is input from the global reset circuit 27b.
  • the image signals read out line by line are sequentially written and combined in the memory 31b of the image combining unit 31. Thereafter, the image signals for one frame written in the memory 31 b are combined and output to the brightness detection unit 32 and the image processing unit 36.
  • This divided readout operation is an operation of dividing and reading out the effective pixel area of the effective pixel area 27a.
  • FIG. 3 is a timing chart for explaining an example of the divided readout operation of the endoscope system.
  • the division reading operation of the endoscope system 1 is performed, for example, when a therapeutic laser is emitted from the therapeutic laser device 4 and the detected brightness value of the subject detected by the brightness detection unit 32 is equal to or greater than a predetermined threshold value. To be executed.
  • the therapeutic laser is emitted from the laser emitting portion 41 of the therapeutic laser device 4.
  • the therapeutic laser is emitted from the tip of the laser probe 5.
  • the amount of light increases due to the illumination light from the light source 37 and the therapeutic laser light from the laser emitting portion 41, and charge saturation occurs in the effective pixel region 27a.
  • the division number determination unit 33 determines the number of divisions for reading the imaging region of the effective pixel region 27a, the read timing, and the global reset timing.
  • the effective pixel area 27a is divided into five divided areas 51-55.
  • the divided areas 51 to 55 each have 20 lines.
  • the effective pixel area 27a is divided into five divided areas 51 to 55.
  • the number of divided areas is not limited to five, but is four or less or six or more. There may be.
  • the division number determination unit 33 determines the number of divisions of the effective pixel region 27a based on the brightness information detected by the brightness detection unit 32, and the subject detected by the brightness detection unit 32 Control is performed so that the number of divisions of the divided region increases as the brightness of the image increases.
  • the readout timing generation circuit 27c under the control of the readout timing generation circuit 27c, the readout of the charges accumulated in the effective pixels in the divided areas 51 to 55 is temporarily stopped and restarted at an arbitrary timing. Specifically, when the 1 to 20 lines in the divided area 51 are sequentially read, the reading operation is stopped. Then, a global reset signal is input from the global reset circuit 27b, and charges accumulated in the effective pixel region 27a are reset.
  • an exposure time of a predetermined time is provided and charges are accumulated in the effective pixel region 27a. That is, the exposure time for each line is a period from the last global reset signal to pixel readout. Thereafter, the reading of 21 to 40 lines in the divided area 52 next to the divided area 51 is resumed.
  • the timing generation circuit 27d is prevented from being reset by the global reset signal.
  • reading is resumed from the first line of the divided area 52 (the 21st line in the entire effective pixel area 27a). Thereafter, the same divided read operation is executed in the order of the divided area 53, the divided area 54, and the divided area 55.
  • the image signals read out intermittently in the order of the divided areas 51 to 55 are sequentially written and combined in the memory 31b of the image combining unit 31. Thereafter, the image signals for one frame written in the memory 31 b are combined and output to the brightness detection unit 32 and the image processing unit 36.
  • the endoscope system 1 stops reading out pixels and inputs a global reset signal and accumulates them in the effective pixel area 27a. The charge is reset. Thereafter, the endoscope system 1 performs exposure during a period until the next pixel is read out, and restarts the reading.
  • the endoscope system 1 can perform exposure control while canceling the accumulation of electric charges by the therapeutic laser beam emitted from the therapeutic laser device 4. For example, when reading the pixels in the line of the divided region 52, the charge of the treatment laser light irradiated in a short period from the input of the last global reset signal to the reading of the next pixel is accumulated. For this reason, even when the light source 37 and the therapeutic laser device 4 are used in combination, charge saturation does not occur in the effective pixel region 27a.
  • the endoscope system of the present embodiment it is possible to suppress the charge saturation of the CMOS imaging device and obtain an image that does not saturate the charge even when a therapeutic laser that is not self-illuminated is irradiated.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Exposure Control For Cameras (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stroboscope Apparatuses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置２７は、被写体を撮像する撮像装置２７であって、外部から光を受光して電荷として蓄積し、蓄積した電荷を画像信号として出力する二次元マトリクス状に配置された複数の有効画素を有する有効画素領域２７ａと、有効画素が蓄積した電荷をリセットするためのグローバルリセット信号を出力するグローバルリセット回路２７ｂと、有効画素領域２７ａを複数の分割領域に分割し、分割領域のそれぞれに含まれる有効画素が蓄積した電荷の読み出しを、任意のタイミングで一時停止および再開する読み出しタイミング生成回路２７ｃと、を備える。

Description

撮像装置及び内視鏡システム
　本発明は、撮像装置及び内視鏡システムに関する。
　従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。
　このような内視鏡システムにおける内視鏡としては、固体撮像素子として、例えばＣＭＯＳ撮像素子を採用し、このＣＭＯＳ撮像素子から出力される撮像信号（映像データ）を後段の画像処理装置に対して伝送する内視鏡が広く知られている。
　上述したＣＭＯＳ撮像素子等の撮像素子は、一般に、画像処理装置から内視鏡の挿入部内およびユニバーサルコード内に配設されたケーブルを介して、所定の電源電圧の供給および制御信号を受けて駆動されるようになっている。また、撮像素子から出力される撮像信号（映像データ）もこのケーブルを経由して挿入部基端部に配設されたコネクタ部、さらには画像処理装置に向けて転送するようになっている。
　ところで、このような内視鏡システムに搭載されるＣＭＯＳ撮像素子は、内視鏡の挿入部の先端に配置させることになるため、小型のＣＭＯＳ撮像素子が用いられる。小型のＣＭＯＳ撮像素子はライン数が少ないため、電子シャッタを搭載しても十分な分解能の露光制御を行うことができない。
　そのため、従来の内視鏡システムは、光源からの照明光の明るさを制御することで、小型なＣＭＯＳ撮像素子を搭載した内視鏡の露光制御を行っている。また、日本国特開２０１１－２０６３３６号公報には、グローバルリセット信号及び照明期間（露光時間）を制御することで全画素行の露光期間を一致させる内視鏡システムが開示されている。
　ところで、従来の内視鏡システムでは、ＫＴＰレーザー等の可視光レーザー、あるいは、ＹＡＧレーザー等の非可視光レーザーを照射して治療を行うための治療用レーザー装置が併用されることがある。
　しかしながら、従来の内視鏡システムは、治療用レーザー装置を使用している場合、照明光の明るさ、あるいは、照明光の露光時間等、自照明を制御することはできるが、治療用レーザー装置からのレーザー光の光量、あるいは、レーザー光の照射時間等を制御することができない。
　そのため、従来の内視鏡システムは、治療用レーザー装置を使用している場合、ＣＭＯＳ撮像素子が電荷飽和してしまい、治療用レーザー装置と併用することができないという問題があった。
　本発明は、上記事情に鑑みてなされたもので、ＣＭＯＳ撮像素子の電荷飽和を抑制し、自照明ではない治療用レーザーを照射しても、電荷飽和しない画像を得ることができる撮像装置を提供することを目的とする。
　本発明の一態様の撮像装置は、被写体を撮像する撮像装置であって、外部から光を受光して電荷として蓄積し、蓄積した前記電荷を画像信号として出力する二次元マトリクス状に配置された複数の有効画素を有する有効画素領域と、前記有効画素が蓄積した前記電荷をリセットするためのグローバルリセット信号を出力するグローバルリセット回路と、前記有効画素領域を複数の分割領域に分割し、前記分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しを、任意のタイミングで一時停止および再開する読み出しタイミング生成回路と、を備える。
　また、本発明の一態様の内視鏡システムは、被写体に照明光を照射する照明部と、前記被写体を撮像する内視鏡と、前記内視鏡と接続可能な情報処理装置と、を備える内視鏡システムであって、前記内視鏡は、二次元マトリクス状に配置され、外部から光を受光して電荷として蓄積し、蓄積した前記電荷を画像信号として出力する複数の有効画素を有する有効画素領域と、前記有効画素が蓄積した前記電荷をリセットするためのグローバルリセット信号を出力するグローバルリセット回路と、前記有効画素領域を複数の分割領域に分割し、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しを、任意のタイミングで一時停止および再開する読み出しタイミング生成回路と、を備えた撮像装置を有し、前記情報処理装置は、前記撮像装置から読み出された画像信号を受信し一時的にメモリに格納し、前記複数の分割領域から読み出された前記画像信号を結合して出力する画像結合部と、前記画像結合部から出力された前記画像信号に基づいて前記被写体の明るさを検出し、明るさ検出信号を出力する明るさ検出部と、前記明るさ検出部から出力された前記明るさ検出信号に基づいて、前記複数の分割領域の分割数と、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しタイミングと、前記グローバルリセット信号の出力タイミングと、を決定する分割数決定部と、を備える。
本発明の一実施形態に係わる内視鏡システムの全体構成の一例を示す図である。 内視鏡システムの通常動作の一例を説明するためのタイミングチャートである。 内視鏡システムの分割読み出し動作の一例を説明するためのタイミングチャートである。
　以下、図面を参照して本発明の実施形態を説明する。
　図１は、本発明の一実施形態に係わる内視鏡システムの全体構成の一例を示す図である。
　内視鏡システム１は、内視鏡２と、ビデオプロセッサ３と、治療用レーザー装置４と、レーザープローブ５と、モニタ６とを備えて構成されている。
　内視鏡２は、被検体内に挿入するための挿入部２１と、挿入部２１の基端に設けられた操作部２２と、操作部２２から延出するユニバーサルコード２３と、ユニバーサルコード２３の基端に設けられたコネクタ２４とを有して構成されている。
　挿入部２１は、先端側から先端部、湾曲部及び可撓管部を有して構成されている。挿入部２１の先端部には、照明光学系２５と、対物光学系２６と、ＣＭＯＳ撮像素子により構成されるＣＭＯＳ撮像装置２７とが設けられている。
　照明光学系２５は、後述する光源３７から発生した照明光を挿入部２１の先端部の先端面から被検体内の被写体に照射する。また、対物光学系２６は、照明光により照明された被写体の光学像を結像する。
　ＣＭＯＳ撮像装置２７は、外部から光を受光して電荷として蓄積し、蓄積した電荷を画像信号として出力する二次元マトリクス状に配置された複数の有効画素を有する有効画素領域２７ａと、有効画素領域２７ａの有効画素が蓄積した電荷をリセットするためグローバルリセット信号を出力するグローバルリセット回路２７ｂと、有効画素領域２７ａの有効画素の領域が分割された分割領域の電荷の読出しを任意のタイミングで一時停止および再開することができる読み出しタイミング生成回路２７ｃと、前記ＣＭＯＳ撮像装置２７の駆動タイミング信号（垂直同期信号ＶＤ）を生成するタイミングジェネレータ（ＴＧ）により構成されるタイミング生成回路２７ｄと、を備える。
　情報処理装置としてのビデオプロセッサ３は、画像結合部３１と、明るさ検出部３２と、分割数決定部３３と、撮像制御部３４と、光源制御部３５と、画像処理部３６と、光源３７とを有して構成されている。画像結合部３１は、受信部３１ａ及びメモリ３１ｂを有している。なお、光源３７は、ビデオプロセッサ３とは別体の光源装置に設けられていてもよい。
　治療用レーザー装置４は、治療用のレーザー光を出射するレーザー出射部４１を備える。また、治療用レーザー装置４には、レーザープローブ５及びフットスイッチ７が接続されている。
　操作者がフットスイッチ７を必要に応じて踏む（操作）することで、操作信号が治療用レーザー装置４に入力される。治療用レーザー装置４のレーザー出射部４１は、操作信号が入力されるとレーザー光を出射する。レーザー出射部４１から出射されたレーザー光は、レーザープローブ５の基端部に入射された後、レーザープローブ５の先端部から出射される。
　このように、治療用レーザー装置４は、操作者により任意のタイミング、及び、任意の期間、レーザー光を出射することができる。なお、レーザープローブ５は、挿入部２１の図示しない鉗子チャンネルに挿通され、挿入部２１の先端部から突出した状態で使用される構成であってもよい。
　有効画素領域２７ａから出力された画像信号は、受信部３１ａにより受信された後、メモリ３１ｂに一時的に記憶される。画像結合部３１は、メモリ３１ｂに記憶された１フレーム分の画像信号を結合し、明るさ検出部３２及び画像処理部３６に出力する。
　明るさ検出部３２は、画像結合部３１から出力された画像信号に基づいて、被写体の明るさを検出し、明るさ検出信号を分割数決定部３３及び光源制御部３５に出力する。
　分割数決定部３３は、明るさ検出部３２から出力された明るさ検出信号に基づいて、有効画素領域２７ａを複数の領域に分割した分割領域の領域数と、複数の分割領域のそれぞれに含まれる有効画素が蓄積した電荷の読み出しタイミングと、グローバルリセット回路２７ｂから出力されるグローバルリセット信号の出力タイミングとを決定し、撮像制御部３４に出力する。
　送信回路としての撮像制御部３４は、分割数決定部３３により決定された有効画素領域２７ａの分割領域の領域数と、分割領域の有効画素が蓄積した電荷の読み出しタイミングと、グローバルリセット信号の出力タイミングとを制御するためのパラメータをＣＭＯＳ撮像装置２７に送信し、ＣＭＯＳ撮像装置２７を制御する。
　光源制御部３５は、明るさ検出部３２から出力された明るさ検出信号に基づいて、照明部である光源３７の目標照度値を算出し、光源３７から出射される照明光の発光量、発光時間、及び、発光タイミングを制御する。
　光源３７は、光源制御部３５の制御に基づいて、任意の期間、発光制御可能なランプにより構成されている。なお、光源３７は、ランプに限定されることなく、例えばＬＥＤ等であってもよい。
　画像処理部３６は、明るさ検出部３２を介して入力された画像信号に所定の画像処理を施し、被写体の画像を生成してモニタ６に出力する。また、画像処理部３６は、明るさ検出部３２により検出された被写体の明るさが小さい場合、ＡＧＣ（オートゲインコントロール）制御、または、治療用レーザー装置４による電荷の蓄積分を除去する画像処理（画像補正）を行う。これにより、内視鏡２による観察画像がモニタ６に表示されることになる。
　次に、このように構成された内視鏡システムの動作について説明する。
　まず、内視鏡システム１の通常動作について説明する。この通常動作とは、有効画素領域２７ａの有効画素領域を分割しないで読み出す動作である。
　図２は、内視鏡システムの通常動作の一例を説明するためのタイミングチャートである。
　内視鏡システム１の通常動作は、例えば、治療用レーザー装置４による治療用のレーザーが出射されておらず、明るさ検出部３２により検出された被写体の明るさの検出値が所定の閾値未満の場合に実行される。
　内視鏡システム１の通常動作は、有効画素領域２７ａのライン毎にタイミングをずらして露光と読出しを行う一般的なローリングシャッタ方式により画像を生成するものである。このとき、ライン毎の露光時間は、前回の読み出しから次回の読出しまでの期間となる。また、通常動作では、グローバルリセット回路２７ｂからグローバルリセット信号は入力されない。
　画像結合部３１のメモリ３１ｂには、ライン毎に読み出された画像信号が順次書き込まれて結合される。その後、メモリ３１ｂに書き込まれた１フレーム分の画像信号が結合されて明るさ検出部３２及び画像処理部３６に出力される。
　次に、分割読み出し動作について説明する。この分割読み出し動作とは、有効画素領域２７ａの有効画素領域を分割して読み出す動作である。
　図３は、内視鏡システムの分割読み出し動作の一例を説明するためのタイミングチャートである。
　内視鏡システム１の分割読み出し動作は、例えば、治療用レーザー装置４による治療用のレーザーが出射され、明るさ検出部３２により検出された被写体の明るさの検出値が所定の閾値以上の場合に実行される。
　操作者がフットスイッチ７を踏むことで治療用レーザー装置４のレーザー出射部４１から治療用レーザーが出射される。治療用レーザーは、レーザープローブ５の先端から出射される。この場合、光源３７からの照明光とレーザー出射部４１からの治療用レーザー光とにより光量が増大し、有効画素領域２７ａにおいて電荷飽和が発生する虞がある。
　そのため、分割数決定部３３は、明るさ検出部３２により検出された明るさ情報に基づいて、有効画素領域２７ａの撮像領域を読み出す分割数、読み出しタイミング、グローバルリセットのタイミングを決定する。
　図３の例は、有効画素領域２７ａを５つの分割領域５１～５５に分割したものを示している。例えば、有効画素領域２７ａのライン数が１００ラインの場合、分割領域５１～５５は、それぞれ２０ライン有している。なお、図３では、有効画素領域２７ａを５つの分割領域５１～５５に分割しているが、分割領域の分割数は、５つに限定されるものではなく、４つ以下あるいは６つ以上であってもよい。
　例えば、分割数決定部３３は、明るさ検出部３２により検出された明るさ情報に基づいて、有効画素領域２７ａの分割領域の分割数を決定する際、明るさ検出部３２により検出された被写体の明るさが高くなるに従って分割領域の分割数を増やすように制御する。
　そして、読み出しタイミング生成回路２７ｃの制御により、分割領域５１～５５の有効画素に蓄積した電荷の読み出しを任意のタイミングで一時停止および再開する。具体的には、分割領域５１の１～２０ラインが順次読み出されると、読み出し動作が停止される。そして、グローバルリセット回路２７ｂからグローバルリセット信号が入力され、有効画素領域２７ａに蓄積した電荷がリセットされる。
　グローバルリセット信号が入力された後、所定時間の露光時間を設け、有効画素領域２７ａに電荷を蓄積する。すなわち、ライン毎の露光時間は、最後のグローバルリセット信号から画素読み出しまでの期間となる。その後、分割領域５１の次の分割領域５２の２１～４０ラインの読み出しが再開される。
　このとき、タイミング生成回路２７ｄはグローバルリセット信号によりリセットされないようにする。これにより、分割領域５２の１ライン目（有効画素領域２７ａ全体では２１ライン目）から読み出しが再開されることになる。その後、分割領域５３、分割領域５４及び分割領域５５の順で同様の分割読み出し動作が実行される。　画像結合部３１のメモリ３１ｂには、分割領域５１～５５の順で間欠的に読み出された画像信号が順次書き込まれて結合される。その後、メモリ３１ｂに書き込まれた１フレーム分の画像信号が結合されて明るさ検出部３２及び画像処理部３６に出力される。
　以上のように、内視鏡システム１は、分割された分割領域５１～５５のラインが読み出される毎に、画素の読み出しの停止し、グローバルリセット信号を入力して有効画素領域２７ａに蓄積された電荷をリセットしている。その後、内視鏡システム１は、次の画素の読み出しまでの期間に露光を行い、読み出しを再開する。
　この結果、内視鏡システム１は、治療用レーザー装置４から出射される治療用レーザー光による電荷の蓄積をキャンセルしながら露光制御を行うことができる。例えば、分割領域５２のラインの画素を読み出す場合、最後のグローバルリセット信号が入力されてから次の画素の読み出しまでの期間までの短い期間に照射された治療用レーザー光の電荷が蓄積される。このため、光源３７と治療用レーザー装置４とを併用していても、有効画素領域２７ａにおいて電荷飽和が発生することがなくなる。
　よって、本実施形態の内視鏡システムによれば、ＣＭＯＳ撮像装置の電荷飽和を抑制し、自照明ではない治療用レーザーを照射しても、電荷飽和しない画像を得ることができる。
　本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本出願は、２０１８年５月２９日に日本国に出願された特願２０１８－１０２３４６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (9)

  1. 　被写体を撮像する撮像装置であって、
    　外部から光を受光して電荷として蓄積し、蓄積した前記電荷を画像信号として出力する二次元マトリクス状に配置された複数の有効画素を有する有効画素領域と、
    　前記有効画素が蓄積した前記電荷をリセットするためのグローバルリセット信号を出力するグローバルリセット回路と、
    　前記有効画素領域を複数の分割領域に分割し、前記分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しを、任意のタイミングで一時停止および再開する読み出しタイミング生成回路と、を備えることを特徴とする撮像装置。
  2. 　被写体に照明光を照射する照明部と、前記被写体を撮像する内視鏡と、前記内視鏡と接続可能な情報処理装置と、を備える内視鏡システムであって、
    　前記内視鏡は、
    　二次元マトリクス状に配置され、外部から光を受光して電荷として蓄積し、蓄積した前記電荷を画像信号として出力する複数の有効画素を有する有効画素領域と、前記有効画素が蓄積した前記電荷をリセットするためのグローバルリセット信号を出力するグローバルリセット回路と、前記有効画素領域を複数の分割領域に分割し、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しを、任意のタイミングで一時停止および再開する読み出しタイミング生成回路と、を備えた撮像装置を有し、
    　前記情報処理装置は、
    　前記撮像装置から読み出された前記画像信号を受信し一時的にメモリに格納し、前記複数の分割領域から読み出された前記画像信号を結合して出力する画像結合部と、
    　前記画像結合部から出力された前記画像信号に基づいて前記被写体の明るさを検出し、明るさ検出信号を出力する明るさ検出部と、
    　前記明るさ検出部から出力された前記明るさ検出信号に基づいて、前記複数の分割領域の分割数と、前記複数の分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しタイミングと、前記グローバルリセット信号の出力タイミングと、を決定する分割数決定部と、を備えることを特徴とする内視鏡システム。
  3. 　前記読み出しタイミング生成回路は、前記複数の分割領域のうち、所定の分割領域の有効画素の前記電荷の読み出した後、前記電荷の読み出しを一時停止し、
    　前記グローバルリセット回路は、前記一時停止した期間中に前記グローバルリセット信号を出力することで、前記複数の有効画素の蓄積電荷をリセットして所定の露光時間を再設定し、
    　前記読み出しタイミング生成回路は、前記一時停止した前記所定の分割領域の次の分割領域から前記有効画素に蓄積された前記電荷の読み出しを再開することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記内視鏡は、前記撮像装置の駆動タイミング信号を生成するタイミング生成回路を更に備え、
    　前記タイミング生成回路は、前記グローバルリセット信号によりリセットされないことを特徴とする請求項２に記載の内視鏡システム。
  5. 　前記情報処理装置は、前記明るさ検出部から出力された前記明るさ検出信号に基づいて、前記照明部の目標照度値を算出し、前記照明光の発光量、発光時間及び発光タイミングを制御する光源制御部を更に備えることを特徴とする請求項２に記載の内視鏡システム。
  6. 　前記情報処理装置は、前記分割領域のそれぞれに含まれる前記有効画素が蓄積した前記電荷の読み出しタイミングと、前記グローバルリセット信号の出力タイミングとを制御するパラメータを前記内視鏡の送信する送信回路を更に備えることを特徴とする請求項２に記載の内視鏡システム。
  7. 　前記情報処理装置は、前記明るさ検出部で検出された前記被写体の明るさが小さい場合、ゲイン制御、または、治療用レーザー装置による電荷の蓄積分を除去する画像処理を行う画像処理部を更に備えることを特徴とする請求項２に記載の内視鏡システム。
  8. 　前記照明部は、前記光源制御部の制御に基づいて、任意の期間、発光制御可能なランプであることを特徴とする請求項５に記載の内視鏡システム。
  9. 　前記画像処理部は、前記画像結合部により前記メモリに一時的に格納された後に結合された前記画像信号をモニタに出力することを特徴とする請求項７に記載の内視鏡システム。
PCT/JP2019/007603 2018-05-29 2019-02-27 撮像装置及び内視鏡システム WO2019230093A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020521709A JP6970825B2 (ja) 2018-05-29 2019-02-27 撮像システム
US17/104,246 US11297257B2 (en) 2018-05-29 2020-11-25 Image pickup system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-102346 2018-05-29
JP2018102346 2018-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/104,246 Continuation US11297257B2 (en) 2018-05-29 2020-11-25 Image pickup system

Publications (1)

Publication Number Publication Date
WO2019230093A1 true WO2019230093A1 (ja) 2019-12-05

Family

ID=68696937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007603 WO2019230093A1 (ja) 2018-05-29 2019-02-27 撮像装置及び内視鏡システム

Country Status (3)

Country Link
US (1) US11297257B2 (ja)
JP (1) JP6970825B2 (ja)
WO (1) WO2019230093A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11632501B2 (en) 2019-12-20 2023-04-18 Tobil AB Controlling settings of an image sensor device in an eye tracking system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131127A (ja) * 2006-11-17 2008-06-05 Olympus Corp 固体撮像装置
JP2016039494A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 撮像装置及びその駆動方法
JP2016512994A (ja) * 2013-02-28 2016-05-12 オリーブ・メディカル・コーポレイションＯｌｉｖｅ Ｍｅｄｉｃａｌ Ｃｏｒｐｏｒａｔｉｏｎ Ｃｍｏｓセンサによる声帯のビデオストロボスコピー
JP2017032881A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5616664B2 (ja) 2010-03-30 2014-10-29 富士フイルム株式会社 内視鏡システム
JP5899172B2 (ja) * 2013-01-10 2016-04-06 富士フイルム株式会社 内視鏡装置
JP6442144B2 (ja) * 2013-02-28 2018-12-19 キヤノン株式会社 放射線撮像装置、放射線撮像システム、放射線撮像方法およびプログラム
EP3169054A4 (en) * 2014-07-07 2018-03-21 Olympus Corporation Imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131127A (ja) * 2006-11-17 2008-06-05 Olympus Corp 固体撮像装置
JP2016512994A (ja) * 2013-02-28 2016-05-12 オリーブ・メディカル・コーポレイションＯｌｉｖｅ Ｍｅｄｉｃａｌ Ｃｏｒｐｏｒａｔｉｏｎ Ｃｍｏｓセンサによる声帯のビデオストロボスコピー
JP2016039494A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 撮像装置及びその駆動方法
JP2017032881A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11632501B2 (en) 2019-12-20 2023-04-18 Tobil AB Controlling settings of an image sensor device in an eye tracking system

Also Published As

Publication number Publication date
US11297257B2 (en) 2022-04-05
JP6970825B2 (ja) 2021-11-24
US20210105395A1 (en) 2021-04-08
JPWO2019230093A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
JP5452785B1 (ja) 撮像システム
US9844312B2 (en) Endoscope system for suppressing decrease of frame rate without changing clock rate of reading
US8643710B2 (en) Image pickup apparatus
US9137453B2 (en) Control apparatus and imaging system
US8908022B2 (en) Imaging apparatus
US9538108B2 (en) Endoscope system and pixel correction method
JP5296930B2 (ja) 医療機器
US10447949B2 (en) Endoscope apparatus, method of operating endoscope apparatus, and recording medium
JP5467182B1 (ja) 撮像システム
US10653304B2 (en) Endoscope and endoscope system
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
WO2015114906A1 (ja) 撮像システムおよび撮像装置
JP6970825B2 (ja) 撮像システム
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
US11399700B2 (en) Processing device, endoscope, endoscope system, image processing method, and computer-readable recording medium for correcting a defective pixel
CN111629651A (zh) 摄像系统
US11321814B2 (en) Image processing device, image processing method, and computer readable recording medium
JP2013126002A (ja) 内視鏡装置
JP6277227B2 (ja) 内視鏡システム
JP5997906B2 (ja) 内視鏡システム及び内視鏡用光源装置
JP6172738B2 (ja) 電子内視鏡および電子内視鏡システム
JP2016025509A (ja) 撮像システムおよび内視鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810974

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521709

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19810974

Country of ref document: EP

Kind code of ref document: A1