JPWO2019155902A1 - 撮像システムおよび処理装置 - Google Patents

撮像システムおよび処理装置 Download PDF

Info

Publication number
JPWO2019155902A1
JPWO2019155902A1 JP2019570671A JP2019570671A JPWO2019155902A1 JP WO2019155902 A1 JPWO2019155902 A1 JP WO2019155902A1 JP 2019570671 A JP2019570671 A JP 2019570671A JP 2019570671 A JP2019570671 A JP 2019570671A JP WO2019155902 A1 JPWO2019155902 A1 JP WO2019155902A1
Authority
JP
Japan
Prior art keywords
phase
period
unit
illumination light
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019570671A
Other languages
English (en)
Other versions
JP6945660B2 (ja
Inventor
学 石関
学 石関
涼平 香川
涼平 香川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2019155902A1 publication Critical patent/JPWO2019155902A1/ja
Application granted granted Critical
Publication of JP6945660B2 publication Critical patent/JP6945660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

本発明にかかる撮像システムは、照明光を出射する光源部と、受光した光量に応じた電荷を蓄積するとともに、蓄積した電荷をローリングシャッタ方式により信号値として読み出す撮像部と、被検体の声帯の振動の入力を受け付ける声帯振動入力部と、声帯の振動の周波数を検出する声帯周波数検出部と、信号値の読み出し期間における前記照明光の出射を制御する照明制御部と、を備える。

Description

本発明は、照明光を出射する光源と撮像素子とを備えた撮像システムに関する。
従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡システムは、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から照明光を出射し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を撮像する。このように撮像された生体画像は、この内視鏡システムのディスプレイに表示される。
発声時の声帯運動を観察するような、声帯を観察対象とする場合、ストロボ発光により間欠的に声帯を照明して声帯を撮像する(例えば、特許文献1を参照)。図7および図8は、従来の内視鏡システムにおける発光タイミングを説明する図である。従来、ストロボ発光により撮像する場合、声帯周波数からずらして、異なる位相(位相PE101、PE102、PE103、・・・、PE108、・・・)で発光させていた(図7参照)。この際、1フレームに相当する期間(例えば、フレーム期間F101、F102)において互いに異なる位相で複数回、声帯が照明される。一方で、特許文献1では、1フレーム内の複数回の発光による画像のぶれを抑制するため、同一フレーム内における発光タイミングを、同じ位相(位相PE111、PE112、PE113、・・・)に揃えている(図8参照)。
特開2002−172088号公報
ところで、特許文献1は、グローバルシャッタ方式による撮像を前提としている。一方、CMOS(Complementary Metal Oxide Semiconductor)撮像素子を採用し、水平ラインごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用した場合には、読出し期間において露光時間が前後のフレームで重複するため、上述したようにフレーム内で位相を揃えても、一方のフレームの一部で、発光した際の位相が異なってしまう。これにより、フレームによっては画像にぶれが生じる。
本発明は、上記に鑑みてなされたものであって、ローリングシャッタ方式を適用した場合でも画像のぶれを抑制することができる撮像システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる撮像システムは、照明光を出射する光源部と、受光した光量に応じた電荷を蓄積するとともに、蓄積した電荷をローリングシャッタ方式により信号値として読み出す撮像部と、被検体の声帯の振動の入力を受け付ける声帯振動入力部と、前記声帯の振動の周波数を検出する声帯周波数検出部と、前記信号値の読み出し期間における前記照明光の出射を制御する照明制御部と、を備えることを特徴とする。
また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、前記撮像部が前記電荷を蓄積する露光期間における前記照明光の出射タイミングを、各フレーム内で前記周波数の同一の位相に設定し、前記読み出し期間における前記照明光の出射タイミングを、時系列で隣り合うフレームの前記露光期間において設定された各位相の平均に設定するとともに、前記読み出し期間における前記照明光の発光強度と、前記撮像部が前記電荷を蓄積する露光期間における前記照明光の発光強度とを同じにすることを特徴とする。
また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、前記撮像部が前記電荷を蓄積する露光期間における前記照明光の出射タイミングを、各フレーム内で前記周波数の同一の位相に設定し、前記読み出し期間における前記照明光の発光強度を、前記撮像部が前記電荷を蓄積する露光期間における前記照明光の発光強度よりも小さくすることを特徴とする。
また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、当該読出し期間より時系列で前のフレームの前記露光期間において設定された位相に設定することを特徴とする。
また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、当該読出し期間より時系列で後のフレームの前記露光期間において設定された位相に設定することを特徴とする。
また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、時系列で隣り合うフレームの前記露光期間において設定された各位相の間の位相に設定することを特徴とする。
また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、時系列で隣り合うフレームの前記露光期間において設定された各位相の平均に設定することを特徴とする。
本発明によれば、ローリングシャッタ方式を適用した場合でも画像のぶれを抑制することができるという効果を奏する。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。 図3は、本発明の実施の形態1にかかる内視鏡システムの照明制御部が行うストロボ発光処理を説明する図である。 図4は、本発明の実施の形態1にかかる内視鏡システムの照明制御部が行うストロボ発光処理を説明する図である。 図5は、本発明の実施の形態2にかかる内視鏡システムの照明制御部が行うストロボ発光処理を説明する図である。 図6は、本発明の実施の形態2の変形例にかかる内視鏡システムの照明制御部が行うストロボ発光処理を説明する図である。 図7は、従来の内視鏡システムにおける発光タイミングを説明する図である。 図8は、従来の内視鏡システムにおける発光タイミングを説明する図である。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる撮像システムの一例として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。図1に示すように、本実施の形態1にかかる内視鏡システム1は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡2(スコープ)と、音声が入力される音声入力装置3と、内視鏡2によって撮像された撮像信号に対して所定の画像処理を行うとともに内視鏡システム1の各部を制御する処理装置4と、内視鏡2の照明光(観察光)としてパルス光を生成する光源装置5(光源部)と、処理装置4が画像処理を施して生成した画像信号に対応する画像を表示する表示装置6と、を備える。
内視鏡2は、被検体内に挿入される挿入部21と、挿入部21の基端部側であって術者が把持する操作部22と、操作部22より延伸する可撓性のユニバーサルコード23と、を備える。
挿入部21は、照明ファイバ(ライトガイドケーブル)および電気ケーブル等を用いて実現される。挿入部21は、被検体内を撮像する撮像素子を内蔵した撮像部を有する先端部211と、複数の湾曲駒によって構成された湾曲自在な湾曲部212と、湾曲部212の基端部側に設けられた可撓性を有する可撓管部213と、を有する。先端部211には、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する観察部、処理具用チャンネルを連通する開口部および送気・送水用ノズル(図示せず)が設けられている。
操作部22は、湾曲部212を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部222と、処理装置4、光源装置5、送気装置、送水装置および送ガス装置等の周辺機器を操作する複数のスイッチ部223と、を有する。処置具挿入部222から挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部21先端の開口部から表出する。
ユニバーサルコード23は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード23は、基端で分岐しており、分岐した一方の分岐コード231の端部がコネクタ232であり、他方の基端がコネクタ233である。コネクタ232は、処理装置4に対して着脱自在であり、コネクタ233は、光源装置5に対して着脱自在である。ユニバーサルコード23は、光源装置5から出射された照明光を、コネクタ232、操作部22および可撓管部213を介して先端部211に伝播する。ユニバーサルコード23は、先端部211に設けられた撮像部が撮像した撮像信号を処理装置4に伝送する。
挿入部21およびユニバーサルコード23には、光源装置5からの照明光を導光する照明ファイバ214(図2参照)が配設されている。照明ファイバ214の一端は挿入部21の先端面に位置し、他端はユニバーサルコード23の光源装置5との接続面に位置している。
音声入力装置3は、被写体が声帯である場合、声帯から発せられた音声の入力を受け付ける。コード31は、先端が音声入力装置3と接続しており、基端のコネクタ311は、処理装置4に対して着脱自在である。音声入力装置3は、コード31およびコネクタ311を介して、入力された音声を処理装置4に出力する。音声入力装置3は、声帯振動入力部に相当する。
処理装置4は、ユニバーサルコード23を介して入力された内視鏡2の先端部211における撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置4は、ユニバーサルコード23を介して内視鏡2の操作部22におけるスイッチ部223から送信された各種の指示信号に基づいて、内視鏡システム1の各部を制御する。
光源装置5は、パルス状の白色光を照明光(以下、パルス光という)として発する光源や集光レンズ等を用いて構成される。光源装置5では、処理装置4から調光信号を受信し、該調光信号に基づいて、光源を駆動する駆動タイミング(発光期間)がPWM(Pulse Width Modulation)制御される。このため、光源装置5は、照明制御部408の制御のもと、パルス駆動によりパルス光を出射する。光源装置5は、光源からのパルス光を、コネクタ232およびユニバーサルコード23(照明ファイバ)を介して接続された内視鏡2へ、被写体である被検体内へ向けて照明(間欠照明)するための照明光として供給する。
表示装置6は、液晶または有機EL(Electro Luminescence)を用いた表示ディスプレイ等を用いて構成される。表示装置6は、映像ケーブル61を介して処理装置4によって生成された表示用の画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置6が表示する画像(体内画像)を見ながら内視鏡2を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。
つぎに、図1で説明した内視鏡2、音声入力装置3、処理装置4および光源装置5の構成について説明する。図2は、内視鏡システム1の構成を模式的に示すブロック図である。
内視鏡2は、先端部211に撮像部24を有する。撮像部24は、後述する受光部242aの受光面側に配置された対物レンズ等の光学系241と、光学系241の結像位置に設けられ、光学系241が集光した光を受光して電気信号に光電変換する撮像素子242と、を備える。
撮像素子242は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。撮像素子242は、受光部242aと、読出し部242bと、を有する。
受光部242aは、受光面に、光源装置5によるパルス光で照明された被写体からの光を受光し、受光した光を光電変換して電気信号を生成する。具体的には、受光部242aは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベル(信号値)に変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系241からの光を光電変換して電気信号を生成する。受光部242aは、二以上の画素が、水平方向に沿って配置する画素行(水平ライン)を、垂直方向に複数並べて配置される。
読出し部242bは、受光部242aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号(信号値)を順次読み出して、撮像信号として出力する。読出し部242bは、受光部242aにおける複数の画素に対する露光と複数の画素からの電気信号の読み出しとを行う。読出し部242bは、マトリックス状に配列された複数の画素がそれぞれ生成した電気信号を水平ライン(画素行)毎に順次読み出す。読出し部242bは、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット(コンデンサのリセット)、露光および読み出しを行うローリングシャッタ方式によって撮像信号を生成する。
したがって、撮像部24においては、1つの撮像期間(フレーム)であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。読出し部242bは、受光部242aの複数の画素から読み出した電気信号(撮像信号)を、ケーブル(不図示)およびコネクタ232を介して、処理装置4に出力する。
次に、処理装置4について説明する。処理装置4は、AGC(Auto Gain Control)401と、ストロボ処理部402と、画像処理部403と、メモリ404と、表示制御部405と、入力部406と、声帯周波数検出部407と、照明制御部408と、制御部409と、を備える。本実施の形態では、処理装置4に設けられる図示しないクロック生成器が生成したクロック信号に基づいて、処理装置4ならびに内視鏡2および光源装置5が動作する。
AGC401は、電気信号の増幅率(ゲイン)を調整して一定の出力レベルを維持する。AGC401は、CPU(Central Processing Unit)等の汎用プロセッサや、ASIC(Application Specific Integrated Circuit)、処理内容を書き換え可能なプログラマブルロジックデバイスであるFPGA(Field Programmable Gate Array)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
ストロボ処理部402は、光源装置5からパルス光による間欠照明の制御用のPWM信号を取得して、該PWM信号と対応付けてAGC401から入力された撮像信号を画像処理部403に出力する。ストロボ処理部402は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
画像処理部403は、撮像部24の読出し部242bによって読み出された複数の画素の電気信号(撮像信号)に対し、所定の信号処理を行って画像信号を生成する。たとえば、画像処理部403は、撮像信号に対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス(WB)調整処理、撮像素子がベイヤー配列の場合には同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。画像処理部403は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
メモリ404は、処理装置4および光源装置5を動作させるための各種プログラムを記憶する。メモリ404は、処理装置4の処理中の情報を一時的に記録する。メモリ404は、受光部242aにおける複数の画素の行列配置に対応させて、読出し部242bによって読み出された撮像信号を、フレーム単位で記憶する。メモリ404は、画像処理部403によって生成された画像信号をフレーム単位で記憶する。メモリ404は、RAM(Random Access Memory)、ROM(Read Only Memory)等によって構成される。メモリ404は、処理装置4の外部から装着されるメモリカード等を用いて構成されてもよい。
表示制御部405は、表示装置6の表示周期に合わせて、画像処理部403が生成した複数のフレームの画像信号から表示用の画像信号を選択し、該選択した画像信号を表示装置6に表示させるための画像信号として出力する。あるいは、表示制御部405は、表示装置6の表示周期ごとに、画像処理部403が生成した複数のフレームの画像信号を合成して、表示用画像信号を生成し、表示装置6に出力する。表示制御部405は、表示用の画像信号を、デジタル信号からアナログ信号に変換し、変換したアナログの画像信号をハイビジョン方式等のフォーマットに変更、表示装置6へ出力する。表示制御部405は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
入力部406は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム1の各種指示情報(指示信号)の入力を受け付ける。具体的には、入力部406は、被検体情報(たとえばID、生年月日、名前等)、内視鏡2の識別情報(たとえばIDや検査対応項目)および検査内容等の各種指示情報の入力を受け付ける。
声帯周波数検出部407は、音声入力装置3に入力され、コード31およびコネクタ311を介して処理装置4に入力された音声(声帯の振動)の周波数(声帯周波数)を検出する。本実施の形態1において、この音声は、被検体の声帯から発せられたものである。声帯周波数検出部407は、検出した音声の周波数を制御部409に出力する。声帯周波数検出部407は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
照明制御部408は、光源装置5の動作を制御する。具体的には、照明制御部408は、声帯周波数検出部407によって検出された音声の周波数に同期させて、光源51によるパルス光の出射タイミングおよび照明期間を制御する。照明制御部408は、声帯周波数検出部407が検出した声帯周波数と、予め設定されている発光時間(パルス幅またはデューティ比)と、をもとに光源51を駆動するためのパルスを生成し、該パルスを含む光源制御用のPWM信号を生成してパルス生成部53に出力する。また、照明制御部408は、生成したPWM信号を制御部409に出力する。照明制御部408は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
照明制御部408は、位相設定部408aを有する。位相設定部408aは、声帯振動(声帯周波数)に対して、ストロボ光を発光させる位相を設定する。位相設定部408aによるストロボ発光の位相設定については後述する。
制御部409は、処理装置4の各部の処理動作を制御する。制御部409は、処理装置4の各構成に対する指示情報やデータの転送等を行うことによって、処理装置4の動作を制御する。制御部409は、各ケーブルを介して撮像部24および光源装置5それぞれに接続されている。なお、制御部409は、撮像部24の動作についても制御する。本実施の形態では、撮像素子242および光源51は、制御部409の制御のもと、撮像タイミングおよび照明タイミングの同期をとって駆動するものとして説明する。制御部409は、CPU等の汎用プロセッサや、ASIC、FPGA等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
つぎに、光源装置5について説明する。光源装置5は、光源51と、光源ドライバ52と、パルス生成部53と、を備える。
光源51は、パルス状の白色光(パルス光)を発する白色LED等の光源と、集光レンズなどの光学系と用いて構成される。光源51は、内視鏡2に供給する照明光を発生し、照明ファイバなどを介して内視鏡2に照明光を導光する。
光源ドライバ52は、パルス生成部53が生成したPWM信号に基づいて、光源51に所定の電力を供給する。これにより、光源51から発せられた光(パルス光)は、コネクタ233およびユニバーサルコード23を介して挿入部21の先端部211から被写体に照明される。
パルス生成部53は、照明制御部408から取得したPWM信号をもとに光源51を駆動するためのパルスを生成し、該パルスを含む光源制御信号を生成して光源ドライバ52に出力する。
続いて、位相設定部408aによるストロボ発光の位相設定について、図3および図4を参照して説明する。図3および図4は、本発明の実施の形態1にかかる内視鏡システムの照明制御部が行うストロボ発光処理を説明する図である。従来、ストロボ発光により撮像する場合、声帯周波数において位相をずらしながら発光させる。位相設定部408aは、図3に示す声帯振動(声帯周波数)に対し、仮の発光タイミングの位相(位相PPE1、PPE2、PPE3、・・・、PPE16、・・・)を設定する。仮の発光タイミングで行うストロボ発光では、上述したような、一つの周期において位相を少しずつずらしながら照明光が間欠的に出射される。このため、各フレーム(フレームF1、F2、F3、F4、・・・)において、異なる位相、すなわち異なる開放状態の声帯に対して照明光が複数回照射される。ここでいう「フレーム」とは、すべての画素が露光される期間であって、表示装置6において一つの画像が表示される期間に相当する。
位相設定部408aは、読出し部242bの読出しタイミングを参照して、撮像部24が行う撮像動作の全露光期間と、読出し期間とを設定する。位相設定部408aは、例えば、図3に示すように、読み出しを開始するライン(ライン1)から最後のライン(ラインN:Nは2以上の自然数)までの総読出期間TR1、TR2、TR3、・・・を設定する。その後、位相設定部408aは、時系列で隣り合う総読出期間の間であって、すべての画素が電荷を蓄積する全露光期間TE1、TE2、TE3、TE4、・・・を設定する。全露光期間TE1、TE2、TE3、TE4、・・・は、一つの画像を表示するフレーム(ビデオフレーム)F1、F2、F3、F4、・・・と同期している。
その後、位相設定部408aは、全露光期間TE1、TE2、TE3、TE4、・・・について、各々の期間のストロボ発光する位相を設定する。本実施の形態1において、位相設定部408aは、各全露光期間の最初の位相を、その期間の発光位相に設定する。位相設定部408aは、例えば、図4に示すように、全露光期間TE1について、同じ位相を発光タイミングに設定する。全露光期間TE1では、仮の発光タイミングにおける位相を、最初の発光タイミングの位相PPE1と同じ位相PE1に設定する。具体的には、全露光期間TE1において、図3に示す位相PPE2、PPE3を、位相PPE1と同じ位相PE1に変更する。位相設定部408aは、同様にして、全露光期間TE2、TE3、TE4、・・・について、位相PPE5、PPE9、PPE14と同じとなる位相PE2、PE3、PE4、・・・を、ストロボ発光する位相にそれぞれ設定する。上述した位相設定により、被検体の声帯は、各フレームにおいて同じ開放状態で照明される。これにより、全露光期間において取得されうる画像は、ぶれや、明るさのムラを抑制した声帯像となる。なお、本実施の形態1では、各全露光期間における最初の発光タイミングの位相に設定する例を説明したが、同一の全露光期間に含まれる発光タイミングの位相の平均値を、ストロボ発光する位相に設定してもよい。
また、位相設定部408aは、全露光期間TE1、TE2、TE3、TE4、・・・の位相設定後、総読出期間TR1、TR2、TR3、・・・について、各々の期間の発光する位相を設定する。位相設定部408aは、読出し期間の前後のフレームにおいて設定されている位相の平均をとり、この平均した位相を、その期間の発光位相に設定する。位相設定部408aは、例えば、図4に示すように、総読出期間TR1について、フレームF1で設定された位相PE1と、フレームF2で設定された位相PE2との平均値を算出し、この平均した位相(位相PE11)を、ストロボ発光する位相に設定する。位相設定部408aは、同様にして、総読出期間TR2、TR3、・・・について、前後のフレームの位相を平均した位相(位相PE12、PE13、・・・)を、ストロボ発光する位相に設定する。読出し期間では、二つのフレームの露光処理が混在しているため、各フレームの位相の間の位相で発光することによって、二つのフレーム間で生じるぶれを平均化することができる。
照明制御部408は、位相設定部408aが設定した位相に基づいてPWM信号を生成する。パルス生成部53は、取得したPWM信号に基づいてパルスを生成し、光源ドライバ52を駆動させて光源51にストロボ発光させる。ストロボ発光は、すべての発光の発光強度は同じとする。なお、全露光期間と総読出期間との発光強度は、互いに異なる強度に設定してもよい。
以上説明した実施の形態1では、全露光期間TE1、TE2、TE3、TE4、・・・については、ストロボ発光する位相を、フレーム内で同じ位相に設定し、かつ、総読出期間TR1、TR2、TR3、・・・については、前後のフレームにおいて設定されている位相の平均をとり、この平均した位相を、その期間の発光位相に設定している。本実施の形態1によれば、ローリングシャッタ方式を適用し、連続して撮像する場合でも、声帯像のぶれを抑制することができる。
(実施の形態2)
続いて、本発明の実施の形態2について説明する。本実施の形態2に係る内視鏡システムは、上述した内視鏡システム1と同様の構成を備える。本実施の形態2は、上述した実施の形態1に対し、読出し期間における位相設定が異なる。以下、上述した実施の形態1とは異なる設定処理について、図5を参照して説明する。図5は、本発明の実施の形態2にかかる内視鏡システムの照明制御部が行うストロボ発光処理を説明する図である。
位相設定部408aは、全露光期間TE1、TE2、TE3、TE4、・・・については、実施の形態1と同様にして、各々の期間のストロボ発光する位相を設定する。具体的に、位相設定部408aは、各全露光期間の最初の位相を、その期間の発光位相に設定する。位相設定部408aは、例えば、図5に示すように、全露光期間TE1、TE2、TE3、TE4、・・・について、位相PE1、PE2、PE3、PE4、・・・を、ストロボ発光する位相にそれぞれ設定する。
位相設定部408aは、全露光期間TE1、TE2、TE3、TE4、・・・の位相設定後、総読出期間TR1、TR2、TR3、・・・について、各々の期間の発光する位相を設定する。本実施の形態2において、位相設定部408aは、読出し期間の前後のフレームにおいて設定されている位相のうち、時系列で前のフレームの位相を、その期間の発光位相に設定する。位相設定部408aは、例えば、図5に示すように、総読出期間TR1について、フレームF1で設定された位相PE1と同じ位相(位相PE21)を、ストロボ発光する位相に設定する。位相設定部408aは、同様にして、総読出期間TR2、TR3、・・・について、読出し期間より前のフレームの位相と同じ位相(位相PE22、PE23、・・・)を、ストロボ発光する位相に設定する。
照明制御部408は、位相設定部408aが設定した位相に基づいてPWM信号を生成する。パルス生成部53は、取得したPWM信号に基づいてパルスを生成し、光源ドライバ52を駆動させて光源51にストロボ発光させる。本実施の形態2では、総読出期間の発光強度が、全露光期間の発光強度よりも小さく設定する。
以上説明した実施の形態2では、全露光期間については、ストロボ発光する位相を、フレーム内で同じ位相に設定し、かつ、総読出期間については、総読出期間よりも前のフレームにおいて設定されている位相を、その期間の発光位相に設定するとともに、総読出期間の発光強度が、全露光期間の発光強度よりも小さくなるように設定するようにした。これにより、読み出し期間において後のフレームの位相が、全露光期間の位相と異なっていても、総読出期間の露光による声帯像のぶれの影響を小さくすることができる。本実施の形態2によれば、ローリングシャッタ方式を適用し、連続して撮像する場合でも、声帯像のぶれを抑制することができる。
(実施の形態2の変形例)
続いて、本発明の実施の形態2の変形例について説明する。本変形例に係る内視鏡システムは、上述した内視鏡システム1と同様の構成を備える。本変形例は、上述した実施の形態2に対し、読出し期間における位相設定が異なる。以下、上述した実施の形態2とは異なる設定処理について、図6を参照して説明する。図6は、本発明の実施の形態2の変形例にかかる内視鏡システムの照明制御部が行うストロボ発光処理を説明する図である。
位相設定部408aは、全露光期間TE1、TE2、TE3、TE4、・・・については、実施の形態1、2と同様にして、各々の期間のストロボ発光する位相を設定する。具体的に、位相設定部408aは、各全露光期間の最初の位相を、その期間の発光位相に設定する。
位相設定部408aは、全露光期間TE1、TE2、TE3、TE4、・・・の位相設定後、総読出期間TR1、TR2、TR3、・・・について、各々の期間の発光する位相を設定する。本変形例において、位相設定部408aは、読出し期間の前後のフレームにおいて設定されている位相のうち、時系列で後のフレームの位相を、その期間の発光位相に設定する。位相設定部408aは、例えば、図6に示すように、総読出期間TR1について、フレームF2で設定された位相PE2と同じ位相(位相PE31)を、ストロボ発光する位相に設定する。位相設定部408aは、同様にして、総読出期間TR2、TR3、・・・について、読出し期間より後のフレームの位相と同じ位相(位相PE32、PE33、・・・)を、ストロボ発光する位相に設定する。
照明制御部408は、位相設定部408aが設定した位相に基づいてPWM信号を生成する。パルス生成部53は、取得したPWM信号に基づいてパルスを生成し、光源ドライバ52を駆動させて光源51にストロボ発光させる。本変形例では、総読出期間の発光強度を、全露光期間の発光強度よりも小さい値に設定する。
以上説明した変形例では、全露光期間については、ストロボ発光する位相を、フレーム内で同じ位相に設定し、かつ、総読出期間については、総読出期間よりも後のフレームにおいて設定されている位相を、その期間の発光位相に設定するとともに、総読出期間の発光強度を、全露光期間の発光強度よりも小さい値に設定した。これにより、読み出し期間において前のフレームの位相が、全露光期間の位相と異なっていても、総読出期間の露光による声帯像のぶれの影響を小さくすることができる。本変形例によれば、ローリングシャッタ方式を適用し、連続して撮像する場合でも、声帯像のぶれを抑制することができる。
なお、上述した変形例に係る位相設定例ほか、総読出期間の位相を、上述した実施の形態1のように前後のフレームの位相を平均した位相に設定してもよいし、図3に示すような従来設定される位相、例えば前後のフレームの全露光期間において設定される位相の間の位相に設定してもよい。
なお、上述した実施の形態1、2において、光源51が出射する白色光(照明光)の光路上に配置され、回転することにより、白色光のうち所定の波長帯域の光のみを透過させる複数のフィルタを有する回転フィルタを備えてもよい。回転フィルタを設けることにより、赤色光(R)、緑色光(G)および青色光(B)それぞれの波長帯域を有する光を順次透過させて出射する。回転フィルタをパルス光の出射タイミングに合わせて回転制御することにより、光源51が出射する白色光のうち、狭帯域化した赤色光(R照明)、緑色光(G照明)および青色光(B照明)いずれかの光を内視鏡2に順次出射(面順次方式)することができる。また、回転フィルタのほか、各色の波長帯域の光をそれぞれ出射する光源(例えばLED光源)を用いるものであってもよい。
また、上述した実施の形態1、2では、撮像素子242が制御部409の制御のもとで動作するものとして説明したが、照明制御部408(位相設定部408a)を内視鏡2側に設けて、内視鏡2側でストロボ発光を制御してもよい。また、撮像素子242が処理装置4で生成されたクロック信号に基づき動作するものとして説明したが、内視鏡2にクロック生成部を設け、該クロック生成部が生成したクロック信号(内視鏡2で生成されたクロック信号)に基づき動作するものであってもよいし、外部のクロック発生器により生成されたクロック信号に基づいて動作するものであってもよい。
また、上述した実施の形態1、2では、AGC401が処理装置4に設けられるものとして説明したが、内視鏡2(例えば撮像部24)に設けられるものであってもよい。
また、上述した実施の形態1、2では、被写体が声帯であるものとして説明したが、声帯のほか、高速で振動し、声帯周波数検出部407により周波数を検出できる被写体であれば適用可能である。
以上のように、本発明にかかる撮像システムは、ローリングシャッタ方式を適用した場合でも画像のぶれを抑制するのに有用である。
1 内視鏡システム
2 内視鏡
3 音声入力装置
4 処理装置
5 光源装置
6 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 撮像部
401 AGC
402 ストロボ処理部
403 画像処理部
404 メモリ
405 表示制御部
406 入力部
407 声帯周波数検出部
408 照明制御部
408a 位相設定部
409 制御部
51 光源
52 光源ドライバ
53 パルス生成部
231 分岐コード
232,233 コネクタ
211 先端部
212 湾曲部
213 可撓管部
242 撮像素子
242a 受光部
242b 読出し部

Claims (7)

  1. 照明光を出射する光源部と、
    受光した光量に応じた電荷を蓄積するとともに、蓄積した電荷をローリングシャッタ方式により信号値として読み出す撮像部と、
    被検体の声帯の振動の入力を受け付ける声帯振動入力部と、
    前記声帯の振動の周波数を検出する声帯周波数検出部と、
    前記信号値の読み出し期間における前記照明光の出射を制御する照明制御部と、
    を備えることを特徴とする撮像システム。
  2. 前記照明制御部は、
    前記撮像部が前記電荷を蓄積する露光期間における前記照明光の出射タイミングを、各フレーム内で前記周波数の同一の位相に設定し、
    前記読み出し期間における前記照明光の出射タイミングを、時系列で隣り合うフレームの前記露光期間において設定された各位相の平均に設定するとともに、
    前記読み出し期間における前記照明光の発光強度と、前記撮像部が前記電荷を蓄積する露光期間における前記照明光の発光強度とを同じにする
    ことを特徴とする請求項1に記載の撮像システム。
  3. 前記照明制御部は、
    前記撮像部が前記電荷を蓄積する露光期間における前記照明光の出射タイミングを、各フレーム内で前記周波数の同一の位相に設定し、
    前記読み出し期間における前記照明光の発光強度を、前記撮像部が前記電荷を蓄積する露光期間における前記照明光の発光強度よりも小さくする
    ことを特徴とする請求項1に記載の撮像システム。
  4. 前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、当該読み出し期間より時系列で前のフレームの前記露光期間において設定された位相に設定する
    ことを特徴とする請求項3に記載の撮像システム。
  5. 前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、当該読み出し期間より時系列で後のフレームの前記露光期間において設定された位相に設定する
    ことを特徴とする請求項3に記載の撮像システム。
  6. 前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、時系列で隣り合うフレームの前記露光期間において設定された各位相の間の位相に設定する
    ことを特徴とする請求項3に記載の撮像システム。
  7. 前記照明制御部は、前記読み出し期間における前記照明光の出射タイミングを、時系列で隣り合うフレームの前記露光期間において設定された各位相の平均に設定する
    ことを特徴とする請求項6に記載の撮像システム。
JP2019570671A 2018-02-09 2019-01-24 撮像システムおよび処理装置 Active JP6945660B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018021867 2018-02-09
JP2018021867 2018-02-09
PCT/JP2019/002378 WO2019155902A1 (ja) 2018-02-09 2019-01-24 撮像システム

Publications (2)

Publication Number Publication Date
JPWO2019155902A1 true JPWO2019155902A1 (ja) 2020-12-03
JP6945660B2 JP6945660B2 (ja) 2021-10-06

Family

ID=67548901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570671A Active JP6945660B2 (ja) 2018-02-09 2019-01-24 撮像システムおよび処理装置

Country Status (4)

Country Link
US (1) US11503990B2 (ja)
JP (1) JP6945660B2 (ja)
CN (1) CN111629651B (ja)
WO (1) WO2019155902A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11291358B2 (en) * 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
WO2022216525A1 (en) * 2021-04-07 2022-10-13 Pentax Of America, Inc. Laryngeal stroboscope utilizing solid state light sources

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004166761A (ja) * 2002-11-18 2004-06-17 Machida Endscope Co Ltd 振動物体観察システム及び声帯観察用処理装置
WO2015194415A1 (ja) * 2014-06-18 2015-12-23 オリンパス株式会社 処理装置、撮像装置および内視鏡システム
JP2016052453A (ja) * 2014-09-04 2016-04-14 オリンパス株式会社 撮像システムおよび処理装置
JP2016202380A (ja) * 2015-04-17 2016-12-08 Hoya株式会社 画像処理装置および内視鏡装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4589521B2 (ja) 2000-12-07 2010-12-01 Hoya株式会社 電子内視鏡光源装置
JP2003244555A (ja) * 2002-02-21 2003-08-29 Sony Corp 撮像装置及びその撮像方法
JP4378599B2 (ja) * 2003-07-04 2009-12-09 ソニー株式会社 撮像装置及びその制御方法
JP2006350046A (ja) * 2005-06-17 2006-12-28 Seiko Epson Corp 画像形成装置および該装置の制御方法
JP2011193065A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 撮像装置
CN103796570B (zh) * 2012-04-26 2016-10-12 奥林巴斯株式会社 摄像系统
CA2902319A1 (en) * 2013-02-28 2014-09-04 Olive Medical Corporation Videostroboscopy of vocal chords with cmos sensors
JP5784845B2 (ja) * 2013-07-09 2015-09-24 オリンパス株式会社 撮像システム
US10835116B2 (en) * 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy
US10499803B2 (en) * 2017-11-16 2019-12-10 Karl Storz Imaging, Inc. Vocal cord stroboscopy

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004166761A (ja) * 2002-11-18 2004-06-17 Machida Endscope Co Ltd 振動物体観察システム及び声帯観察用処理装置
WO2015194415A1 (ja) * 2014-06-18 2015-12-23 オリンパス株式会社 処理装置、撮像装置および内視鏡システム
JP2016052453A (ja) * 2014-09-04 2016-04-14 オリンパス株式会社 撮像システムおよび処理装置
JP2016202380A (ja) * 2015-04-17 2016-12-08 Hoya株式会社 画像処理装置および内視鏡装置

Also Published As

Publication number Publication date
WO2019155902A1 (ja) 2019-08-15
JP6945660B2 (ja) 2021-10-06
US20200345222A1 (en) 2020-11-05
CN111629651A (zh) 2020-09-04
US11503990B2 (en) 2022-11-22
CN111629651B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
JP5452785B1 (ja) 撮像システム
JP5259882B2 (ja) 撮像装置
US20130307951A1 (en) Imaging apparatus
US9844312B2 (en) Endoscope system for suppressing decrease of frame rate without changing clock rate of reading
JP6072372B2 (ja) 内視鏡システム
CN106256123B (zh) 处理装置、摄像装置以及内窥镜系统
JP5927370B1 (ja) 撮像装置および処理装置
WO2012033200A1 (ja) 撮像装置
JP5467182B1 (ja) 撮像システム
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JP6249909B2 (ja) 撮像システムおよび処理装置
WO2015114906A1 (ja) 撮像システムおよび撮像装置
JP6945660B2 (ja) 撮像システムおよび処理装置
JP6137892B2 (ja) 撮像システム
JP6099445B2 (ja) 撮像システム
JP6937902B2 (ja) 内視鏡システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP2016025509A (ja) 撮像システムおよび内視鏡

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210914

R151 Written notification of patent or utility model registration

Ref document number: 6945660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151