JP5735478B2 - 内視鏡装置及びその作動方法 - Google Patents

内視鏡装置及びその作動方法 Download PDF

Info

Publication number
JP5735478B2
JP5735478B2 JP2012274002A JP2012274002A JP5735478B2 JP 5735478 B2 JP5735478 B2 JP 5735478B2 JP 2012274002 A JP2012274002 A JP 2012274002A JP 2012274002 A JP2012274002 A JP 2012274002A JP 5735478 B2 JP5735478 B2 JP 5735478B2
Authority
JP
Japan
Prior art keywords
image
area
edging phenomenon
detected
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012274002A
Other languages
English (en)
Other versions
JP2014117413A (ja
Inventor
加賀谷 淳
淳 加賀谷
正行 高平
正行 高平
進吾 増野
進吾 増野
匡信 内原
匡信 内原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012274002A priority Critical patent/JP5735478B2/ja
Priority to US14/104,559 priority patent/US9801530B2/en
Priority to EP13197095.6A priority patent/EP2742850B1/en
Priority to EP16172432.3A priority patent/EP3100667B1/en
Publication of JP2014117413A publication Critical patent/JP2014117413A/ja
Application granted granted Critical
Publication of JP5735478B2 publication Critical patent/JP5735478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015Control of fluid supply or evacuation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は内視鏡装置及びその作動方法に係り、特に内視鏡先端部にCMOS型固体撮像素子を有する内視鏡装置及びその作動方法に関する。
医療分野において、内視鏡システムを利用した医療診断が盛んに行われている。内視鏡システムは、体腔内に挿入される挿入部を備えた電子内視鏡と、電子内視鏡が着脱自在に接続され、電子内視鏡に内蔵された固体撮像素子から出力された撮像信号を受信して画像処理を行い、観察画像をモニタに出力するプロセッサ装置と、電子内視鏡内のライトガイドを通して体腔内を照明する光を発生する光源装置と、を備えて構成される。
電子内視鏡に搭載される固体撮像素子として、従来からCCD(Charge Coupled Device)型撮像素子が一般的に使用されているが、近年では、低電圧駆動が可能であり、多画素化と高速読出し化の要求に対応することが容易なCMOS(Complementary Metal Oxide Semiconductor)型の固体撮像素子が用いられるようになっている。
また、CMOS型の固体撮像素子は、製造工程においてCMOSプロセスを使用でき、同一チップ内に駆動回路や処理回路などの周辺回路を混載することが可能であり、小型化にも有利である。
このことから、近年では、CMOS型の固体撮像素子を備えた電子内視鏡が各種提案されている(例えば特許文献1、2、3参照)。
一般にCMOS型の固体撮像素子の多くは、受光面(撮像面)に複数の画素がマトリクス状に配置されており、ローリングシャッタ方式により露光制御が行われる。ローリングシャッタ方式は、走査ラインごとに順次露光動作を行う方式であり、走査ラインごとに順次リセットを行い電荷の蓄積を開始し、蓄積した電荷の読出しを順次行う。
特開2012−143319号公報 特開2011−206336号公報 特開2009−201540号公報
ところで、ローリングシャッタ方式で駆動されるCMOS型の固体撮像素子を搭載した電子内視鏡において、内視鏡先端部の送気・送水ノズルからエアーや水を噴射している際や、鉗子出口から体液の吸引を行っている際などに飛散した液滴が電子内視鏡の映像に映り込むと、液滴の画像(液滴による反射光)に水平方向に沿って直線状の不自然なエッジが生じる現象が確認された。本明細書では“エッジ化現象”と称するものとする。
このようなエッジ化現象はCCD撮像素子を搭載した電子内視鏡では観察されない現象であるため、多くの使用者にとって不慣れな現象である。また、液滴が飛散している間、このようなエッジ化現象がランダムに発生するため、ブロック状のノイズのようにも見える。
したがって、故障や低性能による現象である等の誤解が生じないようにするためにも解消することが望ましい。
本発明はこのような事情に鑑みてなされたもので、内視鏡の観察映像に映り込んだ液滴画像に不自然なエッジが生じるエッジ化現象を観察者により視認されないようにすることができる内視鏡装置及びその作動方法を提供することを目的とする。
上記目的を達成するために、本発明の内視鏡装置の一態様は、複数の画素がマトリクス状に配列され、複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力する撮像手段と、撮像手段から出力される走査ライン毎の画像データから得られるフレーム画像における画像特徴量に基づいて、撮像手段の走査ライン毎の露光タイミングの違いにより、フレーム画像のうち被写体領域の一部が複数の走査ラインを同時露光した場合とは異なる状態で走査ラインに平行な方向に沿ってエッジ化される画像領域が存在しているか否かを検出する検出手段と、検出手段が画像領域を検出した場合に、画像領域を検出しない場合に比べて撮像手段による各走査ラインの露光時間を長くする露光制御手段と、を備える。
また、本発明の内視鏡装置の別の態様は、複数の画素がマトリクス状に配列され、複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力する撮像手段と、体内に対して流体を送出又は吸引を行う流体操作を検出する流体操作検出手段と、流体操作検出手段が流体操作を検出した場合には、流体操作を検出しない場合に比べて撮像手段による各走査ラインの露光時間を長くする露光制御手段と、を備える。
また、上記目的を達成するために、本発明の内視鏡装置の作動方法の一態様は、撮像手段、検出手段、及び露光制御手段を備えた内視鏡装置の作動方法であって、撮像手段が、マトリクス状に配列された複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力するステップと、検出手段が、走査ライン毎の画像データから得られるフレーム画像における画像特徴量に基づいて、走査ライン毎の露光タイミングの違いにより、フレーム画像のうち被写体領域の一部が複数の走査ラインを同時露光した場合とは異なる状態で走査ラインに平行な方向に沿ってエッジ化される画像領域が存在しているか否かを検出するステップと、画像領域が検出された場合に、露光制御手段が、画像領域が検出されない場合に比べて各走査ラインの露光時間を長くするステップと、を含む。
また、本発明の内視鏡装置の作動方法の別の態様は、撮像手段、検出手段、及び露光制御手段を備えた内視鏡装置の作動方法であって、撮像手段が、マトリクス状に配列された複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力するステップと、検出手段が、体内に対して流体を送出又は吸引を行う流体操作を検出するステップと、流体操作が検出された場合に、露光制御手段が、流体操作が検出されない場合に比べて各走査ラインの露光時間を長くするステップと、を含む。
本発明によれば、内視鏡の観察映像に映り込んだ液滴画像に不自然なエッジが生じるエッジ化現象を観察者により視認されないようにすることができる。
本発明が適用される電子内視鏡システムの全体構成を示した構成図 内視鏡挿入部の先端面を示した正面図 本発明が適用される電子内視鏡システムの制御系の構成を示した構成図 撮像素子の各画素行(ライン)の露光期間(電荷蓄積期間)のタイミングを時間的に隣接する2フレーム(第Mフレームと第M+1フレーム)のみに着目して示した図 液滴が飛散している状況で撮像部により実際に撮影された時間的に隣接する3フレーム分のフレーム画像を例示した図 液滴が飛散している状況で撮像部により実際に撮影された時間的に隣接する3フレーム分のフレーム画像を例示した図 図5(A)〜(C)において、画面上の同一位置付近を拡大して示した図 図4と同様の図であり、エッジ化現象の発生メカニズムの説明に使用した図 エッジ化現象の発生メカニズムに関する説明に使用した説明図 エッジ化現象軽減のための全体処理の概要を示したフローチャート (a)形態のエッジ化現象軽減処理の説明に使用した説明図 (a)形態のエッジ化現象軽減処理の処理手順を示したフローチャート 撮像素子の各ラインの露光期間(電荷蓄積期間)のタイミングを時間的に隣接する2フレームのみに着目して示した図であり、(A)は露光時間が1/200秒、(B)は露光時間が1/60秒の場合を示した図 各ラインの画素に対して時間とともに変動する同じ光量の光を入射させた場合における各ラインの画像の明るさを示した図であり、露光期間のタイミングとして露光時間が1/200秒の場合と、1/60秒との場合とを比較して示した図 (b)形態のエッジ化現象軽減処理の処理手順を示したフローチャート (b)形態のエッジ化現象軽減処理を採用した場合における通常状態移行処理の処理手順を示したフローチャート (b)形態のエッジ化現象軽減処理の他の処理手順を示したフローチャート (b)形態のエッジ化現象軽減処理を採用した場合における通常状態移行処理の処理手順を示したフローチャート (c)形態のエッジ化現象軽減処理の説明に使用した図であり、撮像素子を擬似的なグローバルシャッタ方式での駆動(30p)に切り替えた場合を示した図 (c)形態のエッジ化現象軽減処理の処理手順を示したフローチャート (c)形態のエッジ化現象軽減処理を採用した場合における通常状態移行処理の処理手順を示したフローチャート 撮像素子を擬似的なグローバルシャッタ方式で駆動した際の液滴画像と、通常の撮影時におけるローリングシャッタ方式で駆動した際の液滴画像とを比較した図 (1)形態のエッジ化現象検出処理の説明に使用した説明図 (1)形態におけるエッジ化現象検出処理の処理手順の概要を示したフローチャート (1)形態のエッジ化現象検出処理の説明に使用した説明図 (1)形態のエッジ化現象検出処理の説明に使用した説明図 (1)形態のエッジ化現象検出処理を採用した場合における図10のステップS12の判定処理の処理手順を示したフローチャート (2)形態におけるエッジ化現象検出処理の処理手順の概要を示したフローチャート (2)形態のエッジ化現象検出処理の説明に使用した説明図 (ア−1)形態の誤検出防止処理の説明に使用した説明図 (ア−1)形態の誤検出防止処理の説明に使用した説明図 (ア−3)形態の誤検出防止処理の説明に使用した説明図 (イ)形態の誤検出防止処理の説明に使用した図
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
図1において、電子内視鏡システム10は、電子内視鏡11(以下、内視鏡11という)、プロセッサ装置12、光源装置13からなる。
電子内視鏡11は、被検体(患者)内に挿入される可撓性の挿入部14と、挿入部14の基端部分に連設された操作部15と、プロセッサ装置12および光源装置13に接続されるコネクタ16と、操作部15、コネクタ16間を繋ぐユニバーサルコード17とを有する。
操作部15の先端側には、鉗子口18が設けられる。鉗子口18には、電気メス等の処置具が挿通される。鉗子口18は、挿入部14内の鉗子チャンネルを通して、図2に示す挿入部14の先端面14aの鉗子出口20に連通している。
操作部15は、アングルノブ21、送気・送水ボタン22、吸引ボタン23、レリーズボタンなどの各種操作部材を備えている。アングルノブ21は、回転操作によって挿入部14の先端硬質部31を上下左右方向に湾曲させる。送気・送水ボタン22は、押圧操作によって図2のように先端面14aに設けられた送気・送水ノズル43からエアーまたは水を噴出させる。吸引ボタン23は、押圧操作によって、体内の液体や組織等の被吸引物を図2の鉗子出口20から吸引する。
プロセッサ装置12は、内視鏡11及び光源装置13と電気的に接続され、電子内視鏡システム10の動作を統括的に制御する。
先端硬質部31には図2のように先端面14aに設けられた観察窓40を介して撮影を行う撮像部(撮像装置)が搭載されている。その撮像部には、ユニバーサルコード17や挿入部14内に挿通された信号ケーブルを介してプロセッサ装置12からの電力や制御信号が与えられ、撮像部の動作がプロセッサ装置12によって制御されるようになっている。
また、プロセッサ装置12には、撮像部からの撮像信号が信号ケーブルを介して与えられ、プロセッサ装置12においてその撮像信号に対して各種処理が施されて撮像部により観察されている観察画像の画像データが生成される。
プロセッサ装置12にはモニタ27が接続されており、そのモニタ27の画面には、プロセッサ装置12からの画像データに基づき撮像部により撮影されている観察画像が表示される。
光源装置13は、撮像部により撮像する被写体に照明光を出射する照明手段として図2のように先端面14aに設けられた照明窓41、42から被観察部位に向けて出射する照明光を内視鏡11に供給する。光源装置13から供給された照明光は、ユニバーサルコード17や挿入部14内に挿通されたライトガイドを介して先端硬質部31まで伝送される。
図3は、内視鏡システム10の制御系の構成を示した構成図である。同図に示すように、内視鏡11の先端硬質部31には、撮像部(撮像装置)54として、MOS型(CMOS)の撮像素子58(以下、単に撮像素子58という)と、アナログ信号処理回路(AFE:アナログフロントエンド)72と、TG(タイミングジェネレータ)78等が具備されている。また、先端硬質部31にはCPU80が具備されている。
TG78は、CPU80の制御に基づき、撮像素子58の駆動パルス(垂直/水平走査パルス、リセットパルス等)とAFE72用の同期パルスとを発生する。撮像手段である撮像素子58は、TG78から入力される駆動パルスにより駆動され、先端面14aの観察窓40及び対物光学系50を介して撮像面に結像された光学像を光電変換して撮像信号として出力する。
撮像素子58の撮像面には、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサ(光電変換素子)が設けられている。撮像素子58の撮像面に入射した光は各画素のフォトセンサに電荷として蓄積される。そして、垂直走査回路及び水平走査回路(いずれも不図示)による垂直方向と水平方向の走査によって、各画素のフォトセンサに蓄積された信号電荷量は画素信号として順次読み出され、所定のフレームレートで出力される。
なお、図示は省略するが、撮像素子58は、複数の色セグメントからなるカラーフィルタ(例えば、ベイヤ配列の原色カラーフィルタ)を備えた単板カラー撮像方式の固体撮像素子である。
また、撮像素子58の各フォトセンサの蓄積電荷を撮像信号として読み出す信号読出回路の構成は従来周知であり、例えば3トランジスタ構成や4トランジスタ構成などの一般的な構成を適用することが可能であり、ここでは説明を省略する。
AFE72は、相関二重サンプリング(CDS)回路と、自動ゲイン回路(AGC)と、A/D変換器とにより構成されている。CDS回路は、撮像素子58から出力される撮像信号に対して相関二重サンプリング処理を施し、撮像素子58で生じるリセット雑音及びアンプ雑音の除去を行う。
AGCは、CDS回路によりノイズ除去が行われた撮像信号を、CPU80から指定されたゲイン(増幅率)で増幅する。A/D変換器は、AGCにより増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。
AFE72でデジタル化されて出力された撮像信号(デジタル撮像信号)は、信号線を通してプロセッサ装置12に入力される。
なお、撮像素子58を駆動するための回路や撮像素子58からの撮像信号をプロセッサ装置12に送信するための先端硬質部31内の構成は上記のものに限らない。
プロセッサ装置12は、CPU82と、ROM84と、RAM85と、画像処理回路(DSP)86と、表示制御回路88とを備えて構成される。
CPU82は、プロセッサ装置12内の各部を制御するとともに、電子内視鏡システム10の全体を統括的に制御する。ROM84には、プロセッサ装置12の動作を制御するための各種プログラムや制御用データが記憶される。また、RAM85には、CPU82により実行されるプログラムやデータなどが一時記憶される。
DSP86は、CPU82の制御に基づき、AFE72から入力された撮像信号に対し、色補間,色分離,色バランス調整,ガンマ補正,画像強調処理等を施し、画像データを生成する。
DSP86から出力された画像データは表示制御回路88に入力され、表示制御回路88は、DSP86から入力された画像データを、モニタ27に対応した信号形式に変換しモニタ27の画面に表示させる。
プロセッサ装置12の操作部90は、ユーザの指示入力を受け付ける各種ボタンが設けられている。
光源装置13は、光源110と、光源駆動回路112と、CPU114とを備えて構成される。CPU114は、プロセッサ装置12のCPU82と通信を行い、光源駆動回路112の制御を行う。
光源110は、例えばキセノンランプであり、光源駆動回路112によりON/OFF制御される。光源110で発光された照明光は、多数本の光ファイバを束ねて構成されるライトガイド120の入射端に導入される。そして、ライトガイド120を伝送した照明光はライトガイド120の出射端から出射され、内視鏡11の照明窓41、42を通して被観察部位に照射される。
上記のように構成された内視鏡システム10で体腔内を観察する際には、内視鏡11と、プロセッサ装置12と、光源装置13と、モニタ27の電源をオンにして、内視鏡11の挿入部14を体腔内に挿入し、光源装置13からの照明光で体腔内を照明しながら、撮像部54の撮像素子58により撮像される体腔内の画像をモニタ27で観察することになる。
ここで、撮像部54により被写体の動画像を撮影する際の撮像素子58の駆動方式について説明する。
図4は、撮像素子58の各画素行、即ち、各走査ライン(以下、ラインという)の露光期間(電荷蓄積期間)のタイミング(露光タイミング)を時間的に隣接する2フレーム(第Mフレームと第M+1フレーム)のみに着目して示した図である。なお、図の簡素化のためにラインの数は実際とは相違している。
同図に示すように撮像素子58は、基本的に周知のローリングシャッタ方式で駆動される。まず、先頭ラインの画素に対してリセット信号150が与えられることによって、第Mフレームのフレーム画像を取得するための露光(電荷蓄積)が開始される。そして、所定時間ずつ遅れて第2ラインから最終ラインまでの画素に対しても順にリセット信号150が与えられることによって、各ラインの画素の露光が開始される。
そして、先頭ラインから最終ラインまで順に所定時間ずつ遅れて事前に決められた露光時間が経過すると、各ラインに対して各画素から画素信号を読み出す読出信号152が順に与えられる。これによって、各ラインの露光期間が所定時間ずつ遅れて順に終了すると共に、各ラインごとに各画素で蓄積された電荷量(露光量)に対応した電圧の画素信号が順に読み出される。
したがって、第Mフレームのフレーム画像を取得するための露光期間のタイミングと画素信号の読出しのタイミングが先頭ラインから最終ラインまでの各ラインごとに所定時間ずつ遅れる。
次の第M+1フレームにフレーム画像の取得の際にも同様の駆動が行われる。本実施の形態では通常の撮影時(通常の撮影条件設定時)において、撮像素子58により1秒間に取り込むフレーム画像の数(フレームレート)を60fps(60p)であるものとすると、1/60秒ごとに各ラインでの露光の開始と終了、及び、画素信号の読出しが繰り返される。
ところで、送気・送水ノズル43からエアーや水を噴射している際、鉗子出口20から体液の吸引を行っている際、または、鉗子チャンネル等の所定のチャンネル(図2等に不図示のチャンネルも含む)を利用して被観察部位に対して洗浄水や色素等の液体を噴射している際に、観察窓40付近を液滴が飛散する。
その飛散した液滴が撮像部54の視野範囲を高速で横切ると、照明光が瞬間的に液滴で反射して液滴の画像(液滴画像)が映像(動画像)内に映り込む。
このような状況において、次のような不自然な映像が観察されることが確認された。
図5(A)〜(C)及び図6(A)〜(C)は、各々、液滴が飛散している状況で撮像部54により実際に撮影された時間的に隣接する3フレーム分のフレーム画像を順に示した図である。
これらの図に示すように、各フレーム画像内に映り込む一部の液滴画像に水平方向に沿った直線状の不自然なエッジが発生している。たとえば、図5(A)〜(C)では、符号160〜164の領域に映る液滴画像、図6(A)〜(C)では、符号165〜169の領域に映る液滴画像がこれに該当する。
図7(A)〜(C)は、図5(A)〜(C)において、画面上の略同一位置となる領域160、161、163の付近を拡大して示した図である。これらの図から容易に確認できるように同図(A)の液滴画像170Aと同図(B)の液滴画像171Aには上側に水平方向の不自然なエッジが生じ、同図(B)の液滴画像170Bと同図(C)の液滴画像171Bには下側に水平方向の不自然なエッジが生じている。
このような液滴画像の不自然なエッジ化の現象を本明細書では“エッジ化現象”と称する。このエッジ化現象は、撮像素子の各走査ラインを同時露光してフレーム画像を取得する場合、例えば、CMOS型の撮像素子の駆動方式としてグローバルシャッタ方式を採用した場合や、CCD撮像素子を使用した場合には確認されないため、撮像素子58の駆動方式がローリングシャッタ方式であることに起因するものと考えられる。
また、液滴が飛散している状況にのみ確認される現象であるため、飛散する液滴の被写体としての特徴が要因となっているものと考えられる。
このようなことを考慮した実験、解析の結果、本発明者らは、次のことがエッジ化現象の発生メカニズムであることを解明した。
図8は、図4と同様に撮像素子58をローリングシャッタ方式で駆動する場合における各ラインの露光期間のタイミング(露光タイミング)を示した図である。
撮像素子58をローリングシャッタ方式で駆動してフレーム画像を順次取得している際に、飛散している液滴が撮像部54の視野範囲内を通過すると、その液滴は視野範囲を高速で横切り、照明光の反射により瞬間的に高輝度に光る。即ち、飛散している液滴は短時間においてのみ高輝度の液滴画像としてフレーム画像内に映り込む。
その液滴がフレーム画像内に映り込む範囲を、例えば、同図の液滴影響範囲Xで示すように第Nラインから第N+2ラインまでを含む範囲であるとすると、時間的に隣接する2フレーム(第Mフレームと第M+1フレーム)の間の第N+1ラインの非露光期間の間のみで液滴が高輝度に光る場合が生じ得る。同図では液滴が高輝度に光る期間がTxとして示されており、その期間Txの時間は、非露光期間よりも短いものとする。
このような状況が発生したと仮定した場合、第Mフレームのフレーム画像には、第N+1ラインよりも下側のラインの位置に高輝度の液滴画像が映り込み、第Nラインとそれよりも上側のラインの位置には高輝度の液滴画像は映らない。また、その高輝度の液滴画像の上側に水平方向に沿った直線状の不自然なエッジが生じると推察される。
一方、第Mフレームの次の第M+1フレームのフレーム画像には、第N+1ラインよりも上側のラインの位置に高輝度の液滴の画像が映り込み、第Nラインとそれよりも下側のラインの位置には高輝度の液滴画像は映らない。また、その高輝度の液滴画像の下側に水平方向に沿った直線状の不自然なエッジが生じると推察される。
このようにいずれかのラインの非露光期間の時間内のみで高輝度となる液滴は、2フレームに分断された液滴画像として撮像されると推察されるが、実際に観察された液滴画像の様子と一致している。
例えば、実際に観察された液滴画像を拡大して示した図7(A)〜(C)をそのまま表した図9(A)〜(C)において、図9(A)の上側にエッジを有する液滴画像170Aと図9(B)の下側にエッジを有する液滴画像170Bは、上記のように推察される液滴画像の様子と合致し、また、図9(B)の上側にエッジを有する液滴画像171Aと図9(C)の下側にエッジを有する液滴画像171Bも、上記のように推察される液滴画像と合致している。
即ち、図9(A)が撮像されたときのフレーム画像を図8の第Mフレームのフレーム画像とし、図9(B)が撮像されたときのフレーム画像を図8の第M+1フレームのフレーム画像とした場合に、図9(A)の液滴画像170Aは、図8の第Mフレームのフレーム画像に発生すると推察された液滴画像の様子と合致し、図9(B)の液滴画像170Bは、図8の第M+1フレームのフレーム画像に発生すると推察された液滴画像の様子と合致している。
更に、図9(A)の液滴画像170Aと図9(B)の液滴画像170Bとを画面内での位置を変えずに合成すると、図9(D)のように1つとみなせる液滴画像が形成され、本来1つの塊の液滴画像が2フレームに渡って上下に分断されたものであることがわかる。
同様に 図9(B)が撮像されたときのフレーム画像を図8の第Mフレームのフレーム画像、図9(C)が撮像されたときのフレーム画像を図8の第M+1フレームのフレーム画像とした場合に、図9(B)の液滴画像171Aは、図8の第Mフレームのフレーム画像に発生すると推察された液滴画像の様子と合致し、図9(C)の液滴画像171Bは、図8の第M+1フレームのフレーム画像に発生すると推察された液滴画像の様子と合致している。
また、図9(B)の液滴画像171Aと図9(C)の液滴画像171Bとを画面内での位置を変えずに合成すると、図9(E)のように1つとみなせる液滴画像が形成され、本来1つの塊の液滴画像が2フレームに渡って上下に分断されたものであることがわかる。
以上のことから、図9(A)〜図9(C)のようなエッジ化現象は、図8のようにいずれかのラインの非露光期間の時間内のみで高輝度となった液滴によって発生したものと考えられる。
即ち、高速移動物体による反射光は非常に短い時間のみ発生するため、高速移動物体が映る走査ライン群と、映らない走査ライン群が生じ、その境界部分が走査ラインに平行な方向に沿ったエッジとして認識されることがエッジ化現象の発生原因と考えられる。
また、図5、図6において、水平方向にエッジを有する液滴画像の中には図9(A)〜(C)の液滴画像と必ずしも形態が一致しないものも存在する。それらの形態の違いは、複数の液滴画像が重なりあったこと、1つの液滴が部分的にのみ図8で説明したような状況となったこと、第Mフレームと第M+1フレームの両方又は一方の露光期間にまたがって高輝度の液滴が生じたこと等が考えられるが、基本的には上述の原因により、水平方向の不自然なエッジを有する液滴画像が発生すると考えられる。
次に、本実施の形態の内視鏡システム10において、上記のようなエッジ化現象を軽減するために実施される処理について説明する。
図10は、エッジ化現象軽減のための全体処理の概要を示したフローチャートである。
プロセッサ装置12のCPU82(図3参照)は、まず、ステップS10の処理として、エッジ化現象が発生する状況を検出するためのエッジ化現象検出処理を実施する。
ここで、エッジ化現象が発生する状況を検出するとは、エッジ化現象が実際に発生している状況を検出すること、又は、エッジ化現象が発生し得る状況を検出することを意味する。
たとえば、液滴画像の水平方向のエッジを検出した場合にはエッジ化現象が発生している状況であり、液滴画像の水平方向のエッジを検出することはエッジ化現象検出処理の一形態(後述の(1)形態)とすることができる。
また、視野範囲内に液滴が飛散している状況を検出した場合には、通常の撮影時(通常の撮影条件設定時)においてエッジ化現象が略発生している状況であり、視野範囲内に液滴が飛散している状況を検出することもエッジ化現象検出処理の一形態(後述の(2)形態)とすることができる。
また、送気・送水ノズル43から送水等を行う場合のように、視野範囲内に液滴が飛散し得るような特定の操作が施術者等によって行われている場合には、エッジ化現象が発生している可能性が極めて高い状況と考えられるため、そのような操作が行われていることを検出することもエッジ化現象検出処理の一形態(後述の(3)形態)とすることができる。
次に、CPU82は、ステップS12の処理として、ステップS10のエッジ化現象検出処理の結果に基づき、エッジ化現象が発生する状況か否かを判定する。エッジ化現象が発生する状況であると判定した場合(YESの場合)にはステップS14に移行し、エッジ化現象が発生する状況でないと判定した場合(NOの場合)にはステップS16に移行する。
なお、CPU82におけるこれらのステップS10、S12の処理は、撮像素子58により得られるフレーム画像において走査ラインに平行な方向に沿ってエッジ化される画像領域が存在するか否かを検出する検出手段の処理に相当する。
ステップS14の処理では、エッジ化現象を軽減するためのエッジ化現象軽減処理を実施する。
エッジ化現象軽減処理として、詳細を後述するように撮像部54により順次撮影されたフレーム画像に所定の処理を施す形態と、撮像素子58の動作(露光時間、駆動方式)を変更する形態等が採用できる。
ステップS16の処理では、エッジ化現象軽減処理を実施しない通常の撮影時の状態に移行するための通常状態移行処理を実施する。
ここで、通常状態移行処理には、単にエッジ化現象軽減処理を実施しないこと(通常の撮影時の状態とすること)も含まれる。
以上の、ステップS14又はステップS16の処理が終了すると、ステップS10の処理に戻る。そして、ステップS10からの処理を繰り返す。
次に、図10のステップS14におけるエッジ化現象軽減処理の具体的な形態について説明する。
エッジ化現象軽減処理の形態として、以下の(a)形態、(b)形態、及び(c)形態のいずれかを採用することができ、それらの3形態の具体的な処理内容を以下において順に説明する。
(a)形態のエッジ化現象軽減処理は、撮像部54により順次撮影されるフレーム画像において、エッジ化現象として図11(A)のように発生した液滴画像の水平方向のエッジをフィルタ処理(ぼかし処理)により同図(B)のようにぼかす。これによって、液滴画像の水平方向のエッジにおける垂直方向の急激な画素値変化を低減することができ、エッジ化現象を軽減することができる。
この(a)形態のエッジ化現象軽減処理は、例えば、図3に示したプロセッサ装置12のCPU82が、撮像部54により撮影されたフレーム画像の画像データをDSP86から取得することによって行うことができる。具体的には図12のフローチャートの処理手順にしたがって以下のように実施される。
図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況であることが検出された場合のステップS14において本(a)形態のエッジ化現象軽減処理が実施され、まず、CPU82は、ステップS20の処理として、撮像部54により撮影されてプロセッサ装置12のDSP86により生成されたフレーム画像の画像データを取り込む。
ただし、ステップS10のエッジ化現象検出処理において、CPU82が、これと同様にフレーム画像の画像データを取り込む場合には、本ステップS14のエッジ化現象軽減処理においてもその画像データを用いればよく、再度の取り込みは不要である。
次に、CPU82は、ステップS22の処理として、フレーム画像内における液滴画像の水平方向のエッジ又は液滴画像の画像領域の情報を取得する。この情報は、ステップS10のエッジ化現象検出処理の際に検出される情報を参照してもよいし、エッジ化現象検出処理においてそのような情報が得られない場合には、CPU82が本ステップS22の処理としてフレーム画像に対する画像処理によって検出してもよい。その画像処理についてはエッジ化現象検出処理の具体的な形態の説明と共に後述する。
次に、CPU82(CPU82に含まれる画像ぼかし手段)は、ステップS24の処理として、フレーム画像内における液滴画像の水平方向のエッジ又は液滴画像の画像領域に対してぼかし処理を施す。
このぼかし処理は、垂直方向のみのぼかしであってもよいし、垂直方向と水平方向の両方向へのぼかしであってもよい。
また、ぼかし処理を施す画像領域は、液滴画像の水平方向のエッジの位置を含むエッジに沿ったエッジ周辺の画像領域としてもよいし、液滴画像全体を含む液滴画像周辺の画像領域としてもよく、少なくとも水平方向のエッジをぼかすことができる範囲であればよい。
以上のようにフレーム画像に対してぼかし処理を施してエッジ化現象軽減処理を終了すると、CPU82は、そのぼかし処理を施したフレーム画像の画像データを表示制御回路88に出力してモニタ27に表示させる。
一方、図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況でないことが検出された場合のステップS16の通常状態移行処理では、上記のようなエッジ化現象軽減処理を実施せず、ぼかし処理を施さないフレーム画像の画像データを表示制御回路88に出力してモニタ27に表示させる。
なお、以上の(a)形態のエッジ化現象軽減処理は、CPU82からの指示によってDSP86又は他の画像処理部において行うことも可能である。
(b)形態のエッジ化現象軽減処理は、撮像素子58における露光時間を長くする(シャッタースピードを遅くする)ことによってエッジ化現象を軽減する。
露光時間を長くすることによってエッジ化現象を軽減することができる理由について説明する。
図13(A)、(B)は、撮像素子58の各ラインの露光期間(電荷蓄積期間)及び画素信号読出期間のタイミングを時間的に隣接する2フレームのみに着目して示した図であり、液滴影響範囲Xの高輝度の液滴が非露光期間より短い期間Txにおいて発生したことを示している。同図(A)は露光時間が1/200秒、同図(B)は同図(A)よりも露光時間が長い1/60秒の場合を示している。
これらの図に示すように、時間的に隣接する2フレーム間において、同時刻において非露光期間となるラインの数は、露光時間が短い程、多くなる。
一方、エッジ化現象軽減処理を実施しない通常の撮影時(通常の撮影条件設定時)では、高画質の動画像を得るために、露光時間は比較的短い時間に設定され、例えば、同図(A)のように1/200秒に設定される。
そして、通常の撮影時においてエッジ化現象が発生する場合、即ち、時間的に隣接する2フレームのうちの前フレームのフレーム画像に高輝度の液滴の下側部分のみが映り込み、後フレームのフレーム画像に高輝度の液滴の上側部分のみが映り込む場合、同時刻で非露光期間となるライン数が多い分、1つ(1粒)の液滴に対する液滴画像は、上下方向に大きく離間した位置に分断される。
このようなフレーム画像がモニタ27の画面上に動画像として順に表示された場合、観察者は、前フレームのフレーム画像における下側の液滴画像と、後フレームのフレーム画像における上側の液滴画像とを程同時に視認することになる。
このとき、露光時間が短いほど、1つの液滴に対して上下方向の大きく分断された2つの液滴画像を視認すると共に、分断された液滴画像の間に水平方向に直線状に生じる低輝度の隙間画像も明確に視認することになる。したがって、エッジ化現象として知覚され易い画像となる。
これに対して、通常の撮影時よりも露光時間を長くし、例えば、同図(B)のように露光時間を1/60秒に変更したとすると、エッジ化現象が発生した場合であっても、同時刻で非露光期間となるライン数が少ない分、1つの液滴に対する液滴画像は、時間的に隣接する2フレームのフレーム画像において、上下方向に殆ど離間しない位置に分断されて映り込む。
このようなフレーム画像がモニタ27の画面上に動画像として順に表示されて、観察者が、前フレームのフレーム画像における下側の液滴画像と、後フレームのフレーム画像における上側の液滴画像とを程同時に視認した場合に、1つの液滴に対して上下に分断された液滴画像の連続性が殆ど損なわれることなく1つの液滴画像として視認することなる。
したがって、露光時間を長くすることによって、エッジ化現象が知覚され難い画像とすることができ、エッジ化現象を軽減することができる。
また、露光時間を長くすることによってエッジ化現象を軽減することができる別の理由として、同一フレーム内の各ラインの露光期間中に無作為に生じる複数の液滴からの光を各ラインの画素が受光した場合に、その受光した光量のラインごとの差異が、露光時間が長い程、少なくなるという理由がある。
図14は、各ラインの画素に対して時間とともに変動する同じ光量の光を入射させた場合における各ラインの画像の明るさを示した図であり、露光期間のタイミングとして露光時間が1/200秒の場合と、1/60秒との場合とを比較して示した図である。
同図左上の(A)には、1フレーム分の各ラインの露光期間のタイミングが示されており、露光時間が1/200秒の場合の各ラインの露光期間302と露光時間が1/60秒の場合の各ラインの露光期間304のタイミングが画素信号の読出しのタイミング300を一致させて示されている。
これに対して、同図左下の(B)には、各ラインの画素に入射する単位時間Δtあたりの被写体からの反射光量が示されている。単位時間Δtは、隣接するラインの露光開始(リセット)の時間のずれ量を示す。
そして、各時間において同図(B)のように変化する反射光量の光を、各ラインの画素が同図(A)のように各々の露光期間の時間内で受光した場合に、露光期間において受光した受光量(総量)に応じた画像を生成すると、各ラインの画像の明るさは同図右上の(C)のグラフのようになる。同図(C)において露光時間が1/200秒の場合が曲線306、1/60秒の場合が曲線308により示されている。
これによれば、露光時間が短い1/200秒の場合に比べて、露光時間が長い1/60秒の場合の方が、ラインごとの画像の明るさの差異が少ないことがわかる。したがって、露光時間を長くした方が個々の液滴画像が不鮮明となり、画質が低下する代わりに、エッジ化現象を軽減することができる。
以上の(b)形態のエッジ化現象軽減処理は、例えば、露光制御手段として、図3に示したプロセッサ装置12のCPU82が、内視鏡11のCPU80を介して撮像部54に対して撮像素子58の露光時間(シャッタースピード)の変更を指示することによって行うことができ、具体的には図15のフローチャートの処理手順にしたがって以下のように実施される。
図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況であることが検出された場合のステップS14において本(b)形態のエッジ化現象軽減処理が実施され、まず、CPU82は、ステップS30の処理として、現在の露光時間が通常の撮影時における1/200秒に設定されているか否かを判定する。
そして、ステップS30においてYESと判定した場合には、ステップS32の処理として、撮像部54に対して露光時間を例えば1/60秒に変更することを指示し、通常の撮影時よりも長い露光時間により撮像素子58を駆動させる。
一方、ステップS30においてNOと判定した場合には、既に露光時間が1/60秒に設定されているため、露光時間の変更の指示を行わない。
以上によりエッジ化現象軽減処理が終了する。
続いて、(b)形態のエッジ化現象軽減処理を採用した場合における図10のステップS16の通常状態移行処理について図16のフローチャートを用いて説明する。
図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況でないことが検出された場合において、ステップS16の通常状態移行処理が実施され、CPU82は、まず、ステップS40の処理として、現在の露光時間が上記のステップS32において変更した1/60秒に設定されているか否かを判定する。
そして、ステップS40においてYESと判定した場合には、ステップS42の処理として、撮像部54に対して露光時間を通常の撮影時における1/200秒に変更することを指示し、通常の撮影時における露光時間により撮像素子58を駆動させる。これにより、通常の撮影時における高画質での撮影に復帰させる。
一方、ステップS40においてNOと判定した場合には、既に露光時間が1/200秒に設定されているため、露光時間の変更の指示を行わない。
以上のエッジ化現象軽減処理及び通常状態移行処理により、エッジ化現象が発生する状況であることが検出された場合には通常の撮影時よりも露光時間を長くしてエッジ化現象を軽減することができ、エッジ化現象が発生する状況でないことが検出された場合には通常の撮影時の露光時間に復帰させて、高画質での撮影に復帰させることができる。
なお、露光時間を長くする場合に上記のように露光時間を1/60秒とするのではなく、通常の撮影時における露光時間よりも長い他の値とすることもできる。通常の撮影時における露光時間も上記のように1/200秒に限らない。
また、ステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況であることが検出されるごとに、ステップS14のエッジ化現象軽減処理において、通常の撮影時の露光時間から最大(変更可能な範囲の上限)の露光時間までの範囲で露光時間を徐々に(段階的に)長くするようにしてもよい。図17は、この場合の処理手順を示したフローチャートである。
図10のステップS14において(b)形態のエッジ化現象軽減処理を開始すると、CPU82は、ステップS50の処理として、現在の露光時間が最大の露光時間に設定されているか否かを判定する。
そして、ステップS50においてNOと判定した場合には、ステップS52の処理として、撮像部54に対して露光時間を現在よりも所定時間分だけ長くした露光時間への変更を指示する。
ステップS50においてYESと判定した場合には、撮像部54に対して露光時間の変更の指示を行わない。
これにより、エッジ化現象が発生する状況であることが検出されるごとに露光時間を徐々に長くしていくことができる。
これと同様に、図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況でないことが検出されるごとに、ステップS16の通常状態移行処理において、通常の撮影時における露光時間まで、徐々に露光時間を短くするようにしてもよい。図18は、この場合の処理手順を示したフローチャートである。
図10のステップS16において通常状態移行処理を開始すると、CPU82は、ステップS60の処理として、現在の露光時間が通常の撮影時の露光時間に設定されているか否かを判定する。
そして、ステップS60においてNOと判定した場合には、ステップS62の処理として、撮像部54に対して露光時間を現在よりも所定時間分だけ短くした露光時間への変更を指示する。
ステップS60においてYESと判定した場合には、撮像部54に対して露光時間の変更の指示を行わない。
これにより、エッジ化現象が発生する状況でないことが検出されるごとに露光時間を徐々に短くしていくことができる。
(c)形態のエッジ化現象軽減処理は、通常の撮影時において図4のようにローリングシャッタ方式で撮像素子58を駆動しているのに対して、擬似的なグローバルシャッタ方式の駆動に切り替えることによって、画質の低下を招く代わりに、エッジ化現象を完全に抑止する。なお、エッジ化現象は、上述のように撮像素子58をローリングシャッタ方式で駆動した場合にのみ発生し、グローバルシャッタ方式で駆動した場合には発生しないことが確認されている。
ここで、図4に示した通常の撮影時でのローリングシャッタ方式は、プログレッシブ方式(走査方式)でフレームレートが60fps(60p)である。なお、露光時間は、上述のように例えば1/200秒という比較的短い時間に設定されており、同図とは必ずしも一致しない。
これに対して、擬似的なグローバルシャッタ方式では、図19に示すように、プログレッシブ方式でフレームレートが30fps(30p)のローリングシャッタ方式に切り替えられる。また、露光時間が例えば1/30秒という最大の露光時間に設定される。
これによって、同一フレームにおいて、先頭ラインから最終ラインまでの全てのラインが露光状態となる時間が長く確保されている。なお、露光時間は、必ずしも最大の露光時間に設定する必要はなく、全てのラインが同時に露光状態となる期間が一定時間以上確保されるような値であればよい。
そして、光源装置13から内視鏡11に供給する照明光を通常の撮影時における連続照明から間欠照明(間欠発光)に切り替え、図19に照明期間として示されているように全てのラインが露光状態となっている時間内においてのみ照明光を被観察部位に照射するようにする。
これによって、撮像素子58の駆動自体はローリングシャッタ方式であるが、照明期間以外では電荷蓄積が行われないため、撮像素子58をプログレッシブ方式でフレームレートが30fpsのグローバルシャッタ方式で駆動した場合と同等の撮影を行うことができ、通常の撮影時と比較して画質の低下を招く代わりにエッジ化現象を完全に抑止することができる。
以上の(c)形態のエッジ化現象軽減処理は、例えば、露光制御手段として、図3に示したプロセッサ装置12のCPU82が、内視鏡11のCPU80を介して撮像部54に対して撮像素子58のフレームレート及び露光時間の変更を指示すると共に、光源装置13のCPU114を介して光源駆動回路112に対して光源110の駆動方式等の変更を指示することによって行うことができ、具体的には図20のフローチャートの処理手順にしたがって以下のように実施される。
図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況であることが検出された場合のステップS14において本(c)形態のエッジ化現象軽減処理が実施され、まず、CPU82は、ステップS70の処理として、現在の撮像素子58の駆動方式が図4のように通常の撮影時における60pのローリングシャッタ方式に設定されているか否かを判定する。
そして、ステップS70においてYESと判定した場合には、ステップS72の処理として、撮像素子58の駆動方式を擬似的なグローバルシャッタ方式に切り替える。
即ち、撮像部54に対して、撮像素子58の駆動方式を30pのローリングシャッタ方式に切り替えることを指示すると共に、露光時間を最大(例えば1/30秒)に設定することを指示する。
また、CPU82は、光源装置13の光源駆動回路112に対して光源110を常時発光させる連続発光から周期的に発光させる間欠発光に切り替えることを指示する。間欠発光の周期は、撮像素子58のフレームレートに一致する1/30秒とし、各周期において発光させる期間を撮像素子58の全ラインにおいて露光状態となる期間より少なくとも短い時間となるようにし、且つ、各周期において発光させる期間が撮像素子58の全ラインにおいて露光状態となる期間内のタイミングとなるように同期させる。
これにより、内視鏡11の先端硬質部31の照明窓41、42から被観察部位に対して出射される照明光が連続照明から間欠照明に切り替えられ、撮像素子58が図19のように30pの擬似的なグローバルシャッタ方式の駆動に切り替えられる。
一方、ステップS70においてNOと判定した場合には、既に撮像素子58の駆動方式が擬似的なグローバルシャッタ方式に設定されているため、上記のような駆動方式の切替えの指示は行わない。
以上により、(c)形態のエッジ化現象軽減処理が終了する。
続いて、(c)形態のエッジ化現象軽減処理を採用した場合における図10のステップS16の通常状態移行処理について図21のフローチャートを用いて説明する。
図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によってエッジ化現象が発生する状況でないことが検出された場合において、ステップS16の通常状態移行処理が実施され、CPU82は、まず、ステップS80の処理として、現在の撮像素子58の駆動方式が図19のように30pの擬似的なグロバールシャッタ方式に設定されているか否かを判定する。
そして、ステップS80においてYESと判定した場合には、撮像素子58の駆動方式を通常の撮影時におけるローリングシャッタ方式に切り替える。
即ち、撮像部54に対して、撮像素子58の駆動方式を60pのローリングシャッタ方式に切り替えることを指示すると共に、露光時間を通常の撮影時の値(例えば1/200秒)に設定することを指示する。
また、CPU82は、光源装置13の光源駆動回路112に対して光源110を間欠発光から連続発光に切り替えることを指示する。
これにより、内視鏡11の先端硬質部31の照明窓41、42から被観察部位に対して出射される照明光が間欠照明から連続照明に切り替えられ、撮像素子58が図4のように通常の撮影時における60pのローリングシャッタ方式の駆動に切り替えられる。
一方、ステップS80においてNOと判定した場合には、既に撮像素子58の駆動方式が通常の撮影時におけるローリングシャッタ方式に設定されているため、上記のような駆動方式の切替えの指示は行わない。
以上により、(c)形態のエッジ化現象軽減処理を採用した場合における通常状態移行処理が終了する。
図22(A)は、図19のように撮像素子58を擬似的なグローバルシャッタ方式で駆動した場合に撮影される液滴画像であり、図22(B)は、通常の撮影時において撮像素子58をローリングシャッタ方式で駆動した場合に撮影される液滴画像である。これらの図に示すように撮像素子58を擬似的なグローバルシャッタ方式での駆動に切り替えることによりエッジ化現象が完全に抑止されている。
なお、照明光を連続照明と間欠照明とに切り替える手段は、上記のように光源装置13の光源110の発光を連続発光と間欠発光とで切り替える形態に限らず、連続発光する光源110の前段に光の通過をオン/オフするシャッタ手段を配置し、シャッタ手段を制御することによって連続発光と間欠発光とを切り替えるようにしてもよい。また、他の形態であってもよい。
また、上記の擬似的なグローバルシャッタ方式の形態は一例であって、これに限らず、同一フレームの全ての走査ラインの露光が同時に行われるような露光制御であればよい。
次に、図10のフローチャートにおけるステップS10のエッジ化現象検出処理の具体的な形態について説明する。
エッジ化現象が発生する状況を検出するエッジ化現象検出処理の形態として、以下の(1)形態、(2)形態、及び(3)形態のいずれかを採用することができる。
(1)形態は、エッジ化現象が実際に発生している状況を検出する形態であり、フレーム画像の中から液滴画像の水平方向のエッジを検出する形態である。
(2)形態は、エッジ化現象が略発生している状況(エッジ化現象が発生し得る状況)を検出する形態であり、水平方向のエッジの有無にかかわらずフレーム画像の中から飛散している液滴の液滴画像を検出する形態である。
(3)形態は、エッジ化現象が略発生している状況を検出する形態であり、撮像部54の視野範囲内に液滴が飛散し得るような特定の操作が行われていることを検出する形態である。
以下、(1)〜(3)形態の具体的な処理内容について順に説明する。
まず、(1)形態のエッジ化現象検出処理について説明する。
(1)形態のエッジ化現象検出処理は、図7(A)〜(C)を基にした図23(A)〜(C)における画像領域180A、180B、181A、181Bに存在するような液滴画像の水平方向のエッジを検出する。これによって、エッジ化現象が発生していることを直接的に検出することができる。
この(1)形態のエッジ化現象検出処理は、例えば、図3に示したプロセッサ装置12のCPU82が、撮像部54により撮影されたフレーム画像の画像データをDSP86から取得することによって行うことができる。具体的には図24のフローチャートの処理手順にしたがって以下のように実施される。
図10のステップS10において(1)形態のエッジ化現象検出処理が実施され、まず、CPU82は、ステップS90の処理として、撮像部54により撮影されたフレーム画像の画像データをDSP86から取り込む。
次に、ステップS92の処理として、ステップS90において取り込んだフレーム画像に対して水平方向に関するローパスフィルタの処理を施し、フレーム画像内におけるノイズを除去する。この処理は必ずしも必要としない。
次に、CPU82(CPU82に含まれるエッジ位置候補検出手段)は、ステップS94の処理として、フレーム画像の中から、垂直方向の画素値変化量が大きい画素を水平方向のエッジを形成する候補画素(エッジ位置候補)として検出する。即ち、フレーム画像内の1つの画素を着目画素とし、その着目画素と、その上の位置の画素との画素値の差分を求め、その差分が所定の閾値以上となる場合に、その着目画素を候補画素とする。
そして、フレーム画像内の全ての画素(先頭ラインの画素を除く)を順に着目画素として本処理を実施し、全ての候補画素を検出する。これにより、例えば、図23(B)の領域161内の液滴画像に対して図25のようにドットで示す候補画素180、180、・・・が検出される。なお、画素値の代わりに輝度値を用いて候補画素を検出するようにしてもよい。
次に、CPU82(CPU82に含まれるエッジ位置検出手段)は、ステップS96の処理として、ステップS94において検出した候補画素が同一の水平ライン上に密集している画素を水平方向密集画素(エッジ位置)として検出する。たとえば、候補画素を順に着目画素として、着目画素を中心に水平方向の所定画素範囲内の領域に、候補画素が所定個以上含まれるものを水平方向密集画素として検出する。これにより、例えば、図25のように検出された候補画素に対して図26のように液滴画像の水平方向のエッジに沿った位置の画素が水平方向密集画素182、182、・・・として抽出される。
以上の(1)形態のエッジ化現象検出処理により、水平方向のエッジを有する液滴画像がフレーム画像内に存在する場合には、そのエッジが水平方向密集画素として検出される。
続いて、上記の(1)形態のエッジ化現象検出処理の結果に基づき、図10のステップS12においてエッジ化現象が発生する状況か否かを判定する判定処理について図27のフローチャートを用いて説明する。
CPU82は、ステップS100の処理として、エッジ化現象が発生する状況であるか否かを判定するための判定量を、上記のエッジ化現象検出処理において検出されたフレーム画像における画像特徴量を用いて算出する。例えば、上記ステップS96において検出された水平方向密集画素の画素数を判定量として求める。
次に、ステップS102の処理として、判定量が所定の閾値以上であるか否かを判定する。
そして、ステップS102においてYESと判定した場合には、ステップS104の処理としてエッジ化現象が発生する状況であると判定する。この場合には、図10のステップS14のエッジ化現象軽減処理に移行する。
一方、ステップS102においてNOと判定した場合には、ステップS106の処理としてエッジ化現象が発生する状況でないと判定する。この場合には図10のステップS16の通常状態移行処理に移行する。
以上の(1)形態のエッジ化現象検出処理は、エッジ化現象軽減処理として上述の(a)〜(c)形態のいずれの形態を採用する場合においても用いることができる。
そして、(a)形態のエッジ化現象軽減処理を採用した場合において、ステップS96により検出した水平方向密集画素の画像領域の情報を、液滴画像の水平方向のエッジの画像領域を示す情報としてエッジ化現象軽減処理において参照し、これに基づいてぼかし処理を施す画像領域を決定することができる。
なお、(a)形態のエッジ化現象軽減処理において、ぼかし処理を施す画像領域をエッジのみではなく、エッジ周辺を含む画像領域や、液滴画像全体の画像領域等としてもよく、そのぼかし処理を施す画像領域を、本(1)形態のエッジ化現象検出処理において求めてエッジ化現象軽減処理において参照できるようにしてもよい。
また、上記の判定量は、ステップS96において検出された水平方向密集画素に基づくエッジの水平方向の長さとしてもよいし、エッジの数としてもよい。
また、(1)形態のエッジ化現象検出処理は、CPU82ではなく、CPU82からの指示によりDSP86又は他の画像処理部で行うこと可能である。
次に、(2)形態のエッジ化現象検出処理について説明する。
(2)形態のエッジ化現象検出処理は、飛散する液滴の液滴画像をフレーム画像の中から検出する。これによって、エッジ化現象が略発生していることを検出することができる。
飛散する液滴の液滴画像は、高速で撮像部54の視野範囲を横切るため、1フレーム分のフレーム画像にしか映り込まない場合が多い。また、エッジ化現象が起きている場合は、フレーム画像に液滴の一部が映っていないため、2フレーム以上に渡って映ったとしても同一形状で映っている可能性は低い。
一方、飛散する液滴以外の被写体の画像であれば高速で移動していることが考えにくいため、時間的に隣接する2フレームのフレーム画像において同一パターンの画像として映り込む。
したがって、時間的に隣接する2フレームのフレーム画像に同一パターンの画像が映っていない被写体は飛散する液滴であると判断することができる。
一方、時間的に隣接する2フレームのフレーム画像に同一パターンの画像が映っている被写体は飛散する液滴でないと判断することができる。
この(2)形態のエッジ化現象検出処理は、例えば、図3に示したプロセッサ装置12のCPU82が、撮像部54により撮影されたフレーム画像の画像データをDSP86から取得することによって行うことができる。具体的には図28のフローチャートの処理手順にしたがって以下のように実施される。
図10のステップS10において(1)形態のエッジ化現象検出処理が実施され、まず、CPU82は、ステップS110の処理として、撮像部54により撮影されたフレーム画像の画像データをDSP86から取り込む。
次に、CPU82(CPU82に含まれるパターンマッチング判定手段)は、ステップS112の処理として、ステップS110により取り込んだフレーム画像を着目フレームのフレーム画像(着目フレーム画像)として、その着目フレーム画像の中から1つの物体とみなせる画像領域を液滴画像の候補領域として抽出する。1つの物体とみなせる画像領域は、例えば、輝度や色の連続性等から判断することができる。
これによって、例えば、図29(A)において、画像領域190が候補領域として抽出される。
次に、CPU82(パターンマッチング判定手段)は、ステップS114の処理として、着目フレーム画像の中から抽出した候補領域の画像パターンと一致する画像領域を、着目フレーム画像よりも1つ前のフレーム画像の中からパターンマッチングの処理により検索する。ステップS112において候補領域が複数抽出された場合には各々の候補領域に関してそれらの画像パターンと一致する画像領域を検索する。
なお、候補領域の画像パターンを着目フレームに対して時間的に隣接するフレームのフレーム画像(隣接フレーム画像)の中から検索すればよく、1つ前のフレーム画像の中から検索するのではなく、1つ後のフレーム画像の中から検索してもよい。
また、候補領域の画像パターンを検索する前フレームのフレーム画像における検索範囲は、フレーム画像の画面全体の範囲とするのではなく、図29(B)のように画面上において候補領域と同一位置となる画像領域と、その周辺に制限した画像領域としてもよい。たとえば、同図(A)の候補領域190に対する検索範囲は、その候補領域190と画面上で同一位置及び範囲となる同図(B)における画像領域191とその周辺部を含む画像領域192とすることができる。ただし、フレーム画像の画面全体を検索範囲としてもよい。
次に、CPU82(パターンマッチング判定手段)は、ステップS116の処理として、候補領域の画像パターンが前フレームのフレーム画像内に検出されたか否かを判定する。
その結果、ステップS116においてYESと判定した場合には、ステップS118の処理としてその候補領域の画像は飛散する液滴画像ではないと判断する。
一方、ステップS116においてNOと判定した場合には、ステップS120の処理としてその候補領域の画像は飛散する液滴画像であると判断する。
以上の(2)形態のエッジ化現象検出処理によって、飛散する液滴の液滴画像が検出される。
なお、パターンマッチングの処理では、例えば、比較領域の画像と比較する画像の画像領域を隣接フレーム画像内で動かしながら、それらの比較した画像の相違度が順次求められる。そして、相違度が最小となったときの隣接フレーム画像における画像領域の画像が候補領域の画像パターンに最も類似したものとなるが、その相違度の最小値が所定の閾値以上である場合には、候補領域の画像パターンが隣接フレーム画像において見つからなかったと判断(飛散する液滴画像と判断)するのが望ましい。相違度は、例えば、比較する2つの画像の対応する画素同士の画素値の差分の絶対値の総和とすることができる。
続いて、上記の(2)形態のエッジ化現象検出処理の結果に基づき、図10のステップS12においてエッジ化現象が発生する状況か否かを判定する判定処理について説明する。本処理は、(1)形態のエッジ化現象検出処理を採用した場合の判定処理と同様に行われるため、その判定処理の際に使用した図27にのフローチャートを用いて説明する。
CPU82は、ステップS100の処理として、エッジ化現象が発生する状況であるか否かを判定するための判定量を、上記のエッジ化現象検出処理において検出されたフレーム画像における画像特徴量を用いて算出する。例えば、上記ステップS120において液滴画像であると判断した候補領域の数を判定量として求める。
次に、ステップS102の処理として、判定量が所定の閾値以上であるか否かを判定する。
そして、ステップS102においてYESと判定した場合には、ステップS104の処理としてエッジ化現象が発生する状況であると判定する。この場合には、図10のステップS14のエッジ化現象軽減処理に移行する。
一方、ステップS102においてNOと判定した場合には、ステップS106の処理としてエッジ化現象が発生する状況でないと判定する。この場合には図10のステップS16の通常状態移行処理に移行する。
なお、液滴画像であると判断した候補領域の面積の総和を判定量とすることもできる。
以上の(2)形態のエッジ化現象検出処理は、エッジ化現象軽減処理として上述の(a)〜(c)形態のいずれの形態を採用する場合においても用いることができる。
そして、(a)形態のエッジ化現象軽減処理を採用した場合において、上記のように飛散する液滴の液滴画像を検出した画像領域の情報を、エッジ化現象軽減処理において参照し、これに基づいてぼかし処理を施す画像領域を決定することができる。(a)形態のエッジ化現象軽減処理において、ぼかし処理を施す画像領域を水平方向のエッジのみの画像領域や、エッジ周辺部の画像領域とする場合には、たとえば、(1)形態のエッジ化現象検出処理のようにエッジを検出する処理を実施すればよく、その処理を、本(2)形態のエッジ化現象検出処理において行ってエッジ化現象軽減処理において参照できるようにしてもよいし、エッジ化現象軽減処理において実施してもよい。
また、(2)形態のエッジ化現象検出処理は、(1)形態のエッジ化現象検出処理と組み合わせて用いることができ、例えば、両方のエッジ化現象検出処理によりエッジ化現象が発生する状況であることが検出された場合にのみエッジ化現象軽減処理を行う形態とすることができる。
また、(2)形態のエッジ化現象検出処理は、CPU82ではなく、CPU82からの指示によりDSP86又は他の画像処理部で行うこと可能である。
次に、(3)形態のエッジ化現象検出処理について説明する。
(3)形態のエッジ化現象検出処理は、撮像部54の視野範囲内に液滴が飛散し得るような特定の操作が行われていることを検出する。これによって、エッジ化現象が略発生していることを検出することができる。
この(3)形態のエッジ化現象検出処理は、例えば、図3に示したプロセッサ装置12のCPU82が、撮像部54の視野範囲内に液滴が飛散し得るような操作を行う操作部材の操作状態を検出することによって行うことができ、具体的には以下のように実施される。
CPU82には、内視鏡11の挿入部14先端の送気・送水ノズル43からエアー(気体)や水を噴射するための操作部15の送気・送水ボタン22の操作状態を示す状態信号と、鉗子出口20から体液の吸引等を行うための操作部15の吸引ボタン23の操作状態を示す状態信号が与えられるようになっている。
また、鉗子チャンネル等の所定のチャンネルを利用して被観察部位の洗浄等を行う水や、被観察部位を所定の色に染める色素等の液体を被観察部位に噴射するための装置を使用する場合には、その装置において液体の噴射するためのスイッチ(フットスイッチ等)の操作状態を示す状態信号がCPU82に与えられるようになっている。
図10のステップS10のエッジ化現象検出処理において、CPU82は、それらの操作部材の操作状態を状態信号に基づいて検出する。そして、その結果、いずれかの操作部材が液体や気体の噴射(流体の送出)、又は、吸引を行う操作状態であることを検出した場合には、撮像部54の視野範囲内に液滴が飛散し得るような操作が行われていることを検出したものとする。
一方、いずれの操作部材も流体の送出や吸引を行う操作状態でない場合には、撮像部54の視野範囲内に液滴が飛散し得るような操作を検出しないものとする。
続いて、図10のステップS12におけるエッジ化現象が発生する状況であるか否かを判定する判定処理について説明すると、CPU82は、上記のエッジ化現象検出処理により、撮像部54の視野範囲内に液滴が飛散し得るような操作が行われていることを検出した場合には、エッジ化現象が発生する状況であると判定し、図10のステップS14のX減少軽減処理に移行する。
一方、上記のエッジ化現象検出処理により、撮像部54の視野範囲内に液滴が飛散し得るような操作が行われていることを検出しない場合には、エッジ化現象が発生する状況でないと判定し、図10のステップS16の通常状態移行処理に移行する。
なお、撮像部54の視野範囲内に液滴が飛散し得るような操作が行われていることを検出する際の対象とする操作は、上記の操作のうちのいずれか1又は複数の操作としてよいし、気体の送出を行う操作や流体の吸引を行う操作は対象の操作から除外してもよい。
以上の(3)形態のエッジ化現象検出処理は、エッジ化現象軽減処理として上述の(b)形態及び(c)形態を採用する場合において用いることができる。
また、(3)形態のエッジ化現象検出処理は、(1)形態又は(2)形態とのエッジ化現象検出処理と組み合わせて用いることができ、例えば、少なくとも(3)形態のエッジ化現象検出処理によりエッジ化現象が発生する状況であることが検出された場合にのみエッジ化現象軽減処理を実施する形態とすることができる。
次に、エッジ化現象検出処理として(1)形態又は(2)形態を採用する場合の誤検出防止のための誤検出防止処理について説明する。
まず、液滴画像以外の画像を液滴画像と誤検出してしまうことを防止する(ア−1)形態〜(ア−4)形態の誤検出防止処理について順に説明する。
まず、(ア−1)形態の誤検出防止処理について説明すると、(ア−1)形態の誤検出防止処理は、(1)形態のエッジ化現象検出処理を採用した場合に適用可能であり、液滴画像以外の被写体画像が水平方向のエッジを有する場合にそのエッジを液滴画像のエッジとして誤検出してしまうことを防止する。
例えば、撮像部54により撮像された画像に図31(A)、(B)のように先端フード等の人工物の画像が映り込む場合があり、その人工物の画像に図31(A)の領域200のように水平方向とみなせるエッジが存在する可能性がある。その場合に、(1)形態のエッジ化現象検出処理において、その人工物の画像の水平方向のエッジも液滴画像のエッジとして誤検出することになる。
一方、液滴画像は、時間的に隣接する2フレームのフレーム画像の各々に映り込む位置や形状が変化するのに対して、人工物の画像はほとんど変化しない。
そこで、(1)形態のエッジ化現象検出処理において水平方向のエッジを水平方向密集画素として検出した後、以下の処理を実施することによって上記のような誤検出を防止するが可能となる。
(1)形態のエッジ化現象検出処理において、現フレームのフレーム画像内に水平方向のエッジを検出した場合に、CPU82(CPU82に含まれる差分画像生成手段)は、その検出したエッジの周辺の画像領域に関して、現フレームのフレーム画像と、1つ前のフレームのフレーム画像との差分を求めて差分画像を生成する。
なお、現フレームのフレーム画像と、現フレームに対して時間的に隣接する隣接フレームのフレーム画像との差分画像を求めればよく、現フレームに対して前フレームではなく後フレームのフレーム画像との差分画像を求めてよい。
また、差分画像は、現フレームのフレーム画像の各画素の画素値から、隣接するフレーム画像の対応する位置の画素の画素値を引いた値を各画素の画素値とする画像を示すものとする。ただし、差分画像は、現フレームのフレーム画像と隣接するフレームのフレーム画像との差分を示すものであれば他の方法によって求められたものであってもよい。
図30(A)のように現フレームのフレーム画像内に検出されたエッジが液滴画像のエッジの場合、前フレームのフレーム画像内の液滴画像が同図(B)のように相違し、差分画像には、同図(C)のように現フレームのフレーム画像におけるエッジの画像が残る。
したがって、このようにエッジ化現象検出処理により検出されたエッジの画像が差分画像においても存在する場合(エッジの画像の画素値が差分画像において所定の閾値以上の場合)には、CPU82(CPU82に含まれる差分画像エッジ位置判定手段)は、そのエッジは誤検出によるものではなく適正なものと判断する。
一方、図31(A)のように現フレームのフレーム画像内に検出されたエッジが人工物の画像のエッジであり、液滴画像のエッジではない場合(エッジの画像の画素値が差分画像において上記の閾値未満の場合)には、前フレームのフレーム画像内のその人工物の画像は同図(B)のように現フレームのフレーム画像内の画像と略一致し、差分画像には、同図(C)のように現フレームのフレーム画像におけるエッジの画像が残らない。
したがって、このようにエッジ化現象検出処理により検出されたエッジの画像が差分画像において存在しない場合には、CPU82(差分画像エッジ位置判定手段)は、そのエッジは誤検出によるものであると判断する。そして、そのエッジをエッジ化現象検出処理の検出結果から除外する。
なお、(ア−1)形態の上述の具体的な形態は、(1)形態のエッジ化現象検出処理において水平方向のエッジを水平方向密集画素として検出した後、その検出したエッジの周辺の画像領域に関して、現フレームのフレーム画像と、隣接フレームのフレーム画像との差分画像を求めて、その差分画像におけるエッジの画像の有無(エッジの画像の画素値が所定の閾値以上か否か)によって液滴画像のエッジか否かを判断するようにしている。しかしながら(ア−1)形態は、これに限らない。
たとえば、(1)形態のエッジ化現象検出処理を実施する前において、フレーム画像の全体の画像領域に関して、現フレームのフレーム画像と、隣接フレームのフレーム画像との差分画像をCPU82(CPU82に含まれる差分画像生成手段)により生成し、人工物のような固定物の画像を除外して液滴画像のみを抽出し、その差分画像に対して(1)形態のエッジ化現象検出処理を実施するようにしてもよい。
即ち、(1)形態のエッジ化現象検出処理の処理手順を示した図24のフローチャートのステップS92〜ステップS96において、処理対象とする画像を、現フレームのフレーム画像ではなく、現フレームと隣接フレームとの差分画像としてもよい。
次に(ア−2)形態の誤検出防止処理について説明する。(ア−2)形態の誤検出防止処理は、(1)形態又は(2)形態のエッジ化現象検出処理を採用した場合に適用可能であり、検査開始前又は検査終了後等において内視鏡11の挿入部14(撮像部54)が患者の体腔内に挿入されていない場合のようにエッジ化現象が発生し得ない状況下において、図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によりエッジ化現象が発生する状況であると誤検出してしまうことを防止する。
撮像部54が患者の体腔内に挿入されていない状況下では撮像部54で撮影された画像に天井の蛍光灯等の人工物が映り込み、その蛍光灯等の画像が水平方向のエッジを有する場合にそのエッジを液滴画像として誤検出してしまうこと等が起こり得る。
一方、撮像部54が患者の体腔内に挿入されていない状況下では、送気・送水などによって液滴が飛散するような状況となることは生じ得ず、エッジ化現象が発生する状況ではない。したがって、このような状況下においてエッジ化現象検出処理及び判定処理によりエッジ化現象が発生する状況であることが検出された場合には、エッジ化現象検出処理として(1)形態又は(2)形態のいずれを採用した場合であっても誤検出である。
また、プロセッサ装置12又は光源装置13が、撮像部54により撮影されたフレーム画像の明るさに応じて照明光の光量を制御する光量制御機能を有している場合がある。この場合に、エッジ化現象が発生する状況下、即ち、観察窓40の近くに液滴が飛散している状況下では、液滴での反射光が明るく映るため、照明光の光量が制限(低減)される。したがって、照明光の光量が最大光量である場合には、エッジ化現象が発生していない状況であり、エッジ化現象検出処理及び判定処理によりエッジ化現象が発生する状況であることが検出された場合には、エッジ化現象検出処理として(1)形態又は(2)形態のいずれを採用した場合であっても誤検出である。
そこで、以下の処理を実施することによって上記のような誤検出を防止することが可能となる。
まず、CPU82(CPU82に含まれる光量判定手段)は、図10のステップS10のエッジ化現象検出処理を実施する前において、光源装置13から内視鏡11への照明光の供給が行われているか否か、即ち、光源110がオンかオフか(照明光の光量が0か否か)を判定する。
そして、光源110がオフであると判定した場合には、撮像部54は体腔内に挿入されていない状況であるため、図10のステップS10のエッジ化現象検出処理を実施せず、ステップS12の判定処理においてエッジ化現象が発生する状況でないと判定するものとする。
一方、光源110がオンであると判断した場合には、光源110から出射されている照明光の光量が最大光量か否かを判定する。そして、照明光の光量が最大光量であると判定した場合には、エッジ化現象が生じていない状況であるため、図10のステップS10のエッジ化現象検出処理を実施せず、ステップS12の判定処理においてエッジ化現象が発生する状況でないと判定するものとする。
以上の処理により、光源110がオフの場合、又は、照明光の光量が最大光量の場合には、エッジ化現象検出処理が実施されず、それ以外の場合にエッジ化現象検出処理が実施される。これにより、エッジ化現象が発生し得ない状況下において、エッジ化現象が発生する状況であると誤検出することが防止される。
なお、照明光の光量が最大光量の場合にエッジ化現象検出処理を実施しないとする代わりに、照明光の光量が所定に閾値以上の光量の場合にエッジ化現象検出処理を実施しないものとしてもよい。また、照明光の光量が所定の範囲内でない場合にはエッジ化現象検出処理を実施しないものとしてもよい。
次に(ア−3)形態の誤検出防止処理について説明する。(ア−3)形態の誤検出防止処理は、(1)形態又は(2)形態のエッジ化現象検出処理を採用した場合に適用可能であり、撮像部54を被観察部位の被写体に近接させて撮影を行っている場合のようにエッジ化現象が発生する可能性が低い状況下において、図10のステップS10のエッジ化現象検出処理及びステップS12の判定処理によりエッジ化現象が発生する状況であると検出され難くすることによって誤検出を防止する。
撮像部54(観察窓40)を被観察部位の被写体に近接させて撮影を行っている場合、基本的に送気・送水などを行うことは少なく、エッジ化現象が発生する可能性が低い。撮像部54が被観察部位に近いほど、エッジ化現象が発生する可能性が低くなると考えられる。
また、撮像部54が、対物光学系50の焦点距離を変更して光学ズームのズーム倍率を変更することができるズーム光学手段を有する場合、ズーム倍率を大きくして撮影を行っているときに送気・送水などを行うことは少なく、エッジ化現象が発生する可能性が低い。即ち、撮像部54の光学ズームのズーム倍率(焦点距離)が大きいほど、エッジ化現象が発生する可能性が低くなると考えられる。
更に、撮像部54を被観察部位の被写体に近接させて撮影を行っている場合、又は、撮像部54における光学ズームのズーム倍率が大きい場合、図32に示すように撮像部54により撮影されるフレーム画像において面積の大きいハレーション(高輝度領域)210が生じる。フレーム画像内におけるハレーションの面積は、撮像部54が被観察部位の被写体に近いほど、または、光学ズームのズーム倍率が大きいほど、大きくなる。そのハレーションには図32の符号212で示すように水平方向のエッジが生じる場合があり、そのエッジを液滴画像のエッジとして誤検出してしまうことも生じ得る。
そこで、以下の処理を実施することによって、エッジ化現象が発生する可能性が低い状況での誤検出を防止することが可能である。
CPU82(CPU82に含まれる高輝度領域抽出手段)は、図10のステップS10のエッジ化現象検出処理を(1)形態又は(2)形態により実施している際に、フレーム画像内において発生しているハレーションの領域を検出する。即ち、所定の閾値以上の高輝度の画素の画素領域(高輝度領域)を検出(抽出)する。
そして、そのハレーションの領域の面積が大きい程、撮像部54が被観察部位の被写体に近いと判断して、図10のステップS12の判定処理に用いる判定量に対する閾値を大きくする。
ここで、判定量とは、エッジ化現象が発生する状況であるか否かを判定するための値であり、(1)形態のエッジ化現象検出処理においては、例えば、上述のように図24のステップS96において検出された水平方向密集画素の画素数を示す。
(2)形態のエッジ化現象検出処理においては、例えば、上述のように飛散する液滴の液滴画像であると判断した候補領域の数、又は、それらの面積の総和を示す。
そして、図10のステップS12の判定処理において、その判定量が所定の閾値以上であればエッジ化現象が発生する状況であると判定し、判定量が閾値未満であればエッジ化現象が発生する状況でないと判定するものとする。
これにより、ハレーションの領域の面積が大きい程、閾値を大きくすることによって、撮像部54が被観察部位の被写体に近いほど、または、撮像部54の光学ズームのズーム倍率が大きいほど、即ち、エッジ化現象が発生する可能性が低くなるほど、ステップS12の判定処理においてエッジ化現象が発生する状況であると判定する条件を厳しくすることができ、エッジ化現象が発生する状況であると判定され難くすることができる。
なお、ハレーションの領域の面積は、フレーム画像上に発生している全てのハレーションの領域の総和としてもよいし、別々の場所に発生するハレーションの各々の領域の面積のうちの最大値としてもよい。
また、ハレーションの領域の面積が所定の閾値以上となった場合にはステップS10のエッジ化現象検出処理を行わず、ステップS12の判定処理においてエッジ化現象が発生する状況でないと判定するようにしてもよい。
更に、(1)形態又は(2)形態のエッジ化現象検出処理においてハレーションの領域(所定の輝度値よりも大きな高輝度領域)をエッジや液滴画像の検出対象領域から除外するだけでもよい。または、そのような高輝度領域の面積が所定の閾値以上であるか否かをCPU82(CPU82に含まれる高輝度領域判定手段)により判定し、所定の閾値以上であると判定された高輝度領域をエッジや液滴画像の検出対象領域から除外するようにしてもよい。
また、撮像部54が光学ズームのズーム倍率(焦点距離)の変更が可能な場合に、CPU82によりそのズーム倍率(焦点距離)の情報を取得し、光学ズームの使用状況に応じて図10のステップS12の判定処理に用いる判定量に対する閾値を変更し、又は、所定の閾値以上の面積の高輝度領域をエッジや液滴画像の検出対象領域から除外する場合のその閾値を変更するようにしてもよい。即ち、ズーム倍率が大きいほど、閾値を大きくするようにしてもよい。
次に(ア−4)形態の誤検出防止処理について説明する。(ア−4)形態の誤検出防止処理は、(1)形態又は(2)形態のエッジ化現象検出処理を採用した場合に適用可能であり、液滴画像の水平方向のエッジ、又は、液滴画像として検出されるような画像が偶然的に発生した場合に、それらを液滴画像の水平方向のエッジ、又は、液滴画像として誤検出してしまうことを防止する。
そこで、以下の処理を実施することによって上記のような誤検出を防止することができる。
CPU82は、図10のステップS10において(1)形態又は(2)形態のエッジ化現象検出処理を実施した際に検出されるフレーム画像内のエッジ又は液滴画像の発生程度を記憶しておく。
例えば、発生程度を示す値として、(1)形態又は(2)形態のエッジ化現象検出処理により求められる判定量又は判定量とするができる画像特徴量を用いることができる。たとえば、(1)形態のエッジ化現象検出処理においては、図24のステップS96において検出された水平方向密集画素の画素数、水平方向密集画素に基づくエッジの数(エッジを有する液滴画像の数)、エッジの長さの総和等とすることがきる。
(2)形態のエッジ化現象検出処理においては、例えば、上述のように飛散する液滴の液滴画像であると判断した候補領域の数、又は、それらの面積の総和とすることができる。
そして、CPU82(CPU82に含まれる画像領域発生程度判定手段)は、新たなフレーム画像に対してエッジ又は液滴画像を検出する際に、直前の所定時間内におけるエッジ又は液滴画像の発生程度の時間的な平均値を求め、その平均値が所定の閾値以下であれば、図10のステップS12の判定処理において、エッジ化現象が発生する状況でないと判定する。
これにより、液滴画像の水平方向のエッジ、又は、液滴画像として検出されるような画像が偶然的に発生した場合であっても、それらを液滴画像の水平方向のエッジ、又は、液滴画像として誤検出してしまうことが防止される。
次に(イ)形態の誤検出防止処理として、(1)形態又は(2)形態のエッジ化現象検出処理を採用し、且つ、(b)形態のエッジ化現象軽減処理を採用する場合の誤検出防止処理について説明する。
(イ)形態の誤検出防止処理は、(b)形態のエッジ化現象軽減処理を実施することによって、(1)形態又は(2)形態のエッジ化現象検出処理において、エッジ化現象が発生する状況を適切に検出することができなくなることによる誤検出を防止する。
(b)形態のエッジ化現象軽減処理を実施した場合、撮像素子58の露光時間を長くすることによってエッジ化現象の発生を軽減しているため、液滴が飛散している状況であってもエッジ化現象が発生する状況であることが検出され難くなる。
そのため、通常の撮影時の露光時間であれば、図10のステップS12の判定処理において、エッジ化現象が発生する状況であると判断されるような場合であっても、露光時間が通常の撮影時よりも長いときには、エッジ化現象が発生する状況でないと判断される可能性がある。
このような状況が発生すると、図10のステップS16の通常状態移行処理によって通常の撮影時の露光時間に戻す処理、又は、露光時間を短くする処理が行われる。
そして、次に、エッジ化現象検出処理を実施した際に、エッジ化現象が発生する状況であると判断されて、再度、露光時間を長くする処理が行われる。
このように液滴が飛散している状況が継続している間、露光時間の不要な変更が繰り返されることになる。
そこで、以下の処理を実施することによって、上記のようなエッジ化現象が発生しているか否かの発生の有無の誤検出を防止し、露光時間の不要な変更を防止すると好適である。
CPU82は、図10のステップS10において(1)形態又は(2)形態のエッジ化現象検出処理を実施した後のステップS12の判定処理において、(ア−3)形態の誤検出防止処理と同様に判定量を用いるものとする。
そして、前回のステップS12の判定処理において、エッジ化現象が発生する状況でないと判定した場合には、判定量に対する閾値を図33に示すように例えば、Aの値(第1の閾値)に設定する。
そして、今回の判定処理において、判定量がその閾値A以上であればエッジ化現象が発生する状況であると判定し、判定量が閾値A未満であればエッジ化現象が発生する状況でないと判定する。
一方、前回のステップS12の判定処理において、エッジ化現象が発生する状況であると判定した場合には、判定量に対する閾値を図33に示すように例えば、Aの値よりも小さいBの値(第2の閾値)に設定する。
そして、今回の判定処理において、判定量がその閾値B以上であればエッジ化現象が発生する状況であると判定し、判定量が閾値B未満であればエッジ化現象が発生する状況でないと判定する。
これによれば、図33の判定量の時間変化を例示したグラフにおいて、時刻T0では判定量が閾値B未満の値であるため、エッジ化現象が発生する状況でないと判定されており、さらに、時刻T1までは、判定量が閾値A未満の値であるため、エッジ化現象が発生する状況でないと判定される。
一方、時刻T1を過ぎると、判定量が閾値A以上の値となるため、エッジ化現象が発生する状況であると判定される。そして、時刻T2を過ぎた時点で判定量が閾値A未満となるが、このときには、エッジ化現象が発生する状況でないとは判定されず、時刻T3において判定量が閾値B未満の値となるまでの間、エッジ化現象が発生する状況であると判定される。
そして、時刻T3を過ぎて判定量が閾値B未満となったときにエッジ化現象が発生する状況でないと判定される。
このようにエッジ化現象が発生する状況でないと判定されているときには、エッジ化現象が発生する状況であるという判定が行われ難くなり、また、エッジ化現象が発生する状況であると判定されているときには、エッジ化現象が発生する状況でないという判定が行われ難くなる。
したがって、エッジ化現象軽減処理による露光時間の不要な変更が行われないようになる。
なお、判定量が閾値B以上で閾値A未満の値の場合には、エッジ化現象軽減処理、及び、通常状態移行処理のいずれも実施しない完全な不感帯としてもよい。
次に(ウ)形態の誤検出防止処理として、(1)形態又は(2)形態のエッジ化現象検出処理を採用し、且つ、(b)形態又は(c)形態のエッジ化現象軽減処理を採用する場合の誤検出防止処理について説明する。
(ウ)形態の誤検出防止処理は、(b)形態又は(c)形態のエッジ化現象軽減処理を実施することによって、(1)形態又は(2)形態のエッジ化現象検出処理において、エッジ化現象が発生する状況を適切に検出することができなくなることによる誤検出を防止する。
(b)形態又は(c)形態のエッジ化現象軽減処理を実施した場合、(イ)形態の誤検出防止処理で説明したのと同様に、液滴が飛散している状況であってもエッジ化現象の発生が検出され難い状況となる。特に(c)形態のエッジ化現象軽減処理を実施した場合には、液滴が飛散している状況であってもエッジ化現象が発生しない。
そのため、上記の(イ)形態の誤検出防止処理において説明した現象と同様に撮像素子58の露光時間の不要な変更や、駆動方式の不要な変更が行われることになる。
一方、送気・送水等の流体の送出又は吸引は、開始されてから一定時間の間、継続されて行われるのが一般的である。
そこで、以下の処理を実施することによって、上記のようなエッジ化現象の発生の有無の誤検出を防止し、露光時間の不要な変更を防止すると好適である。
CPU82は、図10のステップS10において(1)形態又は(2)形態のエッジ化現象検出処理を実施した後のステップS12の判定処理において、前回の判定処理では、エッジ化現象が発生する状況でないと判定し、今回の判定処理では、エッジ化現象が発生する状況であると判定した場合には、タイマーをリセットして時間計測を開始する。
そして、タイマーの時間計測値により、時間計測を開始してから一定時間が経過するまでの間、ステップS10のエッジ化現象検出処理を実施することなく、ステップS14のエッジ化現象軽減処理を繰り返し実施する。なお、(c)形態のエッジ化現象軽減処理を採用した場合には撮像素子58を擬似的なグローバルシャッタに維持することを意味する。
一方、タイマーの時間計測値により、時間計測を開始してから一定時間が経過した場合には、ステップS16の通常状態移行処理を実施する。そして、その後、ステップS10のエッジ化現象検出処理からの処理を再開する。
これによれば、エッジ化現象が発生する状況であることを検出してから一定時間は、エッジ化現象が発生した場合におけるエッジ化現象軽減処理が継続して行われ、一定時間が経過したときにエッジ化現象軽減処理が停止して通常の撮影時の状態に復帰する処理が行われる。
したがって、撮像素子58の露光時間の不要な変更や、駆動方式の不要な変更が行われないようになる。また、送気・送水ノズル43からの送気・送水等の流体の送出又は吸引が継続して行われる時間は経験的に知ることができ、その時間を考慮して上記の一定時間の値として設定することにより、適度なタイミングで通常の撮影時の状態に復帰させることができる。
以上、本発明の内視鏡装置及びその作動方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
<付記>
上記に詳述した実施形態についての記載から把握されるとおり、本明細書では以下に示す発明を含む多様な技術思想の開示を含んでいる。
(発明1):複数の画素がマトリクス状に配列され、複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力する撮像手段と、撮像手段から出力される走査ライン毎の画像データから得られるフレーム画像における画像特徴量に基づいて、撮像手段の走査ライン毎の露光タイミングの違いにより、フレーム画像のうち被写体領域の一部が複数の走査ラインを同時露光した場合とは異なる状態で走査ラインに平行な方向に沿ってエッジ化される画像領域が存在しているか否かを検出する検出手段と、検出手段が画像領域を検出した場合に、画像領域を検出しない場合に比べて撮像手段による各走査ラインの露光時間を長くする露光制御手段と、を備える内視鏡装置。
(発明2):フレーム画像における走査ラインに垂直な方向の画素値変化量に基づいて、フレーム画像の中からエッジ位置候補を検出するエッジ位置候補検出手段と、エッジ位置候補検出手段により検出された複数のエッジ位置候補の位置関係に基づいて、フレーム画像内のエッジ位置を検出するエッジ位置検出手段と、を備え、検出手段は、エッジ位置検出手段によってエッジ位置が検出された場合に、少なくともエッジ位置を含む領域を画像領域として検出する発明1の内視鏡装置。
(発明3):フレーム画像と、フレーム画像に時間的に隣接する隣接フレーム画像との差分画像を生成する差分画像生成手段と、エッジ位置が差分画像に存在するか否かを判定する差分画像エッジ位置判定手段と、を備え、検出手段は、差分画像エッジ位置判定手段によってエッジ位置が差分画像に存在しないと判定された場合には、少なくともエッジ位置を含む領域を画像領域として検出しない発明2の内視鏡装置。
(発明4):フレーム画像と、フレーム画像に時間的に隣接する隣接フレーム画像との差分画像を生成する差分画像生成手段と、差分画像における走査ラインに垂直な方向の画素値変化量に基づいて、差分画像の中からエッジ位置候補を検出するエッジ位置候補検出手段と、エッジ位置候補検出手段により検出された複数のエッジ位置候補の位置関係に基づいて、差分画像内のエッジ位置を検出するエッジ位置検出手段と、を備え、検出手段は、エッジ位置検出手段によってエッジ位置が検出された場合に、少なくともエッジ位置を含む領域を画像領域として検出する発明1の内視鏡装置。
(発明5):フレーム画像において画像領域の候補領域を抽出し、パターンマッチング処理によりフレーム画像に時間的に隣接する隣接フレーム画像内に候補領域が存在するか否かを判定するパターンマッチング判定手段を備え、検出手段は、パターンマッチング判定手段によって隣接フレーム画像内に候補領域が存在しないと判定された場合には、候補領域を画像領域として検出する発明1〜4のいずれかの内視鏡装置。
(発明6):被写体に向けて照明光を照射する照射手段と、フレーム画像の明るさに応じて照明光の光量を制御する光量制御手段と、照明光の光量が所定の範囲内であるか否かを判定する光量判定手段と、を備え、検出手段は、光量判定手段によって光量が所定の範囲内でないと判定された場合には、画像領域の検出を行わない発明1〜5のいずれかの内視鏡装置。
(発明7):フレーム画像の中から所定の輝度値よりも大きな高輝度領域を抽出する高輝度領域抽出手段と、高輝度領域が所定の面積以上であるか否かを判定する高輝度領域判定手段と、を備え、検出手段は、高輝度領域判定手段によって高輝度領域が所定の面積以上であると判定された場合には、高輝度領域を画像領域として検出しない発明1〜6のいずれかの内視鏡装置。
(発明8):焦点距離を可変可能なズーム光学手段を備え、検出手段は、焦点距離に応じて画像領域が存在しているか否かの判定条件を変更する発明1〜7のいずれかの内視鏡装置。
(発明9):直前の所定時間における各フレーム画像の画像領域の発生程度の平均値を算出し、平均値が所定の閾値以下であるか否かを判定する画像領域発生程度判定手段を備え、検出手段は、画像領域発生程度判定手段によって平均値が所定の閾値以下であると判定された場合には、画像領域が検出された場合でも画像領域が検出されなかったものとする発明1〜8のいずれかの内視鏡装置。
(発明10):検出手段は、フレーム画像に対する前フレーム画像で画像領域が検出されなかった場合にはフレーム画像の画像特徴量が第1の閾値よりも大きい場合に画像領域の検出を行い、前フレーム画像で画像領域が検出された場合にはフレーム画像の画像特徴量が第1の閾値よりも小さな第2の閾値よりも大きい場合に画像領域の検出を行う発明1〜7のいずれかの内視鏡装置。
(発明11):露光制御手段は、検出手段が画像領域を検出した場合には、画像領域を検出しない場合に比べて撮像手段による各走査ラインの露光時間を長くする制御を、一定時間経するまで継続する発明1〜10のいずれかの内視鏡装置。
(発明12):複数の画素がマトリクス状に配列され、複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力する撮像手段と、体内に対して流体を送出又は吸引を行う流体操作を検出する流体操作検出手段と、流体操作検出手段が流体操作を検出した場合には、流体操作を検出しない場合に比べて撮像手段による各走査ラインの露光時間を長くする露光制御手段と、を備える内視鏡装置。
(発明13):撮像手段、検出手段、及び露光制御手段を備えた内視鏡装置の作動方法であって、撮像手段が、マトリクス状に配列された複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力するステップと、検出手段が、走査ライン毎の画像データから得られるフレーム画像における画像特徴量に基づいて、走査ライン毎の露光タイミングの違いにより、フレーム画像のうち被写体領域の一部が複数の走査ラインを同時露光した場合とは異なる状態で走査ラインに平行な方向に沿ってエッジ化される画像領域が存在しているか否かを検出するステップと、画像領域が検出された場合に、露光制御手段が、画像領域が検出されない場合に比べて各走査ラインの露光時間を長くするステップと、を含む内視鏡装置の作動方法。
(発明14):撮像手段、検出手段、及び露光制御手段を備えた内視鏡装置の作動方法であって、撮像手段が、マトリクス状に配列された複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、走査ライン毎の画像データを露光開始順に出力するステップと、検出手段が、体内に対して流体を送出又は吸引を行う流体操作を検出するステップと、流体操作が検出された場合に、露光制御手段が、流体操作が検出されない場合に比べて各走査ラインの露光時間を長くするステップと、を含む内視鏡装置の作動方法。
10…電子内視鏡システム(内視鏡装置)、11…電子内視鏡(内視鏡)、12…プロセッサ装置、13…光源装置、14…挿入部、15…操作部、16…コネクタ、17…ユニバーサルコード、18…鉗子口、22…送気・送水ボタン、23…吸引ボタン、27…モニタ、31…先端硬質部、40…観察窓、41、42…照明窓、43…送気・送水ノズル、54…撮像部(撮像装置)、58…固体撮像素子、82…CPU、86…画像処理回路(DSP)、88…表示制御回路、110…光源、112…光源駆動回路

Claims (14)

  1. 複数の画素がマトリクス状に配列され、前記複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、前記走査ライン毎の画像データを露光開始順に出力する撮像手段と、
    前記撮像手段から出力される前記走査ライン毎の画像データから得られるフレーム画像における画像特徴量に基づいて、前記撮像手段の走査ライン毎の露光タイミングの違いにより、前記フレーム画像のうち被写体領域の一部が複数の走査ラインを同時露光した場合とは異なる状態で前記走査ラインに平行な方向に沿ってエッジ化される画像領域が存在しているか否かを検出する検出手段と、
    前記検出手段が前記画像領域を検出した場合に、前記画像領域を検出しない場合に比べて前記撮像手段による各走査ラインの露光時間を長くする露光制御手段と、
    を備える内視鏡装置。
  2. 前記フレーム画像における前記走査ラインに垂直な方向の画素値変化量に基づいて、前記フレーム画像の中からエッジ位置候補を検出するエッジ位置候補検出手段と、
    前記エッジ位置候補検出手段により検出された複数の前記エッジ位置候補の位置関係に基づいて、前記フレーム画像内のエッジ位置を検出するエッジ位置検出手段と、を備え、
    前記検出手段は、前記エッジ位置検出手段によって前記エッジ位置が検出された場合に、少なくとも前記エッジ位置を含む領域を前記画像領域として検出する請求項1に記載の内視鏡装置。
  3. 前記フレーム画像と、前記フレーム画像に時間的に隣接する隣接フレーム画像との差分画像を生成する差分画像生成手段と、
    前記エッジ位置が前記差分画像に存在するか否かを判定する差分画像エッジ位置判定手段と、を備え、
    前記検出手段は、前記差分画像エッジ位置判定手段によって前記エッジ位置が前記差分画像に存在しないと判定された場合には、少なくとも前記エッジ位置を含む領域を前記画像領域として検出しない請求項2に記載の内視鏡装置。
  4. 前記フレーム画像と、前記フレーム画像に時間的に隣接する隣接フレーム画像との差分画像を生成する差分画像生成手段と、
    前記差分画像における前記走査ラインに垂直な方向の画素値変化量に基づいて、前記差分画像の中からエッジ位置候補を検出するエッジ位置候補検出手段と、
    前記エッジ位置候補検出手段により検出された複数の前記エッジ位置候補の位置関係に基づいて、前記差分画像内のエッジ位置を検出するエッジ位置検出手段と、を備え、
    前記検出手段は、前記エッジ位置検出手段によって前記エッジ位置が検出された場合に、少なくとも前記エッジ位置を含む領域を前記画像領域として検出する請求項1に記載の内視鏡装置。
  5. 前記フレーム画像において前記画像領域の候補領域を抽出し、パターンマッチング処理により前記フレーム画像に時間的に隣接する隣接フレーム画像内に前記候補領域が存在するか否かを判定するパターンマッチング判定手段を備え、
    前記検出手段は、前記パターンマッチング判定手段によって前記隣接フレーム画像内に前記候補領域が存在しないと判定された場合には、前記候補領域を前記画像領域として検出する請求項1〜4のいずれか1項に記載の内視鏡装置。
  6. 被写体に向けて照明光を照射する照射手段と、
    前記フレーム画像の明るさに応じて前記照明光の光量を制御する光量制御手段と、
    前記照明光の光量が所定の範囲内であるか否かを判定する光量判定手段と、を備え、
    前記検出手段は、前記光量判定手段によって前記光量が前記所定の範囲内でないと判定された場合には、前記画像領域の検出を行わない請求項1〜5のいずれか1項に記載の内視鏡装置。
  7. 前記フレーム画像の中から所定の輝度値よりも大きな高輝度領域を抽出する高輝度領域抽出手段と、
    前記高輝度領域が所定の面積以上であるか否かを判定する高輝度領域判定手段と、を備え、
    前記検出手段は、前記高輝度領域判定手段によって前記高輝度領域が所定の面積以上であると判定された場合には、前記高輝度領域を前記画像領域として検出しない請求項1〜6のいずれか1項に記載の内視鏡装置。
  8. 焦点距離を可変可能なズーム光学手段を備え、
    前記検出手段は、前記焦点距離に応じて前記画像領域が存在しているか否かの判定条件を変更する請求項1〜7のいずれか1項に記載の内視鏡装置。
  9. 直前の所定時間における各フレーム画像の前記画像領域の発生程度の平均値を算出し、前記平均値が所定の閾値以下であるか否かを判定する画像領域発生程度判定手段を備え、
    前記検出手段は、前記画像領域発生程度判定手段によって前記平均値が所定の閾値以下であると判定された場合には、前記画像領域が検出された場合でも前記画像領域が検出されなかったものとする請求項1〜8のいずれか1項に記載の内視鏡装置。
  10. 前記検出手段は、前記フレーム画像に対する前フレーム画像で前記画像領域が検出されなかった場合には前記フレーム画像の画像特徴量が第1の閾値よりも大きい場合に前記画像領域の検出を行い、前記前フレーム画像で前記画像領域が検出された場合には前記フレーム画像の画像特徴量が前記第1の閾値よりも小さな第2の閾値よりも大きい場合に前記画像領域の検出を行う請求項1〜9のいずれか1項に記載の内視鏡装置。
  11. 前記露光制御手段は、前記検出手段が前記画像領域を検出した場合には、前記画像領域を検出しない場合に比べて前記撮像手段による各走査ラインの露光時間を長くする制御を、一定時間経過するまで継続する請求項1〜10のいずれか1項に記載の内視鏡装置。
  12. 複数の画素がマトリクス状に配列され、前記複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、前記走査ライン毎の画像データを露光開始順に出力する撮像手段と、
    体内に対して流体を送出又は吸引を行う流体操作を検出する流体操作検出手段と、
    前記流体操作検出手段が前記流体操作を検出した場合には、前記流体操作を検出しない場合に比べて前記撮像手段による各走査ラインの露光時間を長くする露光制御手段と、
    を備える内視鏡装置。
  13. 撮像手段、検出手段、及び露光制御手段を備えた内視鏡装置の作動方法であって、
    前記撮像手段が、マトリクス状に配列された複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、前記走査ライン毎の画像データを露光開始順に出力するステップと、
    前記検出手段が、前記走査ライン毎の画像データから得られるフレーム画像における画像特徴量に基づいて、前記走査ライン毎の露光タイミングの違いにより、前記フレーム画像のうち被写体領域の一部が複数の走査ラインを同時露光した場合とは異なる状態で前記走査ラインに平行な方向に沿ってエッジ化される画像領域が存在しているか否かを検出するステップと、
    前記画像領域が検出された場合に、前記露光制御手段が、前記画像領域が検出されない場合に比べて各走査ラインの露光時間を長くするステップと、
    を含む内視鏡装置の作動方法。
  14. 撮像手段、検出手段、及び露光制御手段を備えた内視鏡装置の作動方法であって、
    前記撮像手段が、マトリクス状に配列された複数の画素に対し少なくとも1つの走査ライン毎に順次露光を開始して画像データを生成すると共に、前記走査ライン毎の画像データを露光開始順に出力するステップと、
    前記検出手段が、体内に対して流体を送出又は吸引を行う流体操作を検出するステップと、
    前記流体操作が検出された場合に、前記露光制御手段が、前記流体操作が検出されない場合に比べて各走査ラインの露光時間を長くするステップと、
    を含む内視鏡装置の作動方法。
JP2012274002A 2012-12-14 2012-12-14 内視鏡装置及びその作動方法 Active JP5735478B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012274002A JP5735478B2 (ja) 2012-12-14 2012-12-14 内視鏡装置及びその作動方法
US14/104,559 US9801530B2 (en) 2012-12-14 2013-12-12 Endoscope apparatus and image pickup control method thereof
EP13197095.6A EP2742850B1 (en) 2012-12-14 2013-12-13 Endoscope apparatus and image pickup control method thereof
EP16172432.3A EP3100667B1 (en) 2012-12-14 2013-12-13 Endoscope apparatus and image pickup control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012274002A JP5735478B2 (ja) 2012-12-14 2012-12-14 内視鏡装置及びその作動方法

Publications (2)

Publication Number Publication Date
JP2014117413A JP2014117413A (ja) 2014-06-30
JP5735478B2 true JP5735478B2 (ja) 2015-06-17

Family

ID=49911170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012274002A Active JP5735478B2 (ja) 2012-12-14 2012-12-14 内視鏡装置及びその作動方法

Country Status (3)

Country Link
US (1) US9801530B2 (ja)
EP (2) EP3100667B1 (ja)
JP (1) JP5735478B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047113A1 (ja) * 2015-09-16 2017-03-23 オリンパス株式会社 内視鏡装置及びビデオプロセッサ

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168814B (zh) * 2012-03-28 2016-08-17 富士胶片株式会社 摄像装置以及具备该摄像装置的内窥镜装置
EP3169054A4 (en) * 2014-07-07 2018-03-21 Olympus Corporation Imaging device
GB201413109D0 (en) * 2014-07-24 2014-09-10 King S College London Endoscopic imaging
WO2016056476A1 (ja) * 2014-10-10 2016-04-14 オリンパス株式会社 撮像システム
JP6707083B2 (ja) * 2015-06-29 2020-06-10 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
CN110892709B (zh) * 2017-08-18 2021-06-08 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
DE102018127287B4 (de) * 2018-10-31 2023-01-12 Schölly Fiberoptic GmbH Bildaufnahmeverfahren und Bildaufnahmevorrichtung
JP7455547B2 (ja) 2019-10-18 2024-03-26 Hoya株式会社 内視鏡システム
DE102021133341A1 (de) 2021-12-15 2023-06-15 Karl Storz Se & Co. Kg Endoskop, endoskopisches System und Verfahren zum Betreiben des endoskopischen Systems
US11986164B2 (en) 2021-12-15 2024-05-21 Karl Storz Endovision, Inc. Endoscope, endoscopic system and method of operating the endoscopic system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4175545A (en) 1977-03-10 1979-11-27 Zafmedico Corp. Method and apparatus for fiber-optic cardiovascular endoscopy
JPS5645629A (en) 1979-09-20 1981-04-25 Olympus Optical Co System for transmitting data of endoscope
US5817015A (en) * 1993-06-22 1998-10-06 Adair; Edwin L. Endoscope with reusable core and disposable sheath with passageways
JP4106554B2 (ja) * 2003-09-08 2008-06-25 ソニー株式会社 撮影環境判定方法および撮像装置
JP4760518B2 (ja) * 2006-05-10 2011-08-31 ソニー株式会社 撮像装置、撮像方法、プログラム、および画像処理装置
JP2009201540A (ja) 2008-02-26 2009-09-10 Fujinon Corp 撮像システム及び内視鏡システム
JP5435916B2 (ja) * 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
JP5144481B2 (ja) * 2008-12-02 2013-02-13 富士フイルム株式会社 撮像装置及び撮像方法
JP2010273147A (ja) * 2009-05-22 2010-12-02 Panasonic Corp 撮像信号特定状態検出装置、撮像装置、撮像信号特定状態検出方法、プログラムおよび集積回路
JP5616664B2 (ja) * 2010-03-30 2014-10-29 富士フイルム株式会社 内視鏡システム
JP5634901B2 (ja) * 2010-05-10 2014-12-03 パナソニック株式会社 撮像装置、外部閃光補正方法、プログラム、および、集積回路
JP5575567B2 (ja) * 2010-07-09 2014-08-20 池上通信機株式会社 撮像信号処理回路及び撮像信号処理方法
JP2012143319A (ja) 2011-01-07 2012-08-02 Fujifilm Corp 内視鏡システム及びその駆動方法
EP2557774A1 (de) 2011-08-10 2013-02-13 Karl Storz GmbH & Co. KG Bildgebende Vorrichtung, endoskopisches Instrument, Verfahren zum Betreiben einer bildgebenden Vorrichtung und Verwendung einer bildgebenden Vorrichtung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047113A1 (ja) * 2015-09-16 2017-03-23 オリンパス株式会社 内視鏡装置及びビデオプロセッサ
US10624535B2 (en) 2015-09-16 2020-04-21 Olympus Corporation Endoscope apparatus and video processor

Also Published As

Publication number Publication date
US20140171738A1 (en) 2014-06-19
EP2742850B1 (en) 2016-06-15
EP3100667B1 (en) 2018-04-18
EP2742850A3 (en) 2014-07-02
JP2014117413A (ja) 2014-06-30
EP3100667A1 (en) 2016-12-07
EP2742850A2 (en) 2014-06-18
US9801530B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
JP5735479B2 (ja) 内視鏡及装置びその作動方法
JP5735478B2 (ja) 内視鏡装置及びその作動方法
JP5435916B2 (ja) 電子内視鏡システム
US9498153B2 (en) Endoscope apparatus and shake correction processing method
JP5389612B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5587834B2 (ja) 電子内視鏡装置及び電子内視鏡システム
JP5616664B2 (ja) 内視鏡システム
JP6129731B2 (ja) 内視鏡システム及びその作動方法
JP2010063590A (ja) 内視鏡システム、およびその駆動制御方法
JP2010063589A (ja) 内視鏡システム、およびその駆動制御方法
JP2016512994A (ja) Cmosセンサによる声帯のビデオストロボスコピー
JP5547118B2 (ja) 画像取得装置および画像取得装置の作動方法
JPH07111978A (ja) 内視鏡用画像処理装置
JPWO2018211885A1 (ja) 画像取得システム、制御装置及び画像取得方法
JP2012143319A (ja) 内視鏡システム及びその駆動方法
JP5735477B2 (ja) 内視鏡装置及びその作動方法
JP5509233B2 (ja) 電子内視鏡装置及びその作動方法
JP2013183911A (ja) 電子内視鏡システム
JP2019097890A (ja) 医療用撮像装置
JP2011036552A (ja) 内視鏡システム
JP2012095909A (ja) 電子内視鏡装置
JP2009213629A (ja) 撮像システム及び内視鏡システム
JP2017158672A (ja) 電子内視鏡システム
JP2005160590A (ja) 電子内視鏡装置
JP2010068993A (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150416

R150 Certificate of patent or registration of utility model

Ref document number: 5735478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250