JP6503524B1 - 処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラム - Google Patents

処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6503524B1
JP6503524B1 JP2019502103A JP2019502103A JP6503524B1 JP 6503524 B1 JP6503524 B1 JP 6503524B1 JP 2019502103 A JP2019502103 A JP 2019502103A JP 2019502103 A JP2019502103 A JP 2019502103A JP 6503524 B1 JP6503524 B1 JP 6503524B1
Authority
JP
Japan
Prior art keywords
pixel
unit
rts noise
dark
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502103A
Other languages
English (en)
Other versions
JPWO2019069542A1 (ja
Inventor
英寿 申
英寿 申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6503524B1 publication Critical patent/JP6503524B1/ja
Publication of JPWO2019069542A1 publication Critical patent/JPWO2019069542A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができる処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラムを提供する。処理装置5は、暗時判定部521によって暗時閾値以下であると判定された画素の画素値および撮像素子244上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部522と、蓄積部522が所定のフレーム数蓄積した画素の画素値と位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部523と、画素毎に統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定部524と、RTSノイズ判定部524によって範囲外であると判定された画素の画素値を補正するRTSノイズ補正部542と、を備える。

Description

本開示は、被検体の生体内に導入され、該生体内の画像を撮像する内視鏡が接続される処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラムに関する。
従来、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子は、光を受光して光電変換を行って電気信号を出力する複数の画素から構成されている。このような固体撮像素子において、光の受光量と相関がない、異常な電気信号を出力する欠陥画素が存在することが知られている。この欠陥画素の種類には、受光面へのゴミの付着や、素子の結晶欠陥等により、常に異常な電気信号を出力する定常的な欠陥画素と、固体撮像素子の小型化に伴って、MOSトランジスタ内を移動する電子がゲート絶縁膜に存在するトラップ準位に捕獲されることに起因する電流の乱れにより生じるRTS(Random Telegraph Signal)ノイズによって、異常な電気信号を不定期に出力する点滅欠陥画素がある。
点滅欠陥画素は、動画撮影時に、不定期に発生する画像ノイズとして撮像画像に現れる。この画像ノイズを除去するための技術として、撮像素子を遮光した状態で、固体撮像素子に複数回撮像させ、この撮像した複数の画像から点滅欠陥画素を検出し、検出した点滅欠陥画素の電気信号を補正する技術が知られている(特許文献1参照)。
特開2013−211785号公報
しかしながら、上述した特許文献1では、撮像素子を遮光した状態でなければ、点滅欠陥画素を検出することができないため、撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができる技術が望まれていた。
本開示は、上記に鑑みてなされたものであって、撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができる処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る処理装置は、内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得部と、前記画像取得部が取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定部と、前記RTSノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正部と、を備えることを特徴とする。
また、本開示に係る処理装置は、上記開示において、前記RTSノイズ判定部によって前記範囲外であると判定された画素の前記位置情報をRTSノイズ情報として生成するRTSノイズ情報生成部と、前記RTSノイズ情報生成部が生成した前記RTSノイズ情報を記録するRTSノイズ情報記録部と、をさらに備えることを特徴とする。
また、本開示に係る処理装置は、上記開示において、前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値の標準偏差であることを特徴とする。
また、本開示に係る処理装置は、上記開示において、前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値における出力分布の正負両方向の最大振れ幅であることを特徴とする。
また、本開示に係る処理装置は、上記開示において、前記内視鏡に設けられた操作部から被検体に照明光を照射する光源装置に対して消灯を指示する指示信号が入力された場合、前記光源装置を消灯させる処理制御部をさらに備えることを特徴とする。
また、本開示に係る内視鏡は、被検体を撮像して画像データを生成する撮像素子と、前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定部と、前記RTSノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正部と、を備えることを特徴とする。
また、本開示に係る内視鏡は、上記開示において、前記被検体に挿入可能な挿入部と、処理装置に接続可能なコネクタ部と、をさらに備え、前記挿入部は、先端部に前記撮像素子を有し、前記コネクタ部は、前記暗時判定部、前記蓄積部、前記算出部、前記RTSノイズ判定部および前記RTSノイズ補正部を有することを特徴とする。
また、本開示に係る内視鏡システムは、被検体を撮像して画像データを生成する撮像素子を備える内視鏡と、前記画像データに対して画像処理を行う処理装置と、前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定部と、前記RTSノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正部と、を備えることを特徴とする。
また、本開示に係る画像処理方法は、内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定ステップと、前記RTSノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正ステップと、を含むことを特徴とする。
また、本開示に係るプログラムは、処理装置に、内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定ステップと、前記RTSノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正ステップと、を実行させることを特徴とする。
本開示によれば、撮像素子内における点滅欠陥画素を使用時に検出しながら補正することができるという効果を奏する。
図1は、本開示の一実施の形態に係る内視鏡システムの概略構成を示す図である。 図2は、本開示の一実施の形態に係る内視鏡システムの要部の機能構成を示すブロック図である。 図3は、本開示の一実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
以下、本開示を実施するための形態(以下、「実施の形態」という)として、患者等の被検体の体腔内を撮像して画像を表示する医療用の内視鏡システムを例に説明する。また、この実施の形態により、この開示が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
〔内視鏡システムの構成〕
図1は、本開示の一実施の形態に係る内視鏡システムの概略構成を示す図である。図2は、本開示の一実施の形態に係る内視鏡システムの要部の機能構成を示すブロック図である。
図1に示す内視鏡システム1は、被検体の体内を撮像して画像データ(RAWデータ)を生成する内視鏡2(電子スコープ)と、内視鏡2の先端から被検体を照射するための照明光を発生する光源装置3と、内視鏡2が撮像した画像データに対応する画像を表示可能な表示装置4と、内視鏡2が撮像した画像データに対して所定の画像処理を施して表示装置4へ出力するとともに、内視鏡システム1全体の動作を統括的に制御する処理装置5(プロセッサ)と、を備える。
〔内視鏡の構成〕
まず、内視鏡2の構成について説明する。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、光源装置3および処理装置5を接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、後述する撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
先端部24は、グラスファイバ等を用いて構成されて光源装置3が発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光して光を受光して電気信号に光電変換する複数の画素が2次元状に配列された撮像素子244と、内視鏡2に関する各種情報を記録する内視鏡記録部245と、撮像素子244を制御する撮像制御部246と、を有する。
光学系243は、1または複数のレンズを用いて構成され、光軸Lに沿って移動することによって、画角を変化させる光学ズームおよび焦点を変化させる。
撮像素子244は、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が2次元状に配列され、被写体(体腔)を所定のフレームレートで撮像して画像データ(RAWデータ)を出力する。具体的には、撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が2次元マトリックス状に配設されるCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて構成される。撮像素子244は、各画素が生成した電気信号(画素値)を画像データとして処理装置5へ出力する。
内視鏡記録部245は、内視鏡2に関する各種情報、たとえば内視鏡2を識別する識別情報や撮像素子244の識別情報等を記録する。内視鏡記録部245は、揮発性メモリ等を用いて構成される。
撮像制御部246は、処理装置5から入力される指示情報に基づいて、撮像素子244の動作を制御する。具体的には、撮像制御部246は、処理装置5から入力される指示情報に基づいて、撮像素子244のフレームレートを制御する。たとえば、撮像制御部246は、撮像素子244に60fpsで画像データを出力させる。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、光源装置3、処理装置5に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や撮像素子244に静止画撮影を指示するプリフリーズ信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、1または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡2および光源装置3と処理装置5との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像データを送受信するための信号線、撮像素子244を駆動するための駆動用のタイミング信号を送受信するための信号線等を含む。ユニバーサルコード23は、光源装置3に着脱自在なコネクタ部27を有する。コネクタ部27は、コイル状のコイルケーブル27aが延設し、コイルケーブル27aの延出端に処理装置5に着脱自在なコネクタ部28を有する。
〔光源装置の構成〕
次に、光源装置3の構成について説明する。
光源装置3は、光源部31と、光源ドライバ32と、照明制御部33と、を備える。
光源部31は、被検体を照射する照明光を出射する。光源部31は、集光レンズ311と、光源312と、を有する。集光レンズ311は、1または複数のレンズを用いて構成され、光源312が発光した光を集光する。光源312は、LED(Light Emitting Diode)を用いて構成され、白色光を発生する。なお、光源312は、赤色LED、緑色LEDおよび青色LEDを用いて構成し、各LEDを同時発光させることにより、白色光を発生させる同時式であってもよいし、赤色LED、緑色LEDおよび青色LEDを用いて構成し、各色を順次発生させる面順次式であってもよい。
光源ドライバ32は、光源312に対して照明制御部33の制御のもと、電流を供給することにより、光源312に白色光を間欠的に発生させる。光源312が発光した光は、集光レンズ311およびライトガイド241を経由して先端部24の先端から照射される。
照明制御部33は、処理装置5から入力される指示信号に基づいて、光源312の点灯タイミングを制御する。具体的には、照明制御部33は、所定の周期で光源312を消灯させる。照明制御部33は、CPU(Central Processing Unit)等を用いて構成される。
〔表示装置の構成〕
次に、表示装置4の構成について説明する。
表示装置4は、処理装置5から入力される体内画像を表示する。また、表示装置4は、内視鏡システム1に関する各種情報を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等を用いて構成される。
〔処理装置の構成〕
次に、処理装置5の構成について説明する。
処理装置5は、画像取得部51と、RTSノイズ検出部52と、記録部53と、画像処理部54と、処理制御部55と、を備える。
画像取得部51は、内視鏡2に設けられた撮像素子244によって生成された画像データ(RAWデータ)を取得する。具体的には、画像取得部51は、処理制御部55の制御のもと、撮像素子244から所定のフレームレートで画像データを順次取得する。また、画像取得部51は、処理制御部55の制御のもと、撮像素子244から取得した画像データをRTSノイズ検出部52および画像処理部54の各々へ出力する。
RTSノイズ検出部52は、画像取得部51から入力された画像データ(RAWデータ)に含まれるRTSノイズを検出し、この検出したRTSノイズが発生した画素(以下、「点滅欠陥画素」という)の撮像素子244上における位置(画素アドレス)に関するRTSノイズ情報を生成して記録部53へ出力する。RTSノイズ検出部52は、暗時判定部521と、蓄積部522と、算出部523と、RTSノイズ判定部524と、RTSノイズ情報生成部525と、を有する。
暗時判定部521は、画像取得部51から順次入力された画像データに対応する画像の画素毎に画素値(出力値)が予め設定された暗時閾値以下であるか否かを判定する。ここで、暗時閾値とは、撮像素子244を遮光した状態で撮像素子244が生成した画像データに対応する画像の各画素の画素値の平均値に所定の係数(例えば1.2倍)を乗じた値である。もちろん、暗時閾値を、撮像素子244を遮光した状態で撮像素子244が生成した画像データに対応する画像の各画素の画素値の平均値としてもよい。さらに、暗時判定部521は、暗時閾値を注目画素の周辺画素(例えば注目画素の周辺8画素)の平均値としてもよい。この場合において、暗時判定部521は、周辺画素の欠陥画素(白傷や黒傷)や点滅欠陥画素が記録部53に記録されているとき、この欠陥画素や点滅欠陥画素の画素値を除外して平均値を算出し、この平均値を暗時閾値として用いてもよい。
蓄積部522は、暗時判定部521が判定する毎に、暗時判定部521によって暗時閾値以下であると判定された画素の画素値および撮像素子244上における位置に関する位置情報を所定のフレーム数蓄積を行う。
算出部523は、蓄積部522に蓄積された画素毎に画素値の統計値を算出する。具体的には、算出部523は、画素毎に画素値の標準偏差および画素毎の画素値における出力分布の正負両方向の最大振れ幅を算出する。
RTSノイズ判定部524は、算出部523が算出した画素毎の統計値に基づいて、画素毎にRTSノイズが発生しているか否かを判定する。具体的には、RTSノイズ判定部524は、画素毎に算出部523によって算出された統計値が予め設定された範囲外であるか否かを判定し、統計値が範囲外である画素を点滅欠陥画素(RTSノイズ)として判定する。ここで、予め設定された範囲とは、正常画素の画素値の標準偏差に基づく範囲および正常画素の画素値における出力分布の正負両方向の最大振れ幅のいずれか一方である。具体的には、RTSノイズ判定部524は、算出部523が算出した画素毎の標準偏差に基づいて、画素毎に算出部523によって算出された標準偏差が予め設定された範囲外であるか否かを判定し、標準偏差が範囲外である画素、または算出部523が算出した画素値における出力分布の正負両方向の最大振れ幅が正常画素の画素値における出力分布の正負両方向の最大振れ幅の範囲外であるか否かを判定し、画素値における出力分布の正負両方向の最大振れ幅が正常画素の画素値における出力分布の正負両方向の最大振れ幅の範囲外である画素を点滅欠陥画素として判定する。
RTSノイズ情報生成部525は、RTSノイズ判定部524によって範囲外であると判定された点滅欠陥画素の撮像素子244上における位置(画素アドレス)に関する位置情報をRTSノイズ情報として生成して記録部53へ出力する。この場合、RTSノイズ情報生成部525は、撮像素子244上における点滅欠陥画素の位置情報と算出部523が算出した統計値とを対応付けたRTSノイズ情報を生成して記録部53へ出力してもよい。
記録部53は、揮発性メモリや不揮発性メモリを用いて構成され、内視鏡システム1に関する各種情報を記録する。記録部53は、内視鏡システム1が実行するプログラムやデータを記録するプログラム記録部531と、撮像素子244上における白傷の位置(画素アドレス)に関する白傷情報を記録する白傷情報記録部532と、撮像素子244上における黒傷の位置(画素アドレス)に関する黒傷情報を記録する黒傷情報記録部533と、RTSノイズ情報生成部525によって生成されたRTSノイズ情報を記録するRTSノイズ情報記録部534と、を有する。
画像処理部54は、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)等を用いて構成され、画像取得部51から入力された画像データ(RAWデータ)に対して、所定の画像処理を行って表示装置4へ出力する。具体的には、画像処理部54は、画像データに対して、デモザイキング処理、ホワイトバランス調整処理、ゲイン調整処理、欠陥画素補正処理、RTSノイズ補正処理およびフォーマット変換処理等を行って表示装置4へ出力する。画像処理部54は、少なくとも、画素補正部541と、RTSノイズ補正部542と、を有する。
画素補正部541は、白傷情報記録部532が記録する白傷情報および黒傷情報記録部533が記録する黒傷情報に基づいて、画像データに含まれる白傷および黒傷を補正する。例えば、画素補正部541は、白傷または黒傷が発生する画素の周辺画素の画素値の平均値を用いて白傷または黒傷が発生する画素の画素値を補正する。
RTSノイズ補正部542は、RTSノイズ情報記録部534が記録するRTSノイズ情報に基づいて、画像データに含まれるRTSノイズを補正する。例えば、RTSノイズ補正部542は、RTSノイズが発生する画素の周辺画素の画素値の平均値を用いてRTSノイズが発生する画素の画素値を補正する。
処理制御部55は、内視鏡システム1を構成する各部の駆動を制御する。処理制御部55は、CPU等を用いて構成される。また、処理制御部55は、操作部22からプリフリーズを指示する指示信号が入力された場合、照明制御部33を介して光源部31を消灯させる。
〔内視鏡システムの処理〕
次に、内視鏡システム1が実行する処理について説明する。図3は、内視鏡システム1が実行する処理の概要を示すフローチャートである。
図3に示すように、まず、操作部22からプリフリーズを指示する指示信号が入力された場合(ステップS101:Yes)、処理制御部55は、照明制御部33を介して光源部31を消灯させる(ステップS102)。ステップS102の後、内視鏡システム1は、後述するステップS104へ移行する。これに対して、操作部22からプリフリーズを指示する指示信号が入力されていない場合(ステップS101:No)、処理制御部55は、照明制御部33を介して光源部31を点灯させる(ステップS103)。ステップS103の後、内視鏡システム1は、後述するステップS104へ移行する。
ステップS104において、処理制御部55は、撮像制御部246を介して撮像素子244に撮像を実行させる。この場合において、画像取得部51は、撮像素子244が生成した画像データを撮像素子244から取得する。このとき、光源部31が消灯している状況下では、撮像素子244によって生成された画像データに対応する画像は、全領域が撮像素子244を遮光した状態と同様の暗時領域(暗時画像)となる。これに対して、光源部31が点灯している状況下では、撮像素子244によって生成された画像データに対応する画像は、内視鏡2が被検体の管腔内を撮像し、管腔方向(奥行き方向)へ照射された照明光による反射光を受光できないため、撮像素子244の一部分を遮光した状態と同様に、一部分が暗時領域(暗時画像)となる。
続いて、暗時判定部521は、画像取得部51から入力された画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する(ステップS105)。
その後、蓄積部522は、暗時判定部521によって暗時閾値以下であると判定された画素の画素値および位置情報を画素毎に蓄積する(ステップS106)。
その後、蓄積部522に蓄積された画素値の数が一定数(例えば256個または2000個等)に到達した画素がある場合(ステップS107:Yes)、蓄積部522は、一定数に到達した画素の画素値データを算出部523へ出力する(ステップS108)。ステップS108の後、内視鏡システム1は、後述するステップS109へ移行する。
ステップ107において、これに対して、蓄積部522に蓄積された画素値の数が一定数に到達した画素がない場合(ステップS107:No)、内視鏡システム1は、後述するステップS114へ移行する。
ステップS109において、算出部523は、蓄積部522から入力された画素毎に統計値を算出する。具体的には、算出部523は、画素毎の出力値の標準偏差および画素毎の画素値における出力分布の正負両方向の最大振れ幅を統計値として算出する。
続いて、RTSノイズ判定部524は、算出部523が算出した画素毎の統計値に基づいて、画素毎にRTSノイズが発生しているか否かを判定する(ステップS110)。具体的には、RTSノイズ判定部524は、画素毎に算出部523によって算出された統計値が予め設定された範囲外であるか否かを判定し、統計値が範囲外である画素を点滅欠陥画素(RTSノイズ)として判定する。
その後、RTSノイズ判定部524によってRTSノイズであると判定された画素があると判定された場合(ステップS111:Yes)、内視鏡システム1は、後述するステップS112へ移行する。これに対して、RTSノイズ判定部524によってRTSノイズでないと判定された場合(ステップS111:No)、内視鏡システム1は、後述するステップS114へ移行する。
ステップ112において、RTSノイズ情報生成部525は、RTSノイズ判定部524によってRTSノイズと判定された画素の撮像素子244上における位置(画素アドレス)に関する位置情報をRTSノイズ情報として生成する。
続いて、RTSノイズ情報をRTSノイズ情報記録部534に記録させて更新する(ステップS113)。
その後、画像処理部54は、RTSノイズが補正された画像データに対して、所定の画像処理を行って表示装置4へ出力する(ステップS114)。この場合、RTSノイズ補正部542は、RTSノイズ情報記録部534が記録するRTSノイズ情報に基づいて、RTSノイズが発生する画素の画素値を補正する。
続いて、操作部22から終了を指示する指示信号が入力された場合(ステップS115:Yes)、内視鏡システム1は、本処理を終了する。これに対して、操作部22から終了を指示する指示信号が入力されていない場合(ステップS115:No)、内視鏡システム1は、上述したステップS101へ戻る。
以上説明した本開示の一実施の形態によれば、RTSノイズ判定部524が画素毎に算出部523によって算出された統計値が予め設定された範囲外であるか否かを判定し、統計値が範囲外である画素を点滅欠陥画素(RTSノイズ)として判定し、RTSノイズ補正部542がRTSノイズ情報生成部525によって生成されたRTSノイズ情報に基づいて、RTSノイズが発生する点滅欠陥画素の画素値を補正するので、撮像素子244内における点滅欠陥画素をリアルタイムで確実に検出して補正することができる。
また、本開示の一実施の形態によれば、処理装置5にRTSノイズ検出部52、RTSノイズ情報記録部534およびRTSノイズ補正部542が設けられていたが、これに限定されることなく、RTSノイズ検出部52、RTSノイズ情報記録部534およびRTSノイズ補正部542を内視鏡2に設けてもよい。この場合、内視鏡2のコネクタ部27に、RTSノイズ検出部52、RTSノイズ情報記録部534およびRTSノイズ補正部542を設ければよい。この結果、処理装置5の種別が変更された場合であっても、RTSノイズを確実に検出して補正した状態の画像データを処理装置5へ出力することができる。
また、本開示の一実施の形態によれば、処理装置5にRTSノイズ検出部52、RTSノイズ情報記録部534およびRTSノイズ補正部542が設けられていたが、これに限定されることなく、RTSノイズ検出部52およびRTSノイズ情報記録部534を内視鏡2に、RTSノイズ補正部542を処理装置5に設けてもよい。もちろん、RTSノイズ情報記録部534のみを内視鏡2に設けてもよいし、RTSノイズ検出部52のみを内視鏡2に設けてもよい。
(その他の実施の形態)
また、本開示の一実施の形態では、同時式の内視鏡システムを例に説明したが、面順次式の内視鏡システムであっても適用することができる。
また、本開示の一実施の形態では、軟性内視鏡(上下内視鏡スコープ)以外にも、硬性内視鏡、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。
また、本開示の一実施の形態では、被検体内に挿入可能な内視鏡を例に説明したが、被検体内に導入可能なカプセル型の筐体に撮像素子、光源装置および処理装置を設けたカプセル型内視鏡であっても適用することができる。
また、本開示では、処理制御部55が光源部31を消灯させることによって、撮像素子244に暗時状態の画像データを生成させていたが、たとえば光源部31の光路上に遮光領域を有する回転フィルタを設け、プリフレーズを指示する指示信号が入力された場合、回転フィルタを回転させることによって、光源部31を模擬的に消灯させてもよい。
また、本開示では、RTSノイズ補正部542がリアルタイムで点滅欠陥画素を補正していたが、例えば撮像素子244が連続的に生成した画像データを記録媒体に順次記録させ、この記録媒体に記録された画像データの再生時に点滅欠陥画素を補正してもよい。
また、本開示の実施の形態では、処理装置と光源装置とが別体であったが、一体的に形成してもよい。
また、本開示の実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、画像処理部は、画像処理手段や画像処理回路に読み替えることができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本開示は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
1 内視鏡システム
2 内視鏡
3 光源装置
4 表示装置
5 処理装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27 コネクタ部
27a コイルケーブル
28 コネクタ部
31 光源部
32 光源ドライバ
33 照明制御部
51 画像取得部
52 RTSノイズ検出部
53 記録部
54 画像処理部
55 処理制御部
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像素子
245 内視鏡記録部
246 撮像制御部
311 集光レンズ
312 光源
521 暗時判定部
522 蓄積部
523 算出部
524 RTSノイズ判定部
525 RTSノイズ情報生成部
531 プログラム記録部
532 白傷情報記録部
533 黒傷情報記録部
534 RTSノイズ情報記録部
541 画素補正部
542 RTSノイズ補正部

Claims (10)

  1. 内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得部と、
    前記画像取得部が取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、
    前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、
    前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、
    画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定部と、
    前記RTSノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正部と、
    を備えることを特徴とする処理装置。
  2. 前記RTSノイズ判定部によって前記範囲外であると判定された画素の前記位置情報をRTSノイズ情報として生成するRTSノイズ情報生成部と、
    前記RTSノイズ情報生成部が生成した前記RTSノイズ情報を記録するRTSノイズ情報記録部と、
    をさらに備えることを特徴とする請求項1に記載の処理装置。
  3. 前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値の標準偏差であることを特徴とする請求項に記載の処理装置。
  4. 前記統計値は、前記蓄積部が蓄積した前記画素毎に画素値における出力分布の正負両方向の最大振れ幅であることを特徴とする請求項に記載の処理装置。
  5. 前記内視鏡に設けられた操作部から被検体に照明光を照射する光源装置に対して消灯を指示する指示信号が入力された場合、前記光源装置を消灯させる処理制御部をさらに備えることを特徴とする請求項に記載の処理装置。
  6. 被検体を撮像して画像データを生成する撮像素子と、
    前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、
    前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、
    前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、
    画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定部と、
    前記RTSノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正部と、
    を備えることを特徴とする内視鏡。
  7. 前記被検体に挿入可能な挿入部と、
    処理装置に接続可能なコネクタ部と、
    をさらに備え、
    前記挿入部は、先端部に前記撮像素子を有し、
    前記コネクタ部は、前記暗時判定部、前記蓄積部、前記算出部、前記RTSノイズ判定部および前記RTSノイズ補正部を有することを特徴とする請求項6に記載の内視鏡。
  8. 被検体を撮像して画像データを生成する撮像素子を備える内視鏡と、
    前記画像データに対して画像処理を行う処理装置と、
    前記撮像素子が生成した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定部と、
    前記暗時判定部が判定する毎に、前記暗時判定部によって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積部と、
    前記蓄積部が所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出部と、
    画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定部と、
    前記RTSノイズ判定部によって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正部と、
    を備えることを特徴とする内視鏡システム。
  9. 内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、
    前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、
    前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、
    前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、
    画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定ステップと、
    前記RTSノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正ステップと、
    を含むことを特徴とする画像処理方法。
  10. 処理装置に、
    内視鏡の先端部に設けられた撮像素子によって生成された画像データを取得する画像取得ステップと、
    前記画像取得ステップで取得した前記画像データに対応する画像の画素毎に画素値が予め設定された暗時閾値以下であるか否かを判定する暗時判定ステップと、
    前記暗時判定ステップで判定する毎に、前記暗時判定ステップによって前記暗時閾値以下であると判定された画素の画素値および前記撮像素子上における位置に関する位置情報を所定のフレーム数蓄積する蓄積ステップと、
    前記蓄積ステップで所定のフレーム数蓄積した前記画素の画素値と前記位置情報とに基づいて、画素毎に画素値の統計値を算出する算出ステップと、
    画素毎に前記統計値が予め設定された範囲外であるか否かを判定するRTSノイズ判定ステップと、
    前記RTSノイズ判定ステップによって前記範囲外であると判定された画素の画素値を補正するRTSノイズ補正ステップと、
    を実行させることを特徴とするプログラム。
JP2019502103A 2017-10-05 2018-07-25 処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラム Active JP6503524B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017195392 2017-10-05
JP2017195392 2017-10-05
PCT/JP2018/027977 WO2019069542A1 (ja) 2017-10-05 2018-07-25 処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP6503524B1 true JP6503524B1 (ja) 2019-04-17
JPWO2019069542A1 JPWO2019069542A1 (ja) 2019-11-14

Family

ID=65995084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502103A Active JP6503524B1 (ja) 2017-10-05 2018-07-25 処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11399700B2 (ja)
JP (1) JP6503524B1 (ja)
WO (1) WO2019069542A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI796108B (zh) * 2022-01-21 2023-03-11 廣達電腦股份有限公司 取得字體軌跡的方法及系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302722A (ja) * 2008-06-11 2009-12-24 Nec Electronics Corp 欠陥画素処理装置および欠陥画素処理方法
JP5341636B2 (ja) * 2009-06-24 2013-11-13 キヤノン株式会社 撮像装置の読み出し方法、及び撮像装置
JP5941728B2 (ja) 2012-03-30 2016-06-29 本田技研工業株式会社 画像生成装置、及び画像生成方法
JP2013219665A (ja) * 2012-04-11 2013-10-24 Canon Inc 撮像装置、その制御方法およびプログラム
JP5847017B2 (ja) * 2012-05-28 2016-01-20 富士フイルム株式会社 電子内視鏡装置及びその作動方法
JP2014216775A (ja) * 2013-04-24 2014-11-17 オリンパスイメージング株式会社 撮像装置、検出方法およびプログラム
CN105682534B (zh) * 2013-12-25 2017-10-27 奥林巴斯株式会社 内窥镜系统以及像素校正方法
DE112015005599T5 (de) * 2015-01-20 2017-09-28 Olympus Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm

Also Published As

Publication number Publication date
US11399700B2 (en) 2022-08-02
US20200229678A1 (en) 2020-07-23
JPWO2019069542A1 (ja) 2019-11-14
WO2019069542A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
JP5873223B2 (ja) 内視鏡システムおよび画素補正方法
JP5452785B1 (ja) 撮像システム
JP5620612B2 (ja) 撮像装置および撮像システム
JP6045760B2 (ja) 撮像システム
JP5769892B2 (ja) 内視鏡
JP5467182B1 (ja) 撮像システム
WO2013128764A1 (ja) 医療システム
JP6049945B2 (ja) 撮像装置および処理装置
JP5379930B1 (ja) 内視鏡システム
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
CN102450997B (zh) 内窥镜装置
WO2015114906A1 (ja) 撮像システムおよび撮像装置
JP2013244250A (ja) 電子内視鏡装置及びその撮像画像補正方法
JP5926980B2 (ja) 撮像装置および撮像システム
JP6503524B1 (ja) 処理装置、内視鏡、内視鏡システム、画像処理方法およびプログラム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
US20220409015A1 (en) Control device, endoscope, and control method
JP6242552B1 (ja) 画像処理装置
JP5815162B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190116

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R151 Written notification of patent or utility model registration

Ref document number: 6503524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250