JP7171274B2 - 医療用画像処理装置及び医療用観察装置 - Google Patents

医療用画像処理装置及び医療用観察装置 Download PDF

Info

Publication number
JP7171274B2
JP7171274B2 JP2018128862A JP2018128862A JP7171274B2 JP 7171274 B2 JP7171274 B2 JP 7171274B2 JP 2018128862 A JP2018128862 A JP 2018128862A JP 2018128862 A JP2018128862 A JP 2018128862A JP 7171274 B2 JP7171274 B2 JP 7171274B2
Authority
JP
Japan
Prior art keywords
image
area
region
unit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018128862A
Other languages
English (en)
Other versions
JP2020005844A (ja
Inventor
泰平 道畑
雄一 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2018128862A priority Critical patent/JP7171274B2/ja
Priority to US16/455,773 priority patent/US11033174B2/en
Publication of JP2020005844A publication Critical patent/JP2020005844A/ja
Application granted granted Critical
Publication of JP7171274B2 publication Critical patent/JP7171274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/053Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion being detachable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Description

本発明は、医療用画像処理装置及び医療用観察装置に関する。
従来、人等の被検体内部(生体内)を撮像した撮像画像を処理する医療用画像処理装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の医療用画像処理装置は、撮像画像を取得する。当該撮像画像は、生体内に挿入される内視鏡にて取り込まれた被写体像を含む。ここで、内視鏡にて取り込まれた光(被写体像)は、断面略円形である。このため、撮像画像内の被写体像は、略円形となる。すなわち、撮像画像は、被写体像と、当該被写体像以外のマスク領域とを含む。そして、当該医療用画像処理装置は、取得した撮像画像を輝度画像に変換し、当該輝度画像内の輝度分布を利用して、マスク領域を特定する。
特開2015-156937号公報
ところで、マスク領域を特定する際での被写体を例えばガーゼ等の白色の被写体とした場合には、撮像画像に含まれる被写体像の輝度値が十分に高いものとなる。このため、撮像画像内の輝度分布を利用して、マスク領域を高精度に特定することができる。しかしながら、撮像する際にガーゼ等の白色の被写体を内視鏡の先端に被せる必要があり、作業が煩雑化する、という問題がある。
一方、マスク領域を特定する際での被写体を上記の被写体以外とした場合には、撮像画像に含まれる被写体像の輝度値のバラつきが大きいものとなる。このため、撮像画像内の輝度分布を利用して、マスク領域を精度良く特定することが難しい、という問題がある。
そこで、マスク領域を容易かつ高精度に特定することができる技術が要望されている。
本発明は、上記に鑑みてなされたものであって、マスク領域を容易かつ高精度に特定することができる医療用画像処理装置及び医療用観察装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る医療用画像処理装置は、内視鏡にて取り込まれた被写体像を撮像した第1画像と、当該第1画像に対して時系列的に異なるタイミングで当該被写体像を撮像した第2画像とを比較し、当該第1画像における複数の領域毎に当該第2画像に対する動き量を算出する動き量算出部と、前記第1画像のうち前記動き量が特定の第1閾値以下となるマスク候補領域内から、当該第1画像に含まれる前記被写体像以外のマスク領域を特定する領域特定部とを備え、前記領域特定部は、前記第1画像のうち、前記マスク候補領域であり、かつ、画素レベルが特定の第2閾値を超える画素からなる領域を白傷欠陥領域として特定することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記白傷欠陥領域に対して白傷欠陥を補正する白傷欠陥補正を実行する欠陥補正処理部をさらに備えることを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記マスク領域を黒で塗り潰す電子マスク処理を実行する信号補正部をさらに備え、前記欠陥補正処理部は、前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域に含まれる前記白傷欠陥領域に対して前記白傷欠陥補正を実行することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記領域特定部は、前記第1画像における領域の特定対象となる画素を注目画素とし、当該注目画素の周囲に位置する画素を周囲画素とした場合に、前記第1画像のうち、前記マスク候補領域であるとともに、一部の前記周囲画素の前記動き量が特定の第3閾値を超える前記注目画素からなり、かつ、全ての前記周囲画素の数に対する前記動き量が前記第3閾値を超える前記周囲画素の数の割合が特定の第4閾値未満となる前記注目画素からなる領域を前記被写体像と前記マスク領域との境界に位置する境界領域として特定することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記領域特定部は、前記第1画像のうち、前記マスク候補領域であるとともに、全ての前記周囲画素の前記動き量が前記第3閾値以下となる前記注目画素からなり、かつ、画素レベルが特定の第5閾値以下となる前記注目画素からなる領域と、前記境界領域とを、前記マスク領域として特定することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記領域特定部は、前記第1画像のうち、前記マスク候補領域であるとともに、全ての前記周囲画素の数に対する前記動き量が前記第3閾値を超える前記周囲画素の数の割合が前記第4閾値以上となる前記注目画素からなり、かつ、画素レベルが特定の第6閾値以下となる前記注目画素からなる領域を黒傷欠陥領域として特定することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記黒傷欠陥領域に対して黒傷欠陥を補正する黒傷欠陥補正を実行する欠陥補正処理部をさらに備えることを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記欠陥補正処理部は、前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域に含まれる前記黒傷欠陥領域に対して前記黒傷欠陥補正を実行することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記第1画像における明るさの変更に用いられる明るさパラメータを算出するための検波処理を実行する検波処理部をさらに備え、前記検波処理部は、前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域内の画素毎の輝度信号に基づいて、前記検波処理を実行することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記被写体像を撮像して前記第1画像及び前記第2画像を生成する撮像装置を制御するための検波処理を実行する検波処理部をさらに備え、前記検波処理部は、前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域内の画素毎の輝度信号に基づいて、前記検波処理を実行することを特徴とする。
また、本発明に係る医療用観察装置は、被検体内に挿入される内視鏡と、前記内視鏡の接眼部に着脱自在に接続され、当該内視鏡にて取り込まれた被写体像を撮像する撮像装置と、前記撮像装置にて撮像された画像を処理する上述した医療用画像処理装置とを備えることを特徴とする。
本発明に係る医療用画像処理装置及び医療用観察装置によれば、マスク領域を容易かつ高精度に検出することができる。
図1は、実施の形態に係る医療用観察装置の構成を示す図である。 図2は、カメラヘッド及び制御装置の構成を示すブロック図である。 図3は、画像処理部の構成を示すブロック図である。 図4は、動き量算出処理の一例を示す図である。 図5は、動き量算出処理の一例を示す図である。 図6は、動き量算出処理の一例を示す図である。 図7は、欠陥補正処理の一例を示す図である。 図8は、制御装置の動作を示すフローチャートである。 図9は、制御装置の動作を説明する図である。 図10は、実施の形態の変形例を示す図である。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
〔医療用観察装置の概略構成〕
図1は、本実施の形態に係る医療用観察装置1の構成を示す図である。
医療用観察装置1は、医療分野において用いられ、生体内を観察する装置である。この医療用観察装置1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
挿入部2は、本発明に係る内視鏡に相当する。本実施の形態では、挿入部2は、硬性内視鏡で構成されている。すなわち、挿入部2は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。なお、本実施の形態では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9内部に設けられた構成を採用しても構わない。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、挿入部2内の光学系により集光される。
カメラヘッド5は、本発明に係る撮像装置に相当する。このカメラヘッド5は、挿入部2の基端(接眼部21(図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された被写体像を撮像し、当該撮像による画像信号(RAW信号)を出力する。当該画像信号は、例えば、4K以上の画像信号である。
なお、カメラヘッド5の詳細な構成については、後述する。
第1伝送ケーブル6は、一端がコネクタCN1(図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、制御装置9による制御の下、当該制御装置9からの映像信号に基づく画像を表示する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
制御装置9は、本発明に係る医療用画像処理装置に相当する。この制御装置9は、CPU(Central Processing Unit)等を含んで構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、レンズ駆動部52と、レンズ位置検出部53と、撮像部54と、通信部55とを備える。
レンズユニット51は、光軸に沿って移動可能な複数のレンズを用いて構成され、挿入部2にて集光された被写体像を撮像部54(撮像素子541(図2))の撮像面に結像する。このレンズユニット51は、図2に示すように、フォーカスレンズ511を備える。
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)が設けられている。
レンズ駆動部52は、図2に示すように、上述したフォーカス機構を動作させるモータ521と、当該モータ521を駆動するドライバ522とを備える。そして、レンズ駆動部52は、制御装置9による制御の下、レンズユニット51の焦点を調整する。
レンズ位置検出部53は、フォトインタラプタ等の位置センサを用いて構成され、フォーカスレンズ511のレンズ位置(以下、フォーカス位置と記載)を検出する。そして、レンズ位置検出部53は、第1伝送ケーブル6を介して、フォーカス位置に応じた検出信号を制御装置9に出力する。
撮像部54は、制御装置9による制御の下、生体内を撮像する。この撮像部54は、図2に示すように、撮像素子541と、信号処理部542とを備える。
撮像素子541は、挿入部2にて集光され、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
ここで、撮像素子541の撮像面(受光面)には、透過させる光(R(赤),G(緑),B(青))の波長帯域に応じてグループ分けされた3つのフィルタ群が所定の形式(例えば、ベイヤ配列)で配列されたカラーフィルタ541a(図2)が設けられている。
具体的に、カラーフィルタ541aは、Rの波長帯域の光を透過させるRフィルタ群と、Bの波長帯域の光を透過させるBフィルタ群と、Gの波長帯域の光を透過させる第1Gフィルタ群(Rフィルタ群と同一の列に配列)と、Gの波長帯域の光を透過させる第2Gフィルタ群(Bフィルタ群と同一の列に配列)とを有する。なお、以下では、説明の便宜上、第1,第2Gフィルタ群を纏めてGフィルタ群と記載する。
すなわち、撮像素子541からの電気信号(アナログ信号)は、画素毎に、R,G,Bの各フィルタ群に対応するR,G,Bのいずれかの成分情報(画素値)を含む。
信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して信号処理を行って画像信号(RAW信号(デジタル信号))を出力する。
例えば、信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
通信部55は、第1伝送ケーブル6を介して、撮像部54から出力される画像信号(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部55は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
〔制御装置の構成〕
次に、制御装置9の構成について図2を参照しながら説明する。
制御装置9は、図2に示すように、通信部91と、画像処理部92と、表示制御部93と、制御部94と、入力部95と、出力部96と、記憶部97とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
図3は、画像処理部92の構成を示すブロック図である。
画像処理部92は、制御部94による制御の下、カメラヘッド5(通信部55)から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))を処理する。この画像処理部92は、図3に示すように、画像メモリ921と、動き量算出部922と、領域特定部923と、欠陥補正処理部924と、信号補正部925と、NR処理部926と、検波処理部927とを備える。
画像メモリ921は、カメラヘッド5から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))をフレーム毎に、所定数のフレーム分だけ、順次、記憶する。すなわち、画像メモリ921に記憶された所定数のフレーム分の画像信号(所定数のフレーム分の撮像画像)は、カメラヘッド5にて新たに撮像された撮像画像に順次、書き換えられる。
動き量算出部922は、カメラヘッド5から出力され、通信部91にて受信した撮像画像(以下、現撮像画像と記載)と、画像メモリ921に記憶され、当該現撮像画像に対して時系列的に直前に(1フレーム前に)カメラヘッド5にて撮像された撮像画像(以下、直前撮像画像と記載)とを比較し、当該現撮像画像における領域毎(本実施の形態では画素毎)に当該直前撮像画像に対する動き量を算出する動き量算出処理を実行する。なお、現撮像画像は、本発明に係る第1画像に相当する。また、直前撮像画像は、本発明に係る第2画像に相当する。ここで、本発明に係る第2画像としては、直前撮像画像に限らず、現撮像画像に対して時系列的に異なるタイミングでカメラヘッド5にて撮像された撮像画像であれば、数フレーム前に撮像された撮像画像としてもよく、1フレーム後、または数フレーム後に撮像された撮像画像としても構わない。また、動き量算出処理に用いる現撮像画像及び直前撮像画像としては、信号補正部925によるデモザイク処理前の画像であってもよく、当該デモザイク処理後の画像であっても構わない。さらに、動き量算出処理としては、現撮像画像における全領域(全画素)について動き量を算出する処理に限らず、当該現撮像画像における全領域のうち一部の領域(全画素のうち一部の画素)についてのみ動き量を算出する処理としても構わない。
図4ないし図6は、動き量算出処理の一例を説明する図である。具体的に、図4は、カメラヘッド5にて撮像された撮像画像CI1~CI4を時系列的に(矢印tの方向に)並べた図である。ここで、生体内で反射され、挿入部2内に集光された光(被写体像)は、断面略円形である。このため、撮像画像CI1~CI4は、被写体像SIと、当該被写体像SI以外のマスク領域MA(図4,図5では斜め線で表現)とを含む。また、図5及び図6は、図4に対応した図であって、現撮像画像CICをそれぞれ示している。
例えば、動き量算出部922は、図5及び図6に示すように、ブロックマッチング法を用いて動き量算出処理を実行する。
具体的に、動き量算出部922は、直前撮像画像CIB(図5)における全画素のうち、注目画素PI(図5)を選定する。また、動き量算出部922は、当該注目画素PIと、当該注目画素PIの周囲に位置する複数の周囲画素PS(図5)とを含む画素群Gr(図5)を選定する。なお、図5の例では、周囲画素PSの数を8個(画素群Grの数を3×3の9個)としているが、その数は、8個に限らず、その他の数(例えば、周囲画素PSの数を24個(画素群Grの数を5×5の25個))としても構わない。
次に、動き量算出部922は、現撮像画像CICの全領域に亘って、画素群Grと最も相関の高い画素群Gr´(図5)を特定する。そして、動き量算出部922は、直前撮像画像CIBにおける画素群Grの中心に位置する注目画素PIから現撮像画像CICにおける画素群Gr´の中心に位置する注目画素PI´までのベクトルを当該注目画素PI´の動きベクトルB(図5)として算出する。
動き量算出部922は、直前撮像画像CIBにおける全画素について注目画素PIを変更しながらそれぞれ上述した処理を順次、実行することで、図6に示すように、現撮像画像CICにおける画素(注目画素PI´)毎の動きベクトルBを算出する。図6では、動きベクトルBの方向(動きの方向)を矢印で示し、当該動きベクトルBの大きさ(動き量)を矢印の長さで表現している。点で示した動きベクトルBは、動き量が0であることを示している。
なお、動き量算出処理としては、上述したブロックマッチング法に限らず、その他の方法(例えば、勾配法)を用いても構わない。
領域特定部923は、現撮像画像CICにおけるマスク領域MA、白傷欠陥の画素からなる白傷欠陥領域WA(図9参照)、黒傷欠陥の画素からなる黒傷欠陥領域BA(図9参照)を特定する領域特定処理を実行する。ここで、領域特定部923は、当該領域特定処理を実行する際、具体的には後述するが、動き量算出部922にて算出された注目画素PI´の動き量及び当該注目画素PI´の周囲に位置する周囲画素PS´(図5)の動き量と、注目画素PI´の画素レベル及び当該注目画素PI´の周囲に位置する周囲画素PS´の画素レベルとを参照する。なお、当該周囲画素PS´の数としては、8個に限らず、その他の数(例えば24個等)としても構わない。また、当該画素レベルとしては、現撮像画像CICが信号補正部925によるデモザイク処理前の画像であれば、カラーフィルタ541aを構成するR,G,Bの各フィルタ群に対応するR,G,Bのいずれかの成分情報(画素値)を例示することができる。また、当該画素レベルとしては、現撮像画像CICが信号補正部925によるデモザイク処理後の画像であれば、RGB値(画素値)やY信号(輝度信号)に応じた輝度値を例示することができる。すなわち、領域特定処理としては、信号補正部925によるデモザイク処理前に実行してもよく、あるいは、信号補正部925によるデモザイク処理後に実行しても構わない。さらに、領域特定処理としては、現撮像画像CICにおける全領域からマスク領域MA、白傷欠陥領域WA、及び黒傷欠陥領域BAを特定する処理に限らず、当該現撮像画像CICにおける全領域のうち一部の領域から各領域MA,WA,BAを特定する処理としても構わない。
欠陥補正処理部924は、現撮像画像CICにおいて、領域特定部923にて特定された白傷欠陥領域WAにおける各画素の白傷欠陥、及び領域特定部923にて特定された黒傷欠陥領域BAにおける各画素の黒傷欠陥をそれぞれ補正する欠陥補正処理を実行する。
図7は、欠陥補正処理の一例を説明する図である。なお、図7では、信号補正部925によるデモザイク処理前の現撮像画像CICを示しており、説明の便宜上、カラーフィルタ541aにおけるRフィルタ群に対応する画素には「R」の文字を付し、Gフィルタ群に対応する画素には「G」の文字を付し、Bフィルタ群に対応する画素には「B」の文字を付している。また、図7では、白傷欠陥領域WA及び黒傷欠陥領域BAにおける各画素(以下、対象画素TPR,TPG,TPBと記載)にドットを付している。
例えば、対象画素TPRがカラーフィルタ541aにおけるRフィルタ群に対応した画素である場合を想定する。この場合には、欠陥補正処理部924は、図7に矢印で示すように、Rフィルタ群に対応した画素のうち、対象画素TPRに近接した4個の周辺画素TPR´におけるRの成分情報(画素値)の平均値を当該対象画素TPRの画素値とする欠陥補正処理を実行する。
また、例えば、対象画素TPGがカラーフィルタ541aにおけるGフィルタ群に対応した画素である場合を想定する。この場合には、欠陥補正処理部924は、図7に矢印で示すように、Gフィルタ群に対応した画素のうち、対象画素TPRに近接した4個の周辺画素TPG´におけるGの成分情報(画素値)の平均値を当該対象画素TPGの画素値とする欠陥補正処理を実行する。
さらに、例えば、対象画素TPBがカラーフィルタ541aにおけるBフィルタ群に対応した画素である場合を想定する。この場合には、欠陥補正処理部924は、図7に矢印で示すように、Bフィルタ群に対応した画素のうち、対象画素TPBに近接した4個の周辺画素TPB´におけるBの成分情報(画素値)の平均値を当該対象画素TPBの画素値とする欠陥補正処理を実行する。
なお、上記において、欠陥補正処理で用いる周辺画素TPR´,TPG´,TPB´の数は、4個に限らず、その他の数の周辺画素TPR´,TPG´,TPB´を用いても構わない。また、上記では、信号補正部925によるデモザイク処理前に欠陥補正処理を実行する場合を例示したが、これに限らず、信号補正部925によるデモザイク処理後に欠陥補正処理を実行しても構わない。
信号補正部925は、画像信号(RAW信号(デジタル信号))に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。また、信号補正部925は、デジタルゲインを乗算した後の画像信号(RAW信号(デジタル信号))に対してオプティカルブラック減算処理、デモザイク処理等のRAW処理を施し、当該RAW信号(画像信号)をRGB信号(画像信号)に変換する。さらに、信号補正部925は、当該RGB信号(画像信号)を輝度信号及び色差信号(Y,C/C信号)に変換する。また、信号補正部925は、画像信号(デジタル信号)に対して、ホワイトバランス調整処理、ガンマ補正、輪郭強調、色調補正、シェーディング補正、電子マスク処理等の補正処理を実行する。
NR処理部926は、現撮像画像CICにおいて、領域特定部923にて特定されたマスク領域MAに時間フィルタを施し、当該マスク領域MA以外の領域(被写体像SIの領域)には空間フィルタを施して、当該現撮像画像CICにおけるランダムノイズを除去するNR(ノイズリダクション)処理を実行する。
検波処理部927は、現撮像画像CIC全体における所定の領域(以下、検波領域と記載)の画素毎のY信号(輝度信号)に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出を実行する。そして、検波処理部927は、当該検出により得られた検波情報(コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等)を制御部94に出力する。
表示制御部93は、制御部94による制御の下、画像処理部92にて処理された画像信号(Y,C/C信号)に基づく表示用の映像信号を生成する。そして、表示制御部93は、第2伝送ケーブル8を介して、当該映像信号を表示装置7に出力する。これにより、表示装置7は、当該映像信号に基づく現撮像画像CICを表示する。
制御部94は、例えば、CPU等を用いて構成され、第1~第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。この制御部94は、図2に示すように、レンズ制御部941と、パラメータ算出部942と、明るさ制御部943とを備える。
レンズ制御部941は、レンズ駆動部52を動作させ、レンズユニット51の焦点を調整(フォーカス位置を変更)する。
例えば、レンズ制御部941は、検波処理部927から出力された検波情報(コントラストや周波数成分)に基づいて、現撮像画像CICに含まれる被写体像SIの合焦状態を評価するための合焦評価値を算出する。ここで、レンズ制御部941は、検波処理部927にて検出されたコントラストや、検波処理部927にて検出された周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。そして、レンズ制御部941は、レンズ位置検出部53にて検出されたフォーカス位置と、当該合焦評価値とに基づいて、山登り法等により被写体像SIが合焦状態となるフォーカス位置にフォーカスレンズ511を位置付けるAF処理を実行する。
なお、当該AF処理は、常時、実行する所謂、コンティニュアスAFを採用してもよく、あるいは、カメラヘッド5等に設けられた操作ボタン(図示略)の操作に応じて実行する所謂、ワンタッチAFを採用しても構わない。
パラメータ算出部942は、検波処理部927から出力された検波情報(輝度平均値)に基づいて、撮像部54による撮像で得られる現撮像画像CICの明るさを基準となる明るさに変更する(検波処理により得られる輝度平均値を基準となる輝度平均値に変更する)ための明るさパラメータを算出する。
本実施の形態では、パラメータ算出部942は、検波処理部927から出力された検波情報(輝度平均値)に基づいて、撮像素子541における各画素の露光時間、信号処理部542にて乗算されるアナログゲイン、信号補正部925にて乗算されるデジタルゲイン、及び光源装置3から挿入部2に供給される光の光量の4つの明るさパラメータをそれぞれ算出する。
明るさ制御部943は、パラメータ算出部942にて算出された明るさパラメータに基づいて、撮像素子541、信号処理部542、信号補正部925、及び光源装置3の動作を制御する。
具体的に、明るさ制御部943は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、撮像素子541の各画素の露光時間をパラメータ算出部942にて算出された露光時間(明るさパラメータ)とする。また、明るさ制御部943は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、信号処理部542にて乗算されるアナログゲインをパラメータ算出部942にて算出されたアナログゲイン(明るさパラメータ)とする。さらに、明るさ制御部943は、信号補正部925に制御信号を出力し、当該信号補正部925にて乗算されるデジタルゲインをパラメータ算出部942にて算出されたデジタルゲイン(明るさパラメータ)とする。また、明るさ制御部943は、第3伝送ケーブル10を介して光源装置3に制御信号を出力し、当該光源装置3から挿入部2に供給される光の句量をパラメータ算出部942にて算出された光量(明るさパラメータ)とする。
以上のように明るさ制御部943にて撮像素子541、信号処理部542、信号補正部925、及び光源装置3の動作が制御されることで、現撮像画像CICの明るさは、基準となる明るさに変更される。
入力部95は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部95は、当該ユーザ操作に応じた操作信号を制御部94に出力する。
出力部96は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部97は、制御部94が実行するプログラムや、制御部94の処理に必要な情報等を記憶する。
〔制御装置の動作〕
次に、上述した制御装置9の動作について説明する。
図8は、制御装置9の動作を示すフローチャートである。図9は、制御装置9の動作を説明する図である。具体的に、図9は、図4に対応した図であって、現撮像画像CICをそれぞれ示している。
なお、以下では、説明の便宜上、動き量算出処理、領域特定処理、及び欠陥補正処理について説明する。また、動き量算出処理及び欠陥補正処理の具体例については、既に説明しているため、以下では、領域特定処理について主に説明する。
先ず、動き量算出部922は、動き量算出処理を実行する(ステップS1)。
ステップS1の後、領域特定部923は、現撮像画像CICにおける全画素のうち、領域の特定対象となる一つの注目画素PI´について、ステップS1で算出された当該注目画素PI´の動き量が特定の第1閾値以下であるか否かを判定する(ステップS2)。
注目画素PI´の動き量が第1閾値を超えると判定された場合(ステップS2:No)には、制御装置9は、ステップS12に移行する。
一方、注目画素PI´の動き量が第1閾値以下であると判定した場合(ステップS2:Yes)には、領域特定部923は、当該注目画素PI´の周囲に位置する全て(図5の例では8個)の周囲画素PS´について、ステップS1で算出された当該全ての周囲画素PS´の動き量が第1閾値以下であるか否かを判定する(ステップS3)。当該第1閾値は、本発明に係る第1閾値に相当するとともに、第3閾値に相当する。
少なくとも一部の周囲画素PS´の動き量が第1閾値を超えると判定された場合(ステップS3:No)には、制御装置9は、ステップS7に移行する。
一方、全ての周囲画素PS´の動き量が第1閾値以下であると判定した場合(ステップS3:Yes)には、領域特定部923は、注目画素PI´の画素レベルが特定の第2閾値以下であるか否かを判定する(ステップS4)。当該第2閾値は、本発明に係る第2閾値の他、第5閾値に相当する。
注目画素PI´の画素レベルが第2閾値以下であると判定した場合(ステップS4:Yes)には、領域特定部923は、当該注目画素PI´をマスク内側領域MA1(図9)に含まれる画素と判定する(ステップS5)。当該マスク内側領域MA1は、マスク領域MAであって、当該マスク領域MAと被写体像SIとの境界に位置する境界領域MA2を除く領域である。この後、制御装置9は、ステップS12に移行する。
一方、注目画素PI´の画素レベルが第2閾値を超えると判定した場合(ステップS4:No)には、領域特定部923は、当該注目画素PI´を白傷欠陥領域WAに含まれる画素と判定する(ステップS6)。この後、制御装置9は、ステップS12に移行する。
ステップS7において、領域特定部923は、以下に示す割合が特定の第4閾値以上であるか否かを判定する。当該割合とは、全ての周囲画素PS´の数(図5の例では8個)に対する当該全ての周囲画素PS´のうちステップS1で算出された動き量が第1閾値を超える周囲画素PS´の数の割合である。
割合が第4閾値未満であると判定された場合(ステップS7:No)には、領域特定部923は、注目画素PI´を境界領域MA2に含まれる画素と判定する(ステップS8)。この後、制御装置9は、ステップS12に移行する。
一方、割合が第4閾値以上であると判定した場合(ステップS7:Yes)には、領域特定部923は、ステップS4と同様に、注目画素PI´の画素レベルが第2閾値以下であるか否かを判定する(ステップS9)。当該第2閾値は、本発明に係る第2,第5閾値の他、第6閾値に相当する。
注目画素PI´の画素レベルが第2閾値以下であると判定した場合(ステップS9:Yes)には、領域特定部923は、当該注目画素PI´を黒傷欠陥領域BAに含まれる画素と判定する(ステップS10)。この後、制御装置9は、ステップS12に移行する。
一方、注目画素PI´の画素レベルが第2閾値を超えると判定した場合(ステップS9:No)には、領域特定部923は、ステップS6と同様に、当該注目画素PI´を白傷欠陥領域WAに含まれる画素と判定する(ステップS11)。この後、制御装置9は、ステップS12に移行する。
ステップS12において、領域特定部923は、現撮像画像CICにおける全画素を注目画素PI´として、ステップS2~S11を実行したか否かを判定する。
全ての画素で実施していないと判定した場合(ステップS12:No)には、領域特定部923は、注目画素PI´を変更するとともに、ステップS2に戻る。
一方、全ての画素で実施したと判定した場合(ステップS12:Yes)には、領域特定部923は、ステップS5,S6,S8,S10,S11の判定結果を踏まえ、図9に示すように、現撮像画像CICのマスク領域MA、白傷欠陥領域WA、及び黒傷欠陥領域BAを特定する(ステップS13)。なお、マスク領域MAは、上述したように、マスク内側領域MA1と境界領域MA2とから構成される。また、マスク領域MA、白傷欠陥領域WA、及び黒傷欠陥領域BAで構成される領域は、本発明に係るマスク候補領域に相当する。
ステップS13の後、欠陥補正処理部924は、現撮像画像CICにおいて、ステップS13で特定された白傷欠陥領域WA及び黒傷欠陥領域BAにおける各画素について、欠陥補正処理を実行する(ステップS14)。
なお、検波処理部927は、ステップS14の後、検波処理を実行する。具体的に、検波処理部927は、信号補正部925にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。また、検波処理部927は、ステップS13で特定されたマスク領域MAを除く被写体像SIの領域を検波領域とする。そして、検波処理部927は、当該取得した輝度信号(Y信号)のうち、当該検波領域の画素毎の輝度信号(Y信号)に基づいて、検波処理を実行する。また、制御部94(は、当該検波処理により得られた検波情報に基づいて、AF処理、明るさパラメータの算出、当該明るさパラメータに基づく撮像素子541、信号処理部542、信号補正部925、及び光源装置3の動作制御等を実行する。
また、信号補正部925は、ステップS14の後、現撮像画像CICにおいて、ステップS13で特定されたマスク領域MAを黒で塗り潰す電子マスク処理を実行する。ここで、上記では、ステップS14において、被写体像SIの領域に含まれる白傷欠陥の他、マスク領域MAに含まれる白傷欠陥を補正していたが、これに限らず、被写体像SIの領域に含まれる白傷欠陥のみを補正するように構成しても構わない。このように構成すれば、欠陥補正処理を実行する領域が少なくなるため、欠陥補正処理部924の処理負荷を軽減することができる。
なお、信号補正部925は、ステップS13で特定されたマスク領域MAの大きさが小さいほど(被写体像SIの大きさが大きいほど)、輪郭強調等の強調処理での強調度合いを強めても構わない。また、信号補正部925は、ステップS13で特定されたマスク領域MAの大きさが所定の閾値以下となった場合(被写体像SIの大きさが所定の閾値以上となった場合)に、シェーディング補正を実行するように構成しても構わない。
以上説明した本実施の形態によれば、以下の効果を奏する。
本発明は、マスク領域MAが挿入部2に起因して生じる領域であることから、挿入部2を動かした場合であっても、現撮像画像CICにおいて、被写体像SIに動きがあるが当該マスク領域MAには全く動きがない点に着目した発明である。そして、本実施の形態に係る制御装置9では、現撮像画像CICにおける全領域のうち動き量が第1閾値以下となるマスク候補領域内から、当該現撮像画像CICに含まれるマスク領域MAを特定する。すなわち、動き量に基づいてマスク領域MAを特定することができるため、挿入部2の先端にガーゼ等の白色の被写体を被せる必要がない。また、全く動きのない領域をマスク領域MAとして特定すればよいため、当該マスク領域MAを高精度に特定することができる。したがって、本実施の形態に係る制御装置9によれば、マスク領域MAを容易かつ高精度に特定することができる。
また、本発明では、白傷欠陥領域WAが撮像素子541における白傷欠陥の画素からなる領域であることから、挿入部2を動かした場合であっても、現撮像画像CICにおいて、当該白傷欠陥領域WAには全く動きがない点にも着目している。そして、本実施の形態に係る制御装置9では、現撮像画像CICにおける全領域のうち、マスク候補領域であり、かつ、画素レベルが第2閾値を超える画素からなる領域を白傷欠陥領域WAとして特定し、当該白傷欠陥領域WAに対して欠陥補正処理を実行する。すなわち、全く動きのない領域であって、画素レベルが比較的に高い領域である白傷欠陥領域WAを高精度に特定し、当該白傷欠陥領域WAに対して良好に欠陥補正処理を実行することができる。
ところで、マスク領域MAにおいて、マスク内側領域MA1に含まれる注目画素PI´は、全ての周囲画素PS´の動き量が第1閾値以下となる。一方、マスク領域MAにおいて、境界領域MA2に含まれる注目画素PI´は、周囲に被写体像SIの領域が存在するため、一部の周囲画素PS´の動き量が第1閾値を超える。また、境界領域MA2に含まれる注目画素PI´は、全ての周囲画素PS´の数に対する動き量が第1閾値を超える周囲画素PS´の数の割合が比較的に小さいものとなる。一方、被写体像SIの領域に含まれる注目画素PI´は、当該割合が比較的に大きいものとなる。
そして、本実施の形態に係る制御装置9では、以上の関係に着目し、ステップS2,S3,S7を実行している。このため、境界領域MA2と被写体像SIの領域とを明確に切り分けることができる。
また、本発明では、黒傷欠陥領域BAが撮像素子541における黒傷欠陥の画素からなる領域であることから、挿入部2を動かした場合であっても、現撮像画像CICにおいて、当該黒傷欠陥領域BAには全く動きがない点にも着目している。そして、本実施の形態に係る制御装置9では、ステップS2,S3,S7,S9,S13を実行することにより黒傷欠陥領域BAを特定し、ステップS14により当該黒傷欠陥領域BAに対して欠陥補正処理を実行する。すなわち、全く動きのない領域であって、画素レベルが比較的に低い領域である黒傷欠陥領域BAを高精度に特定し、当該黒傷欠陥領域BAに対して良好に欠陥補正処理を実行することができる。
特に、本実施の形態に係る制御装置9では、ステップS14において、被写体像SIの領域に含まれる黒傷欠陥のみを補正する。このため、マスク領域MAに含まれる黒傷欠陥をも補正する構成と比較して、欠陥補正処理を実行する領域が少なくなるため、欠陥補正処理部924の処理負荷を軽減することができる。
また、本実施の形態に係る制御装置9では、現撮像画像CICにおける全領域のうち、領域特定部923にて特定されたマスク領域MA以外の被写体像SIの領域を検波領域として検波処理を実行する。
このため、マスク領域MAを含まない最大限に広い検波領域(被写体像SIの略全領域)で検波処理を実行することができる。すなわち、当該検波処理で得られた検波情報に基づく処理(例えば、AF処理や明るさパラメータの算出処理等)を精度良く実行することができる。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
図10は、本実施の形態の変形例を示す図である。
上述した実施の形態において、領域特定処理は、図8に示したフローに限らず、矛盾のない範囲で処理順序を変更しても構わない。
例えば、図10に示したフローを採用しても構わない。具体的に、図10に示したフローでは、図8に示したフローに対して、ステップS9,S11を省略するとともに、ステップS3とステップS4との順序を逆にしている。
上述した実施の形態では、本発明に係る第1,第3閾値を同一の値とするとともに、本発明に係る第2,第5,第6閾値を同一の値としていたが、これに限らず、本発明に係る第1~第6閾値を全て異なる値としても構わない。
上述した実施の形態では、本発明に係る動き量をブロックマッチング法や勾配法により算出していたが、これに限らない。
例えば、本発明に係る第1,第2画像を対応する画素同士で画素レベルを比較する。そして、当該画素レベルの変化量を本発明に係る動き量として算出しても構わない。この際、画素毎に動き量を算出する構成に限らず、複数の画素を含む画素群(領域)毎に動き量を算出しても構わない。上述した実施の形態でも同様である。
上述した実施の形態では、撮像素子541には、カラーフィルタ541aが設けられていたが、これに限らない。例えば、撮像素子541として、カラーフィルタ541aが設けられていない所謂、モノクロセンサで構成しても構わない。また、R用の撮像素子、G用の撮像素子、及びB用の撮像素子の三板で構成しても構わない。
上述した実施の形態において、カメラヘッド5の一部の構成や制御装置9の一部の構成を例えばコネクタCN1やコネクタCN2に設けても構わない。
1 医療用観察装置
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
21 接眼部
51 レンズユニット
52 レンズ駆動部
53 レンズ位置検出部
54 撮像部
55 通信部
91 通信部
92 画像処理部
93 表示制御部
94 制御部
95 入力部
96 出力部
97 記憶部
511 フォーカスレンズ
521 モータ
522 ドライバ
541 撮像素子
541a カラーフィルタ
542 信号処理部
921 画像メモリ
922 動き量算出部
923 領域特定部
924 欠陥補正処理部
925 信号補正部
926 NR処理部
927 検波処理部
941 レンズ制御部
942 パラメータ算出部
943 明るさ制御部
B 動きベクトル
BA 黒傷欠陥領域
CI1~CI4 撮像画像
CIB 直前撮像画像
CIC 現撮像画像
CN1,CN2 コネクタ
Gr,Gr´ 画素群
MA マスク領域
MA1 マスク内側領域
MA2 境界領域
PI,PI´ 注目画素
PS,PS´ 周囲画素
t 矢印
TPR,TPG,TPB 対象画素
TPR´,TPG´,TPB´ 周辺画素
WA 白傷欠陥領域

Claims (11)

  1. 内視鏡にて取り込まれた被写体像を撮像した第1画像と、当該第1画像に対して時系列的に異なるタイミングで当該被写体像を撮像した第2画像とを比較し、当該第1画像における複数の領域毎に当該第2画像に対する動き量を算出する動き量算出部と、
    前記第1画像のうち前記動き量が特定の第1閾値以下となるマスク候補領域内から、当該第1画像に含まれる前記被写体像以外のマスク領域を特定する領域特定部とを備え
    前記領域特定部は、
    前記第1画像のうち、前記マスク候補領域であり、かつ、画素レベルが特定の第2閾値を超える画素からなる領域を白傷欠陥領域として特定する
    ことを特徴とする医療用画像処理装置。
  2. 前記白傷欠陥領域に対して白傷欠陥を補正する白傷欠陥補正を実行する欠陥補正処理部をさらに備える
    ことを特徴とする請求項に記載の医療用画像処理装置。
  3. 前記マスク領域を黒で塗り潰す電子マスク処理を実行する信号補正部をさらに備え、
    前記欠陥補正処理部は、
    前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域に含まれる前記白傷欠陥領域に対して前記白傷欠陥補正を実行する
    ことを特徴とする請求項に記載の医療用画像処理装置。
  4. 前記領域特定部は、
    前記第1画像における領域の特定対象となる画素を注目画素とし、当該注目画素の周囲に位置する画素を周囲画素とした場合に、前記第1画像のうち、前記マスク候補領域であるとともに、一部の前記周囲画素の前記動き量が特定の第3閾値を超える前記注目画素からなり、かつ、全ての前記周囲画素の数に対する前記動き量が前記第3閾値を超える前記周囲画素の数の割合が特定の第4閾値未満となる前記注目画素からなる領域を前記被写体像と前記マスク領域との境界に位置する境界領域として特定する
    ことを特徴とする請求項1に記載の医療用画像処理装置。
  5. 前記領域特定部は、
    前記第1画像のうち、前記マスク候補領域であるとともに、全ての前記周囲画素の前記動き量が前記第3閾値以下となる前記注目画素からなり、かつ、画素レベルが特定の第5閾値以下となる前記注目画素からなる領域と、前記境界領域とを、前記マスク領域として特定する
    ことを特徴とする請求項に記載の医療用画像処理装置。
  6. 前記領域特定部は、
    前記第1画像のうち、前記マスク候補領域であるとともに、全ての前記周囲画素の数に対する前記動き量が前記第3閾値を超える前記周囲画素の数の割合が前記第4閾値以上となる前記注目画素からなり、かつ、画素レベルが特定の第6閾値以下となる前記注目画素からなる領域を黒傷欠陥領域として特定する
    ことを特徴とする請求項に記載の医療用画像処理装置。
  7. 前記黒傷欠陥領域に対して黒傷欠陥を補正する黒傷欠陥補正を実行する欠陥補正処理部をさらに備える
    ことを特徴とする請求項に記載の医療用画像処理装置。
  8. 前記欠陥補正処理部は、
    前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域に含まれる前記黒傷欠陥領域に対して前記黒傷欠陥補正を実行する
    ことを特徴とする請求項に記載の医療用画像処理装置。
  9. 前記第1画像における明るさの変更に用いられる明るさパラメータを算出するための検波処理を実行する検波処理部をさらに備え、
    前記検波処理部は、
    前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域内の画素毎の輝度信号に基づいて、前記検波処理を実行する
    ことを特徴とする請求項1に記載の医療用画像処理装置。
  10. 前記被写体像を撮像して前記第1画像及び前記第2画像を生成する撮像装置を制御するための検波処理を実行する検波処理部をさらに備え、
    前記検波処理部は、
    前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域内の画素毎の輝度信号に基づいて、前記検波処理を実行する
    ことを特徴とする請求項1に記載の医療用画像処理装置。
  11. 被検体内に挿入される内視鏡と、
    前記内視鏡の接眼部に着脱自在に接続され、当該内視鏡にて取り込まれた被写体像を撮像する撮像装置と、
    前記撮像装置にて撮像された画像を処理する請求項1~10のいずれか一つに記載の医療用画像処理装置とを備える
    ことを特徴とする医療用観察装置。
JP2018128862A 2018-07-06 2018-07-06 医療用画像処理装置及び医療用観察装置 Active JP7171274B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018128862A JP7171274B2 (ja) 2018-07-06 2018-07-06 医療用画像処理装置及び医療用観察装置
US16/455,773 US11033174B2 (en) 2018-07-06 2019-06-28 Medical image processing device and medical observation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018128862A JP7171274B2 (ja) 2018-07-06 2018-07-06 医療用画像処理装置及び医療用観察装置

Publications (2)

Publication Number Publication Date
JP2020005844A JP2020005844A (ja) 2020-01-16
JP7171274B2 true JP7171274B2 (ja) 2022-11-15

Family

ID=69101726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018128862A Active JP7171274B2 (ja) 2018-07-06 2018-07-06 医療用画像処理装置及び医療用観察装置

Country Status (2)

Country Link
US (1) US11033174B2 (ja)
JP (1) JP7171274B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171274B2 (ja) * 2018-07-06 2022-11-15 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察装置
JP7454409B2 (ja) 2020-03-03 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用制御装置の制御方法
US20210290037A1 (en) * 2020-03-17 2021-09-23 Sony Olympus Medical Solutions Inc. Medical image processing apparatus and medical observation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013609A (ja) 2004-06-22 2006-01-12 Sharp Corp 多視点立体画像撮影装置
WO2006101128A1 (ja) 2005-03-22 2006-09-28 Olympus Corporation 画像処理装置及び内視鏡装置
JP2015156938A (ja) 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5131382A (en) * 1989-03-27 1992-07-21 Meyer William F Endoscopic percutaneous discectomy device
US5928137A (en) * 1996-05-03 1999-07-27 Green; Philip S. System and method for endoscopic imaging and endosurgery
JP4564239B2 (ja) * 2003-04-11 2010-10-20 オリンパス株式会社 内視鏡装置
WO2004104921A2 (en) * 2003-05-16 2004-12-02 Andrew Odlivak System and method for automatic processing of endoscopic images
US7303528B2 (en) * 2004-05-18 2007-12-04 Scimed Life Systems, Inc. Serialization of single use endoscopes
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8942530B2 (en) * 2011-09-20 2015-01-27 San Marino Capital, Inc. Endoscope connector method and apparatus
GB201120628D0 (en) * 2011-11-30 2012-01-11 Laryngeal Mask Company The Ltd Endoscopy device
WO2013111684A1 (ja) * 2012-01-26 2013-08-01 オリンパスメディカルシステムズ株式会社 医療情報記録装置
JP2015156937A (ja) 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6779089B2 (ja) * 2016-10-05 2020-11-04 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法
JP7171274B2 (ja) * 2018-07-06 2022-11-15 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013609A (ja) 2004-06-22 2006-01-12 Sharp Corp 多視点立体画像撮影装置
WO2006101128A1 (ja) 2005-03-22 2006-09-28 Olympus Corporation 画像処理装置及び内視鏡装置
JP2015156938A (ja) 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
US11033174B2 (en) 2021-06-15
JP2020005844A (ja) 2020-01-16
US20200008650A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6996901B2 (ja) 内視鏡システム
JP6247425B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP7171274B2 (ja) 医療用画像処理装置及び医療用観察装置
US20180242827A1 (en) Medical imaging apparatus and medical observation system
JP2019087794A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6873740B2 (ja) 内視鏡装置及びエッジ検出方法
JP7016681B2 (ja) 内視鏡システム
US20210281731A1 (en) Medical control apparatus and method of controlling medical control apparatus
JP2018138141A (ja) 内視鏡装置
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP6240813B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5614256B2 (ja) 撮像装置、画像処理装置および撮像方法
JP2009273691A (ja) 内視鏡画像処理装置および方法
US10531029B2 (en) Image processing apparatus, image processing method, and computer readable recording medium for correcting pixel value of pixel-of-interest based on correction amount calculated
JP2011182336A (ja) 撮像装置及びその制御方法
JP2015152742A (ja) 撮像装置及びその制御方法
US11122225B2 (en) Medical image processing apparatus and medical observation system
US10778948B2 (en) Imaging apparatus and endoscope apparatus
US10893186B2 (en) Medical imaging apparatus and medical observation system
JP2014033305A (ja) 画像処理装置、撮像装置および画像処理プログラム
US11771308B2 (en) Medical control device and medical observation system
JP2015152830A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20240087090A1 (en) Processor for electronic endoscope and electronic endoscopic system
JP2004258360A (ja) 自動焦点調節装置
JP2020096249A (ja) 撮像制御装置、撮像装置及び撮像制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221102

R151 Written notification of patent or utility model registration

Ref document number: 7171274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151