JP7476883B2 - 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム - Google Patents

信号処理装置、信号処理方法、プログラム、および医療用画像処理システム Download PDF

Info

Publication number
JP7476883B2
JP7476883B2 JP2021509381A JP2021509381A JP7476883B2 JP 7476883 B2 JP7476883 B2 JP 7476883B2 JP 2021509381 A JP2021509381 A JP 2021509381A JP 2021509381 A JP2021509381 A JP 2021509381A JP 7476883 B2 JP7476883 B2 JP 7476883B2
Authority
JP
Japan
Prior art keywords
signal processing
edof
restoration
image
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021509381A
Other languages
English (en)
Other versions
JPWO2020196387A1 (ja
Inventor
浩司 鹿島
岳志 宮井
潤一郎 榎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020196387A1 publication Critical patent/JPWO2020196387A1/ja
Application granted granted Critical
Publication of JP7476883B2 publication Critical patent/JP7476883B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2453—Optical details of the proximal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3083—Birefringent or phase retarding elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本開示は、信号処理装置、信号処理方法、プログラム、および医療用画像処理システムに関し、特に、より低ノイズで特殊光観察を行うことができるようにした信号処理装置、信号処理方法、プログラム、および医療用画像処理システムに関する。
従来、内視鏡や顕微鏡などのような医療用観察装置では、一般的に、被写界深度が浅い画像が取得される。これに対し、術野は奥行きがあることが多いため、被写界深度の深い医療用観察装置が求められている。
そこで、被写界深度を深くするために、被写界深度を拡大させるEDOF（Extended Depth of Field）光学系を備えた内視鏡や顕微鏡などが提案されている。
例えば、特許文献１に開示されている画像処理装置は、複屈折マスクによるEDOF光学系と、条件に応じたボケ量を調整する関数を用いる制御部とを備え、被写体像の観察に係る状態や状況などに応じて、より好適な態様で被写体像の観察を行うことができる。
特開２０１７－１５８７６４号公報
しかしながら、従来、EDOF光学系を用いて、通常光とは波長域が異なる特殊光を用いた特殊光観察を行う際に、EDOF信号処理を施すことによってノイズが増大することが懸念されている。このため、EDOF信号処理を施した画像であっても、より低ノイズで特殊光観察を行えるようにすることが求められている。
本開示は、このような状況に鑑みてなされたものであり、より低ノイズで特殊光観察を行うことができるようにするものである。
本開示の一側面の信号処理装置は、特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すEDOF信号処理部と、前記EDOF信号処理の復元度合いを前記EDOF信号処理部に対して設定する設定部とを備え、前記設定部は、通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する。
本開示の一側面の信号処理方法またはプログラムは、特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すことと、前記EDOF信号処理の復元度合いを設定することとを含み、通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する。
本開示の一側面の医療用画像処理システムは、観察対象に対して特殊光または通常光を照射する光源と、前記特殊光または前記通常光が照射された前記観察対象を撮像する撮像部と、前記撮像部に入射する光の光軸上に配置されるEDOF（Extended Depth of Field）光学系と、前記撮像部により撮像された画像に対する信号処理を施す信号処理部とを備え、前記信号処理部は、前記特殊光が照射された前記観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF信号処理を施すEDOF信号処理部と、前記EDOF信号処理の復元度合いを前記EDOF信号処理部に対して設定する設定部とを有し、前記設定部は、前記通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する。
本開示の一側面においては、通常光が照射された観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、特殊光画像に対するEDOF信号処理における復元度合いを弱めるように、特殊光画像に対するEDOF信号処理における復元度合い用のパラメータが設定される。
本技術を適用した医療用画像処理システムの一実施の形態の構成例を示すブロック図である。 複屈折マスクの特性について説明する図である。 複屈折マスクの挿入に伴う一連の光学系の変調伝達関数の変化の一例を示す図である。 EDOF信号処理を弱めることの定義について説明する図である。 EDOF信号処理による効果の度合いとノイズとの関係を示す図である。 黒画像領域について説明する図である。 信号処理部の構成例を示すブロック図である。 信号処理を説明するフローチャートである。 時分割撮像について説明する図である。 EDOF信号処理による復元度合いを設定する設定画面の一例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜医療用画像処理システムの構成例＞
図１は、本技術を適用した医療用画像処理システムの一実施の形態の構成例を示すブロック図である。
図１に示すように、医療用画像処理システム１１は、表示装置１２が載置されるカート１３に、内視鏡下手術のための様々な装置が搭載されて構成され、例えば、内視鏡下手術に使用される内視鏡１４により取得される画像に対する画像処理を施すことができる。
表示装置１２は、内視鏡１４により取得される画像や、その画像に対して画像処理が施された画像などを表示する。例えば、表示装置１２には、後述する図１０に示すようなユーザインタフェースを備えた設定画面を表示することができる。
カート１３には、図１に示す例では、光源装置２１、ＣＣＵ（ＣＣＵ：Camera Control Unit）２２、および信号処理装置２３が搭載されている。
光源装置２１は、例えば、ＬＥＤ、キセノンランプ、ハロゲンランプ、レーザ光源、または、これらの組み合わせに相当する光源を備えて構成され、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡１４へ供給する。例えば、光源装置２１は、図９を参照して後述するように、所定のタイミングで通常光と特殊光とを切り替えて照射することができる。
ＣＣＵ２２は、カメラヘッド３２に内蔵される撮像素子による撮像を制御し、その撮像素子が観察対象を撮像することにより得られる画像が供給される。例えば、ＣＣＵ２２は、図９を参照して後述するように、所定のタイミングで撮像素子による撮像を行わせることができる。
信号処理装置２３は、内視鏡１４により取得される画像に基づいた信号処理を行うとともに、その画像に対する画像処理を施す。なお、信号処理装置２３の詳細な構成については、図７を参照して後述する。
内視鏡１４は、鏡筒３１およびカメラヘッド３２により構成され、鏡筒３１およびカメラヘッド３２の間に、光学素子挿入部３３を設けることができる。なお、例えば、光学素子挿入部３３を鏡筒３１およびカメラヘッド３２の両方に対して着脱可能にする構造の他、光学素子挿入部３３を鏡筒３１の一部とする構造や、光学素子挿入部３３をカメラヘッド３２の一部とする構造などを採用してもよい。
鏡筒３１は、硬性または軟性の材料を用いて筒状に形成されるスコープであり、その先端から所定の長さまでの一部分が患者の体腔内に挿入される。例えば、鏡筒３１の先端には、対物レンズが嵌め込まれた開口部が設けられている。また、鏡筒３１の側面には、光源装置２１において生成された光を鏡筒３１の内部に導入する導入部が設けられており、その導入部と光源装置２１とがライトガイドによって接続される。そして、鏡筒３１の内部に導入された光は、鏡筒３１の内部に延設されるライトガイドによって鏡筒３１の先端まで導光され、対物レンズを介して患者の体腔内の観察対象に向かって照射される。
カメラヘッド３２は、画像を撮像する撮像素子、その撮像素子に光を集光するための光学系や、光量を調整する絞りなどを内蔵しており、ＣＣＵ２２の制御に従って画像を撮像し、その画像をＣＣＵ２２に供給する。
光学素子挿入部３３は、鏡筒３１とカメラヘッド３２との間に、複屈折マスク（ＢＭ：Birefringent Mask）４１などのような光学素子を挿入可能にするために設けられる。なお、その他、光学素子挿入部３３により挿入可能な光学素子としては、３次元位相マスク（Cubic Phase Mask）などが挙げられる。
例えば、医療用画像処理システム１１においては、光学素子挿入部３３を利用して各種の光学素子を鏡筒３１とカメラヘッド３２との間に介在させることで、カメラヘッド３２内の撮像素子に対して被写体像を結像する一連の光学系の光学的な特性を変化させ、撮像される画像のボケ量を調整する（例えば、被写界深度を制御する）ことができる。
ここで、内視鏡１４の鏡筒３１およびカメラヘッド３２の間に設けられる光学素子挿入部３３に挿入される光学素子の構成について説明する。
近年では、カメラ等の撮像装置に用いられる撮像素子（所謂イメージセンサ）の解像度はより高くなる傾向にあり、「ＨＤ（１２８０×７２０）」に限らず、「４Ｋ ＵＨＤ（３８４０×２１６０）」や「８Ｋ ＵＨＤ（７６８０×４３２０）」のものも提案されている。そのため、本実施形態に係る内視鏡１４のような医療用の観察装置（撮像装置）においても、撮像される画像の高解像度化が望まれている。一方で、高解像度化に伴い撮像素子の画素サイズもより小さくなる傾向にあり、相対的に各画素により集光される光の光量がより少なくなる傾向にある。このような状況下では、例えば、絞りをより開く（即ち、Ｆ値をより小さくする）ことで光量不足を補う場合があるが、その一方で、絞りの開放に伴い被写界深度がより狭くなる場合がある。
以上のような状況を鑑み、例えば、EDOFと称される、被写界深度を拡大させる技術が適用される場合がある。本実施形態に係る内視鏡１４では、このEDOF技術の中でも、複屈折マスクを利用したEDOF技術を適用することで、撮像される画像の被写界深度をより拡大させることができる。具体的には、本実施形態に係る内視鏡１４は、前述したように、鏡筒３１とカメラヘッド３２との間に設けられる光学素子挿入部３３によって光学素子を挿入可能に構成されており、その光学素子として複屈折マスクが挿入されることで、撮像される画像の被写界深度が制御される。
例えば、図１には、光学素子挿入部３３によって挿入される複屈折マスク４１の一例として、複屈折マスク４１をカメラヘッド３２の光軸方向から見た場合における構成が示されている。なお、図１に示す複屈折マスク４１について、図面の破線内の横方向をｘ方向、縦方向をｙ方向、奥行き方向（即ち、カメラヘッド３２の光軸方向）をｚ方向とする。また、以降の説明では、特に定義が無い場合には、カメラヘッド３２に内蔵される撮像素子の光軸方向（換言すると、奥行き方向）をｚ方向、その撮像素子により撮像される画像の横方向および縦方向（即ち、光軸に垂直な方向）をｘ方向およびｙ方向とする。
複屈折マスク４１は、中心近傍から外側に向けて同心円状に、複数の偏光素子４２が配置されており、図１に示す例では、３つの偏光素子４２ａ乃至４２ｃが配置されている。即ち、複屈折マスク４１は、光軸に対して垂直なｘｙ平面上において、３つの偏光素子４２ａ乃至４２ｃが同心円状に配置されている。なお、図１において、複屈折マスク４１に対して示された矢印は、それぞれの矢印が付された偏光素子４２の偏光方向を模式的に示している。即ち、偏光素子４２ａ乃至４２ｃは、互いに隣接するものどうしの偏光方向が互いに異なる（略直交となる）ように設けられている。
例えば、図１に示す例では、偏光素子４２ａの偏光方向はｘ方向である。これに対して、偏光素子４２ａに隣接する偏光素子４２ｂの偏光方向はｙ方向であり、偏光素子４２ａの偏光方向（ｘ方向）に対して９０度回転した方向となっている。同様に、偏光素子４２ｂに隣接する偏光素子４２ｃの偏光方向はｘ方向であり、偏光素子４２ｂの偏光方向（ｙ方向）に対して９０度回転した方向となっている。
このような構成により、鏡筒３１により集光された光は、光軸（ｚ方向）に垂直なｘｙ平面上の位置に応じて、複屈折マスク４１の偏光素子４２ａ乃至４２ｃのうちいずれかに入射し、偏光素子４２ａ乃至４２ｃにより偏光された光が、カメラヘッド３２に入射することとなる。
ここで、図２を参照して、図１に示す複屈折マスク４１の特性について説明する。
図２は、本実施形態に係る複屈折マスク４１の特性について説明するための説明図である。具体的には、図２のＡは、鏡筒３１とカメラヘッド３２との間に複屈折マスク４１が介在しない場合の一例であり、鏡筒３１により集光されカメラヘッド３２に導かれた光の光路を模式的に示している。また、図２のＢは、鏡筒３１とカメラヘッド３２との間に複屈折マスク４１を介在させた場合の一例であり、鏡筒３１により集光され複屈折マスク４１を介してカメラヘッド３２に導かれた光の光路を模式的に示している。
図２のＡに示すように、鏡筒３１により集光されカメラヘッド３２に導かれた光は、カメラヘッド３２の結像光学系により、撮像素子の像面に結像するように光路が制御される。図２のＡにおいて、参照符号ｖ１１で示す像は、参照符号ｐ１１で示された位置において結像する被写体像を模式的に示している。また、参照符号ｖ１３で示す像は、参照符号ｐ１３で示された位置において結像する被写体像を模式的に示したものである。
これに対して、図２のＢに示すように、鏡筒３１により集光され光は、複屈折マスク４１を介してカメラヘッド３２に導かれ、カメラヘッド３２の結像光学系により光路が制御される。図２のＢにおいて、参照符号ｖ２１で示す像は、参照符号ｐ１１で示された位置において結像する被写体像を模式的に示している。また、参照符号ｖ２３で示す像は、参照符号ｐ１３で示された位置において結像する被写体像を模式的に示したものである。
これらを比較するとわかるように、複屈折マスク４１が挿入されることにより、カメラヘッド３２の撮像素子に被写体像を結像するための一連の光学系（以降では、単に「一連の光学系」とも称する）の特性が変化する。具体的には、複屈折マスク４１の挿入に伴い、複屈折マスク４１の挿入前に比べて、位置ｐ１１と位置ｐ１３との間における被写体像の結像形状（即ち、点像分布関数（ＰＳＦ：Point Spread Function））の変化がより少なくなる。
例えば、図３は、本実施形態に係る内視鏡１４に適用される複屈折マスク４１の特性の一例について説明するための説明図であり、複屈折マスク４１の挿入に伴う一連の光学系の変調伝達関数（ＭＴＦ：Modulation Transfer Function）の変化の一例を示している。
図３において、横軸は、一連の光学系の結像面（換言すると、合焦位置）を基準とした光軸方向のズレ（即ち、デフォーカス量）を示しており、縦軸は、変調伝達関数（ＭＴＦ）を示している。また、図３において、参照符号ｇ１１で示されたグラフは、図２のＡに示すように、鏡筒３１とカメラヘッド３２との間に複屈折マスク４１が介在しない場合における、一連の光学系の変調伝達関数（ＭＴＦ）の一例を示している。また、参照符号ｇ１３で示されたグラフは、図２のＢに示すように、鏡筒３１とカメラヘッド３２との間に複屈折マスク４１を挿入した場合における、一連の光学系の変調伝達関数（ＭＴＦ）の一例を示している。
図３に示すように、複屈折マスク４１を適用することで、当該複屈折マスク４１の適用前に比べて、光軸方向に沿ったより広い範囲にわたって変調伝達関数（ＭＴＦ）が分布するように、一連の光学系の特性が変化する。即ち、複屈折マスク４１の適用により、被写界深度をより拡大することが可能となる。
一方で、図３を参照するとわかるように、複屈折マスク４１を適用することで、合焦位置における変調伝達関数（ＭＴＦ）の値が、当該複屈折マスク４１の適用前に比べて下がる。そこで、本実施形態に係る医療用画像処理システム１では、図２のＢに示すように、カメラヘッド３２により撮像された画像に対して復元処理（画像処理）を施すことで、変調伝達関数（ＭＴＦ）の低下に伴い生じる被写体像の画像の劣化（所謂ボケ）に対し画像を復元する。例えば、図２のＢにおいて、参照符号ｖ２５で示した像は、被写体像ｖ２３に対して上記復元処理を施した場合における、当該復元処理後の被写体像の一例を示している。なお、当該復元処理（例えば、ボケ量を調整する処理）としては、例えば、デコンボリューションと称される処理が挙げられる。もちろん、上記画像の劣化を復元することが可能であれば、被写体像の画像に適用される復元処理は、必ずしもデコンボリューションのみには限定されない。
以上のような制御により、例えば、被写界深度が拡大され、かつ観察対象がより鮮明に提示された、画像（即ち、より鮮鋭な画像）を得ることが可能となる。
＜複屈折マスクを利用したEDOF技術に関する検討＞
本実施形態に係る医療用画像処理システムのように、複屈折マスクを利用したEDOF技術を適用する場合における技術的課題について説明する。
複屈折マスクと画像処理（復元処理）との組み合わせによって被写界深度を拡大させる場合には、複屈折マスクやその他の光学系の光学特性が既知であるものとして、当該画像処理として実行される処理の内容が設計される。
ここで、複屈折マスクを利用したEDOF技術においては、前述したように、例えば、上記画像処理として、複屈折マスクを含む光学系を介して撮像された画像からボケを除去するためのデコンボリューションと称される処理が適用される。デコンボリューションにおいては、適用されるフィルタのフィルタ係数を、複屈折マスクを含む光学系の光学特性に応じて適応的に切り替えることで、当該複屈折マスクの挿入により生じたボケが除去される。
なお、デコンボリューションフィルタとしては、例えば、逆フィルタやウィナーフィルタ等が挙げられる。逆フィルタは、例えば、複屈折マスクを含む光学系（例えば、内視鏡の鏡筒等）の光学特性（例えば、変調伝達関数（ＭＴＦ）等）に応じて設計されるフィルタに相当する。即ち、当該逆フィルタは、例えば、当該光学系の変調伝達関数の逆特性を有するように設計されてもよい。
また、ウィナーフィルタの空間周波数特性ＷＦについては、以下に示す式（１）の計算式で表される。
Figure 0007476883000001
この式（１）において、ｕ及びｖのそれぞれは、画像平面に水平な互いに直交する方向をｘ方向及びｙ方向とした場合に、ｘ方向及びｙ方向それぞれへの空間周波数を表している。また、Ｈ（ｕ，ｖ）は、光学的伝達関数（ＯＴＦ：Optical Transfer Function）を示している。なお、Ｈ*（ｕ，ｖ）は、Ｈ（ｕ，ｖ）の複素共役を示している。また、Ｓf（ｕ，ｖ）及びＳn（ｕ，ｖ）のそれぞれは、原画像及びノイズそれぞれのパワースペクトルを示している。
一方で、手術等のような医療の現場で使用されるカメラヘッドや内視鏡の鏡筒（例えば、硬性鏡や軟性鏡）のような医療機器は、使用される度にオートクレーブ（高圧蒸気）滅菌処理にかけられる。そのため、例えば、内視鏡に対してオートクレーブ滅菌処理が繰り返し施されることで、当該内視鏡の光学系（即ち、硬性鏡や軟性鏡）の光学特性、特に、複屈折マスクの光学特性が徐々に変化する場合がある。このような状況下では、複屈折マスクの光学特性（即ち、変化後の光学特性）と、画像信号処理が想定している光学特性と、の間に乖離が生じ、出力される画像の画質に影響を及ぼす場合がある。
具体的には、複屈折マスクの光学特性として、レタデーション（Retardation）と称される光の位相差を示すパラメータが挙げられる。レタデーションは、屈折率差Δｎ（＝ｎｅ－ｎｏ）と、複屈折物質の厚さｄと、の積Δｎｄで表される。オートクレーブ滅菌処理のような所謂オートクレーブ処理（高圧蒸気処理）が複屈折マスクに適用されることで、当該複屈折マスクの屈折率差Δｎの特性が変化する（即ち、屈折率差Δｎが減少する）ことが推定され得る。この屈折率差Δｎの値が減少することで、例えば、被写界深度の拡大に関する効果が薄れることとなる。
これに対して、上述のような複屈折マスクのレタデーションの変化が生じているにも関わらず、当該レタデーションの変化前と同様の画像処理（復元処理）が、当該複屈折マスクを利用して撮像された画像に適用されると、出力される画像の画質が所謂過強調となる可能性が高い。そのため、複屈折マスクのレタデーションの変化に応じて、画像処理の内容を適応的に切り替えることで、より好適な画質の画像を出力可能とすることが望ましい場合がある。
なお、複屈折マスクの光学特性（レタデーション）については、当該複屈折マスク単体であれば測定することが可能である。しかしながら、内視鏡の光学系（例えば、硬性鏡）やカメラヘッドの光学系等の一部として複屈折マスクが組み込まれている場合もあり、このような場合においては、複屈折マスク単体の光学特性を測定することは困難である。
さらに、カメラヘッド３２により撮像された画像を入力画像として、この入力画像に対する点像分布関数の測定結果に基づき取得したPSF情報に基づいて復元処理を施すことで、被写体像の画像の劣化（即ち、ボケ）を復元することができる。この復元処理としては、例えば、所謂デコンボリューション（deconvolution）と称される処理が挙げられる。より具体的な一例として、入力画像に対して取得したPSF情報の逆特性に基づく画像処理（例えば、フィルタ処理）を施すことで、このPSF情報が示す光学的特性に応じて生じる画像の劣化（ボケ）を復元する。もちろん、PSF情報に基づき、被写体像の画像の劣化を改善することが可能であれば、入力画像に対して施される復元処理は、必ずしもデコンボリューションのみには限定されず、例えば、機械学習などを利用した復元処理を採用してもよい。
ここで、機械学習による復元処理では、例えば、以下の学習処理を行うことにより画像の劣化を復元することができる。まず、復元前の画像と復元後の画像がペアとなった学習データを用意する。次に、この学習データを所定の学習モデルに入力して学習することで、復元前の画像から復元後の画像を推測するためのパラメータを生成する。そして、このパラメータを用いてチューニングされた復元画像生成用モデルに復元前の画像を入力することで、復元画像を生成する。なお、学習モデルおよび復元画像生成用モデルは多層ニューラルネットワークを用いた計算モデルであることが好ましく、多層ニューラルネットワークを用いた強化学習手法による計算モデルであることがより好ましい。
ところで、医療では特殊光観察による手術の需要が高まっており、通常光とは波長帯域が異なる特殊光を観察対象へ照射した場合には、EDOF光学系によるEDOF効果が、通常光を観察対象へ照射したときとは異なることがある。
例えば、特殊光としては、主にIR光を使用することが想定される。そして、IR光は、波長が通常光（可視光、白色光）よりも長いことより、IR光が複屈折マスクを透過する際の屈折効果が薄くなってしまい、被写界深度を拡大させる効果が低減することになる。従って、特殊光観察による画像に、可視光観察による画像と同等のEDOF信号処理（MTF復元処理）を行ったとしても、ノイズが増大してしまう効果のみが表れてしまい、被写界深度を拡大する効果が薄くなってしまう。
即ち、EDOF信号処理を行うことによって、本来、被写界深度が拡大するのとトレードオフとなって画像のノイズが増大したり、MTFの部分的な不安定さが生じることがある。従って、IR光を用いた特殊光観察では、このノイズの増大やMTFの不安定さが強調されるだけでなく、被写界深度を拡大させる効果が薄くなってしまう。また、特殊光観察では、可視光よりも復元度合いを弱めることになる。
そこで、本開示の医療用画像処理システム１１では、特殊光観察においても、より適切なEDOF効果を有する術野画像（EDOF信号処理）を提供することが可能な技術を提案する。例えば、医療用画像処理システム１１は、特殊光観察におけるEDOF信号処理を通常光観察よりも弱めることで、ノイズの低減を図ることができる。
図４を参照して、EDOF信号処理による復元度合いを弱めることの定義について説明する。
図４のＡには、EDOF信号処理による復元度合いが適正なときの変調伝達関数（ＭＴＦ）とデフォーカス量との関係が示されている。例えば、光学素子なしのときと、光学素子を設けてEDOF信号処理による復元処理を施したときとで、合焦位置における変調伝達関数（ＭＴＦ）が一致するような強調具合が適正であると考えられる。
図４のＢには、EDOF信号処理による復元度合いが弱めのときの変調伝達関数（ＭＴＦ）とデフォーカス量との関係が示されている。例えば、EDOF信号処理において強調を弱めるとは、光学素子なしのときと比較して、光学素子を設けてEDOF信号処理による復元処理を施したときの方が、合焦位置における変調伝達関数（ＭＴＦ）が小さくなることを許容することである。
図４のＣには、EDOF信号処理による復元度合いが強めのときの変調伝達関数（ＭＴＦ）とデフォーカス量との関係が示されている。例えば、EDOF信号処理において強調を強めるとは、光学素子なしのときと比較して、光学素子を設けてEDOF信号処理による復元処理を施したときの方が、合焦位置における変調伝達関数（ＭＴＦ）が大きくなることを許容することである。
なお、例えば、デコンボリューションフィルタなどのように変調伝達関数（ＭＴＦ）を補正するフィルタに関しては、様々な数式を適用することが考えられ、それらの係数を変化させることにより補正が可能となる。また、どの係数を変化（上げる／下げる）かは任意であり、例えば、EDOF信号処理を行わないときの合焦位置の変調伝達関数（ＭＴＦ）を基準として、相対的に変化させてもよい。
図５を参照して、EDOF信号処理による復元度合いと、画像に生じるノイズとのバランスについて説明する。
図５において、横軸は、復元処理の度合いを表している。横軸の中央（MTF曲線とノイズ曲線との交点）が適正なものとして、この適正な復元処理の度合いを基準として、左側に向かうに従って復元処理の度合いが弱くなり、右側に向かうに従って復元処理の度合いが強くなることを示している。
また、左側の縦軸は、合焦位置の変調伝達関数（ＭＴＦ）を示しており、MTF曲線が表すように、復元処理の度合いが強くなるのに応じて合焦位置の変調伝達関数（ＭＴＦ）は大きくなり、復元処理の強度が弱くなるのに応じて合焦位置の変調伝達関数（ＭＴＦ）は小さくなる。一方、右側の縦軸は、ノイズの少なさを示しており、ノイズ曲線が表すように、復元処理の度合いが強くなるのに応じてノイズは大きくなり、復元処理の度合いが弱くなるのに応じてノイズは小さくなる。
このように、復元処理の度合いの強弱に応じて合焦位置の変調伝達関数（ＭＴＦ）とノイズとの間には、トレードオフの関係がある。従って、復元処理の度合いを適正から弱めると、ノイズが小さくなる一方で、合焦位置の変調伝達関数（ＭＴＦ）も小さくってしまう。そこで、EDOF効果とノイズ強調のトレードオフの中で、それらのバランスを参照して、復元処理の度合いを弱める大きさを決定することができる。
例えば、復元処理の度合いを弱める大きさについては、あらかじめ想定されるユースケースにおいて、事前に、ノイズの減少割合との関係をテーブル化しておくことができる。そして、そのテーブルを参照することで、復元処理の度合いを弱める大きさを選択してもよい。
また、例えば、内視鏡１４により取得される画像からノイズ量を測定し、所望のノイズ量となるまで復元処理の度合いを弱めるようにしてもよい。例えば、図６に示すように、内視鏡１４により取得される画像において、被写体が写されていない黒画像領域（マスク領域、機械的なケラレ領域）の輝度変化からノイズ量を測定することができる。
その他、医療用画像処理システム１１では、撮像中の画像から明るさやエッジ強度、ノイズ量などを分析して、動的に復元度合いを切り替えてもよい。また、復元処理の度合いを弱める大きさについては、通常光画像に対する複合度合いから、EDOF信号処理をOFFにするまで選択することが可能である。
さらに、医療用画像処理システム１１では、復元度合いを弱めることで、よりボケのある画像になることから、これを補完する目的で、エッジ強調やコントラスト強調、ガンマ補正などのような、別の画像処理を組み合わせて適用することができる。このとき、通常光画像のエッジ情報を、特殊光撮像画像に適用してエッジを強調する画像処理を行ってもよい。
図７は、より低ノイズで特殊光観察を行うことを実現する信号処理装置２３の構成例を示すブロック図である。
図７に示すように、信号処理装置２３は、画像取得部５１、ノイズ量推定部５２、強調設定部５３、およびEDOF信号処理部５４を備えて構成される。
画像取得部５１は、光源装置２１により通常光が観察対象に照射されている期間に、カメラヘッド３２の撮像素子により撮像された通常光画像、および、光源装置２１により特殊光が観察対象に照射されている期間に、カメラヘッド３２の撮像素子により撮像された特殊光画像を取得する。
ノイズ量推定部５２は、画像取得部５１が取得した通常光画像において、図６に示したように、被写体が写されていない黒画像領域（マスク領域、機械的なケラレ領域）の輝度変化からノイズ量を推定する。
強調設定部５３は、ノイズ量推定部５２により推定されたノイズ量に従って、特殊光画像に対するEDOF信号処理における強調度合いを、EDOF信号処理部５４に対して設定する。例えば、強調設定部５３には、強調度合いを弱めるように設定するための所定の規定値が予め設定されている。そして、強調設定部５３は、ノイズ量が規定値以上である場合には弱い強調度合い（図４のＢ参照）でEDOF信号処理を行うようにEDOF信号処理部５４に対して設定する。一方、強調設定部５３は、ノイズ量が規定値未満である場合には適正な強調度合い（図４のＡ参照）でEDOF信号処理を行うようにEDOF信号処理部５４に対して設定する。例えば、強調設定部５３は、EDOF信号処理における強調度合いを調整するためのパラメータを、EDOF信号処理部５４に対して設定することができる。
EDOF信号処理部５４は、強調設定部５３による設定に従って、通常光画像および特殊光画像に対するEDOF信号処理を行う。そして、EDOF信号処理部５４によりEDOF信号処理が施された通常光画像および特殊光画像は、信号処理装置２３から出力されて、表示装置１２に表示される。
図８に示すフローチャートを参照して、信号処理装置２３が実行する信号処理について説明する。
例えば、カメラヘッド３２の撮像素子により通常光画像および特殊光画像が撮像されると処理が開始され、ステップＳ１１において、画像取得部５１は、カメラヘッド３２から供給される通常光画像および特殊光画像を取得する。そして、画像取得部５１は、通常光画像をノイズ量推定部５２に供給し、特殊光画像をEDOF信号処理部５４に供給する。
ステップＳ１２において、ノイズ量推定部５２は、ステップＳ１１で画像取得部５１から供給された通常光画像の黒画像領域（図６参照）の輝度変化から、その黒画像領域に発生しているノイズ量を推定する。そして、ノイズ量推定部５２は、推定したノイズ量を強調設定部５３に供給する。
ステップＳ１３において、強調設定部５３は、ステップＳ１２でノイズ量推定部５２から供給されたノイズ量が、予め設定されている所定の規定値以上であるか否かを判定する。
ステップＳ１３において、強調設定部５３が、ノイズ量が規定値以上であると判定した場合、処理はステップＳ１４に進む。
ステップＳ１４において、強調設定部５３は、特殊光画像に対するEDOF信号処理における強調度合いを弱めるように、EDOF信号処理部５４に対する設定を行う。
ステップＳ１４の処理後、または、ステップＳ１３においてノイズ量が規定値以上でない（規定値未満である）と判定された場合、処理はステップＳ１５に進む。
ステップＳ１５において、EDOF信号処理部５４は、ステップＳ１１で画像取得部５１から供給された特殊光画像に対するEDOF信号処理を行う。このとき、EDOF信号処理部５４は、ノイズ量が規定値以上である場合には弱い強調度合い（図４のＢ参照）でEDOF信号処理を行い、ノイズ量が規定値未満である場合には適正な強調度合い（図４のＡ参照）でEDOF信号処理を行う。
そして、ステップＳ１５の処理後、信号処理は終了される。
以上のように、信号処理装置２３は、通常光画像から推定されるノイズに応じて、特殊光画像に対するEDOF信号処理における強調度合いを弱めることができる。これにより、医療用画像処理システム１１は、より低ノイズで特殊光観察を行うことが可能となる。
次に、図９を参照して、フレームシーケンシャルに通常光画像および特殊光画像を取得するタイミングについて説明する。なお、図９では、通常光画像に対して強めのEDOF信号処理を施し、特殊光画像に対して弱めの特殊光画像を施す例が示されている。
図９に示すように、例えば、光源装置２１により１回ずつ通常光および特殊光を照射する期間を１セットとして、この１セットがフレームシーケンシャルに繰り返して行われる。
そして、ＣＣＵ２２は、通常光の照射期間中に撮像を行って通常光画像を取得するようにカメラヘッド３２の撮像素子に対する制御を行い、EDOF信号処理部５４は、通常光画像に対して強めのEDOF信号処理を施す。その後、ＣＣＵ２２は、特殊光の照射期間中に撮像を行って特殊光画像を取得するようにカメラヘッド３２の撮像素子に対する制御を行い、EDOF信号処理部５４は、通常光画像に対して弱めのEDOF信号処理を施す。
このように、医療用画像処理システム１１では、特殊光観察モードに切り替えられると、特殊光画像に対して行うEDOF信号処理による復元度合いを、通常光画像よりも弱くすることができる。
例えば、カメラヘッド３２内に１枚の撮像素子が設けられる構成では、通常光画像と通常光画像とを交互に取得する時分割（フレームシーケンシャル）で撮像することができる。この際、通常光と特殊光の波長が異なることによってフォーカス位置がずれるため、通常光画像および通常光画像のどちらにも、フォーカスを合わせ続けることは困難であると考えられる。そこで、医療用画像処理システム１１では、内視鏡手術における手技や状況判断に難があることを回避するために、通常光画像についてフォーカスを合わせることが好ましい。これに応じて、特殊光画像ではフォーカスがずれることになるが、EDOF効果は限定的になるため、EDOF信号処理による復元度合いをさらに弱めることで対応することができる。
なお、カメラヘッド３２内に２枚の撮像素子が設けられる構成では、それぞれの撮像素子において連続的に通常光画像および通常光画像を撮像することができる。
図１０には、通常光画像および特殊光画像に対するEDOF信号処理による復元度合いを設定する設定画面の一例が示されている。
図１０に示すように、設定画面６１に表示されるプレビュー画像６２の下方に、通常光画像および特殊光画像に対するEDOF信号処理による復元度合いを設定するユーザインタフェースとなるスライドバーが表示されている。
即ち、通常光画像のスライドバーについて、スライダ６３を左側に移動させると、通常光画像に対するEDOF信号処理による復元度合いが弱く設定され、スライダ６３を右側に移動させると、通常光画像に対するEDOF信号処理による復元度合いが強く設定される。同様に、特殊光画像のスライドバーについて、スライダ６４を左側に移動させると、特殊光画像に対するEDOF信号処理による復元度合いが弱く設定され、スライダ６４を右側に移動させると、特殊光画像に対するEDOF信号処理による復元度合いが強く設定される。
また、通常光画像の復元度合いが変更される場合には、それに連動して、特殊光画像の復元度合いも自動的に変更されるようにすることができる。例えば、特殊光画像は、通常光画像よりも復元度合いが常に弱くなるようにすることが好ましい。
なお、図１０に示すようなスライドバーの他、ボタンに対する操作によってEDOF信号処理による復元度合いを選択してもよく、各種のユーザインタフェースを採用することができる。例えば、ノイズ低減ボタンおよび被写界深度拡大ボタンを利用して、ノイズ低減ボタンを押すとEDOF信号処理を弱め、被写界深度拡大ボタンを押すとEDOF信号処理を強めてもよい。このとき、特殊光画像のEDOF信号処理が、通常光画像のEDOF信号処理よりも必ず弱くなるという関係性を維持したまま、ノイズ低減または被写界深度拡大を行うことが好ましい。
さらに、医療用画像処理システム１１は、特殊光画像に対する復元度合いを弱める前と、特殊光画像に対する復元度合いを弱めた後との２枚の特殊光画像を並べて表示し、どちらが所望であるかをユーザに選択させるような構成としてもよい。
＜コンピュータの構成例＞
次に、上述した一連の処理（信号処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すEDOF信号処理部と、
前記EDOF信号処理の復元度合いを前記EDOF信号処理部に対して設定する設定部と
を備え、
前記設定部は、通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
信号処理装置。
（２）
前記設定部は、前記通常光画像から推定されるノイズ量に基づいて、前記ノイズ量が所定の規定値以上である場合、前記特殊光画像に対する前記復元度合いを弱めるように前記復元度合い用のパラメータを設定する
上記（１）に記載の信号処理装置。
（３）
前記特殊光画像と前記通常光画像とが、フレームシーケンシャルに撮像される
上記（１）または（２）に記載の信号処理装置。
（４）
前記設定部は、所定のユーザインタフェースを利用して前記通常光画像に対する前記復元度合いが変更される場合、それに連動して常に前記特殊光画像に対する前記復元度合いが弱くなるように、前記通常光画像に対する前記復元度合い用のパラメータを設定する
上記（１）から（３）までのいずれかに記載の信号処理装置。
（５）
信号処理装置が、
特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すことと、
前記EDOF信号処理の復元度合いを設定することと
を含み、
通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
信号処理方法。
（６）
信号処理装置のコンピュータに、
特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すことと、
前記EDOF信号処理の復元度合いを設定することと
を含み、
通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
処理を実行させるためのプログラム。
（７）
観察対象に対して特殊光または通常光を照射する光源と、
前記特殊光または前記通常光が照射された前記観察対象を撮像する撮像部と、
前記撮像部に入射する光の光軸上に配置されるEDOF（Extended Depth of Field）光学系と、
前記撮像部により撮像された画像に対する信号処理を施す信号処理部と
を備え、
前記信号処理部は、
前記特殊光が照射された前記観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF信号処理を施すEDOF信号処理部と、
前記EDOF信号処理の復元度合いを前記EDOF信号処理部に対して設定する設定部と
を有し、
前記設定部は、前記通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
医療用画像処理システム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ 医療用画像処理システム， １２ 表示装置， １３ カート， １４ 内視鏡， ２１ 光源装置， ２２ ＣＣＵ， ２３ 信号処理装置， ３１ 鏡筒， ３２ カメラヘッド， ３３ 光学素子挿入部， ４１ 複屈折マスク， ４２ａ乃至４２ｃ 偏光素子， ５１ 画像取得部， ５２ ノイズ量推定部， ５３ 強調設定部， ５４ EDOF信号処理部

Claims (7)

  1. 特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すEDOF信号処理部と、
    前記EDOF信号処理の復元度合いを前記EDOF信号処理部に対して設定する設定部と
    を備え、
    前記設定部は、通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
    信号処理装置。
  2. 前記設定部は、前記通常光画像から推定されるノイズ量に基づいて、前記ノイズ量が所定の規定値以上である場合、前記特殊光画像に対する前記復元度合いを弱めるように前記復元度合い用のパラメータを設定する
    請求項１に記載の信号処理装置。
  3. 前記特殊光画像と前記通常光画像とが、フレームシーケンシャルに撮像される
    請求項１に記載の信号処理装置。
  4. 前記設定部は、所定のユーザインタフェースを利用して前記通常光画像に対する前記復元度合いが変更される場合、それに連動して常に前記特殊光画像に対する前記復元度合いが弱くなるように、前記通常光画像に対する前記復元度合い用のパラメータを設定する
    請求項１に記載の信号処理装置。
  5. 信号処理装置が、
    特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すことと、
    前記EDOF信号処理の復元度合いを設定することと
    を含み、
    通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
    信号処理方法。
  6. 信号処理装置のコンピュータに、
    特殊光が照射された観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF（Extended Depth of Field）信号処理を施すことと、
    前記EDOF信号処理の復元度合いを設定することと
    を含み、
    通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
    処理を実行させるためのプログラム。
  7. 観察対象に対して特殊光または通常光を照射する光源と、
    前記特殊光または前記通常光が照射された前記観察対象を撮像する撮像部と、
    前記撮像部に入射する光の光軸上に配置されるEDOF（Extended Depth of Field）光学系と、
    前記撮像部により撮像された画像に対する信号処理を施す信号処理部と
    を備え、
    前記信号処理部は、
    前記特殊光が照射された前記観察対象を撮像して取得された特殊光画像に対して、復元処理としてEDOF信号処理を施すEDOF信号処理部と、
    前記EDOF信号処理の復元度合いを前記EDOF信号処理部に対して設定する設定部と
    を有し、
    前記設定部は、前記通常光が照射された前記観察対象を撮像して取得された通常光画像に対する復元処理としてのEDOF信号処理における復元度合いよりも、前記特殊光画像に対する前記EDOF信号処理における前記復元度合いを弱めるように、前記特殊光画像に対する前記EDOF信号処理における前記復元度合い用のパラメータを設定する
    医療用画像処理システム。
JP2021509381A 2019-03-28 2020-03-23 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム Active JP7476883B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019063268 2019-03-28
JP2019063268 2019-03-28
PCT/JP2020/012675 WO2020196387A1 (ja) 2019-03-28 2020-03-23 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2020196387A1 JPWO2020196387A1 (ja) 2020-10-01
JP7476883B2 true JP7476883B2 (ja) 2024-05-01

Family

ID=72610996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021509381A Active JP7476883B2 (ja) 2019-03-28 2020-03-23 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム

Country Status (5)

Country Link
US (1) US20220151466A1 (ja)
EP (1) EP3925510A4 (ja)
JP (1) JP7476883B2 (ja)
CN (1) CN113645890A (ja)
WO (1) WO2020196387A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158764A (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
US20190045170A1 (en) 2016-02-24 2019-02-07 Sony Corporation Medical image processing device, system, method, and program
WO2019044328A1 (ja) 2017-08-31 2019-03-07 ソニー株式会社 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005127A (ja) * 1998-01-23 2000-01-11 Olympus Optical Co Ltd 内視鏡システム
JP3791777B2 (ja) * 2001-12-28 2006-06-28 オリンパス株式会社 電子内視鏡
JP4054222B2 (ja) * 2002-06-05 2008-02-27 オリンパス株式会社 内視鏡装置用光源装置
JP4813448B2 (ja) * 2007-11-16 2011-11-09 富士フイルム株式会社 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器
JP5851649B2 (ja) * 2013-03-04 2016-02-03 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190045170A1 (en) 2016-02-24 2019-02-07 Sony Corporation Medical image processing device, system, method, and program
JP2017158764A (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
WO2019044328A1 (ja) 2017-08-31 2019-03-07 ソニー株式会社 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法

Also Published As

Publication number Publication date
JPWO2020196387A1 (ja) 2020-10-01
US20220151466A1 (en) 2022-05-19
EP3925510A1 (en) 2021-12-22
EP3925510A4 (en) 2022-04-13
CN113645890A (zh) 2021-11-12
WO2020196387A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US11154179B2 (en) Medical image processing apparatus, medical image processing system, and driving method of medical image processing apparatus
CN108697308B (zh) 图像处理装置、图像处理方法和记录介质
JP5657375B2 (ja) 内視鏡装置及びプログラム
EP2967291B1 (en) Noise aware edge enhancement
JP5562808B2 (ja) 内視鏡装置及びプログラム
EP2764819A1 (en) Image processing device, endoscopic device, image processing method and image processing program
JP6794747B2 (ja) 医療用画像処理システム、および医療用画像処理システムの作動方法
JP2019162280A (ja) 内視鏡システム、制御方法、情報処理装置、およびプログラム
WO2011099239A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP2011135563A (ja) 撮像装置および画像処理方法
JP2013020610A (ja) 画像処理装置、画像処理方法及びプログラム
CN110062596B (zh) 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
JP2011159159A (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
US20170132824A1 (en) Image processing device, image processing method, image processing program, and imaging system
JP2019138982A (ja) 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP7476883B2 (ja) 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム
US8922677B2 (en) Image processing apparatus and imaging apparatus for combining image frames
JP2012065114A (ja) 撮像装置、撮像方法及びプログラム
JP6977773B2 (ja) シーンの画像の撮影
WO2020196027A1 (ja) 光学系、内視鏡、および医療用画像処理システム
WO2021020132A1 (ja) 内視鏡手術システム、画像処理装置、および画像処理方法
WO2022209218A1 (ja) 医療撮像システム、医療撮像装置、および制御方法
JP2020141226A (ja) 画像処理装置、画像処理方法、及びプログラム
JP3140813B2 (ja) 内視鏡テレビシステム
EP3150107A1 (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7476883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150