JP7171274B2 - 医療用画像処理装置及び医療用観察装置 - Google Patents
医療用画像処理装置及び医療用観察装置 Download PDFInfo
- Publication number
- JP7171274B2 JP7171274B2 JP2018128862A JP2018128862A JP7171274B2 JP 7171274 B2 JP7171274 B2 JP 7171274B2 JP 2018128862 A JP2018128862 A JP 2018128862A JP 2018128862 A JP2018128862 A JP 2018128862A JP 7171274 B2 JP7171274 B2 JP 7171274B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- region
- unit
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/053—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion being detachable
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Description
特許文献1に記載の医療用画像処理装置は、撮像画像を取得する。当該撮像画像は、生体内に挿入される内視鏡にて取り込まれた被写体像を含む。ここで、内視鏡にて取り込まれた光(被写体像)は、断面略円形である。このため、撮像画像内の被写体像は、略円形となる。すなわち、撮像画像は、被写体像と、当該被写体像以外のマスク領域とを含む。そして、当該医療用画像処理装置は、取得した撮像画像を輝度画像に変換し、当該輝度画像内の輝度分布を利用して、マスク領域を特定する。
一方、マスク領域を特定する際での被写体を上記の被写体以外とした場合には、撮像画像に含まれる被写体像の輝度値のバラつきが大きいものとなる。このため、撮像画像内の輝度分布を利用して、マスク領域を精度良く特定することが難しい、という問題がある。
そこで、マスク領域を容易かつ高精度に特定することができる技術が要望されている。
図1は、本実施の形態に係る医療用観察装置1の構成を示す図である。
医療用観察装置1は、医療分野において用いられ、生体内を観察する装置である。この医療用観察装置1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。なお、本実施の形態では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9内部に設けられた構成を採用しても構わない。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、挿入部2内の光学系により集光される。
なお、カメラヘッド5の詳細な構成については、後述する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、レンズ駆動部52と、レンズ位置検出部53と、撮像部54と、通信部55とを備える。
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)が設けられている。
レンズ位置検出部53は、フォトインタラプタ等の位置センサを用いて構成され、フォーカスレンズ511のレンズ位置(以下、フォーカス位置と記載)を検出する。そして、レンズ位置検出部53は、第1伝送ケーブル6を介して、フォーカス位置に応じた検出信号を制御装置9に出力する。
撮像素子541は、挿入部2にて集光され、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
ここで、撮像素子541の撮像面(受光面)には、透過させる光(R(赤),G(緑),B(青))の波長帯域に応じてグループ分けされた3つのフィルタ群が所定の形式(例えば、ベイヤ配列)で配列されたカラーフィルタ541a(図2)が設けられている。
具体的に、カラーフィルタ541aは、Rの波長帯域の光を透過させるRフィルタ群と、Bの波長帯域の光を透過させるBフィルタ群と、Gの波長帯域の光を透過させる第1Gフィルタ群(Rフィルタ群と同一の列に配列)と、Gの波長帯域の光を透過させる第2Gフィルタ群(Bフィルタ群と同一の列に配列)とを有する。なお、以下では、説明の便宜上、第1,第2Gフィルタ群を纏めてGフィルタ群と記載する。
すなわち、撮像素子541からの電気信号(アナログ信号)は、画素毎に、R,G,Bの各フィルタ群に対応するR,G,Bのいずれかの成分情報(画素値)を含む。
例えば、信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
次に、制御装置9の構成について図2を参照しながら説明する。
制御装置9は、図2に示すように、通信部91と、画像処理部92と、表示制御部93と、制御部94と、入力部95と、出力部96と、記憶部97とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
画像処理部92は、制御部94による制御の下、カメラヘッド5(通信部55)から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))を処理する。この画像処理部92は、図3に示すように、画像メモリ921と、動き量算出部922と、領域特定部923と、欠陥補正処理部924と、信号補正部925と、NR処理部926と、検波処理部927とを備える。
画像メモリ921は、カメラヘッド5から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))をフレーム毎に、所定数のフレーム分だけ、順次、記憶する。すなわち、画像メモリ921に記憶された所定数のフレーム分の画像信号(所定数のフレーム分の撮像画像)は、カメラヘッド5にて新たに撮像された撮像画像に順次、書き換えられる。
具体的に、動き量算出部922は、直前撮像画像CIB(図5)における全画素のうち、注目画素PI(図5)を選定する。また、動き量算出部922は、当該注目画素PIと、当該注目画素PIの周囲に位置する複数の周囲画素PS(図5)とを含む画素群Gr(図5)を選定する。なお、図5の例では、周囲画素PSの数を8個(画素群Grの数を3×3の9個)としているが、その数は、8個に限らず、その他の数(例えば、周囲画素PSの数を24個(画素群Grの数を5×5の25個))としても構わない。
動き量算出部922は、直前撮像画像CIBにおける全画素について注目画素PIを変更しながらそれぞれ上述した処理を順次、実行することで、図6に示すように、現撮像画像CICにおける画素(注目画素PI´)毎の動きベクトルBを算出する。図6では、動きベクトルBの方向(動きの方向)を矢印で示し、当該動きベクトルBの大きさ(動き量)を矢印の長さで表現している。点で示した動きベクトルBは、動き量が0であることを示している。
なお、動き量算出処理としては、上述したブロックマッチング法に限らず、その他の方法(例えば、勾配法)を用いても構わない。
また、例えば、対象画素TPGがカラーフィルタ541aにおけるGフィルタ群に対応した画素である場合を想定する。この場合には、欠陥補正処理部924は、図7に矢印で示すように、Gフィルタ群に対応した画素のうち、対象画素TPRに近接した4個の周辺画素TPG´におけるGの成分情報(画素値)の平均値を当該対象画素TPGの画素値とする欠陥補正処理を実行する。
さらに、例えば、対象画素TPBがカラーフィルタ541aにおけるBフィルタ群に対応した画素である場合を想定する。この場合には、欠陥補正処理部924は、図7に矢印で示すように、Bフィルタ群に対応した画素のうち、対象画素TPBに近接した4個の周辺画素TPB´におけるBの成分情報(画素値)の平均値を当該対象画素TPBの画素値とする欠陥補正処理を実行する。
レンズ制御部941は、レンズ駆動部52を動作させ、レンズユニット51の焦点を調整(フォーカス位置を変更)する。
例えば、レンズ制御部941は、検波処理部927から出力された検波情報(コントラストや周波数成分)に基づいて、現撮像画像CICに含まれる被写体像SIの合焦状態を評価するための合焦評価値を算出する。ここで、レンズ制御部941は、検波処理部927にて検出されたコントラストや、検波処理部927にて検出された周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。そして、レンズ制御部941は、レンズ位置検出部53にて検出されたフォーカス位置と、当該合焦評価値とに基づいて、山登り法等により被写体像SIが合焦状態となるフォーカス位置にフォーカスレンズ511を位置付けるAF処理を実行する。
なお、当該AF処理は、常時、実行する所謂、コンティニュアスAFを採用してもよく、あるいは、カメラヘッド5等に設けられた操作ボタン(図示略)の操作に応じて実行する所謂、ワンタッチAFを採用しても構わない。
本実施の形態では、パラメータ算出部942は、検波処理部927から出力された検波情報(輝度平均値)に基づいて、撮像素子541における各画素の露光時間、信号処理部542にて乗算されるアナログゲイン、信号補正部925にて乗算されるデジタルゲイン、及び光源装置3から挿入部2に供給される光の光量の4つの明るさパラメータをそれぞれ算出する。
具体的に、明るさ制御部943は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、撮像素子541の各画素の露光時間をパラメータ算出部942にて算出された露光時間(明るさパラメータ)とする。また、明るさ制御部943は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、信号処理部542にて乗算されるアナログゲインをパラメータ算出部942にて算出されたアナログゲイン(明るさパラメータ)とする。さらに、明るさ制御部943は、信号補正部925に制御信号を出力し、当該信号補正部925にて乗算されるデジタルゲインをパラメータ算出部942にて算出されたデジタルゲイン(明るさパラメータ)とする。また、明るさ制御部943は、第3伝送ケーブル10を介して光源装置3に制御信号を出力し、当該光源装置3から挿入部2に供給される光の句量をパラメータ算出部942にて算出された光量(明るさパラメータ)とする。
以上のように明るさ制御部943にて撮像素子541、信号処理部542、信号補正部925、及び光源装置3の動作が制御されることで、現撮像画像CICの明るさは、基準となる明るさに変更される。
出力部96は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部97は、制御部94が実行するプログラムや、制御部94の処理に必要な情報等を記憶する。
次に、上述した制御装置9の動作について説明する。
図8は、制御装置9の動作を示すフローチャートである。図9は、制御装置9の動作を説明する図である。具体的に、図9は、図4に対応した図であって、現撮像画像CICをそれぞれ示している。
なお、以下では、説明の便宜上、動き量算出処理、領域特定処理、及び欠陥補正処理について説明する。また、動き量算出処理及び欠陥補正処理の具体例については、既に説明しているため、以下では、領域特定処理について主に説明する。
ステップS1の後、領域特定部923は、現撮像画像CICにおける全画素のうち、領域の特定対象となる一つの注目画素PI´について、ステップS1で算出された当該注目画素PI´の動き量が特定の第1閾値以下であるか否かを判定する(ステップS2)。
注目画素PI´の動き量が第1閾値を超えると判定された場合(ステップS2:No)には、制御装置9は、ステップS12に移行する。
一方、注目画素PI´の動き量が第1閾値以下であると判定した場合(ステップS2:Yes)には、領域特定部923は、当該注目画素PI´の周囲に位置する全て(図5の例では8個)の周囲画素PS´について、ステップS1で算出された当該全ての周囲画素PS´の動き量が第1閾値以下であるか否かを判定する(ステップS3)。当該第1閾値は、本発明に係る第1閾値に相当するとともに、第3閾値に相当する。
一方、全ての周囲画素PS´の動き量が第1閾値以下であると判定した場合(ステップS3:Yes)には、領域特定部923は、注目画素PI´の画素レベルが特定の第2閾値以下であるか否かを判定する(ステップS4)。当該第2閾値は、本発明に係る第2閾値の他、第5閾値に相当する。
一方、注目画素PI´の画素レベルが第2閾値を超えると判定した場合(ステップS4:No)には、領域特定部923は、当該注目画素PI´を白傷欠陥領域WAに含まれる画素と判定する(ステップS6)。この後、制御装置9は、ステップS12に移行する。
割合が第4閾値未満であると判定された場合(ステップS7:No)には、領域特定部923は、注目画素PI´を境界領域MA2に含まれる画素と判定する(ステップS8)。この後、制御装置9は、ステップS12に移行する。
一方、割合が第4閾値以上であると判定した場合(ステップS7:Yes)には、領域特定部923は、ステップS4と同様に、注目画素PI´の画素レベルが第2閾値以下であるか否かを判定する(ステップS9)。当該第2閾値は、本発明に係る第2,第5閾値の他、第6閾値に相当する。
一方、注目画素PI´の画素レベルが第2閾値を超えると判定した場合(ステップS9:No)には、領域特定部923は、ステップS6と同様に、当該注目画素PI´を白傷欠陥領域WAに含まれる画素と判定する(ステップS11)。この後、制御装置9は、ステップS12に移行する。
全ての画素で実施していないと判定した場合(ステップS12:No)には、領域特定部923は、注目画素PI´を変更するとともに、ステップS2に戻る。
一方、全ての画素で実施したと判定した場合(ステップS12:Yes)には、領域特定部923は、ステップS5,S6,S8,S10,S11の判定結果を踏まえ、図9に示すように、現撮像画像CICのマスク領域MA、白傷欠陥領域WA、及び黒傷欠陥領域BAを特定する(ステップS13)。なお、マスク領域MAは、上述したように、マスク内側領域MA1と境界領域MA2とから構成される。また、マスク領域MA、白傷欠陥領域WA、及び黒傷欠陥領域BAで構成される領域は、本発明に係るマスク候補領域に相当する。
本発明は、マスク領域MAが挿入部2に起因して生じる領域であることから、挿入部2を動かした場合であっても、現撮像画像CICにおいて、被写体像SIに動きがあるが当該マスク領域MAには全く動きがない点に着目した発明である。そして、本実施の形態に係る制御装置9では、現撮像画像CICにおける全領域のうち動き量が第1閾値以下となるマスク候補領域内から、当該現撮像画像CICに含まれるマスク領域MAを特定する。すなわち、動き量に基づいてマスク領域MAを特定することができるため、挿入部2の先端にガーゼ等の白色の被写体を被せる必要がない。また、全く動きのない領域をマスク領域MAとして特定すればよいため、当該マスク領域MAを高精度に特定することができる。したがって、本実施の形態に係る制御装置9によれば、マスク領域MAを容易かつ高精度に特定することができる。
そして、本実施の形態に係る制御装置9では、以上の関係に着目し、ステップS2,S3,S7を実行している。このため、境界領域MA2と被写体像SIの領域とを明確に切り分けることができる。
特に、本実施の形態に係る制御装置9では、ステップS14において、被写体像SIの領域に含まれる黒傷欠陥のみを補正する。このため、マスク領域MAに含まれる黒傷欠陥をも補正する構成と比較して、欠陥補正処理を実行する領域が少なくなるため、欠陥補正処理部924の処理負荷を軽減することができる。
このため、マスク領域MAを含まない最大限に広い検波領域(被写体像SIの略全領域)で検波処理を実行することができる。すなわち、当該検波処理で得られた検波情報に基づく処理(例えば、AF処理や明るさパラメータの算出処理等)を精度良く実行することができる。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
図10は、本実施の形態の変形例を示す図である。
上述した実施の形態において、領域特定処理は、図8に示したフローに限らず、矛盾のない範囲で処理順序を変更しても構わない。
例えば、図10に示したフローを採用しても構わない。具体的に、図10に示したフローでは、図8に示したフローに対して、ステップS9,S11を省略するとともに、ステップS3とステップS4との順序を逆にしている。
上述した実施の形態では、本発明に係る動き量をブロックマッチング法や勾配法により算出していたが、これに限らない。
例えば、本発明に係る第1,第2画像を対応する画素同士で画素レベルを比較する。そして、当該画素レベルの変化量を本発明に係る動き量として算出しても構わない。この際、画素毎に動き量を算出する構成に限らず、複数の画素を含む画素群(領域)毎に動き量を算出しても構わない。上述した実施の形態でも同様である。
上述した実施の形態では、撮像素子541には、カラーフィルタ541aが設けられていたが、これに限らない。例えば、撮像素子541として、カラーフィルタ541aが設けられていない所謂、モノクロセンサで構成しても構わない。また、R用の撮像素子、G用の撮像素子、及びB用の撮像素子の三板で構成しても構わない。
上述した実施の形態において、カメラヘッド5の一部の構成や制御装置9の一部の構成を例えばコネクタCN1やコネクタCN2に設けても構わない。
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
21 接眼部
51 レンズユニット
52 レンズ駆動部
53 レンズ位置検出部
54 撮像部
55 通信部
91 通信部
92 画像処理部
93 表示制御部
94 制御部
95 入力部
96 出力部
97 記憶部
511 フォーカスレンズ
521 モータ
522 ドライバ
541 撮像素子
541a カラーフィルタ
542 信号処理部
921 画像メモリ
922 動き量算出部
923 領域特定部
924 欠陥補正処理部
925 信号補正部
926 NR処理部
927 検波処理部
941 レンズ制御部
942 パラメータ算出部
943 明るさ制御部
B 動きベクトル
BA 黒傷欠陥領域
CI1~CI4 撮像画像
CIB 直前撮像画像
CIC 現撮像画像
CN1,CN2 コネクタ
Gr,Gr´ 画素群
MA マスク領域
MA1 マスク内側領域
MA2 境界領域
PI,PI´ 注目画素
PS,PS´ 周囲画素
t 矢印
TPR,TPG,TPB 対象画素
TPR´,TPG´,TPB´ 周辺画素
WA 白傷欠陥領域
Claims (11)
- 内視鏡にて取り込まれた被写体像を撮像した第1画像と、当該第1画像に対して時系列的に異なるタイミングで当該被写体像を撮像した第2画像とを比較し、当該第1画像における複数の領域毎に当該第2画像に対する動き量を算出する動き量算出部と、
前記第1画像のうち前記動き量が特定の第1閾値以下となるマスク候補領域内から、当該第1画像に含まれる前記被写体像以外のマスク領域を特定する領域特定部とを備え、
前記領域特定部は、
前記第1画像のうち、前記マスク候補領域であり、かつ、画素レベルが特定の第2閾値を超える画素からなる領域を白傷欠陥領域として特定する
ことを特徴とする医療用画像処理装置。 - 前記白傷欠陥領域に対して白傷欠陥を補正する白傷欠陥補正を実行する欠陥補正処理部をさらに備える
ことを特徴とする請求項1に記載の医療用画像処理装置。 - 前記マスク領域を黒で塗り潰す電子マスク処理を実行する信号補正部をさらに備え、
前記欠陥補正処理部は、
前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域に含まれる前記白傷欠陥領域に対して前記白傷欠陥補正を実行する
ことを特徴とする請求項2に記載の医療用画像処理装置。 - 前記領域特定部は、
前記第1画像における領域の特定対象となる画素を注目画素とし、当該注目画素の周囲に位置する画素を周囲画素とした場合に、前記第1画像のうち、前記マスク候補領域であるとともに、一部の前記周囲画素の前記動き量が特定の第3閾値を超える前記注目画素からなり、かつ、全ての前記周囲画素の数に対する前記動き量が前記第3閾値を超える前記周囲画素の数の割合が特定の第4閾値未満となる前記注目画素からなる領域を前記被写体像と前記マスク領域との境界に位置する境界領域として特定する
ことを特徴とする請求項1に記載の医療用画像処理装置。 - 前記領域特定部は、
前記第1画像のうち、前記マスク候補領域であるとともに、全ての前記周囲画素の前記動き量が前記第3閾値以下となる前記注目画素からなり、かつ、画素レベルが特定の第5閾値以下となる前記注目画素からなる領域と、前記境界領域とを、前記マスク領域として特定する
ことを特徴とする請求項4に記載の医療用画像処理装置。 - 前記領域特定部は、
前記第1画像のうち、前記マスク候補領域であるとともに、全ての前記周囲画素の数に対する前記動き量が前記第3閾値を超える前記周囲画素の数の割合が前記第4閾値以上となる前記注目画素からなり、かつ、画素レベルが特定の第6閾値以下となる前記注目画素からなる領域を黒傷欠陥領域として特定する
ことを特徴とする請求項4に記載の医療用画像処理装置。 - 前記黒傷欠陥領域に対して黒傷欠陥を補正する黒傷欠陥補正を実行する欠陥補正処理部をさらに備える
ことを特徴とする請求項6に記載の医療用画像処理装置。 - 前記欠陥補正処理部は、
前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域に含まれる前記黒傷欠陥領域に対して前記黒傷欠陥補正を実行する
ことを特徴とする請求項7に記載の医療用画像処理装置。 - 前記第1画像における明るさの変更に用いられる明るさパラメータを算出するための検波処理を実行する検波処理部をさらに備え、
前記検波処理部は、
前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域内の画素毎の輝度信号に基づいて、前記検波処理を実行する
ことを特徴とする請求項1に記載の医療用画像処理装置。 - 前記被写体像を撮像して前記第1画像及び前記第2画像を生成する撮像装置を制御するための検波処理を実行する検波処理部をさらに備え、
前記検波処理部は、
前記第1画像のうち、前記領域特定部にて特定された前記マスク領域以外の領域内の画素毎の輝度信号に基づいて、前記検波処理を実行する
ことを特徴とする請求項1に記載の医療用画像処理装置。 - 被検体内に挿入される内視鏡と、
前記内視鏡の接眼部に着脱自在に接続され、当該内視鏡にて取り込まれた被写体像を撮像する撮像装置と、
前記撮像装置にて撮像された画像を処理する請求項1~10のいずれか一つに記載の医療用画像処理装置とを備える
ことを特徴とする医療用観察装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018128862A JP7171274B2 (ja) | 2018-07-06 | 2018-07-06 | 医療用画像処理装置及び医療用観察装置 |
US16/455,773 US11033174B2 (en) | 2018-07-06 | 2019-06-28 | Medical image processing device and medical observation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018128862A JP7171274B2 (ja) | 2018-07-06 | 2018-07-06 | 医療用画像処理装置及び医療用観察装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020005844A JP2020005844A (ja) | 2020-01-16 |
JP7171274B2 true JP7171274B2 (ja) | 2022-11-15 |
Family
ID=69101726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018128862A Active JP7171274B2 (ja) | 2018-07-06 | 2018-07-06 | 医療用画像処理装置及び医療用観察装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11033174B2 (ja) |
JP (1) | JP7171274B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7171274B2 (ja) * | 2018-07-06 | 2022-11-15 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察装置 |
JP7454409B2 (ja) | 2020-03-03 | 2024-03-22 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用制御装置の制御方法 |
US20210290037A1 (en) * | 2020-03-17 | 2021-09-23 | Sony Olympus Medical Solutions Inc. | Medical image processing apparatus and medical observation system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006013609A (ja) | 2004-06-22 | 2006-01-12 | Sharp Corp | 多視点立体画像撮影装置 |
WO2006101128A1 (ja) | 2005-03-22 | 2006-09-28 | Olympus Corporation | 画像処理装置及び内視鏡装置 |
JP2015156938A (ja) | 2014-02-24 | 2015-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5131382A (en) * | 1989-03-27 | 1992-07-21 | Meyer William F | Endoscopic percutaneous discectomy device |
US5928137A (en) * | 1996-05-03 | 1999-07-27 | Green; Philip S. | System and method for endoscopic imaging and endosurgery |
JP4564239B2 (ja) * | 2003-04-11 | 2010-10-20 | オリンパス株式会社 | 内視鏡装置 |
WO2004104921A2 (en) * | 2003-05-16 | 2004-12-02 | Andrew Odlivak | System and method for automatic processing of endoscopic images |
US7303528B2 (en) * | 2004-05-18 | 2007-12-04 | Scimed Life Systems, Inc. | Serialization of single use endoscopes |
US8672836B2 (en) * | 2007-01-31 | 2014-03-18 | The Penn State Research Foundation | Method and apparatus for continuous guidance of endoscopy |
US8784301B2 (en) * | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
US8942530B2 (en) * | 2011-09-20 | 2015-01-27 | San Marino Capital, Inc. | Endoscope connector method and apparatus |
GB201120628D0 (en) * | 2011-11-30 | 2012-01-11 | Laryngeal Mask Company The Ltd | Endoscopy device |
WO2013111684A1 (ja) * | 2012-01-26 | 2013-08-01 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
JP2015156937A (ja) | 2014-02-24 | 2015-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
JP6779089B2 (ja) * | 2016-10-05 | 2020-11-04 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの駆動方法 |
JP7171274B2 (ja) * | 2018-07-06 | 2022-11-15 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察装置 |
-
2018
- 2018-07-06 JP JP2018128862A patent/JP7171274B2/ja active Active
-
2019
- 2019-06-28 US US16/455,773 patent/US11033174B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006013609A (ja) | 2004-06-22 | 2006-01-12 | Sharp Corp | 多視点立体画像撮影装置 |
WO2006101128A1 (ja) | 2005-03-22 | 2006-09-28 | Olympus Corporation | 画像処理装置及び内視鏡装置 |
JP2015156938A (ja) | 2014-02-24 | 2015-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US11033174B2 (en) | 2021-06-15 |
JP2020005844A (ja) | 2020-01-16 |
US20200008650A1 (en) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6996901B2 (ja) | 内視鏡システム | |
JP6247425B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP7171274B2 (ja) | 医療用画像処理装置及び医療用観察装置 | |
US20180242827A1 (en) | Medical imaging apparatus and medical observation system | |
JP2019087794A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6873740B2 (ja) | 内視鏡装置及びエッジ検出方法 | |
JP7016681B2 (ja) | 内視鏡システム | |
US20210281731A1 (en) | Medical control apparatus and method of controlling medical control apparatus | |
JP2018138141A (ja) | 内視鏡装置 | |
JP6430880B2 (ja) | 内視鏡システム、及び、内視鏡システムの作動方法 | |
JP6240813B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5614256B2 (ja) | 撮像装置、画像処理装置および撮像方法 | |
JP2009273691A (ja) | 内視鏡画像処理装置および方法 | |
US10531029B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium for correcting pixel value of pixel-of-interest based on correction amount calculated | |
JP2011182336A (ja) | 撮像装置及びその制御方法 | |
JP2015152742A (ja) | 撮像装置及びその制御方法 | |
US11122225B2 (en) | Medical image processing apparatus and medical observation system | |
US10778948B2 (en) | Imaging apparatus and endoscope apparatus | |
US10893186B2 (en) | Medical imaging apparatus and medical observation system | |
JP2014033305A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US11771308B2 (en) | Medical control device and medical observation system | |
JP2015152830A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US20240087090A1 (en) | Processor for electronic endoscope and electronic endoscopic system | |
JP2004258360A (ja) | 自動焦点調節装置 | |
JP2020096249A (ja) | 撮像制御装置、撮像装置及び撮像制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7171274 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |