JP6873740B2 - 内視鏡装置及びエッジ検出方法 - Google Patents
内視鏡装置及びエッジ検出方法 Download PDFInfo
- Publication number
- JP6873740B2 JP6873740B2 JP2017033937A JP2017033937A JP6873740B2 JP 6873740 B2 JP6873740 B2 JP 6873740B2 JP 2017033937 A JP2017033937 A JP 2017033937A JP 2017033937 A JP2017033937 A JP 2017033937A JP 6873740 B2 JP6873740 B2 JP 6873740B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pixel
- image
- luminance
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00105—Constructional details of the endoscope body characterised by modular construction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
- A61B1/0019—Optical arrangements with focusing or zooming features characterised by variable lenses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00195—Optical arrangements with eyepieces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/053—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion being detachable
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
Description
特許文献1に記載の画像処理装置は、生体内に挿入される内視鏡にて取り込まれた被写体像を含む撮像画像を取得する。ここで、内視鏡にて取り込まれた光(被写体像)は、断面略円形である。このため、撮像画像内の被写体像は、略円形となる。すなわち、撮像画像は、被写体像と、当該被写体像以外のマスク領域とを含む。そして、当該画像処理装置は、取得した撮像画像を輝度画像に変換し、当該輝度画像内の輝度分布を利用して、被写体像とマスク領域との境界点を検出する。
一方、被写体像とマスク領域との境界点を検出する際での被写体を上記の被写体以外とした場合には、撮像画像に含まれる被写体像の輝度値のバラつきが大きいものとなる。このため、撮像画像内の輝度分布を利用して、被写体像とマスク領域との境界点を精度良く検出することが難しい。
特許文献1に記載の技術では、被写体像とマスク領域との境界点を検出する際での被写体を特定していない。このため、被写体像とマスク領域との境界点を精度良く検出することが難しい、という問題がある。
図1は、本実施の形態に係る内視鏡装置1の概略構成を示す図である。
内視鏡装置1は、医療分野において用いられ、生体内を観察する装置である。この内視鏡装置1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、挿入部2内の光学系により集光される。
なお、カメラヘッド5の詳細な構成については、後述する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、レンズ駆動部52と、レンズ位置検出部53と、撮像部54と、通信部55とを備える。
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
ズームレンズ512は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、画角を調整する。
また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)やズームレンズ512を光軸に沿って移動させる光学ズーム機構(図示略)が設けられている。
レンズ駆動部52は、図2に示すように、上述したフォーカス機構や光学ズーム機構を動作させるモータ521と、当該モータ521を駆動するドライバ522とを備える。そして、レンズ駆動部52は、制御装置9による制御の下、レンズユニット51の焦点や画角を調整する。
撮像素子541は、挿入部2にて集光され、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して信号処理を行って画像信号(RAW信号(デジタル信号))を出力する。
例えば、信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
次に、制御装置9の構成について図2を参照しながら説明する。
制御装置9は、図2に示すように、通信部91と、画像処理部92と、検波処理部93と、エッジ処理部94と、表示制御部95と、制御部96と、入力部97と、出力部98と、記憶部99とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
例えば、画像処理部92は、画像信号(RAW信号(デジタル信号))に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。また、画像処理部92は、デジタルゲインを乗算した後の画像信号(RAW信号(デジタル信号))に対してオプティカルブラック減算処理、デモザイク処理等のRAW処理を施し、当該RAW信号(画像信号)をRGB信号(画像信号)に変換する。さらに、画像処理部92は、当該RGB信号(画像信号)に対して、RGB値にそれぞれゲインを乗算するホワイトバランス調整処理、RGBガンマ補正、及びYC変換(RGB信号を輝度信号及び色差信号(Y,CB/CR信号)に変換)等のRGB処理を施す。また、画像処理部92は、当該Y,CB/CR信号(画像信号)に対して、色差補正及びノイズリダクション等のYC処理を実行する。
例えば、検波処理部93は、撮像素子541にて撮像された1フレームの撮像画像全体における所定の領域(以下、検波領域と記載)の画素毎の画素情報(輝度信号(Y信号)に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出を実行する。そして、検波処理部93は、当該検出により得られた検波情報(コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等)を制御部96に出力する。
エッジ処理部94は、画像処理部92にて処理された画像信号(Y,CB/CR信号)を構成する輝度信号(Y信号)に基づいて、マスクエッジ検出処理、及び第1,第2判定処理を実行する。このエッジ処理部94は、図3に示すように、エッジ検出部941と、抽出部942と、処理可否判定部943と、画素位置認識部944と、変化判定部945とを備える。
図4は、マスクエッジ検出処理を説明する図である。具体的に、図4(a)は、撮像素子541にて撮像された撮像画像CIの一例を示す図である。図4(b)は、図4(a)に示した撮像画像CI中の水平ラインL5での輝度値の分布を示す図である。
ここで、生体内で反射され、挿入部2内に集光された光(被写体像)は、断面略円形である。このため、撮像画像CI内の被写体像SIは、図4(a)に示すように、略円形となる。すなわち、撮像画像CIは、被写体像SIと、当該被写体像SI以外のマスク領域MA(図4(a)の黒塗りの部分)とを含む。
そして、エッジ検出部941は、マスクエッジ検出処理を実行することにより、被写体像SIとマスク領域MAとの境界点BP(図4(a))を検出する。
すなわち、処理可否判定部943は、抽出部942にて抽出された第1画素が水平ラインL7上で連続して並ぶ画素数(以下、第1連続画素数N1(図6参照)と記載)と第1画素数閾値SN1(図6(a)参照)とを比較し、第1連続画素数N1が第1画素数閾値SN1以上である処理可能状態であるか、第1連続画素数N1が第1画素数閾値SN1未満である処理不可能状態であるかを判定する。また、処理可否判定部943は、抽出部942にて抽出された第2画素が水平ラインL7上で連続して並ぶ画素数(以下、第2連続画素数N2(図6参照)と記載)と第2画素数閾値SN2(図6(a)参照)とを比較し、第2連続画素数N2が第2画素数閾値SN2以上である処理可能状態であるか、第2連続画素数N2が第2画素数閾値SN2未満である処理不可能状態であるかを判定する。
そして、処理可否判定部943は、第1判定処理の判定結果に応じた検出信号を制御部96に出力する。
変化判定部945は、以下に示す第2判定処理を実行する。
すなわち、変化判定部945は、画素位置認識部944にて認識された画素位置の全ての画素がエッジ検出部941によるマスクエッジ検出処理の後、抽出部942にて第2画素として継続して抽出されているか否かを判定する。
レンズ制御部961は、レンズ駆動部52を動作させ、レンズユニット51の焦点や画角を調整(フォーカス位置やズーム位置を変更)する。
例えば、レンズ制御部961は、検波処理部93から出力された検波情報(コントラストや周波数成分)に基づいて、撮像画像CIに含まれる被写体像SIの合焦状態を評価するための合焦評価値を算出する。ここで、レンズ制御部961は、検波処理部93にて検出されたコントラストや、検波処理部93にて検出された周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。そして、レンズ制御部961は、レンズ位置検出部53にて検出されたフォーカス位置と、当該合焦評価値とに基づいて、山登り法等により被写体像SIが合焦状態となるフォーカス位置にフォーカスレンズ511を位置付けるAF処理を実行する。
なお、当該AF処理は、常時、実行する所謂、コンティニュアスAFを採用してもよく、あるいは、カメラヘッド5等に設けられた操作ボタン(図示略)の操作に応じて実行する所謂、ワンタッチAFを採用しても構わない。
本実施の形態では、パラメータ算出部962は、検波処理部93から出力された検波情報(輝度平均値)に基づいて、撮像素子541における各画素の露光時間、信号処理部542にて乗算されるアナログゲイン、画像処理部92にて乗算されるデジタルゲイン、及び光源装置3から挿入部2に供給される光の光量の4つの明るさパラメータをそれぞれ算出する。
また、パラメータ算出部962は、検波処理部93から出力された検波情報に基づいて、画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを算出する。そして、パラメータ算出部962は、画像処理部92に制御信号を出力し、当該画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを当該算出したゲインとする。すなわち、パラメータ算出部962は、本発明に係るゲイン算出部としての機能を有する。
具体的に、明るさ制御部963は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、撮像素子541の各画素の露光時間をパラメータ算出部962にて算出された露光時間(明るさパラメータ)とする。また、明るさ制御部963は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、信号処理部542にて乗算されるアナログゲインをパラメータ算出部962にて算出されたアナログゲイン(明るさパラメータ)とする。さらに、明るさ制御部963は、画像処理部92に制御信号を出力し、当該画像処理部92にて乗算されるデジタルゲインをパラメータ算出部962にて算出されたデジタルゲイン(明るさパラメータ)とする。また、明るさ制御部963は、第3伝送ケーブル10を介して光源装置3に制御信号を出力し、当該光源装置3から挿入部2に供給される光の光量をパラメータ算出部962にて算出された光量(明るさパラメータ)とする。
以上のように明るさ制御部963にて撮像素子541、信号処理部542、画像処理部92、及び光源装置3の動作が制御されることで、撮像画像CIの明るさは、基準となる明るさに変更される。
出力部98は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部99は、制御部96が実行するプログラムや、制御部96の処理に必要な情報等を記憶する。
次に、上述した内視鏡装置1の動作(エッジ検出方法)について説明する。
図5は、内視鏡装置1の動作を示すフローチャートである。図6は、内視鏡装置1の動作を説明する図である。具体的に、図6は、図4(a)に示した撮像画像CI中の中央に位置する水平ラインL7での輝度値の分布を示す図である。
なお、以下では、エッジ処理部94、検波処理部93、表示制御部95、及び表示装置7の動作を主に説明する。
先ず、医師等のユーザは、ガーゼ等の白色の被写体を挿入部2の先端に被せ、挿入部2の視野範囲に当該被写体を設置する(ステップS1:被写体設置ステップ)。
そして、内視鏡装置1は、当該被写体の撮像を開始する(ステップS2:撮像ステップ)。
ホワイトバランス設定操作が有ったと判断された場合(ステップS3:Yes)には、抽出部942は、画像処理部92にて処理された画像信号(Y,CB/CR信号)のうち輝度信号(Y信号)を取得する。そして、抽出部942は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の中央に位置する水平ラインL7上の各画素の輝度値と第1輝度閾値SB1とを比較し、第1輝度閾値SB1よりも高い輝度値を有する第1画素を抽出する(ステップS4)。
また、図6(b)は、カメラヘッド5に挿入部2が装着されているが、ステップS1で挿入部2の視野範囲に白色の被写体を設置していない状態(以下、第2の状態と記載)での撮像画像CI中の水平ラインL7での輝度値の分布を示している。そして、第2の状態では、被写体像SIの輝度値のバラつきが大きいものとなり、第1連続画素数N1が第1画素数閾値SN1未満となるため、ステップS5では、処理不可能状態であると判定される。
さらに、図6(c)は、カメラヘッド5に挿入部2が装着されていない状態(以下、第3の状態と記載)での撮像画像CI中の水平ラインL7での輝度値の分布を示している。そして、第3の状態では、カメラヘッド5から挿入部2が取り外されているため、撮像画像CI全体の輝度値のバラつきが大きいものなる。このため、第2の状態と同様に、第1連続画素数N1が第1画素数閾値SN1未満となり、ステップS5では、処理不可能状態であると判定される。
なお、ステップS7は、当該ステップS7以降、他の処理と並行して常時、継続する。
また、第3の状態では、カメラヘッド5に挿入部2が装着されていない。すなわち、図6(c)に示すように、撮像画像CI全体の輝度値のバラつきが大きいものとなり、第2連続画素数N2が第2画素数閾値SN2未満となるため、ステップS8では、処理不可能状態であると判定される。
一方、第2連続画素数N2が第2画素数閾値SN2以上である(処理可能状態である)と判定された場合(ステップS8:Yes)には、画素位置認識部944は、ステップS8の判定に用いられた第2連続画素数N2が第2画素数閾値SN2以上となる第2画素の画素位置(マスク領域MAの各画素位置)を認識する(ステップS9)。
ステップS10の後、検波処理部93は、画像処理部92にて処理された画像信号(Y,CB/CR信号)のうち輝度信号(Y信号)を取得する。また、検波処理部93は、ステップS9で検出された複数の境界点BPで囲まれる被写体像SIの領域を検波領域とする。そして、検波処理部93は、当該取得した輝度信号(Y信号)のうち、当該検波領域の画素毎の輝度信号(Y信号)に基づいて、検波処理を実行する(ステップS11)。そして、検波処理部93は、当該検波処理により得られた検波情報を制御部96に出力する。
なお、ステップS11は、当該ステップS11以降、他の処理と並行して常時、継続する。
ここで、第1の状態でマスクエッジ検出処理が実行された後、第2の状態に移行した場合には、白色の被写体を挿入部2の先端から取り外しただけであるため、図6(a)と図6(b)とを比較して分かるように、マスク領域MA内の各画素の輝度値に変化はない。このため、ステップS13では、「Yes」と判定される。
一方、第1の状態でマスクエッジ検出処理が実行された後、第3の状態に移行した場合には、カメラヘッド5から挿入部2が取り外されるため、撮像画像CI全体の輝度値のバラつきが大きいものとなる。すなわち、図6(a)と図6(c)とを比較して分かるように、第1の状態で認識されたマスク領域MAの各画素位置の一部の画素が第2画素として抽出されなくなる(第2輝度閾値SB2以上となる)。このため、ステップS13では、「No」と判定される。
一方、第2画素として継続して抽出されていると判定された場合(ステップS13:Yes)には、内視鏡装置1は、ステップS13を継続する。
すなわち、本発明は、内視鏡装置1にホワイトバランスのゲインを算出させる際、被写体をガーゼ等の白色の被写体とする医師等のユーザの行為に着目した発明である。そして、本実施の形態に係る内視鏡装置1では、ホワイトバランス設定操作に応じて、撮像画像CIにおける画素毎の輝度信号に基づいて、被写体像SIとマスク領域MAとの境界点BPを検出するマスクエッジ検出処理を実行する。すなわち、被写体がガーゼ等の白色の被写体となっている第1の状態で、マスクエッジ検出処理を実行することができる。このため、撮像画像CIに含まれる被写体像SIの輝度値が十分に高いものとなり、撮像画像CI内の輝度分布を利用して、被写体像SIとマスク領域MAとの境界点BPを精度良く検出することができる。
このため、被写体がガーゼ等の白色の被写体となっていない、あるいは、カメラヘッド5から挿入部2が外されている第2,第3の状態でマスクエッジ検出処理を実行することを回避することができる。すなわち、第1の状態でのみマスクエッジ検出処理を実行することができ、上述した被写体像SIとマスク領域MAとの境界点BPを精度良く検出することができる、という効果を好適に実現することができる。
このため、第2,第3の状態であることを医師等のユーザに認識させることができる。すなわち、当該第2,第3の状態から第1の状態に移行させ、改めてホワイトバランス設定操作を医師等のユーザに行わせることができる。したがって、当該第1の状態でマスクエッジ検出処理を実行することができ、上述した被写体像SIとマスク領域MAとの境界点BPを精度良く検出することができる、という効果を好適に実現することができる。
本実施の形態に係る内視鏡装置1では、処理可能状態であると判定した際での第2連続画素数N2が第2画素数閾値SN2以上となる第2画素の画素位置を認識し、当該認識した画素位置の全ての画素が第2画素として継続して抽出しているか否かを判定する(第2判定処理)。そして、内視鏡装置1では、「No」と判定した場合に、撮像画像CI上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像を重畳した表示画像を表示する。
このため、第2判定処理により、第1の状態から第3の状態に移行し、挿入部2が別の挿入部2に交換される状態にあるか否かを判定することができる。そして、撮像画像CI上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像を重畳した表示画像を表示することで、改めてホワイトバランス設定操作を医師等のユーザに行わせることができる。すなわち、交換後の挿入部2について、ホワイトバランスのゲインの算出処理、及びマスクエッジ検出処理を改めて実行することができる。
このため、マスク領域MAを含まない最大限に広い検波領域(被写体像SIの略全領域)で検波処理を行うことができる。すなわち、当該検波処理で得られた検波情報に基づく処理(例えば、AF処理や明るさパラメータの算出処理等)を精度良く実行することができる。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態において、カメラヘッド5に設けられていた構成(レンズユニット51、レンズ駆動部52、レンズ位置検出部53、及び撮像部54)の少なくとも一部を挿入部2内の先端に設けても構わない。また、挿入部2としては、硬性鏡に限らず、軟性鏡としても構わない。
また、上述した実施の形態において、制御部96の機能の少なくとも一部を制御装置9の外部(カメラヘッド5、コネクタCN1,CN2等)に設けても構わない。
さらに、上述した実施の形態において、ホワイトバランス設定操作を受け付ける本発明に係る操作受付部は、制御装置9に限らず、例えば、カメラヘッド5に設けてもよい。
上述した実施の形態1では、警告情報報知部100は、「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像を表示していたが、これに限らず、その他の態様で報知(例えば、当該メッセージを音声で出力等)しても構わない。
上述した実施の形態において、内視鏡装置1は、工業分野で用いられ、機械構造物等の被検体内部を観察する内視鏡装置としても構わない。
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
21 接眼部
51 レンズユニット
52 レンズ駆動部
53 レンズ位置検出部
54 撮像部
55 通信部
91 通信部
92 画像処理部
93 検波処理部
94 エッジ処理部
95 表示制御部
96 制御部
97 入力部
98 出力部
99 記憶部
100 警告情報報知部
511 フォーカスレンズ
512 ズームレンズ
521 モータ
522 ドライバ
541 撮像素子
542 信号処理部
941 エッジ検出部
942 抽出部
943 処理可否判定部
944 画素位置認識部
945 変化判定部
961 レンズ制御部
962 パラメータ算出部
963 明るさ制御部
BP 境界点
CI 撮像画像
CN1,CN2 コネクタ
L1〜L14 水平ライン
MA マスク領域
N1,N2 第1,第2連続画素数
SB1,SB2 第1,第2輝度閾値
SN1,SN2 第1,第2画素数閾値
SI 被写体像
Claims (8)
- 被検体内に挿入される内視鏡の接眼部に着脱自在に接続され、当該内視鏡にて取り込まれた被写体像を撮像する撮像部を有する撮像装置と、前記撮像部による撮像で得られる撮像画像を処理して表示用の映像信号を生成する制御装置とを備えた内視鏡装置であって、
ホワイトバランスのゲインを算出させるユーザ操作を受け付ける操作受付部と、
前記ユーザ操作に応じて、前記撮像画像に基づいて、ホワイトバランスのゲインを算出するゲイン算出部と、
前記ユーザ操作に応じて、前記撮像画像における画素毎の輝度信号に基づいて、当該撮像画像に含まれる前記被写体像と当該被写体像以外のマスク領域との境界点を検出するマスクエッジ検出処理を実行するエッジ検出部と、
前記撮像画像の1ライン上の画素毎の輝度信号に基づく輝度値と第1輝度閾値とを比較し、当該第1輝度閾値よりも高い輝度値を有する第1画素を抽出する抽出部と、
前記第1画素が前記1ライン上で連続して並ぶ第1連続画素数と第1画素数閾値とを比較し、当該第1連続画素数が当該第1画素数閾値以上である処理可能状態であるか、当該第1連続画素数が当該第1画素数閾値未満である処理不可能状態であるかを判定する処理可否判定部とを備え、
前記エッジ検出部は、
前記処理可否判定部にて前記処理可能状態であると判定された場合に、前記マスクエッジ検出処理を実行する
ことを特徴とする内視鏡装置。 - 前記撮像画像の1ライン上の画素毎の輝度信号に基づく輝度値と第2輝度閾値とを比較し、当該第2輝度閾値よりも低い輝度値を有する第2画素を抽出する抽出部と、
前記第2画素が前記1ライン上で連続して並ぶ第2連続画素数と第2画素数閾値とを比較し、当該第2連続画素数が当該第2画素数閾値以上である処理可能状態であるか、当該第2連続画素数が当該第2画素数閾値未満である処理不可能状態であるかを判定する処理可否判定部とをさらに備え、
前記エッジ検出部は、
前記処理可否判定部にて前記処理可能状態であると判定された場合に、前記マスクエッジ検出処理を実行する
ことを特徴とする請求項1に記載の内視鏡装置。 - 前記処理可否判定部にて前記処理不可能状態であると判定された場合に、警告情報を報知する警告情報報知部をさらに備える
ことを特徴とする請求項1または2に記載の内視鏡装置。 - 前記撮像画像の1ライン上の画素毎の輝度信号に基づく輝度値と第2輝度閾値とを比較し、当該第2輝度閾値よりも低い輝度値を有する第2画素を抽出する抽出部と、
前記第2画素が前記1ライン上で連続して並ぶ第2連続画素数が第2画素数閾値以上となる当該第2画素の画素位置を認識する画素位置認識部と、
前記画素位置の全ての画素が前記抽出部にて前記第2画素として継続して抽出されているか否かを判定する変化判定部と、
前記変化判定部にて前記第2画素として継続して抽出されていないと判定された場合に、警告情報を報知する警告情報報知部とをさらに備える
ことを特徴とする請求項1または2に記載の内視鏡装置。 - 前記撮像画像における明るさの変更に用いられる明るさパラメータを算出するための検波処理を実行する検波処理部をさらに備え、
前記検波処理部は、
前記撮像画像における前記エッジ検出部にて検出された境界点で囲まれる領域内の画素毎の輝度信号に基づいて、前記検波処理を実行する
ことを特徴とする請求項1〜4のいずれか一つに記載の内視鏡装置。 - 前記撮像装置を制御するための検波処理を実行する検波処理部をさらに備え、
前記検波処理部は、
前記撮像画像における前記エッジ検出部にて検出された境界点で囲まれる領域内の画素毎の輝度信号に基づいて、前記検波処理を実行する
ことを特徴とする請求項1〜5のいずれか一つに記載の内視鏡装置。 - 請求項1〜6のいずれか一つに記載の内視鏡装置を用いたエッジ検出方法であって、
内視鏡の視野範囲に白色の被写体を設置する被写体設置ステップと、
ホワイトバランスのゲインを算出させるユーザ操作を受け付ける操作受付ステップと、
前記内視鏡にて取り込まれた被写体像を撮像する撮像ステップと、
前記ユーザ操作に応じて、前記撮像ステップでの撮像により得られる撮像画像に基づいて、ホワイトバランスのゲインを算出するゲイン算出ステップと、
前記ユーザ操作に応じて、前記撮像画像における画素毎の輝度信号に基づいて、当該撮像画像に含まれる前記被写体像と当該被写体像以外のマスク領域との境界点を検出するマスクエッジ検出ステップとを備える
ことを特徴とするエッジ検出方法。 - 被検体内に挿入される内視鏡の接眼部に着脱自在に接続され、当該内視鏡にて取り込まれた被写体像を撮像する撮像部を有する撮像装置と、前記撮像部による撮像で得られる撮像画像を処理して表示用の映像信号を生成する制御装置とを備えた内視鏡装置であって、
前記撮像画像における画素毎の輝度信号に基づいて、当該撮像画像に含まれる前記被写体像と当該被写体像以外のマスク領域との境界点を検出するマスクエッジ検出処理を実行するエッジ検出部と、
前記撮像画像の1ライン上の画素毎の輝度信号に基づく輝度値と第1輝度閾値とを比較し、当該第1輝度閾値よりも高い輝度値を有する第1画素を抽出する抽出部と、
前記第1画素が前記1ライン上で連続して並ぶ第1連続画素数と第1画素数閾値とを比較し、当該第1連続画素数が当該第1画素数閾値以上である処理可能状態であるか、当該第1連続画素数が当該第1画素数閾値未満である処理不可能状態であるかを判定する処理可否判定部とを備え、
前記エッジ検出部は、
前記処理可否判定部にて前記処理可能状態であると判定された場合に、前記マスクエッジ検出処理を実行する
ことを特徴とする内視鏡装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017033937A JP6873740B2 (ja) | 2017-02-24 | 2017-02-24 | 内視鏡装置及びエッジ検出方法 |
US15/877,234 US10952597B2 (en) | 2017-02-24 | 2018-01-22 | Endoscope apparatus and method of detecting edge |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017033937A JP6873740B2 (ja) | 2017-02-24 | 2017-02-24 | 内視鏡装置及びエッジ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018138143A JP2018138143A (ja) | 2018-09-06 |
JP6873740B2 true JP6873740B2 (ja) | 2021-05-19 |
Family
ID=63245900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017033937A Active JP6873740B2 (ja) | 2017-02-24 | 2017-02-24 | 内視鏡装置及びエッジ検出方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10952597B2 (ja) |
JP (1) | JP6873740B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11350768B2 (en) | 2017-12-01 | 2022-06-07 | Fasteners For Retail, Inc. | Retail merchandise tray |
EP3891697A1 (en) * | 2018-12-05 | 2021-10-13 | Stryker Corporation | Systems and methods for displaying medical imaging data |
JP7454409B2 (ja) * | 2020-03-03 | 2024-03-22 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用制御装置の制御方法 |
US20210290037A1 (en) * | 2020-03-17 | 2021-09-23 | Sony Olympus Medical Solutions Inc. | Medical image processing apparatus and medical observation system |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5929901A (en) * | 1997-10-06 | 1999-07-27 | Adair; Edwin L. | Reduced area imaging devices incorporated within surgical instruments |
JP2001128059A (ja) | 1999-10-26 | 2001-05-11 | Olympus Optical Co Ltd | 撮像装置 |
JP4499875B2 (ja) | 2000-05-24 | 2010-07-07 | オリンパス株式会社 | 内視鏡システム |
JP4849818B2 (ja) * | 2005-04-14 | 2012-01-11 | イーストマン コダック カンパニー | ホワイトバランス調整装置及び色識別装置 |
TWI432168B (zh) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | 內視鏡導航方法以及內視鏡導航系統 |
JP2013113922A (ja) * | 2011-11-25 | 2013-06-10 | Eastman Kodak Co | 撮像装置 |
TWI528163B (zh) * | 2012-04-25 | 2016-04-01 | 鴻海精密工業股份有限公司 | 省電監控系統及方法 |
JP5330570B1 (ja) * | 2012-05-31 | 2013-10-30 | 株式会社東芝 | 映像処理装置および方法 |
JP6332833B2 (ja) * | 2012-07-31 | 2018-05-30 | 日本電気株式会社 | 画像処理システム、画像処理方法、及びプログラム |
JP6083897B2 (ja) * | 2013-02-28 | 2017-02-22 | 株式会社 日立産業制御ソリューションズ | 撮像装置及び画像信号処理装置 |
US9445713B2 (en) * | 2013-09-05 | 2016-09-20 | Cellscope, Inc. | Apparatuses and methods for mobile imaging and analysis |
JP5806343B2 (ja) | 2014-01-16 | 2015-11-10 | ソニー・オリンパスメディカルソリューションズ株式会社 | 光電複合モジュール、カメラヘッド、及び内視鏡装置 |
JP2015156937A (ja) * | 2014-02-24 | 2015-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
JP2015156938A (ja) * | 2014-02-24 | 2015-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
US9800853B2 (en) * | 2015-05-20 | 2017-10-24 | Arthrex, Inc. | Adaptive camera white balance system and method |
-
2017
- 2017-02-24 JP JP2017033937A patent/JP6873740B2/ja active Active
-
2018
- 2018-01-22 US US15/877,234 patent/US10952597B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10952597B2 (en) | 2021-03-23 |
JP2018138143A (ja) | 2018-09-06 |
US20180242830A1 (en) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10485629B2 (en) | Endoscope device | |
JP6873740B2 (ja) | 内視鏡装置及びエッジ検出方法 | |
JP5973708B2 (ja) | 撮像装置及び内視鏡装置 | |
JP6996901B2 (ja) | 内視鏡システム | |
US10548465B2 (en) | Medical imaging apparatus and medical observation system | |
JP6453905B2 (ja) | フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法 | |
JP6904727B2 (ja) | 内視鏡装置 | |
JP7171274B2 (ja) | 医療用画像処理装置及び医療用観察装置 | |
JP7016681B2 (ja) | 内視鏡システム | |
JP2016158886A (ja) | 内視鏡及び内視鏡システム | |
JP2013183836A (ja) | 内視鏡装置及びフォーカス制御方法 | |
US20210281731A1 (en) | Medical control apparatus and method of controlling medical control apparatus | |
JP6860378B2 (ja) | 内視鏡装置 | |
JP6516426B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2013043007A (ja) | 焦点位置制御装置、内視鏡装置及び焦点位置制御方法 | |
US10893247B2 (en) | Medical signal processing device and medical observation system | |
JP2009273691A (ja) | 内視鏡画像処理装置および方法 | |
US20150215523A1 (en) | Imaging apparatus | |
JP5959331B2 (ja) | 内視鏡装置 | |
JP2020010757A (ja) | 医療用画像処理装置及び医療用観察システム | |
JP5088225B2 (ja) | 映像信号処理装置、撮像装置及び映像信号処理方法 | |
JP4217501B2 (ja) | 自動焦点調節装置 | |
JP2020010846A (ja) | 医療用撮像装置及び医療用観察システム | |
JP6138632B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2010096963A (ja) | Af枠自動追尾機能を備えたオートフォーカスシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6873740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |