JP6285383B2 - 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法 - Google Patents

画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP6285383B2
JP6285383B2 JP2015058776A JP2015058776A JP6285383B2 JP 6285383 B2 JP6285383 B2 JP 6285383B2 JP 2015058776 A JP2015058776 A JP 2015058776A JP 2015058776 A JP2015058776 A JP 2015058776A JP 6285383 B2 JP6285383 B2 JP 6285383B2
Authority
JP
Japan
Prior art keywords
blood vessel
image signal
signal
color
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015058776A
Other languages
English (en)
Other versions
JP2016174836A (ja
Inventor
泰士 白石
泰士 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015058776A priority Critical patent/JP6285383B2/ja
Publication of JP2016174836A publication Critical patent/JP2016174836A/ja
Application granted granted Critical
Publication of JP6285383B2 publication Critical patent/JP6285383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、観察対象を撮像して得た画像から血管の太さ及び深さを取得する画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法に関する。
医療現場において、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。光源装置は、観察対象を照明するための照明光を発する。内視鏡は、照明光で照明された観察対象を撮像センサで撮像して画像信号を出力する。プロセッサ装置は、内視鏡から送信された画像信号から観察対象の画像を生成してモニタに表示させる。
近年では、特許文献1に示すように、観察対象を撮像して得た画像信号から血管の太さと深さなどの血管に関する情報を数値で表した血管情報を求め、この血管情報を、観察対象の画像とともにモニタに表示することによって、診断能を向上させることが行われてきている。具体的には、特許文献1では、互いに異なる3つの波長帯域の照明光に対応する第1〜第3画像信号を取得し、第1及び第3画像信号間の第1輝度比と第2及び第3画像信号間の第2輝度比とを求め、第1及び第2輝度比と血管の太さ及び深さとに関して予め定められた相関関係を用いることによって、求めた第1及び第2輝度比に対応する血管の太さ及び深さを取得している。
特開2011−200531号公報
しかしながら、血管情報は、観察部位によって数値が異なったり、観察部位が同じであっても患者によって数値が異なったりすることが多い。上記特許文献1のように予め定められた相関関係を用いて血管情報を取得する場合には、観察部位や患者が変わると正確に取得することが難しいことがある。したがって、観察部位や患者が変わった場合でも、観察部位や患者に応じた正確な血管情報を取得し、ドクターに提供することが求められている。
本発明は、観察部位や患者が変わった場合であっても、血管の太さ及び深さを正確に取得できる画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得する画像信号取得部と、第3色画像信号に対する第1色画像信号の比である第1信号比と、第3色画像信号に対する第2色画像信号の比である第2信号比とを画素毎に算出する信号比算出部と、第1信号比及び第2信号比を用いて血管の太さ及び深さを算出する血管情報算出部と、第1信号比及び第2信号比で表される信号比空間内での画素分布によって、血管情報算出部が血管の太さ及び深さを算出するための算出プログラムを設定する算出プログラム設定部と、を備える。
本発明の内視鏡システムは、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域を含む照明光を発する光源と、照明光が照射された観察対象を撮像する撮像センサと、撮像センサで撮像して得た3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得する画像信号取得部と、第3色画像信号に対する第1色画像信号の比である第1信号比と、第3色画像信号に対する第2色画像信号の比である第2信号比とを画素毎に算出する信号比算出部と、第1信号比及び第2信号比を用いて血管の太さ及び深さを算出する血管情報算出部と、第1信号比及び第2信号比で表される信号比空間内での画素分布によって、血管情報算出部が血管の太さ及び深さを算出するための算出プログラムを設定する算出プログラム設定部と、を備える。
本発明の画像処理装置の作動方法は、画像信号取得部が、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得するステップと、信号比算出部が、第3色画像信号に対する第1色画像信号の比である第1信号比と、第3色画像信号に対する第2色画像信号の比である第2信号比とを画素毎に算出するステップと、血管情報算出部が、第1信号比及び第2信号比を用いて血管の太さ及び深さを算出するステップと、算出プログラム設定部が、第1信号比及び第2信号比で表される信号比空間内での画素分布によって、血管情報算出部が血管の太さ及び深さを算出するための算出プログラムを設定するステップと、を備える。
本発明の内視鏡システムの作動方法は、光源が、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域を含む照明光を発するステップと、撮像センサが、照明光が照射された観察対象を撮像するステップと、画像信号取得部が、撮像センサで撮像して得た3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得するステップと、信号比算出部が、第3色画像信号に対する第1色画像信号の比である第1信号比と、第3色画像信号に対する第2色画像信号の比である第2信号比とを画素毎に算出するステップと、血管情報算出部が、第1信号比及び第2信号比を用いて血管の太さ及び深さを算出するステップと、算出プログラム設定部が、第1信号比及び第2信号比で表される信号比空間内での画素分布によって、血管情報算出部が血管の太さ及び深さを算出するための算出プログラムを設定するステップと、を備える。
第1信号比及び第2信号比で表される信号比空間内に定められ、第1信号比及び第2信号比を血管の太さ及び深さと対応付けるための血管情報座標の原点を、第1色画像信号、第2色画像信号、及び第3色画像信号を用いて設定する原点設定部と、信号比空間内の画素分布を用いて血管情報座標の軸方向を設定する軸方向設定部と、を備え、算出プログラム設定部は、原点及び軸方向が設定された血管情報座標を用いることで算出プログラムを設定することが好ましい。
原点設定部は、第1色画像信号、第2色画像信号、及び第3色画像信号の画素値の中央値、最頻値、または平均値を用いて原点を設定することが好ましい。
第1色画像信号、第2色画像信号、及び第3色画像信号に基づいて、血管を抽出した第1色血管画像信号、第2色血管画像信号、及び第3色血管画像信号を出力し、且つ血管以外を抽出した第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号を出力する血管非血管抽出部を備え、信号比算出部は、第3色血管画像信号に対する第1色血管画像信号の比を、第1信号比として求め、第3色血管画像信号に対する第2色血管画像信号の比を、第2信号比として求め、原点設定部は、第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号の画素値の中央値、最頻値、または平均値を用いて原点を設定することが好ましい。
軸方向設定部は、信号比空間内の画素分布を主成分分析または独立成分分析することによって軸方向を設定することが好ましい。
血管情報算出部は、軸方向の成分を画像化することにより、特定の太さ及び特定の深さの血管を抽出した血管抽出画像を生成する血管抽出画像生成部を備えることが好ましい。
軸方向設定部は、第1軸方向と第2軸方向の2種類の軸方向を設定し、血管抽出画像生成部は、第1軸方向の成分を画像化した第1血管抽出画像と、第2軸方向の成分を画像化した第2血管抽出画像とを生成することが好ましい。
算出プログラム設定部は、第1信号比及び第2信号比と、血管の太さ及び深さとを対応付けるルックアップテーブルを複数有し、信号比空間内での画素分布によってルックアップテーブルを切り替えることで算出プログラムを設定することが好ましい。
第1色画像信号、第2色画像信号、及び第3色画像信号に基づいて、血管以外を抽出した第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号を出力する非血管抽出部を備え、算出プログラム設定部は、第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号の画素値の中央値、最頻値、または平均値に対応する信号比空間内の座標に基づいて、ルックアップテーブルを切り替えることが好ましい。
算出プログラム設定部は、第1信号比及び第2信号比と、血管の太さ及び深さとを対応付けるルックアップテーブルを信号比空間内での画素分布を用いて算出し、算出したルックアップテーブルによって算出プログラムを設定することが好ましい。
第1色画像信号、第2色画像信号、及び第3色画像信号に基づいて、血管を抽出した第1色血管画像信号、第2色血管画像信号、及び第3色血管画像信号を出力する血管抽出部を備え、信号比算出部は、第3色血管画像信号に対する第1色血管画像信号の比を、第1信号比として求め、第3色血管画像信号に対する第2色血管画像信号の比を、第2信号比として求めることが好ましい。
算出プログラム設定部は、信号比空間内での画素分布をクラスタ解析することによって算出プログラムを設定することが好ましい。
第1色画像信号、第2色画像信号、及び第3色画像信号に基づいて、血管を抽出した第1色血管画像信号、第2色血管画像信号、及び第3色血管画像信号を出力し、且つ血管以外を抽出した第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号を出力する血管非血管抽出部を備え、信号比算出部は、第3色血管画像信号に対する第1色血管画像信号の比を、第1信号比として求め、第3色血管画像信号に対する第2色血管画像信号の比を、第2信号比として求め、算出プログラム設定部は、第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号の画素値の中央値、最頻値、または平均値に対応する信号比空間内の座標に基づいて、クラスタ解析することが好ましい。
信号比算出部は、第1信号比及び第2信号比に加えて、さらに第1色画像信号に対する第2色画像信号の比である第3信号比を算出し、血管情報算出部は、第1信号比、第2信号比及び第3信号比を用いることで、血管の太さと、血管の深さと、観察対象に付着する粘液の濃度と、を算出することが好ましい。
本発明によれば、互いに異なる3つの波長帯域に対応する第1色〜第3色画像信号を取得し、第3色画像信号に対する第1色画像信号の比である第1信号比と、第3色画像信号に対する第2色画像信号の比である第2信号比とを画素毎に求め、これら第1信号比と第2信号比とで表される信号比空間内での画素分布によって、血管の太さ及び深さを算出するための算出プログラムを設定するため、観察部位や患者に応じて、血管の太さ及び深さを正確に取得できる画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法を提供できる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光、青色光、緑色光、及び赤色光の分光スペクトルを示すグラフである。 カラーフィルタの分光特性を示すグラフである。 血管深さ−コントラスト空間を示すグラフである。 信号比空間を示すグラフである。 実施形態1−1の算出プログラム設定部の機能を示すブロック図である。 実施形態1−1の信号比空間内の画素分布を示すグラフである。 実施形態1−1の血管情報座標における原点の設定について説明するグラフである。 実施形態1−1の血管情報座標の第1軸及び第2軸の方向の設定について説明するグラフである。 実施形態1−1の血管情報の算出を説明する説明図である。 実施形態1−1の第1血管抽出画像の模式図である。 実施形態1−1の第2血管抽出画像の模式図である。 実施形態1−2の算出プログラム設定部の機能を示すブロック図である。 実施形態1−2のルックアップテーブルの選択について説明する説明図である。 実施形態1−2の血管情報の算出を説明する説明図である。 実施形態1−3の算出プログラム設定部の機能を示すブロック図である。 実施形態1−3の信号比空間内の画素分布を示すグラフである。 実施形態1−3のクラスタ解析による画素の分類を説明するグラフである。 実施形態1−3の粘膜が属するクラスタの特定について説明するグラフである。 実施形態1−3の粘膜表面から深くかつ太い血管に対応する画素が属するクラスタ、及び粘膜表面から浅くかつ細い血管に対応する画素が属するクラスタの特定について説明するグラフである。 実施形態1−3の血管情報の算出について説明するグラフである。 内視鏡システムの作用を示すフローチャートである。 実施形態1−4の粘液の濃度の算出について説明するグラフである。 実施形態1−5の特殊画像処理部の機能を示すブロック図である。 実施形態1−6の撮像センサの構成を示す図である。 実施形態1−7の複数フレームの画像信号の取得について説明する図である。 複数フレームの画像信号の平均値の算出について説明するブロック図である。 第2実施形態の内視鏡システムの機能を示すブロック図である。 白色光の発光スペクトルを示すグラフである。 特殊光の発光スペクトルを示すグラフである。 第3実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタを示す平面図である。
[第1実施形態]
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切替SW(モード切替スイッチ)12fが設けられている。モード切替SW12fは、観察モードの切り替え操作に用いられる。内視鏡システム10は、観察モードとして通常モードと特殊モードとを有している。通常モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。特殊モードは、観察対象に含まれる血管の太さ及び深さに関する血管情報を取得し、この血管情報に基づいた画像(以下、特殊画像という)をモニタ18に表示する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール19は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
図2において、光源装置14は、光源20と、光源20を制御する光源制御部21とを備えている。光源20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明するための照明光を発する。本実施形態では、光源20は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDを有する。
図3において、V−LED20aは、中心波長405nm、波長帯域380nm〜420nmの紫色光Vを発する紫色半導体光源である。B−LED20bは、中心波長460nm、波長帯域420nm〜500nmの青色光Bを発する青色半導体光源である。G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する緑色半導体光源である。R−LED20dは、中心波長650nm、波長帯域が630nm〜670nmに及び赤色光Rを発する赤色半導体光源である。
なお、V−LED20aとB−LED20bの中心波長は、±5nmから±10nm程度の幅を有する。中心波長とは波長帯域のほぼ中心の波長であり、分光スペクトルの形状によっては、分光スペクトルのピークに対応する波長(以下、ピーク波長という)と中心波長とが一致するとは限らない。内視鏡システム10で用いる紫色光Vは、中心波長とピーク波長が異なっていてもよく、中心波長とピーク波長がほぼ一致していてもよい。本実施形態の紫色光Vの中心波長とピーク波長はほぼ一致している。同様に、内視鏡システム10で用いる青色光Bは、中心波長とピーク波長が異なっていてもよく、中心波長とピーク波長がほぼ一致していてもよい。本実施形態の青色光Bの中心波長とピーク波長はほぼ一致している。赤色光Rについても同様である。
光源制御部21は、各LED20a〜20dに対して独立に制御信号を入力することによって、各LED20a〜20dの点灯や消灯、点灯時の発光量などを独立に制御する。本実施形態では、通常モード及び特殊モードのどちらの観察モードでも、光源制御部21は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。このため、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光が、通常モード及び特殊モードの照明光として用いられる。なお、本実施形態では、通常モード及び特殊モードで用いる照明光は同じ分光スペクトルを有するが、通常モードと特殊モードとで、紫色光V、青色光B、緑色光G、及び赤色光Rの発光量等を変えることにより、互いに異なる分光スペクトルの照明光を用いても良い。
各LED20a〜20dが発する各色の光は、ミラーやレンズなどで構成される光路結合部23を介して、挿入部12a内に挿通されたライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光源20が発した照明光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬された照明光は、照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの反射光、散乱光、及び蛍光などの各種の光は、対物レンズ42を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。
撮像センサ44は、照明光で照明された観察対象を撮像するカラー撮像センサである。撮像センサ44の各画素には、図4に示すB(青色)カラーフィルタ、G(緑色)カラーフィルタ、R(赤色)カラーフィルタのいずれかが設けられている。このため、撮像センサ44は、Bカラーフィルタが設けられたB画素(青色画素)で紫色から青色の光を受光し、Gカラーフィルタが設けられたG画素(緑色画素)で緑色の光を受光し、Rカラーフィルタが設けられたR画素(赤色画素)で赤色の光を受光する。そして、撮像センサ44は、B画素からB画像信号を出力し、G画素からG画像信号を出力し、R画素からR画像信号を出力する。
撮像センサ44としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ44の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ44と同様のRGB各色の画像信号を得ることができる。また、撮像センサ44の代わりに、カラーフィルタを設けていないモノクロの撮像センサを用いても良い。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に送信される。
プロセッサ装置16は、画像信号受信部50と、DSP(Digital Signal Processor)52と、ノイズ除去部54と、画像処理切替部56と、通常画像処理部58と、特殊画像処理部60と、映像信号生成部62とを備えている。画像信号受信部50は、CDS/AGC回路46及びA/Dコンバータ48を介して、撮像センサ44からデジタル画像信号を受信する。
DSP52は、画像信号受信部50が受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理などの各種信号処理を施す。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。リニアマトリクス処理後の画像信号は、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理(等方化処理、または同時化処理ともいう)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ除去部54は、DSP52でデモザイク処理などが施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法などによる)を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部56に送信される。
画像処理切替部56は、モード切替SW12fの操作によって通常モードにセットされている場合には、画像信号を通常画像処理部58に送信し、特殊モードにセットされている場合には、画像信号を特殊画像処理部60に送信する。
通常画像処理部58は、画像処理切替部56から受信した画像信号に対して色変換処理、色彩強調処理、及び構造強調処理を行うことによって、通常画像信号を生成する。色変換処理では、画像信号に対して3×3のマトリクス処理、階調変換処理、及び3次元ルックアップテーブル処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば、血管やピットパターン(腺管)などの観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。通常画像処理部58は、生成した通常画像信号を、映像信号生成部62に送信する。
特殊画像処理部60は、画像処理切替部56から受信した画像信号を用いて観察対象に含まれる血管の血管情報を求め、その血管情報に基づいた特殊画像を生成する。特殊画像処理部60には、画像信号取得部70と、信号比算出部72と、算出プログラム設定部74と、血管情報算出部76と、画像生成部78とが設けられている(図2参照)。
画像信号取得部70は、画像処理切替部56から、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域に対応する画像信号であるB画像信号、G画像信号、及びR画像信号を取得する。
B画像信号は、B画像信号、G画像信号、及びR画像信号の中で、血液に含まれるヘモグロビンによる吸光量が最も大きい第1の波長帯域(波長400nm〜420nmを含む波長帯域)に対応する画像信号であり、本発明の第1色画像信号に対応する。G画像信号は、B画像信号、G画像信号、及びR画像信号の中で、ヘモグロビンによる吸光量が中程度の第2の波長帯域(波長540nm付近を含む波長帯域)に対応する画像信号であり、本発明の第2色画像信号に対応する。R画像信号は、B画像信号、G画像信号、及びR画像信号の中で、ヘモグロビンによる吸光量が最も小さい第3の波長帯域(波長650nm以上を含む波長帯域)に対応する画像信号であり、本発明の第3色画像信号に対応する。このため、B画像信号には、血管や粘膜に関する情報が多く含まれ、R画像信号には、血管に関する情報はほとんど含まれず粘膜に関する情報が多く含まれている。また、G画像信号には、血管や粘膜に関する情報が中程度に含まれている。画像信号取得部70は、取得したB画像信号、G画像信号、及びR画像信号を、信号比算出部72と画像生成部78に送信する。
信号比算出部72は、画像信号取得部70から受信したB画像信号、G画像信号、及びR画像信号間の信号比を算出する。具体的には、信号比算出部72は、R画像信号に対するB画像信号の比である第1信号比B/Rと、R画像信号に対するG画像信号の比である第2信号比G/Rとを画素毎に算出する。信号比算出部72は、求めた第1信号比B/R及び第2信号比G/Rを、算出プログラム設定部74と血管情報算出部76に送信する。
ここで、B画像信号及びG画像信号には、血管と粘膜の情報が含まれているが、照明光を観察対象に照射する角度などによって照度のムラが生じている場合がある。照度ムラは、画像内で白く写って血管の情報などを潰してしまうため、内視鏡観察においては診断の妨げとなる。このため、本実施形態では、血管に関する情報がほとんど無いR画像信号を用いて、B画像信号及びG画像信号を規格化した第1信号比B/R及び第2信号比G/Rを算出することで、照度ムラが除去され、かつ血管に関する情報が残された信号比を算出している。
図5は、縦軸が粘膜に対する血管のコントラストで表され、横軸が粘膜表面からの血管の深さで表される血管深さ−コントラスト空間80である。この血管深さ−コントラスト空間80において、第1信号比B/Rの変化は直線81で表され、第2信号比G/Rの変化は直線82で表されている。この第1信号比B/Rと第2信号比G/Rの違いは、紫色光V及び青色光Bと、緑色光Gの深達度の違いによるものであり、粘膜表面を基準として浅い位置にある血管は、第1信号比B/Rが第2信号比G/Rよりも大きくなる。一方で、深い位置にある血管は、第2信号比G/Rが第1信号比B/Rよりも大きくなる。なお、血管深さ−コントラスト空間80の原点は、粘膜に対応する。
上記血管深さ−コントラスト空間80を、図6に示すように、縦軸が第1信号比B/Rで表され、横軸が第2信号比G/Rで表される信号比空間84に変換した場合、変換後の信号比空間84においては、粘膜は、例えば、第1象限の点86に移る。また、様々な太さ及び深さの血管に対応する画素は、信号比空間84では、粘膜を表す点86から略左方向に延びた第1軸S1と、粘膜を表す点86から略左下方向に延びた第2軸S2との間に分布する。そして、信号比空間84では、血管に対応する画素は、血管の深さに応じて第1軸S1と第2軸S2との間に分布し、深い血管に対応する画素ほど第1軸S1の近くに分布し、浅い血管に対応する画素ほど第2軸S2の近くに分布する。第1軸S1及び第2軸S2は、信号比空間内に分布している各画素に対応する血管の、粘膜表面からの深さを表している。信号比空間内の画素分布のうち、第1軸S1に最も近い画素は最も深い血管に対応し、第2軸S2に最も近い画素は最も浅い血管に対応している。第1軸S1と第2軸S2との間に分布している画素は、第1軸S1に近いほど深い血管を表し、第2軸S2に近いほど浅い血管を表している。さらに、信号比空間84では、粘膜を表す点86からの距離Laは、血管の太さ(すなわち血液量)に比例する。具体的には、粘膜を表す点86との距離Laが大きくなるほど、太い血管を表し、粘膜を表す点86との距離Laが小さいほど細い血管を表す。なお、信号比空間84において、粘膜を表す点86の位置については、観察部位や患者によって変化する。また、第1軸S1及び第2軸S2の方向も観察部位や患者によって変化する。しかし、粘膜を表す点86と、第1軸S1及び第2軸S2とが定まれば、これらと、血管の深さ及び太さの相関関係は上記の通りであり、観察部位や患者によらずほぼ不変である。以下、信号比空間84内に設定される第1軸S1及び第2軸S2からなる座標系を血管情報座標という。粘膜を表す点86が血管情報座標の原点である。
算出プログラム設定部74は、信号比算出部72から受信した第1信号比B/R及び第2信号比G/Rで表される信号比空間84内での画素分布に応じて、後述する血管情報算出部76で観察対象の血管情報である血管の太さ及び深さを算出するための算出プログラムを設定する。ここで、上述したように粘膜に対応する第1信号比B/R及び第2信号比G/Rの値が観察部位や患者によって異なることが多いため、本発明では、算出プログラム設定部74は、観察部位や患者に応じて算出した第1信号比B/R及び第2信号比G/Rから信号比空間84の粘膜を表す点86(血管情報座標の原点)を正しく設定することによって、血管情報を正確に取得することができる算出プログラムを設定する。算出プログラム設定部74による算出プログラムの設定については後述する。
血管情報算出部76は、算出プログラム設定部74で設定された算出プログラムに従って、第1信号比B/R及び第2信号比G/Rから、血管情報として、血管の太さ及び深さを算出する。血管情報算出部76は、算出した血管の太さ及び深さの情報を、画像生成部78に送信する。
画像生成部78は、画像信号取得部70から受信した画像信号と、血管情報算出部76から受信した血管の太さ及び深さの情報とに基づいて特殊画像信号を生成する。具体的には、画像生成部78は、画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、ベース画像信号を生成する。画像生成部78は、このベース画像信号に対して、血管の太さや深さに基づく情報をオーバーラップ処理することにより、特殊画像信号を生成する。例えば、画像生成部78は、ベース画像信号に対して、血管の太さが一定値以上の領域に色づけ処理を行うことによって、血管の太さが一定値以上の領域を疑似カラーで表示させる特殊画像信号を生成する。また、ベース画像信号に対して、血管の深さが一定値以上の領域に色づけ処理を行うことによって、血管の深さが一定値以上の領域を疑似カラーで表示させる特殊画像信号を生成しても良い。
映像信号生成部62は、通常画像処理部58または特殊画像処理部60から受信した画像信号を、モニタ18で表示可能な画像として表示するための映像信号に変換し、モニタ18に順次出力する。これにより、モニタ18は、映像信号生成部62が通常画像処理部58から通常画像信号を受信した場合は通常画像を表示し、映像信号生成部62が特殊画像処理部60から特殊画像信号を受信した場合は特殊画像を表示する。
次に、算出プログラム設定部74における算出プログラムの設定について、以下の実施形態1−1、実施形態1−2、及び実施形態1−3によって具体的に説明する。
[実施形態1−1]
本発明の実施形態1−1では、算出プログラム設定部74は、第1信号比B/R及び第2信号比G/Rで表される信号比空間84内において、第1信号比B/R及び第2信号比G/Rを血管の太さ及び深さと対応付けるための血管情報座標を設定し、この血管情報座標を用いて、血管情報を算出するための算出プログラムを設定する。
図7に示すように、算出プログラム設定部74は、原点設定部102と、軸方向設定部104とを備える。原点設定部102は、血管情報座標の原点を設定する。具体的には、原点設定部102は、B画像信号、G画像信号、及びR画像信号の画素値の中央値、最頻値、または平均値を用いて血管情報座標の原点を設定する。観察対象には血管が含まれているが、多くの観察対象では大部分の画素が粘膜を表す画素であることから、画素値の中央値、最頻値、または平均値等を算出すると、その値は、概ね粘膜の画素値とほぼ同じ値になる。例えば、B画像信号の全画素の画素値を平均した平均値Baveは、B画像信号における粘膜の画素値に概ね近い値になる。同様に、G画像信号の全画素の画素値を平均した平均値Gaveは、G画像信号における粘膜の画素値に概ね近い値になり、R画像信号の全画素の画素値を平均した平均値Raveは、ほぼR画像信号における粘膜の画素値である。
したがって、例えば、図8に示すように、信号比空間105において、画素分布106が得られた場合、各画像信号の平均値Bave,Gave,及びRaveを用いて第1信号比Bave/Rave及び第2信号比Gave/Raveを算出する。そして、図9に示すように、原点設定部102は、求めた第1信号比Bave/Rave、及び第2信号比Gave/Raveに対応する点107を、血管情報座標の原点に設定する。
軸方向設定部104は、血管情報座標の第1軸S1及び第2軸S2の方向を設定する。具体的には、図10に示すように、軸方向設定部104は、信号比空間内の画素分布106がガウス分布に従うか否かを判定し、ガウス分布に従う場合は、画素分布106を主成分分析することによって第1軸S1及び第2軸S2の方向を設定する。また、軸方向設定部104は、信号比空間内の画素分布106がガウス分布に従わない場合は、画素分布106を独立成分分析することによって第1軸S1及び第2軸S2の方向を設定する。このように、原点設定部102が設定する点107(血管情報座標の原点)と、軸方向設定部104が設定する第1軸S1及び第2軸S2とによって、観察部位や患者に応じて血管情報座標108が設定される。主成分分析及び独立成分分析は、いずれも多変量解析の手法の一種である。主成分分析とは、信号比空間内の画素分布がガウス分布に従う場合において、画素分布から、血管の深さを表す第1軸S1及び第2軸S2の方向を導き出す演算手法である。独立成分分析とは、信号比空間内の画素分布がガウス分布に従わない場合において、画素分布から、第1軸S1及び第2軸S2の方向を導き出す演算手法である。
血管情報算出部76は、原点設定部102が設定する点107(血管情報座標の原点)、軸方向設定部104が設定する第1軸方向、及び第2軸方向により得られる血管情報座標108を用いて、血管情報を算出する。例えば、図11に示すように、血管情報算出部76は、信号比空間105の任意の座標(X,Y)を、血管情報座標108の座標(X,Y)に変換する。血管情報座標108では、点107(血管情報座標の原点)からの距離が血管の太さであり、第1軸S1(または第2軸S2)からの角度が血管の深さに対応するので、血管情報算出部76は、血管情報座標108内での座標(X,Y)に基づいて、信号比空間105の任意の座標(X,Y)が表す血管の太さ及び深さを算出する。
なお、画像生成部78は、軸方向の成分を画像化することにより、特定の太さ及び特定の深さの血管を抽出した血管抽出画像を生成することができる。具体的には、画像生成部78は、信号比空間105の画素分布106を、血管情報座標108の第1軸S1に射影した画像(第2軸S2成分を零にした画像)を生成することによって、図12に示すように、第1軸方向の成分を画像化した第1血管抽出画像109を生成することができる。第1血管抽出画像109では、粘膜表面から深くかつ太い血管109aと、粘膜表面から深くかつ細い血管109bとが写されている。また、画像生成部78は、信号比空間105の画素分布106を、血管情報座標108の第2軸S2に射影した画像(第1軸S1成分を零にした画像)を生成することによって、図13に示すように、第2軸方向の成分を画像化した第2血管抽出画像110を生成することができる。第2血管抽出画像110では、粘膜表面から浅くかつ細い血管110aが写されている。図13では、浅くかつ細い血管のみを表しているが、観察対象に含まれていれば、浅くかつ太い血管も第2血管抽出画像110に写し出される。画像生成部78は、本発明の血管抽出画像生成部に対応する。
[実施形態1−2]
本発明の実施形態1−2では、算出プログラム設定部74は、第1信号比B/R及び第2信号比G/Rと血管の太さ及び深さとを対応付けるルックアップテーブルを複数有し、信号比空間内での画素分布によって求められる粘膜に基づいて、ルックアップテーブルを切り替えることで算出プログラムを設定する。
図14に示すように、算出プログラム設定部74は、選択基準値算出部112と、ルックアップテーブル選択部114とを備える。
選択基準値算出部112は、上記実施形態1−1の原点設定部102と同様に、B画像信号、G画像信号、及びR画像信号の画素値の中央値、最頻値、または平均値を用いて、ルックアップテーブル選択部114がルックアップテーブルを選択するための選択基準とする「粘膜を表す第1信号比及び第2信号比」(例えば、第1信号比Bave/Rave及び第2信号比Gave/Rave)を算出する。
ルックアップテーブル選択部114は、図15に示すように、第1ルックアップテーブル115a、第2ルックアップテーブル115b、及び第3ルックアップテーブル115c等、第1信号比B/R及び第2信号比G/Rの値に血管の太さ及び深さを対応付けた2次元のルックアップテーブルを複数記憶しており、これら複数のルックアップテーブルから、血管の太さ及び深さの算出に用いる1つのルックアップテーブルを選択する。第1〜第3ルックアップテーブル115a〜115c等は、モデル式やシミュレーションで予め求められる。
第1ルックアップテーブル115aには、予め定められた粘膜の座標116から左斜め下に離れるように3つの曲線116a〜116cが描かれる。曲線116aは、血液量が多い血管、すなわち太い血管の深さが変化した場合の軌跡を示している。曲線116bは、血液量が中程度の血管、すなわち太さが中程度の血管の深さが変化した場合の軌跡を示している。曲線116cは、血液量が少ない血管、すなわち細い血管の深さが変化した場合の軌跡を示している。また、曲線116a〜116cは、粘膜と定められた座標116から左斜め下に離れるほど血管の深さが浅くなることを示している。図15の第1ルックアップテーブル115aは、説明の便宜上、3つの曲線116a〜116cを描いているが、これらは一例であり、これら各曲線116a〜116cの間にもデータ点はある。以下の第2ルックアップテーブル115b及び第3ルックアップテーブル115cも同様である。
第2ルックアップテーブル115bには、予め定められた粘膜の座標117から左斜め下に離れるように3つの曲線117a〜117cが描かれる。粘膜と定められた座標117は、第1ルックアップテーブル115aの粘膜と定められた座標116とは異なる座標に設定されている。曲線117aは、太い血管の深さが変化した場合の軌跡を示している。曲線117bは、太さが中程度の血管の深さが変化した場合の軌跡を示している。曲線117cは、細い血管の深さが変化した場合の軌跡を示している。また、曲線117a〜117cは、粘膜と定められた座標117から左斜め下に離れるほど血管の深さが浅くなることを示している。
第3ルックアップテーブル115cには、予め定められた粘膜の座標118から左斜め下に離れるように3つの曲線118a〜118cが描かれる。粘膜と定められた座標118は、第1ルックアップテーブル115aの粘膜と定められた座標116、及び第2ルックアップテーブル115bの粘膜と定められた座標117とは異なる座標に設定されている。曲線118aは、太い血管の深さが変化した場合の軌跡を示している。曲線118bは、太さが中程度の血管の深さが変化した場合の軌跡を示している。曲線118cは、細い血管の深さが変化した場合の軌跡を示している。また、曲線118a〜118cは、粘膜と定められた座標118から左斜め下に離れるほど血管の深さが浅くなることを示している。
ルックアップテーブル選択部114は、選択基準値算出部112が算出した第1信号比及び第2信号比に対応する粘膜を表す座標119に応じて、第1〜第3ルックアップテーブル115a〜115cの中から、血管情報を算出するために用いるルックアップテーブルを選択する。具体的には、ルックアップテーブル選択部114は、選択基準値算出部112で算出された粘膜を表す座標119と、第1〜第3ルックアップテーブル115a〜115cの各粘膜と定められた座標116〜118とを比較し、選択基準値算出部112で算出された粘膜を表す座標119に最も近い座標が設定されているルックアップテーブルを選択する。例えば、図15では、ルックアップテーブル選択部114は、選択基準値算出部112が算出した粘膜を表す座標119に対して最も近い座標である、粘膜と定められた座標118が設定されている第3ルックアップテーブル115cを選択する。
血管情報算出部76は、ルックアップテーブル選択部114で選択されたルックアップテーブルを用いて、血管の太さ及び深さを算出する。例えば、図16に示すように、血管情報算出部76は、ルックアップテーブル選択部114で第3ルックアップテーブル115cが選択された場合には、任意の第1信号比B/R及び第2信号比G/Rに対応するX及びYの画素が表す血管は、曲線118cによってその深さ及び太さが算出される。
なお、上記実施形態1−2では、算出プログラム設定部74は、モデル式やシミュレーションによって求めた複数のルックアップテーブルを予め記憶し、この中から選択したルックアップテーブルによって算出プログラムを設定しているが、信号比空間内で画素分布が得られるごとに、得られた画素分布を用いてルックアップテーブルを算出し、算出したルックアップテーブルによって算出プログラムを設定しても良い。これにより、ルックアップテーブル内の粘膜を表す座標が正確に設定されるため、血管の太さ及び深さをより正確に求めることができる。
[実施形態1−3]
本発明の実施形態1−3では、算出プログラム設定部74は、信号比空間内での画素分布をクラスタ解析することによって、血管情報を算出するための算出プログラムを設定する。図17に示すように、算出プログラム設定部74は、クラスタ解析部122と、画素分布特定部124とを備える。
クラスタ解析部122は、信号比空間105内の画素分布をクラスタ解析することによって、信号比空間105内に分布している画素を、特定の類似性を有するクラスタに分類する。例えば、図18に示すように、信号比空間105において画素分布126が得られた場合、クラスタ解析部122は、画素分布126をクラスタ解析することによって、図19に示すように、各画素を第1〜第3クラスタ127〜129に分類する。
画素分布特定部124は、クラスタ解析部122で分類された第1〜第3クラスタ127〜129のうち、粘膜が属するクラスタを特定する。具体的には、画素分布特定部124は、上記実施形態1−1の原点設定部102と同様に、B画像信号、G画像信号、及びR画像信号の画素値の中央値、最頻値、または平均値を用いて、粘膜を表す第1信号比及び第2信号比を算出する。そして、第1〜第3クラスタ127〜129から、粘膜を表す第1信号比及び第2信号比を有する座標130が属するクラスタを特定する。例えば、図20に示すように、画素分布特定部124は、粘膜を表す第1信号比Bave/Rave及び第2信号比Gave/Raveを求め、この値を有する粘膜を表す座標130が属する第1クラスタ127を、粘膜が属するクラスタであると特定する。
図21に示すように、粘膜が属するクラスタが第1クラスタ127に特定されると、粘膜が属する第1クラスタ127を基準として、略左方向にある第2クラスタ128は、粘膜表面から深くかつ太い血管に対応する画素が属するクラスタであり、略左下方向にある第3クラスタ129は、粘膜表面から浅くかつ細い血管に対応する画素が属するクラスタであると特定できる。ここで、粘膜を表す座標130との距離が大きくなるほど、太い血管に対応する画素が分布する。また、粘膜を表す座標130を基点として時計回りの方向に向かうほど、深い血管に対応する画素が分布し、粘膜を表す座標130を基点として反時計回りの方向に向かうほど、浅い血管に対応する画素が分布する。例えば、第3クラスタ129の中でも、第2クラスタ128に近くなるほど深い血管に対応する画素が分布し、第2クラスタ128の中でも、第3クラスタ129に近くなるほど浅い血管に対応する画素が分布する。なお、クラスタ解析によって、粘膜表面から深くかつ細い血管に対応する画素の画素分布や、粘膜表面から浅くかつ太い血管に対応する画素の画素分布などが特定される場合もある。
血管情報算出部76は、画素分布特定部124で血管の太さ及び深さによって分類されたクラスタのうち、粘膜を含むクラスタに属する画素については血管情報を算出せずに、血管が属するクラスタについてだけ、血管情報を算出する。例えば、血管情報算出部76は、図22に示すように、信号比空間105において、任意の第1信号比B/R及び第2信号比G/Rに対応するX及びYの画素は、第2クラスタ128、すなわち粘膜表面から深くかつ太い血管に対応する画素分布に含まれているため、血管情報算出部76は、特定した座標(X,Y)に対応する血管の太さ及び深さを求める。
次に、本実施形態の内視鏡システム10の作用を図23のフローチャートに沿って説明する。まず、特殊モードにセットされた場合(S11)に、画像信号取得部70は、特殊モードにおいて観察対象を撮像して得られたB画像信号、G画像信号、及びR画像信号を取得する(S12)。信号比算出部72は、B画像信号、G画像信号、及びR画像信号間の信号比である第1信号比B/R及び第2信号比G/Rを算出する(S13)。算出プログラム設定部74は、第1信号比B/R及び第2信号比G/Rで表される信号比空間内での画素分布に応じて、観察対象の血管情報である血管の太さ及び深さを算出するための算出プログラムを設定する(S14)。具体的には、主成分分析または独立成分分析を用いて設定される血管情報座標を用いて血管の太さ及び深さを算出する場合には、粘膜を表す血管情報座標の原点を設定する。ルックアップテーブルを用いる場合には、ルックアップテーブルの選択基準となる粘膜を表す座標を設定する。クラスタ解析を用いる場合には、粘膜を表す座標が属するクラスタを設定する。いずれにしても、観察部位や患者に応じて変わる粘膜を表す点(座標)を正確に設定する。血管情報算出部76は、設定された算出プログラムに従って、第1信号比B/R及び第2信号比G/Rから、観察対象の血管情報である血管の太さ及び深さを算出する(S15)。
以上のように、本発明は、ヘモグロビンの吸光特性が互いに異なるB画像信号、G画像信号、及びR画像信号を取得し、これらの比である第1信号比B/R及び第2信号比G/Rで表される信号比空間内での画素分布によって、血管の太さ及び深さを算出するための算出プログラムを設定し、設定された算出プログラムに従って血管の太さ及び深さを算出するため、観察部位や患者が変わった場合でも、観察部位や患者に応じて血管の太さ及び深さを正確に取得できる。
なお、上記実施形態では、血管情報として、血管の深さ及び太さを算出しているが、血管の深さ及び太さに加え、さらに観察対象に付着する粘液の濃度を算出しても良い。例えば、観察対象が下部消化管の粘膜である場合、ビリルビンやステルコビリン等の黄色(あるいは黄褐色)の色素を含む粘液等が粘膜に付着していることがあるため、ビリルビン等の黄色色素の濃度(あるいは量)を算出する。黄色色素の濃度は、B画像信号に対するG画像信号の比である第3信号比G/Bから求められる。その算出方法を、以下の実施形態1−4で説明する。
[実施形態1−4]
本発明の実施形態1−4では、信号比算出部72は、第1信号比B/R及び第2信号比G/Rに加えて、さらに第3信号比G/Bを算出する。算出プログラム設定部74は、図24に示すように、第1信号比B/R、第2信号比G/R、第3信号比G/Bで表される3次元の信号比空間140内での画素分布142に応じて、観察対象の血管情報である血管の太さ、血管の深さ、及び粘液の濃度を算出するための算出プログラムを設定する。血管情報算出部76は、算出プログラムに従って、第1信号比B/R、第2信号比G/R、及び第3信号比G/Bを用いることで、血管の太さと、血管の深さと、粘液の濃度とを算出する。
なお、上記実施形態では、血管と粘膜の情報が含まれているB画像信号、G画像信号、及びR画像信号を用いて算出プログラムの設定を行っているが、BGRの画像信号から血管を抽出したBGRの血管画像信号と、BGRの画像信号から血管以外を抽出したBGRの非血管画像信号との少なくともいずれかを用いて算出プログラムの設定を行っても良い。その算出プログラムの設定について、以下の実施形態1−5で具体的に説明する。
[実施形態1−5]
図25において、本発明の実施形態1−5では、特殊画像処理部150には、特殊画像処理部60の各構成に加えて、血管非血管抽出部152が新たに設けられる。血管非血管抽出部152は、画像信号取得部70からB画像信号、G画像信号、及びR画像信号を受信し、これらBGRの各画像信号に対して血管抽出処理を施すことによって、血管を抽出した血管画像信号を生成する。画像信号取得部70から受信したBGRの各画像信号においては、血管の画素はその周辺の画素よりも画素値が小さくなっている。このため、血管非血管抽出部152は、BGRの各画像信号に対してブラックハットフィルタ処理を施すことで、画素値が周辺の画素よりも小さい血管の画素のみを抽出したB血管画像信号、G血管画像信号、及びR血管画像信号を生成する。ブラックハットフィルタ処理は、ノイズを除きつつ、近隣の画素と比較して画素値が小さい画素を抽出するモルフォロジー処理(モフォロジー処理とも言う)である。なお、B血管画像信号は、本発明の第1色血管画像信号に対応し、G血管画像信号は、本発明の第2色血管画像信号に対応し、R血管画像信号は、本発明の第3色血管画像信号に対応する。
また、血管非血管抽出部152は、B画像信号、G画像信号、及びR画像信号から、血管以外の粘膜等を抽出した非血管画像信号を生成する。具体的には、血管非血管抽出部152は、B画像信号の画素値からB血管画像信号の画素値を差し引いてB非血管画像信号を生成する。B画像信号中の血管の画素値とB血管画像信号中の血管の画素値とがほぼ同じであることから、B非血管画像信号中の血管の画素値はほぼ零となっている。これに対して、B画像信号中の粘膜の画素値は血管の画素値よりも大きい一定値であり、B血管画像信号中の粘膜の画素値はほぼ零であることから、B非血管画像信号中の粘膜の画素値は一定値となっている。また、血管非血管抽出部152は、G画像信号の画素値からG血管画像信号の画素値を差し引いてG非血管画像信号を生成し、R画像信号の画素値からR血管画像信号の画素値を差し引いてR非血管画像信号を生成する。B非血管画像信号は、本発明の第1色非血管画像信号に対応し、G非血管画像信号は、本発明の第2色非血管画像信号に対応し、R非血管画像信号は、本発明の第3色非血管画像信号に対応する。血管非血管抽出部152は、生成したBGRの血管画像信号を信号比算出部72に送信し、生成したBGRの非血管画像信号を算出プログラム設定部74に送信する。
信号比算出部72では、血管非血管抽出部152から受信したB血管画像信号、G血管画像信号、及びR血管画像信号間の信号比を算出する。信号比算出部72は、上記第1実施形態と同様に、R血管画像信号に対するB血管画像信号の比である第1信号比B/Rと、R血管画像信号に対するG血管画像信号の比である第2信号比G/Rとを画素毎に算出する。
算出プログラム設定部74では、BGRの血管画像信号から求められた第1信号比B/R及び第2信号比G/Rで表される信号比空間内での画素分布と、BGRの非血管画像信号とに基づいて、算出プログラムを設定する。算出プログラム設定部74における算出プログラムの設定については、上記実施形態1−1、実施形態1−2、及び実施形態1−3を例に説明する。
実施形態1−1においては、原点設定部102では、B非血管画像信号、G非血管画像信号、及びR非血管画像信号の画素値の中央値、最頻値、または平均値を用いて血管情報座標の原点を設定する。例えば、原点設定部102は、各非血管画像信号の平均値Bave,Gave,及びRaveを用いて第1信号比Bave/Rave及び第2信号比Gave/Raveを算出する。B非血管画像信号、G非血管画像信号、及びR非血管画像信号は、血管の情報が含まれていないため、B画像信号、G画像信号、及びR画像信号よりも粘膜の画素値をより正確に表している。このため、原点設定部102では、BGRの非血管画像信号から、粘膜に対応する第1信号比Bave/Rave及び第2信号比Gave/Raveが正確に求められる。そして、原点設定部102は、求めた第1信号比Bave/Rave及び第2信号比Gave/Raveの点を、血管情報座標の原点として設定する。
軸方向設定部104は、BGRの血管画像信号から求められた第1信号比B/R及び第2信号比G/Rで表される信号比空間内の画素分布を主成分分析、または独立成分分析することによって第1軸S1及び第2軸S2の方向を設定する。軸方向設定部104は、血管の情報のみが含まれているBGRの血管画像信号を用いることにより、血管情報座標の第1軸S1及び第2軸S2の方向をより正しく設定する。なお、画像生成部78では、設定した軸方向の成分を画像化することにより、血管抽出画像を生成しても良い。
実施形態1−2においては、選択基準値算出部112では、実施形態1−1の原点設定部102と同様に、B非血管画像信号、G非血管画像信号、及びR非血管画像信号の画素値の中央値、最頻値、または平均値を用いて、ルックアップテーブルを選択するための選択基準とする「粘膜を表す第1信号比及び第2信号比」(例えば、第1信号比Bave/Rave及び第2信号比Gave/Rave)を算出する。このように、粘膜を表す第1信号比Bave/Rave及び第2信号比Gave/Raveが正確に求められるため、ルックアップテーブルの選択をより正確に行うことができる。この場合の血管非血管抽出部152は、本発明の非血管抽出部に対応する。
なお、B血管画像信号、G血管画像信号、及びR血管画像信号から求められる信号比空間内で画素分布が得られるごとに、得られた画素分布を用いてルックアップテーブルを算出しても良い。このように、血管の情報のみが含まれたB血管画像信号、G血管画像信号、及びR血管画像信号からルックアップテーブルを算出し、算出したルックアップテーブルを用いて算出プログラムを設定することによって、血管の太さ及び深さをより正確に求めることができる。この場合の血管非血管抽出部152は、本発明の血管抽出部に対応する。
実施形態1−3においては、クラスタ解析部122では、B血管画像信号、G血管画像信号、及びR血管画像信号から求められた信号比空間内に分布している画素を、特定の類似性を有するクラスタに分類する。BGRの血管画像信号は血管の情報のみが含まれているため、粘膜に対応する画素が属するクラスタは得られずに、血管に対応する画素が属するクラスタが得られる。
画素分布特定部124では、実施形態1−1の原点設定部102と同様に、B非血管画像信号、G非血管画像信号、及びR非血管画像信号の画素値の中央値、最頻値、または平均値を用いて、粘膜を表す第1信号比及び第2信号比(例えば、第1信号比Bave/Rave及び第2信号比Gave/Rave)を算出する。そして、画素分布特定部124は、粘膜を表す第1信号比Bave/Rave及び第2信号比Gave/Raveを有する座標を基準として、分類されたクラスタが、どのような血管に対応する画素が属するクラスタであるかを特定する。
以上のように、BGRの画像信号から、血管の情報のみが含まれているBGRの血管画像信号と、血管以外の情報が含まれているBGRの非血管画像信号とを求め、BGRの血管画像信号から求められた第1信号比B/R及び第2信号比G/Rで表される信号比空間内での画素分布と、BGRの非血管画像信号とに基づいて算出プログラムを設定するので、血管の太さ及び深さをより正確に求めることができる。
なお、上記実施形態では、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域に対応する画像信号であるB画像信号、G画像信号、及びR画像信号を用いて、算出プログラムを設定しているが、ヘモグロビンの吸光特性が互いに異なる4つ以上の波長帯域に対応する画像信号を用いて、算出プログラムを設定しても良い。その方法について、以下の実施形態1−6によって具体的に説明する。
[実施形態1−6]
本発明の実施形態1−6では、図26に示すように、撮像センサ170は、撮像センサ44のB画素、G画素、及びR画素に加え、W画素(白色画素)を備えている。W画素は、W(白色)カラーフィルタが設けられた画素である。Wカラーフィルタは、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光を透過させる。したがって、W画素は、紫色から赤色の光を受光してW画像信号を出力する。画像信号取得部70は、B画像信号、G画像信号、R画像信号、及びW画像信号を取得し、B画像信号、G画像信号、R画像信号、及びW画像信号を信号比算出部72と画像生成部78に送信する。なお、図26に示す各カラーフィルタの配列は一例なので、各カラーフィルタの配列は自由に設定して良い。
信号比算出部72は、画像信号取得部70からB画像信号、G画像信号、R画像信号、及びW画像信号を受信し、第1信号比B/R及び第2信号比G/Rに加えて、さらにW画像信号と、B画像信号、G画像信号、及びR画像信号のいずれかの画像信号との第4信号比を算出する。例えば、信号比算出部72は、第1信号比B/R及び第2信号比G/Rに加えて、B画像信号に対するW画像信号の比である第4信号比W/Bを算出する。算出プログラム設定部74は、信号比算出部72から受信した第1信号比B/R、第2信号比G/R、及び第4信号比W/Bで表される3次元の信号比空間内での画素分布に応じて算出プログラムを設定する。
なお、上記実施形態では、1フレームで得られたBGRの画像信号を用いて、粘膜に対応する第1信号比B/R及び第2信号比G/Rの値を求めているが、複数フレームで得られたBGRの画像信号を用いても良い。その方法について、以下の実施形態1−7によって、実施形態1−1の原点設定部102で粘膜に対応する第1信号比B/R及び第2信号比G/Rを求める例で説明を行う。
[実施形態1−7]
図27に示すように、実施形態1−1の原点設定部102では、時刻Tから前後2フレーム分、すなわち時刻TN−2〜TN+2で5フレーム分のBGRの画像信号を取得した場合に、この5フレーム分のB画像信号、G画像信号、及びR画像信号の画素値の中央値、最頻値、または平均値を求める。例えば、図28に示すように、原点設定部102は、B1画像信号〜B5画像信号の画素値を平均した平均値Baveを求め、G1画像信号〜G5画像信号の画素値を平均した平均値Gaveを求め、R1画像信号〜R5画像信号の画素値を平均した平均値Raveを求める。そして、原点設定部102は、求めた平均値Bave、平均値Gave、及び平均値Raveを用いて、粘膜に対応する第1信号比Bave/Rave、及び第2信号比Gave/Raveを求める。なお、実施形態1−2の選択基準値算出部112、及び実施形態1−3の画素分布特定部124についても、実施形態1−1の原点設定部102と同様に、5フレーム分のB画像信号、G画像信号、及びR画像信号の画素値の中央値、最頻値、または平均値を用いて、粘膜に対応する第1信号比B/R及び第2信号比G/Rの値を求めても良い。
[第2実施形態]
第2実施形態では、上記第1実施形態で示した4色のLED20a〜20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図29に示すように、第2実施形態の内視鏡システム200では、光源装置14において、4色のLED20a〜20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図29では「445LD」と表記)204と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図29では「405LD」と表記)206とが設けられている。これら各光源204、206の半導体発光素子からの発光は、光源制御部208により個別に制御されており、青色レーザ光源204の出射光と、青紫色レーザ光源206の出射光の光量比は変更自在になっている。
光源制御部208は、通常モードの場合には、青色レーザ光源204を駆動させる。これに対して、特殊モードの場合には、青色レーザ光源204と青紫色レーザ光源206の両方を駆動させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。以上の各光源204、206から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド25に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源204及び青紫色レーザ光源206は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ32の他に、ライトガイド25からの青色レーザ光又は青紫色レーザ光が入射する蛍光体210が設けられている。蛍光体210は、青色レーザ光によって励起され、蛍光を発する。また、蛍光体210は、青紫色レーザ光によっても励起されるが、その場合には、青色レーザ光により発せられる蛍光よりも発光量が小さい蛍光を発する。青色レーザ光の一部は、蛍光体210を励起させることなく透過する。青紫色レーザ光は、蛍光体210を励起させることなくほぼ透過する。蛍光体210を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
ここで、通常モードにおいては、主として青色レーザ光が蛍光体210に入射するため、図30に示すような、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した白色光によって観察対象が照明される。一方、特殊モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体210に入射するため、図31に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した特殊光によって観察対象が照明される。
なお、蛍光体210は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体210の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
なお、第2実施形態では、特殊モードにおいて、青色レーザ光源204と青紫色レーザ光源206とを点灯させて青色レーザ光、青紫色レーザ光、及び蛍光を含む照明光に対応する1フレームの画像信号を取得しているが、青紫色レーザ光源206のみを点灯させて、青紫色レーザ光及び蛍光を含む照明光で照明中の観察対象を撮像するフレームを設けた2フレーム以上で画像信号を取得するようにしても良い。
具体的には、光源制御部208は、青紫色レーザ光及び蛍光を含む照明光と、青色レーザ光及び蛍光を含む照明光とが切り替えられるように各光源の制御を行う。また、光源制御部208は、撮像センサ44を制御する撮像制御部(図示せず)への同期信号の出力によって、照明光の発光タイミングと、撮像センサ44により撮像が行われるフレームとの同期や、撮像センサ44からの画像信号の出力の制御を行う。これにより、撮像センサ44は、1フレーム毎に、各色の画素から、各照明光に応じたBGR各色の画像信号を出力する。
表1に示すように、1フレーム目では、光源制御部208は、青紫色レーザ光源206を点灯させることによって、青紫色レーザ光と蛍光を含む照明光を用いて観察対象を照明する。撮像センサ44は、B画素で青紫色レーザ光を受光してB1画像信号を出力し、G画素で蛍光に含まれる緑色光Gに対応した波長帯域の成分を受光してG1画像信号が出力し、R画素で蛍光に含まれる赤色光Rに対応した波長帯域の成分を受光してR1画像信号を出力する。
Figure 0006285383
表2に示すように、2フレーム目では、光源制御部208は、青色レーザ光源204を点灯させることによって、青色レーザ光と蛍光を含む照明光を用いて観察対象を照明する。撮像センサ44は、B画素で青色レーザ光を受光してB2画像信号を出力し、G画素で蛍光に含まれる緑色光Gに対応した波長帯域の成分を受光してG2画像信号を出力し、R画素で蛍光に含まれる赤色光Rに対応した波長帯域の成分を受光してR2画像信号を出力する。
Figure 0006285383
信号比算出部72は、画像信号取得部70から受信した1フレーム目のB1画像信号、2フレーム目のG2画像信号及びR2画像信号を用いて、第1信号比B1/R2、及び第2信号比G2/R2を算出する。なお、G1画像信号及びR1画像信号については、発光量が小さい蛍光に基づいて得られることから、その他の画像信号と比べて観察対象の情報が少ない。これに対して、B1画像信号は、中心波長405nmの青紫色レーザ光に対応する画像信号であり、粘膜からの距離が極めて小さい極表層血管の情報が多い。極表層血管は、ガンなどの病変部の診断に有効な情報である。したがって、青紫色レーザ光源206のみを点灯して得た1フレーム目のB1画像信号を用いて信号比を求めることによって、ガンなどの病変部の診断に有効な情報をドクターに提供することができる。なお、信号比算出部72は、2フレーム目のB2画像信号、1フレーム目のG1画像信号及びR1画像信号を用いて、第1信号比B2/R1、及び第2信号比G1/R1を算出しても良い。B2画像信号は、中心波長445nmの青色レーザ光に対応する画像信号であり、極表層血管よりも深い血管の情報を持っている。このように、診断の目的に応じて、第1信号比及び第2信号比を求めるための画像信号を変えても良い。
[第3実施形態]
第3実施形態では、上記第1実施形態で示した4色のLED20a〜20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図32に示すように、第3実施形態の内視鏡システム300では、光源装置14において、4色のLED20a〜20dに代えて、広帯域光源302、回転フィルタ304、フィルタ切替部305が設けられている。また、撮像光学系30bには、カラーの撮像センサ44の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ306が設けられている。
広帯域光源302はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ304は、内側に設けられた通常モード用フィルタ308と、外側に設けられた特殊モード用フィルタ309とを備えている(図33参照)。フィルタ切替部305は、回転フィルタ304を径方向に移動させるものであり、モード切替SW12fにより通常モードにセットされたときに、回転フィルタ304の通常モード用フィルタ308を白色光の光路に挿入し、特殊モードにセットされたときに、回転フィルタ304の特殊モード用フィルタ309を白色光の光路に挿入する。
図33に示すように、通常モード用フィルタ308には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ308a、白色光のうち緑色光を透過させるGフィルタ308b、白色光のうち赤色光を透過させるRフィルタ308cが設けられている。したがって、通常モード時には、回転フィルタ304が回転することで、青色光、緑色光、赤色光が交互に観察対象に照射される。
特殊モード用フィルタ309には、周方向に沿って、白色光のうち特定波長の青色狭帯域光を透過させるBnフィルタ309aと、白色光のうち緑色光を透過させるGフィルタ309b、白色光のうち赤色光を透過させるRフィルタ309cが設けられている。したがって、特殊モード時には、回転フィルタ304が回転することで、青色狭帯域光、緑色光、赤色光が交互に観察対象に照射される。
内視鏡システム300では、通常モード時には、青色光、緑色光、赤色光で観察対象が照明される毎にモノクロの撮像センサ306で観察対象を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGB色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、特殊モード時には、青色狭帯域光、緑色光、赤色光で観察対象が照明される毎にモノクロの撮像センサ306で観察対象を撮像する。これにより、Bn画像信号と、G画像信号、R画像信号が得られる。これらBn画像信号と、G画像信号、R画像信号に基づいて、特殊画像の生成が行われる。このように、特殊画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊画像の生成が行われる。
10,200,300 内視鏡システム
12 内視鏡
14 光源装置
16 プロセッサ装置
44,170 撮像センサ
60,150 特殊画像処理部
70 画像信号取得部
72 信号比算出部
74 算出プログラム設定部
76 血管情報算出部
78 画像生成部(血管抽出画像生成部)
102 原点設定部
104 軸方向設定部
112 選択基準値算出部
114 ルックアップテーブル選択部
122 クラスタ解析部
124 画素分布特定部
152 血管非血管抽出部(血管抽出部、非血管抽出部)

Claims (17)

  1. ヘモグロビンの吸光特性が互いに異なる3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得する画像信号取得部と、
    前記第3色画像信号に対する前記第1色画像信号の比である第1信号比と、前記第3色画像信号に対する前記第2色画像信号の比である第2信号比とを画素毎に算出する信号比算出部と、
    前記第1信号比及び前記第2信号比を用いて血管の太さ及び深さを算出する血管情報算出部と、
    前記第1信号比及び前記第2信号比で表される信号比空間内での画素分布によって、前記血管情報算出部が前記血管の太さ及び深さを算出するための算出プログラムを設定する算出プログラム設定部と、
    を備える画像処理装置。
  2. 前記第1信号比及び前記第2信号比で表される信号比空間内に定められ、前記第1信号比及び前記第2信号比を血管の太さ及び深さと対応付けるための血管情報座標の原点を、前記第1色画像信号、前記第2色画像信号、及び前記第3色画像信号を用いて設定する原点設定部と、
    前記信号比空間内の画素分布を用いて前記血管情報座標の軸方向を設定する軸方向設定部と、
    を備え、
    前記算出プログラム設定部は、前記原点及び前記軸方向が設定された前記血管情報座標を用いることで前記算出プログラムを設定する請求項1に記載の画像処理装置。
  3. 前記原点設定部は、前記第1色画像信号、前記第2色画像信号、及び前記第3色画像信号の画素値の中央値、最頻値、または平均値を用いて前記原点を設定する請求項2に記載の画像処理装置。
  4. 前記第1色画像信号、前記第2色画像信号、及び前記第3色画像信号に基づいて、前記血管を抽出した第1色血管画像信号、第2色血管画像信号、及び第3色血管画像信号を出力し、且つ前記血管以外を抽出した第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号を出力する血管非血管抽出部を備え、
    前記信号比算出部は、前記第3色血管画像信号に対する前記第1色血管画像信号の比を、前記第1信号比として求め、前記第3色血管画像信号に対する前記第2色血管画像信号の比を、前記第2信号比として求め、
    前記原点設定部は、前記第1色非血管画像信号、前記第2色非血管画像信号、及び前記第3色非血管画像信号の画素値の中央値、最頻値、または平均値を用いて前記原点を設定する請求項2に記載の画像処理装置。
  5. 前記軸方向設定部は、前記信号比空間内の画素分布を主成分分析または独立成分分析することによって前記軸方向を設定する請求項2〜4のいずれか1項に記載の画像処理装置。
  6. 前記血管情報算出部は、前記軸方向の成分を画像化することにより、特定の太さ及び特定の深さの前記血管を抽出した血管抽出画像を生成する血管抽出画像生成部を備える請求項2〜5のいずれか1項に記載の画像処理装置。
  7. 前記軸方向設定部は、第1軸方向と第2軸方向の2種類の前記軸方向を設定し、
    前記血管抽出画像生成部は、前記第1軸方向の成分を画像化した第1血管抽出画像と、前記第2軸方向の成分を画像化した第2血管抽出画像とを生成する請求項6に記載の画像処理装置。
  8. 前記算出プログラム設定部は、前記第1信号比及び前記第2信号比と、前記血管の太さ及び深さとを対応付けるルックアップテーブルを複数有し、前記信号比空間内での画素分布によって前記ルックアップテーブルを切り替えることで前記算出プログラムを設定する請求項1に記載の画像処理装置。
  9. 前記第1色画像信号、前記第2色画像信号、及び前記第3色画像信号に基づいて、前記血管以外を抽出した第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号を出力する非血管抽出部を備え、
    前記算出プログラム設定部は、前記第1色非血管画像信号、前記第2色非血管画像信号、及び前記第3色非血管画像信号の画素値の中央値、最頻値、または平均値に対応する前記信号比空間内の座標に基づいて、前記ルックアップテーブルを切り替える請求項8に記載の画像処理装置。
  10. 前記算出プログラム設定部は、前記第1信号比及び前記第2信号比と、前記血管の太さ及び深さとを対応付けるルックアップテーブルを前記信号比空間内での画素分布を用いて算出し、算出した前記ルックアップテーブルによって前記算出プログラムを設定する請求項1に記載の画像処理装置。
  11. 前記第1色画像信号、前記第2色画像信号、及び前記第3色画像信号に基づいて、前記血管を抽出した第1色血管画像信号、第2色血管画像信号、及び第3色血管画像信号を出力する血管抽出部を備え、
    前記信号比算出部は、前記第3色血管画像信号に対する前記第1色血管画像信号の比を、前記第1信号比として求め、前記第3色血管画像信号に対する前記第2色血管画像信号の比を、前記第2信号比として求める請求項10に記載の画像処理装置。
  12. 前記算出プログラム設定部は、前記信号比空間内での画素分布をクラスタ解析することによって前記算出プログラムを設定する請求項1に記載の画像処理装置。
  13. 前記第1色画像信号、前記第2色画像信号、及び前記第3色画像信号に基づいて、前記血管を抽出した第1色血管画像信号、第2色血管画像信号、及び第3色血管画像信号を出力し、且つ前記血管以外を抽出した第1色非血管画像信号、第2色非血管画像信号、及び第3色非血管画像信号を出力する血管非血管抽出部を備え、
    前記信号比算出部は、前記第3色血管画像信号に対する前記第1色血管画像信号の比を、前記第1信号比として求め、前記第3色血管画像信号に対する前記第2色血管画像信号の比を、前記第2信号比として求め、
    前記算出プログラム設定部は、前記第1色非血管画像信号、前記第2色非血管画像信号、及び前記第3色非血管画像信号の画素値の中央値、最頻値、または平均値に対応する前記信号比空間内の座標に基づいて、前記クラスタ解析する請求項12に記載の画像処理装置。
  14. 前記信号比算出部は、前記第1信号比及び前記第2信号比に加えて、さらに前記第1色画像信号に対する前記第2色画像信号の比である第3信号比を算出し、
    前記血管情報算出部は、前記第1信号比、前記第2信号比及び前記第3信号比を用いることで、前記血管の太さと、前記血管の深さと、観察対象に付着する粘液の濃度と、を算出する請求項1〜13のいずれか1項に記載の画像処理装置。
  15. ヘモグロビンの吸光特性が互いに異なる3つの波長帯域を含む照明光を発する光源と、
    前記照明光が照射された観察対象を撮像する撮像センサと、
    前記撮像センサで撮像して得た前記3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得する画像信号取得部と、
    前記第3色画像信号に対する前記第1色画像信号の比である第1信号比と、前記第3色画像信号に対する前記第2色画像信号の比である第2信号比とを画素毎に算出する信号比算出部と、
    前記第1信号比及び前記第2信号比を用いて血管の太さ及び深さを算出する血管情報算出部と、
    前記第1信号比及び前記第2信号比で表される信号比空間内での画素分布によって、前記血管情報算出部が前記血管の太さ及び深さを算出するための算出プログラムを設定する算出プログラム設定部と、
    を備える内視鏡システム。
  16. 画像信号取得部が、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得するステップと、
    信号比算出部が、前記第3色画像信号に対する前記第1色画像信号の比である第1信号比と、前記第3色画像信号に対する前記第2色画像信号の比である第2信号比とを画素毎に算出するステップと、
    血管情報算出部が、前記第1信号比及び前記第2信号比を用いて血管の太さ及び深さを算出するステップと、
    算出プログラム設定部が、前記第1信号比及び前記第2信号比で表される信号比空間内での画素分布によって、前記血管情報算出部が前記血管の太さ及び深さを算出するための算出プログラムを設定するステップと、
    を備える画像処理装置の作動方法。
  17. 光源が、ヘモグロビンの吸光特性が互いに異なる3つの波長帯域を含む照明光を発するステップと、
    撮像センサが、前記照明光が照射された観察対象を撮像するステップと、
    画像信号取得部が、前記撮像センサで撮像して得た前記3つの波長帯域に対応する第1色画像信号、第2色画像信号、及び第3色画像信号を取得するステップと、
    信号比算出部が、前記第3色画像信号に対する前記第1色画像信号の比である第1信号比と、前記第3色画像信号に対する前記第2色画像信号の比である第2信号比とを画素毎に算出するステップと、
    血管情報算出部が、前記第1信号比及び前記第2信号比を用いて血管の太さ及び深さを算出するステップと、
    算出プログラム設定部が、前記第1信号比及び前記第2信号比で表される信号比空間内での画素分布によって、前記血管情報算出部が前記血管の太さ及び深さを算出するための算出プログラムを設定するステップと、
    を備える内視鏡システムの作動方法。
JP2015058776A 2015-03-20 2015-03-20 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法 Active JP6285383B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015058776A JP6285383B2 (ja) 2015-03-20 2015-03-20 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015058776A JP6285383B2 (ja) 2015-03-20 2015-03-20 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2016174836A JP2016174836A (ja) 2016-10-06
JP6285383B2 true JP6285383B2 (ja) 2018-02-28

Family

ID=57070682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015058776A Active JP6285383B2 (ja) 2015-03-20 2015-03-20 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法

Country Status (1)

Country Link
JP (1) JP6285383B2 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20200085287A1 (en) * 2017-03-29 2020-03-19 Sony Corporation Medical imaging device and endoscope
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US20190125320A1 (en) 2017-10-30 2019-05-02 Ethicon Llc Control system arrangements for a modular surgical instrument
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11100631B2 (en) * 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
WO2019234829A1 (ja) 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡システム
WO2019234831A1 (ja) 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡システム
EP3620098B1 (en) * 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images
US11331101B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Deactivator element for defeating surgical stapling device lockouts
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US10980397B1 (en) 2020-02-21 2021-04-20 Ambu A/S Video processing device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5389742B2 (ja) * 2009-09-30 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5309120B2 (ja) * 2010-12-20 2013-10-09 富士フイルム株式会社 内視鏡装置
JP2012170774A (ja) * 2011-02-24 2012-09-10 Fujifilm Corp 内視鏡システム
JP5642619B2 (ja) * 2011-05-12 2014-12-17 富士フイルム株式会社 医療装置システム及び医療装置システムの作動方法

Also Published As

Publication number Publication date
JP2016174836A (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6285383B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
EP3437542B1 (en) Image processing device, operation method for image processing device, and image processing program
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP5992936B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
WO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
US10986987B2 (en) Processor device and endoscope system
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
WO2016110984A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP6690003B2 (ja) 内視鏡システム及びその作動方法
JP2020065685A (ja) 内視鏡システム
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP5972312B2 (ja) 医用画像処理装置及びその作動方法
JP2017184861A (ja) 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
WO2018079217A1 (ja) 内視鏡システム及びその作動方法
WO2018079116A1 (ja) 内視鏡システム
JP6285373B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP2016120026A (ja) 内視鏡システム及びその作動方法
JP6196599B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
JPWO2019163471A1 (ja) 内視鏡システム
JP6586206B2 (ja) 内視鏡システム及びその作動方法
JP2022160298A (ja) 医用画像処理装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170210

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180201

R150 Certificate of patent or registration of utility model

Ref document number: 6285383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250