JP6932094B2 - 内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法 - Google Patents

内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法 Download PDF

Info

Publication number
JP6932094B2
JP6932094B2 JP2018024499A JP2018024499A JP6932094B2 JP 6932094 B2 JP6932094 B2 JP 6932094B2 JP 2018024499 A JP2018024499 A JP 2018024499A JP 2018024499 A JP2018024499 A JP 2018024499A JP 6932094 B2 JP6932094 B2 JP 6932094B2
Authority
JP
Japan
Prior art keywords
calibration
image
chart
color balance
calibration chart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018024499A
Other languages
English (en)
Other versions
JP2019136412A (ja
Inventor
典雅 繁田
典雅 繁田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018024499A priority Critical patent/JP6932094B2/ja
Publication of JP2019136412A publication Critical patent/JP2019136412A/ja
Application granted granted Critical
Publication of JP6932094B2 publication Critical patent/JP6932094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、カラーバランスが適正か否かなど内視鏡診断前のキャリブレーションを行う内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、単に観察対象を撮像するだけでなく、観察対象に照射する照明光の波長を工夫したり、観察対象を撮像して得た画像信号に分光推定処理等の信号処理を施したりすることによって、血管や腺管構造等の特定の組織や構造を強調した観察画像を得る内視鏡システムが普及している。
また、内視鏡などには、観察対象の撮像に用いる撮像素子などの個体差があることから、内視鏡の診断前には、キャリブレーションを行って、ホワイトバランスなどのカラーバランスが適正か否かの判定を行うようにしている。カラーバランスが適正でない場合には、カラーバランスの補正が行われる。キャリブレーションに際しては、特許文献1及び2に示すように、キャリブレーション治具が用いられる。キャリブレーション治具にはキャリブレーション用チャートが設けられており、キャリブレーション用チャートを内視鏡によって撮像し、この撮像により得られたキャリブレーション画像に基づいて、カラーバランスが適正か否かの判定を行う。例えば、特許文献1及び2では、キャリブレーション用チャートとして蛍光発生面を設けることで、自家蛍光のカラーバランスが適正か否かを判定することができるようにしている。
また、上記のように、内視鏡の個体差の他、内視鏡システムで用いるレンズや偏光素子などの光学部材の経時劣化によっても、カラーバランスが変化することから、特許文献3では、内視鏡の使用時間から、光学部材の劣化状態に基づくカラーバランスの変化量を算出し、その変化量が特定の閾値以上となる場合に、警告を行うようにしている。
特許4922622号 特許4637604号 特許5526300号
上記のように、カラーバランスが適正か否かの判定を確実に行うためには、キャリブレーション画像に含まれるキャリブレーション用チャートの画像が、キャリブレーションを実行することができる最低限の条件、例えば、大きさや形状を満たすことが必要となる。これに関して、特許文献1には、キャリブレーション用チャートが写り込んでいるか否かの判定を行うようにしている。しかしながら、キャリブレーション用チャートが写り込んでいるかの判定を具体的にどのように行うかについては、記載及び示唆されていない。その他の特許文献2及び3についても、特許文献1と同様である。
本発明は、キャリブレーション画像におけるキャリブレーション用チャートの写り込みに関する判定を行うことによって、カラーバランスが適正か否かの判定を行うことができるようにする内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法を提供することを目的とする。
本発明の内視鏡システムは、キャリブレーション用チャートを撮像して得られるキャリブレーション画像を取得する画像取得部と、キャリブレーション画像の空間的画像特徴量を用いてキャリブレーション用チャートの形状を解析し、キャリブレーション用チャートの形状を用いてキャリブレーション画像にキャリブレーション用チャートが含まれているか否かを判定するチャート有無判定部と、キャリブレーション画像の空間的画像特徴量を用いてキャリブレーション用チャートの傾きを解析し、キャリブレーション用チャートの傾きが、予め定めた基準範囲内に入っているか否かを判定するチャート傾き判定部と、キャリブレーション画像にキャリブレーション用チャートが含まれていると判定され、且つ、キャリブレーション用チャートの傾きが基準範囲内に入っていると判定され、且つ、複数のフレームから取得したキャリブレーション用チャートにおける画像中央の平均輝度の変動に基づくキャリブレーション用チャートの動きが、動き用範囲に入っていると判定された場合に、キャリブレーション画像に基づいて、カラーバランスが適正か否かを判定するカラーバランス判定部とを有し、キャリブレーション画像にキャリブレーション用チャートが含まれないと判定された場合、キャリブレーション用チャートの傾きが基準範囲内に入っていないと判定された場合、または、キャリブレーション用チャートの動きが動き用範囲に入っていないと判定された場合には、警告メッセージが表示される。
チャート有無判定部は、キャリブレーション用チャートの形状として、キャリブレーション画像における中央領域の形状を解析し、中央領域の形状が予め定めた基準形状を有するか否かによって、判定を行うことが好ましい。キャリブレーション用チャートは、円筒形状を有するキャリブレーション治具の内部に設けられており、基準形状は円形であることが好ましい。
キャリブレーション画像の空間的画像特徴量を用いてキャリブレーション用チャートの傾きを解析し、キャリブレーション用チャートの傾きが、予め定めた基準範囲内に入っているか否かを判定するチャート傾き判定部を有し、カラーバランス判定部は、キャリブレーション画像にキャリブレーション用チャートが含まれていると判定され、且つ、キャリブレーション用チャートの傾きが基準範囲内に入っていると判定された場合に、カラーバランスが適正か否かを判定することが好ましい。チャート傾き判定部は、キャリブレーション画像の空間的画像特徴量として、明度分布を用いて、判定を行うことが好ましい。
複数のモードに対応する複数の照明光を、順次、キャリブレーション用チャートに照明して撮像することにより、複数のモードに対応する複数のキャリブレーション画像を取得する内視鏡を有し、カラーバランス判定部は、複数のモードに対応する複数のキャリブレーション画像に基づいて、モード毎にカラーバランスが適正か否かを判定することが好ましい。
本発明の内視鏡管理装置は、上記記載の本発明の内視鏡システムとネットワークを介して接続され、カラーバランス判定部での判定結果を含む内視鏡管理データを、ネットワークを介して受信し、内視鏡管理データを内視鏡データ管理部に保存する。
本発明のキャリブレーション方法は、画像取得部は、キャリブレーション用チャートを撮像して得られるキャリブレーション画像を取得するステップと、チャート有無判定部は、キャリブレーション画像の空間的画像特徴量を用いてキャリブレーション用チャートの形状を解析し、キャリブレーション用チャートの形状を用いてキャリブレーション画像にキャリブレーション用チャートが含まれているか否かを判定するステップと、チャート傾き判定部は、キャリブレーション画像の空間的画像特徴量を用いてキャリブレーション用チャートの傾きを解析し、キャリブレーション用チャートの傾きが、予め定めた基準範囲内に入っているか否かを判定するステップと、カラーバランス判定部は、キャリブレーション画像にキャリブレーション用チャートが含まれていると判定され、且つ、キャリブレーション用チャートの傾きが基準範囲内に入っていると判定され、且つ、複数のフレームから取得したキャリブレーション用チャートにおける画像中央の平均輝度の変動に基づくキャリブレーション用チャートの動きが、動き用範囲に入っていると判定された場合に、キャリブレーション画像に基づいて、カラーバランスが適正か否かを判定するとステップとを有し、キャリブレーション画像にキャリブレーション用チャートが含まれないと判定された場合、キャリブレーション用チャートの傾きが基準範囲内に入っていないと判定された場合、または、キャリブレーション用チャートの動きが動き用範囲に入っていないと判定された場合には、警告メッセージが表示される。
本発明によれば、キャリブレーション画像におけるキャリブレーション用チャートの写り込みに関する判定を行うことによって、カラーバランスが適正か否かの判定を行うことができるようになる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 酸素飽和度画像生成部の機能を示すブロック図である。 縦軸がLog(B1/G2)、横軸がLog(R2/G2)である第1特徴空間における酸素飽和度の等値線の位置を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度の算出方法を示す説明図である。 キャリブレーション治具と内視鏡の先端部を示す説明図である。 キャリブレーション用処理部の機能を示すブロック図である。 内視鏡の先端部の挿入を開始した場合のキャリブレーション画像を示す画像図である。 キャリブレーション用チャートの画像が基準ラインに一致している場合のキャリブレーション画像を示す画像図である。 キャリブレーション用チャートの傾き判定に用いるキャリブレーション用チャートの画像を示す画像図である。 キャリブレーション用チャートの傾きが基準範囲に入っていない場合のキャリブレーション用チャートの画像を示す画像図である。 キャリブレーションモード時においてキャリブレーション用チャートに照明する照明光の種類を示す説明図である。 カラーバランスが適正に行いえないと判定された場合に表示されるメッセージを示す画像図である。 通常モード用パラメータの算出方法を示す説明図である。 カラーバランスが適正であると判定される場合に表示されるメッセージを示す画像図である。 カラーバランスが適正でないと判定される場合に表示されるメッセージを示す画像図である。 酸素飽和度モード用パラメータの算出方法を示す説明図である。 血管強調モード用パラメータの算出方法を示す説明図である。 キャリブレーションモードの一連の流れを示すフローチャートである。 第2実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 第3実施形態の内視鏡システムの機能を示すブロック図である。 第1広帯域光のスペクトルを示すグラフである。 青緑色照明光のスペクトルを示すグラフである。 第2広帯域光のスペクトルを示すグラフである。
[第1実施形態]
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、観察対象の静止画の取得指示に用いられる静止画取得指示部12gとが設けられている。
なお、内視鏡システム10は、通常モード、酸素飽和度モード、血管強調モード、キャリブレーションモードの4つのモードを有している。通常モードは、通常モード用照明光を観察対象に照明して撮像することによって、自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。酸素飽和度モードは、酸素飽和度モード用照明光を観察対象に照明して撮像することによって、観察対象に含まれる血管中の酸素飽和度を取得し、算出した酸素飽和度を擬似カラーなどで画像化した画像(以下、酸素飽和度画像という)をモニタ18に表示する。血管強調モードは、血管強調モード用照明光を観察対象に照明して撮像することによって、観察対象に含まれる血管を強調した画像(以下、血管強調画像という)をモニタ18に表示する。
キャリブレーションモードは、内視鏡診断前の点検時に用いられるモードである。このキャリブレーションモードでは、各モードで用いる照明光を順次キャリブレーション用チャート85に照明し、各照明光の照明毎に得られるキャリブレーション画像から、カラーバランスが適正か否かの判定を行う。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール19は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
図2において、光源装置14は、光源20と、光源20を制御する光源制御部21とを備えている。光源20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源20は、V−LED(Violet Light Emitting Diode)20a、BS−LED(Blue Short -wavelength Light Emitting Diode)20b、BL−LED(Blue Long-wavelength Light Emitting Diode)20c、G−LED(Green Light Emitting Diode)20d、及びR−LED(Red Light Emitting Diode)20eの5色のLEDを有する。
V-LED20aは、波長帯域405±10nmの紫色光Vを発する。BS-LED20bは、波長帯域450±10nmの第1青色光BSを発する。BL-LED20cは、波長帯域470±10nmの第2青色光BLを発する。G-LED20dは、波長帯域540±10nmの緑色光Gを発する。R-LED20eは、波長帯域640±20nmの赤色光Rを発する。なお、各LED20a〜20eにおける中心波長とピーク波長は、同じであってもよく、異なっても良い。
光源制御部21は、各LED20a〜20eに対して独立に制御信号を入力することによって、各LED20a〜20eの点灯や消灯、点灯時の発光量などを独立に制御する。
光源制御部21における点灯又は消灯制御は、各モードによって異なっている。通常モードでは、BS-LED20b、G-LED20d、R-LED20eを同時に点灯することによって、第1青色光BS、緑色光G、赤色光Rを同時に発光する。これにより、通常モード用照明光が発光される。
酸素飽和度モードでは、酸素飽和度モード用照明光として、第1酸素飽和度モード用照明光と第2酸素飽和度モード用照明光を、特定の間隔で繰り返し発光を行う。具体的には、酸素飽和度モードでは、BL-LED20cを点灯することにより、第1酸素飽和度モード用照明光として、第2青色光BLを発光する。また、BS-LED20b、G-LED20d、R-LED20eを同時に点灯することによって、第2酸素飽和度モード用照明光として、第1青色光BS、緑色光G、赤色光Rを同時に発光する。血管強調モードでは、BS-LED20b、G-LED20d、R-LED20eを同時に点灯することによって、血管強調モード用照明光として、紫色光V、緑色光G、赤色光Rを同時に発光する。
キャリブレーションモードでは、各LED20a〜20eを制御することによって、通常モード用照明光、酸素飽和度モード用照明光、血管強調モード用照明光を、順次発光する。発光する間隔は、特定の時間、例えば1秒間隔で発光することが好ましい。これら4種類の照明光は、順次、キャリブレーション用チャート85(図7参照)に照射される。具体的には、第1青色光BS、緑色光G、赤色光Rを含む通常モード用照明光、第2青色光BLを含む第1酸素飽和度モード用照明光、第1青色光BS、緑色光G、赤色光Rを含む第2酸素飽和度モード用照明光、紫色光V、緑色光G、赤色光Rを含む血管強調モード用照明光が、順次、キャリブレーション用チャート85(図7参照)に照射される。
各LED20a〜20eが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。
撮像センサ44としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ44の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ44と同様のRGB各色の画像信号を得ることができる。
撮像センサ44は、撮像制御部45によって駆動制御される。撮像制御部45における制御は、各モードによって異なっている。通常モードでは、撮像制御部45は、通常モード用照明光で照明中の観察対象を1フレーム毎に撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。
酸素飽和度モードでは、撮像制御部45は撮像センサ44を制御して、第1酸素飽和度モード用照明光で照明中の観察対象を撮像する制御と、第2酸素飽和度モード用照明光で照明中の観察対象を撮像する制御とを、特定のフレーム間隔で交互に繰り返すように行う。これにより、第1酸素飽和度モード用照明光の照明時には、撮像センサ44のB画素からB1画像信号が出力され、G画素からG1画像信号が出力され、R画素からR1画像信号が出力される。また、第2酸素飽和度モード用照明光の照明時には、撮像センサ44のB画素からB2画像信号が出力され、G画素からG2画像信号が出力され、R画素からR2画像信号が出力される。
血管強調モードでは、撮像制御部45は撮像センサ44を制御して、血管強調モード用照明光で照明中の観察対象を1フレーム毎に撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBv画像信号が出力され、G画素からGv画像信号が出力され、R画素からRv画像信号が出力される。
キャリブレーションモードでは、撮像制御部45は撮像センサ44を制御して、通常モード用照明光、第1酸素飽和度モード用照明光、血管強調モード用照明光がそれぞれ照明される毎に、キャリブレーション用チャートの撮像を行う。これにより、通常モード用照明光の照明時には、撮像センサ44からBp画像信号、Gp画像信号、Rp画像信号が出力され、第1酸素飽和度モード用照明光の照明時には、撮像センサ44からBq画像信号、Gq画像信号、Rq画像信号が出力され、血管強調モード用照明光の照明時には、撮像センサ44からBr画像信号、Gr画像信号、Rr画像信号が出力される。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、映像信号生成部60とを備えている。画像処理部58は、通常画像生成部62と、酸素飽和度画像生成部64と、血管強調画像生成部66と、キャリブレーション用処理部68とを備えている。
画像取得部50は、内視鏡12から入力される画像信号を受信し、受信した画像信号をDSP52に送信する。DSP52は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。
その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。
ノイズ低減部54は、DSP56でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理切替部56に入力される。
画像処理切替部56は、設定されているモードによって、ノイズ低減部54からの画像信号の送信先を、通常画像生成部62、酸素飽和度画像生成部64、キャリブレーション用処理部68のいずれかに切り替える。具体的には、通常モードにセットされている場合には、ノイズ低減部54からの画像信号を通常画像生成部62に入力する。また、酸素飽和度モードに設定されている場合、ノイズ低減部54からの画像信号を酸素飽和度画像生成部64に入力する。また、血管強調モードにセットされている場合には、ノイズ低減部54からの画像信号を血管強調画像生成部66に入力する。また、キャリブレーションモードに設定されている場合、ノイズ低減部54からの画像信号をキャリブレーション用処理部68に入力する。
通常画像生成部62は、入力した1フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、通常画像用画像処理を施す。通常画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常画像用画像処理が施されたRc画像信号、Gc画像信号、Bc画像信号は、通常画像として映像信号生成部60に入力される。
酸素飽和度画像生成部64は、酸素飽和度モード時に得られる画像信号のうちB1画像信号、G2画像信号、R2画像信号と酸素飽和度との相関関係を用いて、酸素飽和度を算出する。酸素飽和度の算出方法については後述する。算出した酸素飽和度を疑似カラーなどで画像化した酸素飽和度画像を生成する。この酸素飽和度画像は、映像信号生成部60に入力される。
血管強調画像生成部66は、血管強調モード時に得られるBv画像信号、Gv画像信号、Rv画像信号に対して血管強調画像用画像処理を施すことによって、特定深さの血管を強調した血管強調画像を生成する。血管強調画像用画像処理は、通常画像用画像処理と同じ種類の処理であるものの、パラメータや係数が通常画像用画像処理とは異なっている。
キャリブレーション用処理部68は、キャリブレーションモード時に取得した画像であるキャリブレーション画像にキャリブレーション用チャートが含まれているか否かを判定し、且つ、キャリブレーション用チャートが含まれていると判定された場合に、通常モード、酸素飽和度モード、血管強調モードにおけるカラーバランスが適正か否かの判定を行う。このキャリブレーション用処理部68の詳細については後述する。
映像信号生成部60は、画像処理部58から出力される通常画像、酸素飽和度画像、血管強調画像を、モニタ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はモニタ18に入力される。これにより、モニタ18には通常画像、酸素飽和度画像、血管強調画像が表示される。また、映像信号生成部60は、必要に応じて、キャリブレーション用処理部68からの画像データを、モニタ18においてフルカラーで表示可能にする映像信号に変換する。
次に、酸素飽和度の算出方法及び酸素飽和度画像の生成方法について説明する。図3に示すように、酸素飽和度画像生成部64は、信号比算出部70と、相関関係記憶部72と、酸素飽和度算出部74と、画像生成部76と、を備えている。信号比算出部70は、酸素飽和度算出部74で酸素飽和度の算出のために用いる信号比を算出する。具体的には、信号比算出部70は、酸素飽和度モードで得られた画像信号のうち、B1画像信号とG2画像信号の信号比B1/G2と、R2画像信号とG2画像信号の信号比R2/G2と、G2画像信号とB2画像信号の信号比G2/B2とをそれぞれ画素毎に算出する。
相関関係記憶部72は、信号比算出部70が算出する各信号比と、酸素飽和度との相関関係を、LUT(Look Up Table)などの記憶手段に記憶している。この相関関係を、縦軸Log(B1/G2)、横軸Log(R2/G2)で形成される第1特徴空間上で表した場合、図4に示すように、第1特徴空間上において、酸素飽和度が同じ部分を繋ぎあわせた等値線が、ほぼ横軸方向に沿って、形成されている。また、等値線は、酸素飽和度が大きくなるほど、縦軸方向に対して、より下方側に位置している。例えば、酸素飽和度が100%の等値線EL1は、酸素飽和度が0%の等値線EL2よりも下方に位置している。
なお、第1特徴空間における等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。また、相関関係記憶部72では、信号比B1/G2、R2/G2と酸素飽和度との相関関係を記憶しているが、信号比B1/G2、R2/G2との相関関係に限らず、B1画像信号、G2画像信号、R2画像信号に基づく特定の演算(例えば、差分処理)を行って得られる第1演算値と酸素飽和度との相関関係を記憶するようにしてもよい。
上記相関関係は、図5に示す酸化ヘモグロビン(グラフ80)や還元ヘモグロビン(グラフ81)の吸光特性や光散乱特性と密接に関連し合っている。例えば、第2青色光BLの波長帯域470±10nmのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長帯域では、ヘモグロビンの酸素飽和度によって吸光量が変化するため、酸素飽和度の情報を取り扱いやすい。したがって、中心波長470nm第2青色光BLの光に対応するB1画像信号を含む信号比B1/G2を用いることで、酸素飽和度の算出が可能となる。しかしながら、信号比B1/G2は酸素飽和度だけでなく、血液量にも依存度が高い。そこで、信号比B1/G2に加えて、主として血液量に依存して変化する信号比R2/G2を用いることで、血液量に影響されることなく、酸素飽和度を正確に求めることができる。なお、G2画像信号に含まれる緑色光の波長帯域540±20nmは、ヘモグロビンの吸光係数が比較的高いため、血液量によって吸光量が変化しやすい波長帯域である。
酸素飽和度算出部74は、相関関係記憶部72に記憶した相関関係を参照し、信号比B1/G2,R2/G2に対応する酸素飽和度を画素毎に算出する。例えば、図6に示すように、相関関係記憶部72に記憶した相関関係を参照した場合、特定画素の信号比B1*/G2*,R2*/G2*に対応する酸素飽和度は「40%」である。したがって、酸素飽和度算出部74は、酸素飽和度を「40%」と算出する。
なお、信号比B1/G2,R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B1/G2、R2/G2の各値の組み合わせが、酸素飽和度100%の上限の等値線EL1(図4参照)よりも下方に分布したり、反対に、酸素飽和度0%の下限の等値線EL2(図4参照)よりも上方に分布したりすることはほとんどない。但し、上限の等値線EL1より下方に分布する場合には酸素飽和度を100%とし、下限の等値線EL2より上方に分布する場合には酸素飽和度算出部74は酸素飽和度を0%とする。また、信号比B1/G2,R2/G2に対応する点が上限の等値線EL1と下限の等値線EL2との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしたりしても良い。
画像生成部76は、酸素飽和度算出部74で算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部76は、B2画像信号,G2画像信号,及びR2画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したB2画像信号,G2画像信号,及びR2画像信号を用いてRGB画像データを生成する。例えば、画像生成部76は、酸素飽和度が60%以上の画素ではB2画像信号,G2画像信号,及びR2画像信号のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素では、B2画像信号に対して「1」未満のゲインを乗じ、G2画像信号及びR2画像信号に対しては「1」以上のゲインを乗じる。このゲイン処理後のB2画像信号,G2画像信号,及びR2画像信号を用いて生成したRGB画像データが酸素飽和度画像である。
画像生成部76が生成した酸素飽和度画像では、高酸素の領域(酸素飽和度が60〜100%の領域)では、通常観察画像と同様の色で表される。一方、酸素飽和度が特定値を下回る低酸素の領域(酸素飽和度が0〜60%の領域)は、通常観察画像とは異なる色(疑似カラー)で表される。
なお、本実施形態では、画像生成部76は、低酸素の領域のみ疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度60%で分けているがこの境界も任意である。
次に、キャリブレーションモードについての詳細を説明する。図7に示すように、キャリブレーションモードでは、キャリブレーション治具84が用いられる。キャリブレーション治具84は円筒形状であり、一方の端面のみ開口した開口部84aを有し、他方の端面は底面となっている。また、キャリブレーション治具84の底面には、キャリブレーション用チャート85が設けられている。また、キャリブレーション治具84の内周面にも、キャリブレーション用チャート85を設けてもよい。キャリブレーション用チャート85は、キャリブレーション治具84内に印刷された画像であってもよいし、プラスチック板や金属板などを所定の形状に加工し、張り付けたものであってもよい。また、図8に示すように、キャリブレーションモードで用いるキャリブレーション用処理部68は、チャート有無判定部86と、チャート傾き判定部87と、カラーバランス判定部88と、カラーバランス補正部90とを備えている。なお、カラーバランスとしてホワイトバランスのキャリブレーションを行う場合には、キャリブレーション用チャートの色は白色であることが好ましい。
そして、カラーバランスが適正か否かのキャリブレーションを行う場合には、キャリブレーション治具84の開口部84aを下に向け、この開口部84aから、内視鏡12の先端部12dをキャリブレーション治具84の内部に挿入する。内視鏡12の先端部12dをキャリブレーション治具84の内部に挿入すると、図9に示すように、キャリブレーション画像において、内視鏡12の先端部12dからの照明光によって照明された円状のキャリブレーション用チャート85が写し出される。また、キャリブレーション画像では、円形の基準ラインBLが表示されており、円状のキャリブレーション用チャート85が基準ラインBLに一致するように、内視鏡12の先端部12dを更にキャリブレーション治具84に挿入する。なお、キャリブレーション治具84の開口部84aを下向きにするのは、キャリブレーション時に外光が入り込むことを避けるためである。
なお、内視鏡12の先端部12dをキャリブレーション治具84に挿入する際に発する照明光は、通常モード用照明光、酸素飽和度モード用照明光、血管強調モード用照明光のうちいずれかであることが好ましい。また、キャリブレーション治具84がキャリブレーションを行うのに必要な姿勢や状態になっているか否かを判定するために、キャリブレーション治具84に、ジャイロなど姿勢検知装置を設けることが好ましい。この場合、姿勢検知装置において、キャリブレーション治具84の開口部84aが下向きであると検知した場合に、キャリブレーションモードの実行を許可するようにすることが好ましい。また、同様にして、内視鏡12の先端部12dの向きがキャリブレーションを行うのに必要な姿勢や位置になっているか否かを判定するために、内視鏡12の先端部12dに、重力センサなどの姿勢検知装置を設けることが好ましい。この場合、姿勢検知装置において、内視鏡12の先端部12dが上向きであると検知した場合に、キャリブレーションモードの実行を許可するようにすることが好ましい。
チャート有無判定部86は、キャリブレーション画像の空間的画像特徴量からキャリブレーション用チャート85の形状を解析して、キャリブレーション用チャート85の形状として、キャリブレーション画像のうち中央領域の形状が、予め定めた基準形状を有するか否かを判定する。具体的には、キャリブレーション画像において、キャリブレーション用チャート85の画像が、キャリブレーションモードを適正に行うために必要な特定条件を満たすか否かを判定する。特定条件としては、例えば、少なくともキャリブレーション用チャートの画像が一定の大きさと形状を有することをいう。図10に示すように、キャリブレーション画像におけるキャリブレーション画像が基準ラインBLに一致した場合には、チャート有無判定部86は、キャリブレーション画像の中央領域の形状が、予め定めた基準形状を有すると判定する。なお、基準形状は、キャリブレーション治具84に設けられているキャリブレーション用チャート85の形状に応じて定められる。本実施形態は、キャリブレーション用チャート85はキャリブレーション治具84の底面(又は内周面)に設けられていることから、基準形状は円形とすることが好ましい。
また、空間的画像特徴量とは、画像において、複数の画素位置で取得した画素値、又は、複数の画素位置のうち各画素位置及びその近傍で取得した複数の画素値を組み合わせた値(例えば、複数の画素値を四則演算によって組み合わせる)を表している。また、空間的画像特徴量とは、画像に空間フィルタリングを適用して得られる値や、テンプレートマッチングによって得られる値も含まれる。以上のような空間的画像特徴量をチャート有無判定部86において用いることで、画素値平均など空間的な画像情報を有しない非空間的画像特徴量を用いる場合と比較して、キャリブレーション用チャート85の形状の解析をより詳細、且つ正確に行うことができる。また、空間的画像特徴量を後述のチャート傾き判定部87において用いることで、非空間的画像特徴量を用いる場合と比較して、キャリブレーション用チャート85の傾きの解析をより詳細、且つ正確に行うことができる。
チャート傾き判定部87は、キャリブレーション画像の空間的画像特徴量からキャリブレーション用チャート85の傾きを解析し、キャリブレーション用チャート85の傾きが、予め定めた基準範囲に入っているか否かを判定する。具体的には、チャート傾き判定部87は、キャリブレーション画像の空間的画像特徴量から明度分布を算出し、算出した明度分布のうち周辺領域の明度が一定の明度用範囲に入っているか否かを判定する。周辺領域の明度が一定の明度用範囲に入っている場合には、チャート傾き判定部87は、キャリブレーション用チャート85の傾きが基準範囲に入っていると判定する。
なお、周辺領域の明度が一定の明度用範囲に入っている場合とは、例えば、図11に示すように、キャリブレーション用チャート85の画像の周辺領域のうち、第1の周辺領域Rg1の明度と、中心CPに対して第1周辺領域Rg1と略対称の位置にある第2の周辺領域Rg2の明度との差が一定の範囲に入っていることをいう。例えば、図12に示すように、キャリブレーション用チャート85の画像のうち、第1周辺領域Rg1の明度が全体的に大きく明るいのに対して、第2周辺領域Rg2の明度が全体的に小さく暗い場合には、キャリブレーション用チャート85が大きく傾いており、キャリブレーション用チャート85の傾きが基準範囲に入っていないと判定される。
カラーバランス判定部88は、キャリブレーション画像のうち中央領域の形状が基準形状を有すると判定され、且つ、キャリブレーション用チャート85の傾きが基準範囲に入っていると判定された場合に、カラーバランスが適正か否かの判定を行う。この場合には、各モードにおけるカラーバランスに関する情報を取得するために、図13に示すように、通常モード用照明光、第1酸素飽和度モード用照明光、血管強調モード用照明光が、順次、キャリブレーション用チャート85に照射される。通常モード用照明光の照明時には、キャリブレーション用チャート85を撮像することにより、通常モード用のキャリブレーション画像が得られる。また、第1酸素飽和度モード用照明光の照明時には、キャリブレーション用チャート85を撮像することにより、酸素飽和度モード用のキャリブレーション画像が得られる。また、血管強調モード用照明光の照明時には、キャリブレーション用チャート85を撮像することにより、血管強調モード用のキャリブレーション画像が得られる。
なお、キャリブレーション画像のうち中央領域の形状が基準形状を有しないと判定され、または、キャリブレーション用チャート85の傾きが基準範囲に入っていないと判定された場合には、図14に示すように、「カラーバランスが適正か否かの判定を行うことができません」との警告メッセージがモニタ18に表示される。また、キャリブレーション画像のうち中央領域の形状が基準形状を有すると判定され、且つ、キャリブレーション用チャート85の傾きが基準範囲に入っていると判定された場合に、カラーバランスが適正か否かの判定を行うようにしているが、キャリブレーション画像のうち中央領域の形状が基準形状を有すると判定された場合、または、キャリブレーション用チャート85の傾きが基準範囲に入っていると判定された場合のうち、少なくとも一方を満たした場合に、カラーバランスが適正か否かの判定を行うようにしてもよい。
カラーバランス判定部88は、図15に示すように、通常モード用キャリブレーション画像から、カラーバランスを判定するための通常モード用パラメータを算出する。具体的には、通常モード用パラメータとして、通常モード用キャリブレーション画像のうち中央部に含まれるRp画像信号とGp画像信号のRp/Gp比(log(Rp/Gp))とBp画像信号とGp画像信号の通常モード用Bp/Gp比(log(Bq/Gq))とを算出し、それらRp/Gp比、Bp/Gp比と、基準の通常モード用パラメータRpk/Gpk比、Bpk/Gpk比(基準パラメータ)との差が、特定のカラーバランス用範囲に入っているか否かを判定する。
Rp/Gp比、Bp/Gp比と基準の通常モード用パラメータRpk/Gpk比、Bpk/Gpkとの差が特定のカラーバランス用範囲に入っている場合には、図16に示すように、「カラーバランスは適正です」とのメッセージ表示をモニタ18に表示する。一方、Rp/Gp比、Bp/Gp比と基準の通常モード用パラメータRpk/Gpk比、Bpk/Gpkとの差が特定のカラーバランス用範囲に入っていない場合には、図17に示すように、「カラーバランスは適正ではありません」との警告メッセージ(アラート)をモニタ18に表示する。なお、カラーバランス判定部88で判定を行った場合には、ネットワークNTを介して、カラーバランス判定部88での判定結果、例えば、通常モードにおけるカラーバランスが適正でない旨の情報を含む内視鏡管理データが、内視鏡管理サーバ92(内視鏡管理装置)に送信される(図8参照)。内視鏡管理サーバ92は、ネットワークNTから、内視鏡管理データを受信して保存する内視鏡データ管理部92aを備えている。内視鏡管理データ92には、カラーバランス判定部88での判定結果の他、内視鏡の診断中に取得した画像を含めることが好ましい。
また、カラーバランス補正部90は、Rp/Gp比、Bp/Gp比と基準の通常モード用パラメータRpk/Gpk比、Bpk/Gpkとの差が特定のカラーバランス用範囲に入るようにするためのカラーバランス補正係数CBp、CGp、CRpを算出する。具体的には、下記式1)に示すように、カラーバランス補正係数CBp、CGp、CRpの算出を行う。カラーバランス補正係数CBpは通常モード時に得られるBc画像信号に掛け合わされ、カラーバランス補正係数CGpは通常モード時に得られるGc画像信号に掛け合わされ、カラーバランス補正係数CRpは通常モード時に得られるRc画像信号に対して掛け合わされる。これら掛け合わせにより、通常モードにおけるカラーバランスが補正される。
式1)
CBp=α×Bpk/Bp、CGp=β×Gpk/Gp、CRp=γ×Rpk/Rp
なお、α、β、γは特定の数値を有する係数である。
また、カラーバランス判定部88は、図18に示すように、酸素飽和度モード用キャリブレーション画像から、カラーバランスを判定するための酸素飽和度モード用パラメータを算出する。具体的には、酸素飽和度モード用パラメータとして、酸素飽和度モード用キャリブレーション画像のうち中央部に含まれるRq画像信号とGq画像信号のRq/Gq比(log(Rq/Gq))とBq画像信号とGq画像信号の酸素飽和度モード用Bq/Gq比(log(Bq/Gq))とを算出し、それらRq/Gq比、Bq/Gq比と、基準の酸素飽和度モード用パラメータRqk/Gqk比、Bqk/Gqk比(基準パラメータ)との差が、特定のカラーバランス用範囲に入っているか否かを判定する。
Rq/Gq比、Bq/Gq比と基準の酸素飽和度モード用パラメータRqk/Gqk比、Bqk/Gqkとの差が特定のカラーバランス用範囲に入っている場合には、「カラーバランスは適正です」とのメッセージ表示(図16参照)をモニタ18に表示する。一方、Rq/Gq比、Bq/Gq比と基準の酸素飽和度モード用パラメータRqk/Gqk比、Bqk/Gqkとの差が特定のカラーバランス用範囲に入っていない場合には、「カラーバランスは適正ではありません」との警告メッセージ(アラート)(図17参照)をモニタ18に表示する。
また、カラーバランス補正部90は、Rq/Gq比、Bq/Gq比と基準の酸素飽和度モード用パラメータRqk/Gqk比、Bqk/Gqkとの差が特定のカラーバランス用範囲に入るようにするためのカラーバランス補正係数CBq、CGq、CRqを算出する。具体的には、下記式2)に示すように、カラーバランス補正係数CBq、CGq、CRqの算出を行う。カラーバランス補正係数CBqは酸素飽和度モード時に得られるB1画像信号に掛け合わされ、カラーバランス補正係数CGqは酸素飽和度モード時に得られるG1画像信号に掛け合わされ、カラーバランス補正係数CRqは酸素飽和度モード時に得られるR1画像信号に対して掛け合わされる。これら掛け合わせにより、酸素飽和度モードにおけるカラーバランスが補正される。
式2)
CBq=α×Bqk/Bq、CGq=β×Gqk/Gq、CRq=γ×Rqk/Rq
なお、α、β、γは特定の数値を有する係数である。
また、カラーバランス判定部88は、図20に示すように、血管強調モード用キャリブレーション画像から、カラーバランスを判定するための血管強調モード用パラメータを算出する。具体的には、血管強調モード用パラメータとして、血管強調モード用キャリブレーション画像のうち中央部に含まれるRr画像信号とGr画像信号のRr/Gr比(log(Rr/Gr))とBr画像信号とGr画像信号の血管強調モード用Br/Gr比(log(Br/Gr))とを算出し、それらRr/Gr比、Br/Gr比と、基準の血管強調モード用パラメータRrk/Grk比、Brk/Grk比(基準パラメータ)との差が、特定のカラーバランス用範囲に入っているか否かを判定する。
Rr/Gr比、Br/Gr比と基準の血管強調モード用パラメータRrk/Grk比、Brk/Grkとの差が特定のカラーバランス用範囲に入っている場合には、「カラーバランスは適正です」とのメッセージ表示(図16参照)をモニタ18に表示する。一方、Rr/Gr比、Br/Gr比と基準の血管強調モード用パラメータRrk/Grk比、Brk/Grkとの差が特定のカラーバランス用範囲に入っていない場合には、「カラーバランスは適正ではありません」との警告メッセージ(アラート)(図17参照)をモニタ18に表示する。
また、カラーバランス補正部90は、Rr/Gr比、Br/Gr比と基準の血管強調モード用パラメータRrk/Grk比、Brk/Grkとの差が特定のカラーバランス用範囲に入るようにするためのカラーバランス補正係数CBr、CGr、CRrを算出する。具体的には、下記式3)に示すように、カラーバランス補正係数CBr、CGr、CRrの算出を行う。カラーバランス補正係数CBrは血管強調モード時に得られるBs画像信号に掛け合わされ、カラーバランス補正係数CGrは血管強調モード時に得られるGs画像信号に掛け合わされ、カラーバランス補正係数CRrは血管強調モード時に得られるRs画像信号に対して掛け合わされる。これら掛け合わせにより、血管強調モードにおけるカラーバランスが補正される。
式3)
CBq=α×Bqk/Bq、CGq=β×Gqk/Gq、CRq=γ×Rqk/Rq
なお、α、β、γは特定の数値を有する係数である。
なお、カラーバランス判定部88では、上記キャリブレーション画像の中央領域の形状、又は、キャリブレーション用チャートの傾きに関する判定の他、キャリブレーション用チャートの動きが特定の動き用範囲に入っているかどうかの判定を行い、キャリブレーション用チャートの動きが特定の動き用範囲に入っている場合に、カラーバランスが適正か否かの判定を行うようにしてもよい。具体的には、キャリブレーション用チャートの動きについては、例えば、キャリブレーション画像の画像ヘッダに格納される照明光の発光量の変動で判断してもよい。また、同一の照明光、例えば、通常モード用照明光を数フレーム分照明し、それら数フレーム分の照明により得られる画像に関して、画像中央の平均輝度の変動から、キャリブレーション用チャートの動きを判断するようにしてもよい。また、カラーバランス判定部88では、キャリブレーション画像のうち動きが一定以下の画像の組み合わせを選択し、それら選択したキャリブレーション画像に対して、上記キャリブレーション画像の中央領域の形状、又は、キャリブレーション用チャートの傾きに関する判定を行うようにしてもよい。
次に、キャリブレーションモードの一連の流れについて、図20に示すフローチャートに沿って説明を行う。モード切替SW12fを操作して、キャリブレーションモードに切り替える。そして、キャリブレーション治具84の開口部84aを下に向け、この開口部84aから、内視鏡12の先端部12dをキャリブレーション治具84の内部に挿入する。ユーザーはキャリブレーション画像を観察しながら、キャリブレーション画像上に映し出されたキャリブレーション用チャート85の画像が基準ラインBLに一致するように、内視鏡12の先端部12dを更にキャリブレーション治具84に挿入する。
キャリブレーションモード中は、チャート有無判定部86によって、キャリブレーション画像の空間的画像特徴量を解析して、キャリブレーション画像のうち中央領域の形状が基準形状を有するか否かを判定する。また、チャート傾き判定部87によって、キャリブレーション画像の空間的画像特徴量を解析して、キャリブレーション用チャートの傾きが基準範囲に入っているか否かを判定する。
カラーバランス判定部88は、キャリブレーション画像のうち中央領域の形状が基準形状を有すると判定され、且つ、キャリブレーション用チャートの傾きが基準範囲に入っていると判定された場合に、カラーバランスが適正か否かの判定を行う。この場合には、通常モード用照明光、第1酸素飽和度モード用照明光、血管強調モード用照明光が、順次、キャリブレーション用チャートに照射される。これら3種類の照明光の照明によって、通常モード用のキャリブレーション画像、酸素飽和度モード用のキャリブレーション画像、及び、血管強調モード用のキャリブレーション画像が得られる。
一方、キャリブレーション画像のうち中央領域の形状が基準形状を有しないと判定され、または、キャリブレーション用チャートの傾きが基準範囲に入っていないと判定された場合には、「カラーバランスを適正に行うことができません」との警告メッセージがモニタ18に表示される。
通常モード用のキャリブレーション画像、酸素飽和度モード用のキャリブレーション画像、及び、血管強調モード用のキャリブレーション画像を取得した後は、まず、通常モード用キャリブレーション画像から、カラーバランスを判定するための通常モード用パラメータを算出する。この算出した通常モード用パラメータに基づいて、通常モードにおけるカラーバランスが適正か否かの判定を行う。通常モードにおけるカラーバランスが適正であると判定された場合には、通常モードにおけるカラーバランスが適正である旨のメッセージをモニタ18に表示する。一方、通常モードにおけるカラーバランスが適正でないと判定された場合には、通常モードにおけるカラーバランスが適正でない旨のメッセージをモニタ18に表示する。この場合には、通常モード用パラメータを用いて、通常モードにおけるカラーバランスの補正を行う。
通常モードにおけるカラーバランスが適正か否かの判定と同様にして、酸素飽和度モード用キャリブレーション画像を用いて酸素飽和度モードにおけるカラーバランスが適正か否かの判定を行い、また、血管強調モード用キャリブレーション画像を用いて血管強調モードにおけるカラーバランスが適正か否かの判定を行う。酸素飽和度モードにおけるカラーバランスが適正であると判定された場合には、酸素飽和度モードにおけるカラーバランスが適正である旨のメッセージをモニタ18に表示する。同様にして、血管強調モードにおけるカラーバランスが適正であると判定された場合には、血管強調モードにおけるカラーバランスが適正である旨のメッセージをモニタ18に表示する。
一方、酸素飽和度モードにおけるカラーバランスが適正でないと判定された場合には、酸素飽和度モードにおけるカラーバランスが適正でない旨のメッセージをモニタ18に表示し、且つ、酸素飽和度モード用キャリブレーション画像から算出された酸素飽和度モード用パラメータを用いて、酸素飽和度モードにおけるカラーバランスの補正を行う。また、血管強調モードにおけるカラーバランスが適正でないと判定された場合には、血管強調モードにおけるカラーバランスが適正でない旨のメッセージをモニタ18に表示し、且つ、血管強調モード用キャリブレーション画像から算出された血管強調モード用パラメータを用いて、血管強調モードにおけるカラーバランスの補正を行う。
[第2実施形態]
第2実施形態では、上記第1実施形態で示した4色のLED20a〜20eの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図21に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a〜20eに代えて、広帯域光源102、回転フィルタ104、フィルタ切替部105が設けられている。また、撮像光学系30bには、カラーの撮像センサ44の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ106が設けられている。
広帯域光源102はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ104には、内側から順に、通常モード用フィルタ107と、酸素飽和度モード用フィルタ108と、血管強調モード用フィルタ109とが設けられている(図22参照)。フィルタ切替部105は、回転フィルタ104を径方向に移動させるものであり、モード切替SW12fにより通常モードにセットしたときに、通常モード用フィルタ107を白色光の光路に挿入し、酸素飽和度モードにセットしたときに、酸素飽和度モード用フィルタ108を白色光の光路に挿入し、血管強調モードにセットしたときに、血管強調モード用フィルタ109を白色光の光路に挿入する。また、キャリブレーションモードにセットしたときには、通常モード用フィルタ107を白色光の光路に挿入して1回転し、その後に、酸素飽和度モード用フィルタ108を白色光の光路に挿入して1回転し、その後に、血管強調モード用フィルタ109を白色光の光路に挿入して1回転させる。
図22に示すように、通常モード用フィルタ107には、周方向に沿って、白色光のうち第1青色光BSを透過させるB1フィルタ107a、白色光のうち緑色光Gを透過させるGフィルタ107b、白色光のうち赤色光Rを透過させるRフィルタ107cが設けられている。したがって、通常モード時には、回転フィルタ104が回転することで、第1青色光BS、緑色光G、赤色光Rが交互に観察対象に照射される。
酸素飽和度モード用フィルタ108には、周方向に沿って、白色光のうち第1青色光BSを透過させるB1フィルタ108aと、白色光のうち第2青色光BLを透過させるB2フィルタ108bと、白色光のうち緑色光Gを透過させるGフィルタ108cと、白色光のうち赤色光Rを透過させるRフィルタ108dとが設けられている。したがって、酸素飽和度モード時には、回転フィルタ104が回転することで、第1青色光BS、第2青色光BL、緑色光G、赤色光Rが交互に観察対象に照射される。
血管強調モード用フィルタ109には、周方向に沿って、白色光のうち紫色光Vを透過させるVフィルタ109aと、白色光のうち緑色光Gを透過させるGフィルタ109bと、白色光のうち赤色光Rを透過させるRフィルタ109cとが設けられている。したがって、血管強調モード時には、回転フィルタ104が回転することで、紫色光V、緑色光G、赤色光Rが交互に観察対象に照射される。
また、キャリブレーションモード時には、白色光の光路上に位置するフィルタが、通常モード用フィルタ107、酸素飽和度モード用フィルタ108、血管強調モード用フィルタ109が順に入れ替わる。即ち、通常モード用フィルタ107の白色光の光路上への挿入時には、第1青色光BS、緑色光G、赤色光Rが順に照射され、酸素飽和度モード用フィルタ108の白色光の光路上への挿入時には、第1青色光BS、第2青色光BL、緑色光G、赤色光Rが順に照射され、血管強調モード用フィルタ109の白色光の光路上への挿入時には、紫色光V、緑色光G、赤色光Rが順に照射される。
内視鏡システム100では、通常モード時には、第1青色光BS、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら3色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、酸素飽和度モード時には、第1青色光BS、第2青色光BL、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、B2画像信号と、B1画像信号、G2画像信号、R2画像信号が得られる。これら4色の画像信号に基づいて、第1実施形態と同様の方法で、酸素飽和度画像の生成が行われる。血管強調モード時には、紫色光V、緑色光G、赤色光Rが照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bs画像信号、Gs画像信号、Rs画像信号が得られる。これら3色の画像信号に基づいて、第1実施形態と同様の方法で、血管強調画像の生成が行われる。
また、キャリブレーションモード時には、通常モード用フィルタ107の白色光の光路上への挿入時に、第1青色光BS、緑色光G、赤色光Rが順に照明される毎にモノクロの撮像センサ106でキャリブレーション用チャート85を撮像する。これにより、Bp画像信号、Gp画像信号、Rp画像信号が得られる。また、酸素飽和度モード用フィルタ108の白色光の光路上への挿入時に、第1青色光BS、第2青色光BL、緑色光G、赤色光Rが順に照明される毎にモノクロの撮像センサ106でキャリブレーション用チャート85を撮像する。これにより、Bqx画像信号、Bq画像信号、Gq画像信号、Rq画像信号が得られる。なお、Bqx画像信号はキャリブレーションモード時には使用されない。また、血管強調モード用フィルタ109の白色光の光路上への挿入時には、紫色光V、緑色光G、赤色光Rが順に照明される毎にモノクロの撮像センサ106でキャリブレーション用チャート85を撮像する。これにより、Br画像信号、Gr画像信号、Rr画像信号が得られる。
[第3実施形態]
第3実施形態では、上記第1実施形態で示した4色のLED20a〜20eの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第1実施形態と異なる部分のみ説明を行い、第1実施形態と略同様の部分については、説明を省略する。
図23に示すように、第2実施形態の内視鏡システム200では、光源装置14の光源部20において、4色のLED20a〜20eの代わりに、中心波長405±10nmの紫色レーザ光を発する紫色レーザ光源203(「405LD」と表記。LDは「Laser Diode」を表す)と、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記)204と、中心波長473±10nmの青緑色レーザ光を発する青緑色レーザ光源(「473LD」と表記)206とが設けられている。これら各光源204、206の半導体発光素子からの発光は、光源制御部108により個別に制御されている。
光源制御部208は、通常モードの場合には、青色レーザ光源204を点灯させる。これに対して、酸素飽和度モードの場合には、青色レーザ光源204と青緑色レーザ光源206を交互に点灯させる。血管強調モードの場合には、紫色レーザ光源203と青色レーザ光源204を同時点灯させる。キャリブレーションモードの場合には、青色レーザ光源204の点灯、青緑色レーザ光源206の点灯、又は、紫色レーザ光源203及び青色レーザ光源204の点灯を交互に繰り返し行う。
なお、紫色レーザ光、青色レーザ光、又は、青緑色レーザ光の半値幅は±10nm程度にすることが好ましい。また、紫色レーザ光源203、青色レーザ光源204及び青緑色レーザ光源206は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ32の他に、ライトガイド25からの青色レーザ光又は青緑色レーザ光が入射する蛍光体210が設けられている。蛍光体210は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体210を励起させることなく透過する。青緑色レーザ光は、蛍光体210を励起させることなく透過する。蛍光体210を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
ここで、通常モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図24に示すように、通常モード用照明光として、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した第1広帯域光が観察対象に照明される。この第1広帯域光で照明された観察対象を撮像センサ44で撮像することによって、Bc画像信号、Gc画像信号、Rc画像信号からなる通常画像が得られる。
また、酸素飽和度モードにおいては、青色レーザ光が蛍光体110に入射したときには、第2酸素飽和度モード用照明光として、図24に示す第1広帯域光が観察対象に照明される。一方、青緑色レーザ光が蛍光体110に入射したときには、青緑色レーザ光は蛍光体110に一部吸収されて蛍光を発光し、図25に示すように、第1酸素飽和度モード用照明光として、青緑色レーザ光と蛍光を含む青緑色照明光が観察対象にほぼそのまま照明される。
酸素飽和度モードにおいては、青緑色照明光の照明中に撮像センサ44のB画素から出力される信号が、上記第1実施形態のB1画像信号に対応する。また、第1広帯域光の照明中に撮像センサ44のB画素から出力される信号が上記第1実施形態のB2画像信号に対応し、G画素から出力される信号が上記第1実施形態のG2画像信号に対応し、R画素から出力される信号が上記第1実施形態のR2画像信号に対応する。これらB1画像信号、G2画像信号、G2画像信号、R2画像信号に基づいて、第1実施形態と同様の方法で、酸素飽和度の算出が行われる。
また、血管強調モードにおいては、紫色レーザ光及び青色レーザ光が蛍光体110に同時に入射することにより、図26に示すように、紫色レーザ光及び青色レーザ光に加えて、紫色レーザ光及び青色レーザ光によって蛍光体110から励起発光する蛍光を含む第2広帯域光が発せられる。この第2広帯域光で照明された観察対象を撮像センサ44で撮像することによって、Bs画像信号、Gs画像信号、Rs画像信号からなる血管強調画像が得られる。
また、キャリブレーションモードにおいては、青色レーザ光の蛍光体110への入射により、第1広帯域光がキャリブレーション用チャート85に照明される。この第1広帯域光で照明されたキャリブレーション用チャート85を撮像センサ44で撮像することによって、Bp画像信号、Gp画像信号、Rp画像信号が得られる。これらBp画像信号、Gp画像信号、Rp画像信号を用いて、通常モードにおけるカラーバランスが適正か否かの判定やカラーバランスの補正等を行う。
また、青色レーザ光の蛍光体110への入射により、青緑色照明光がキャリブレーション用チャート85に照明される。この青緑色照明光で照明されたキャリブレーション用チャート85を撮像センサ44で撮像することによって、Bq画像信号、Gq画像信号、Rq画像信号が得られる。これらBq画像信号、Gq画像信号、Rq画像信号を用いて、酸素飽和度モードにおけるカラーバランスが適正か否かの判定やカラーバランスの補正等を行う。
また、紫色レーザ光及び青色レーザ光の蛍光体110への同時入射により、第2広帯域光がキャリブレーション用チャート85に照明される。この第2広帯域光で照明されたキャリブレーション用チャート85を撮像センサ44で撮像することにより、Br画像信号、Gr画像信号、Rr画像信号が得られる。これらBr画像信号、Gr画像信号、Rr画像信号を用いて、血管強調モードにおけるカラーバランスが適正か否かの判定やカラーバランスの補正等を行う。
なお、蛍光体210は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYKG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体210の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
上記実施形態において、(例えば、画像処理部、輪郭強調部、色補正部、特徴抽出部)といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
上記実施形態において、画像処理部58に含まれる通常画像生成部62、酸素飽和度画像生成部64、血管強調画像生成部66、キャリブレーション用処理部68といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源
20 光源部
20a V−LED(Violet Light Emitting Diode)
20b BS−LED(Blue Short−wavelength Light Emitting Diode)
20c BL−LED(Blue Long−wavelength Light Emitting Diode)
20d G−LED(Green Light Emitting Diode)
20e R−LED(Red Light Emitting Diode)
21 光源制御部
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
44 撮像センサ
45 撮像制御部
46 CDS/AGC(Correlated DoubLEDampling/Automatic Gain Control)回路
48 A/D(Analog/Digital)コンバータ
50 画像取得部
52 DSP(Digital Signal Processor)
54 ノイズ低減部
56 画像処理切替部
58 画像処理部
60 映像信号生成部
60 酸素飽和度
62 通常画像生成部
64 酸素飽和度画像生成部
66 血管強調画像生成部
68 キャリブレーション用処理部
70 信号比算出部
72 相関関係記憶部
74 酸素飽和度算出部
76 画像生成部
80 グラフ
81 グラフ
84 キャリブレーション治具
84a 開口部
85 キャリブレーション用チャート
86 チャート有無判定部
87 判定部
88 カラーバランス判定部
90 カラーバランス補正部
92 内視鏡管理サーバ
100 酸素飽和度
100 内視鏡システム
102 広帯域光源
104 回転フィルタ
105 フィルタ切替部
106 撮像センサ
107 通常モード用フィルタ
107a B1フィルタ
107b Gフィルタ
107c Rフィルタ
108 酸素飽和度モード用フィルタ
108 光源制御部
108a B1フィルタ
108b B2フィルタ
108c Gフィルタ
108d Rフィルタ
109 血管強調モード用フィルタ
109a Vフィルタ
109b Gフィルタ
109c Rフィルタ
110 蛍光体
200 内視鏡システム
203 紫色レーザ光源
204 青色レーザ光源
206 青緑色レーザ光源
208 光源制御部
210 蛍光体

Claims (10)

  1. キャリブレーション用チャートを撮像して得られるキャリブレーション画像を取得する画像取得部と、
    前記キャリブレーション画像の空間的画像特徴量から前記キャリブレーション用チャートの形状を解析し、前記キャリブレーション用チャートの形状から前記キャリブレーション画像に前記キャリブレーション用チャートが含まれているか否かを判定するチャート有無判定部と、
    前記キャリブレーション画像の空間的画像特徴量を用いて前記キャリブレーション用チャートの傾きを解析し、前記キャリブレーション用チャートの傾きが、予め定めた基準範囲内に入っているか否かを判定するチャート傾き判定部と、
    前記キャリブレーション画像に前記キャリブレーション用チャートが含まれていると判定され、且つ、前記キャリブレーション用チャートの傾きが前記基準範囲内に入っていると判定され、且つ、複数のフレームから取得した前記キャリブレーション用チャートにおける画像中央の平均輝度の変動に基づく前記キャリブレーション用チャートの動きが、動き用範囲に入っていると判定された場合に、前記キャリブレーション画像に基づいて、カラーバランスが適正か否かを判定するカラーバランス判定部とを有し、
    前記キャリブレーション画像に前記キャリブレーション用チャートが含まれないと判定された場合、前記キャリブレーション用チャートの傾きが前記基準範囲内に入っていないと判定された場合、または、前記キャリブレーション用チャートの動きが前記動き用範囲に入っていないと判定された場合には、警告メッセージが表示される内視鏡システム。
  2. 前記チャート有無判定部は、前記キャリブレーション用チャートの形状として、前記キャリブレーション画像における中央領域の形状を解析し、前記中央領域の形状が予め定めた基準形状を有するか否かによって、判定を行う請求項1記載の内視鏡システム。
  3. 前記キャリブレーション用チャートは、円筒形状を有するキャリブレーション治具の内部に設けられており、前記基準形状は円形である請求項2記載の内視鏡システム。
  4. 前記チャート傾き判定部は、前記キャリブレーション画像の空間的画像特徴量として、
    明度分布を用いて、判定を行う請求項1記載の内視鏡システム。
  5. 前記カラーバランス判定部は、前記キャリブレーション画像を用いてキャリブレーション用パラメータを算出し、前記キャリブレーション用パラメータと予め定められた基準パラメータとの差が特定のカラーバランス用範囲内である場合に、前記カラーバランスが適正であると判定する請求項1ないし4いずれか1項記載の内視鏡システム。
  6. 前記カラーバランスが適正でない場合には、アラートが行われる請求項5記載の内視鏡システム。
  7. 前記カラーバランスが適正でない場合には、前記カラーバランスの補正を行うカラーバランス補正部を有する請求項5または6記載の内視鏡システム。
  8. 複数のモードに対応する複数の照明光を、順次、前記キャリブレーション用チャートに照明して撮像することにより、前記複数のモードに対応する複数のキャリブレーション画像を取得する内視鏡を有し、
    前記カラーバランス判定部は、前記複数のモードに対応する複数のキャリブレーション画像に基づいて、モード毎にカラーバランスが適正か否かを判定する請求項1ないし7いずれか1項記載の内視鏡システム。
  9. 請求項1ないし8いずれか1項記載の内視鏡システムとネットワークを介して接続され、
    前記カラーバランス判定部での判定結果を含む内視鏡管理データを、前記ネットワークを介して受信し、前記内視鏡管理データを内視鏡データ管理部に保存する内視鏡管理装置。
  10. 画像取得部は、キャリブレーション用チャートを撮像して得られるキャリブレーション画像を取得するステップと、
    チャート有無判定部は、前記キャリブレーション画像の空間的画像特徴量を用いて前記キャリブレーション用チャートの形状を解析し、前記キャリブレーション用チャートの形状を用いて前記キャリブレーション画像に前記キャリブレーション用チャートが含まれているか否かを判定するステップと、
    チャート傾き判定部は、前記キャリブレーション画像の空間的画像特徴量を用いて前記キャリブレーション用チャートの傾きを解析し、前記キャリブレーション用チャートの傾きが、予め定めた基準範囲内に入っているか否かを判定するステップと、
    カラーバランス判定部は、前記キャリブレーション画像に前記キャリブレーション用チャートが含まれていると判定され、且つ、前記キャリブレーション用チャートの傾きが前記基準範囲内に入っていると判定され、且つ、複数のフレームから取得した前記キャリブレーション用チャートにおける画像中央の平均輝度の変動に基づく前記キャリブレーション用チャートの動きが、動き用範囲に入っていると判定された場合に、前記キャリブレーション画像に基づいて、カラーバランスが適正か否かを判定するとステップとを有し、
    前記キャリブレーション画像に前記キャリブレーション用チャートが含まれないと判定された場合、前記キャリブレーション用チャートの傾きが前記基準範囲内に入っていないと判定された場合、または、前記キャリブレーション用チャートの動きが前記動き用範囲に入っていないと判定された場合には、警告メッセージが表示されるキャリブレーション方法。
JP2018024499A 2018-02-14 2018-02-14 内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法 Active JP6932094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018024499A JP6932094B2 (ja) 2018-02-14 2018-02-14 内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018024499A JP6932094B2 (ja) 2018-02-14 2018-02-14 内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法

Publications (2)

Publication Number Publication Date
JP2019136412A JP2019136412A (ja) 2019-08-22
JP6932094B2 true JP6932094B2 (ja) 2021-09-08

Family

ID=67692550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018024499A Active JP6932094B2 (ja) 2018-02-14 2018-02-14 内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法

Country Status (1)

Country Link
JP (1) JP6932094B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7344976B2 (ja) * 2019-10-04 2023-09-14 富士フイルム株式会社 内視鏡システム及びその作動方法
CN110751611A (zh) * 2019-11-01 2020-02-04 深圳市博盛医疗科技有限公司 一种内窥镜系统的显示器色彩的校准方法及内窥镜系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08152566A (ja) * 1994-11-29 1996-06-11 Toshiba Corp 内視鏡装置及び内視鏡装置の色調整方法
JP2002125135A (ja) * 2000-10-18 2002-04-26 Konica Corp 画質評価装置
JP4637604B2 (ja) * 2005-02-17 2011-02-23 オリンパス株式会社 内視鏡用カラーバランス調整具
JP5985916B2 (ja) * 2012-07-25 2016-09-06 Hoya株式会社 内視鏡装置
EP2767216A4 (en) * 2012-10-09 2015-12-16 Olympus Corp ENDOSCOPE DEVICE AND METHOD FOR DETECTING THE REMOVAL OF A POLARIZING ELEMENT IN THE ENDOSCOPE
JP6746327B2 (ja) * 2016-02-25 2020-08-26 オリンパス株式会社 医療業務支援システム

Also Published As

Publication number Publication date
JP2019136412A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
US10264955B2 (en) Processor device and method for operating same, and endoscopic system and method for operating same
US11259692B2 (en) Endoscope system, processor device, and method for operating endoscope system
US10925476B2 (en) Endoscopic system and endoscopic system operating method
US8738108B2 (en) Endoscope system and processor apparatus thereof, and method for generating images
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP7051845B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11089949B2 (en) Endoscope system and method of operating same
US11596293B2 (en) Endoscope system and operation method therefor
US11375928B2 (en) Endoscope system
US11478136B2 (en) Endoscope system and operation method therefor
JP6932094B2 (ja) 内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法
US11308578B2 (en) Endoscope system
WO2021060158A1 (ja) 内視鏡システム及びその作動方法
JP7069290B2 (ja) 内視鏡システム及びその作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP7052003B2 (ja) 内視鏡システム
JP7196016B2 (ja) 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
JP2021178188A (ja) 内視鏡システム及びその作動方法
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
WO2020217883A1 (ja) 画像処理装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210817

R150 Certificate of patent or registration of utility model

Ref document number: 6932094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150