JPWO2018159083A1 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

Abstract

従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供する。内視鏡システム１０は、観察対象を撮像した内視鏡画像を取得する画像取得部５４と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像１０１を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部８６と、ベースライン情報を用いて撮像シーンを判定する撮像シーン判定部８７と、撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定する条件設定部８８と、を備える。

Description

本発明は、観察している部位等を認識する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。

医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムが普及している。近年においては、内視鏡を用いて観察対象を撮像するだけでなく、どのような観察対象を撮像しているのかを認識する内視鏡システムが知られている。例えば、特許文献１に記載の内視鏡システムは、パターンマッチングの手法を用いて、種類判別処理と称する病変部と正常部の判別処理、及び、部位判定と称する注目部と非注目部の判定を行っている。また、特許文献２に記載のカプセル内視鏡は、色に基づいて内視鏡画像に写る臓器の種類を食道、胃、小腸及び大腸の４種類を判別し、かつ、連続した内視鏡画像の中からシーン変化の小さい区間を検出して、検出した区間の内視鏡画像を病変の検出に使用している。

特開２０１１−２１８０９０号公報 特開２０１０−１８７７５６号公報

内視鏡システムには、自動的に診断に用いやすい内視鏡画像をモニタに表示することが求められている。このために、内視鏡システムは撮像シーンを判定して、適切な撮像条件を設定することによって、または、適切な画像処理を施すことによって、表示用の内視鏡画像を生成する必要がある。撮像シーンによっては、内視鏡画像の画質が低下する場合があるからである。

画像認識技術としては、例えばパターンマッチングが知られているが、撮像シーンの判定においては、パターンマッチングの判定精度は過剰であり、処理負荷が高いというデメリットが大きい。また、内視鏡画像の色に基づいて撮像シーンを判定すると、例えば、病変がある場合、鉗子等の処置具が写り込んでいる場合、残渣もしくは残液（以下、残液等という）がある場合、観察対象を着色するための色素剤を散布等した場合、または、出血がある場合等、観察対象の一部が通常でない色味になっている場合等において、正しく撮像シーンを判定できない場合がある。

本発明は、従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。

本発明の内視鏡システムは、光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、ベースライン情報を用いて撮像シーンを判定する撮像シーン判定部と、撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定する条件設定部と、を備える。

撮像シーン判定部は、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣もしくは残液の有無、拡大の有無、色素の有無、または、出血の有無を、撮像シーンとして判定することが好ましい。

条件設定部は、使用する照明光の種類または光量を設定することが好ましい。

条件設定部は、画像処理の有無または強弱を設定することが好ましい。

ベースライン情報算出部は、１または複数の画素からなる部分ごとにベースライン情報を算出することが好ましい。

撮像シーン判定部は、１または複数の画素からなる部分ごとに、撮像シーンを判定し、かつ、部分ごとの判定結果を用いて、内視鏡画像ごとまたは表示用の内視鏡画像ごとに１つの撮像シーンを判定することが好ましい。

撮像シーン判定部は、部分ごとの判定結果のうち最多の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。

撮像シーン判定部は、部分ごとの判定結果に特定の撮像シーンであることを示す判定結果が含まれている場合、特定の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。

ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の内視鏡画像を用いて、ベースライン情報を算出することが好ましい。

特定の生体情報は、観察対象が含むヘモグロビンの状態に起因して変化する情報であることが好ましい。

特定の生体情報は、酸素飽和度、または、ヘモグロビン濃度であることが好ましい。

特定の生体情報は、観察対象が含む血管に関する情報であることが好ましい。

特定の生体情報は、血管密度、血管深さ、または、血管太さであることが好ましい。

本発明のプロセッサ装置は、光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡を有する内視鏡システムのシステム制御及び画像処理を行うプロセッサ装置であって、観察対象を撮像した内視鏡画像を取得する画像取得部と、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、ベースライン情報を用いて撮像シーンを判定する撮像シーン判定部と、撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定する条件設定部と、を備える。

本発明の内視鏡システムの作動方法は、光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用いで内視鏡システムの作動方法であって、画像取得部が、観察対象を撮像した内視鏡画像を取得するステップと、ベースライン情報算出部が、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するステップと、撮像シーン判定部が、ベースライン情報を用いて撮像シーンを判定するステップと、条件設定部が、撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定するステップと、を備える。

本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法は、従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理部のブロック図である。 ベースライン情報である演算値“Ｚ”を示すグラフである。 内視鏡システムの動作の流れを示すフローチャートである。 モニタの表示例である。 カプセル内視鏡の概略図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、観察対象を撮像する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８はプロセッサ装置１６によって生成する表示用の内視鏡画像を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

内視鏡１２は、被検体内に挿入可能な挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲することにより、先端部１２ｄが所望の方向に向く。なお、先端部１２ｄには、観察対象に向けて空気や水等を噴射する噴射口（図示しない）が設けられている。また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３が設けられている。ズーム操作部１３を操作することによって、観察対象を拡大または縮小して撮像することができる。

図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備える。

光源部２０は、例えば、中心波長または波長帯域が異なる（以下、単に「波長が異なる」という）光を発光する複数のＬＥＤ(Light Emitting Diode)を光源として備えており、各ＬＥＤの発光または点灯、及び、光量の調節等により、波長が異なる複数種類の照明光を発光することができる。例えば、光源部２０は、波長帯域が比較的広い広帯域な紫色光、青色光、緑色光、及び赤色光を、それぞれ照明光として発光できる。特に、光源部２０は、広帯域な紫色光、青色光、緑色光、及び赤色光の他に、狭帯域（波長帯域が１０ｎｍから２０ｎｍ程度の範囲であることをいう）な紫色光、青色光、緑色光、及び赤色光を照明光として発光できる。より具体的には、光源部２０は、照明光として、中心波長が約４００ｎｍの狭帯域紫色光、中心波長が約４５０ｎｍの第１狭帯域青色光、中心波長が約４７０ｎｍの第２狭帯域青色光、中心波長が約５４０ｎｍの狭帯域緑色光、及び、中心波長が約６４０ｎｍの狭帯域赤色光を発光できる。この他、光源部２０は、広帯域または狭帯域な紫色光、青色光、緑色光、及び赤色光を組み合わせることにより、白色光を照明光として発光することができる。

なお、光源部２０には、ＬＥＤの代わりに、ＬＤ(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせ、または、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。もちろん、光源部２０をＬＥＤによって構成する場合も、蛍光体または帯域制限フィルタを組み合わせて使用することができる。

光源制御部２２は、光源部２０を構成する各光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部２０は、波長が異なる複数種類の照明光を発光することができる。また、光源制御部２２は、イメージセンサ４８の撮像のタイミング（いわゆるフレーム）に合わせて光源部２０を制御する。

光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。なお、ｎｍはナノメートルを表し、μｍはマイクロメートルを表し、ｍｍはミリメートルを表す。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に向けて出射する。撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４７は、ズーム操作部１３の操作をすることによって移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小する。

イメージセンサ４８は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ４８を用いて観察対象を撮影すると、最大で、Ｂ画素から得るＢ画像（青色画像）、Ｇ画素から得るＧ画像（緑色画像）、及び、Ｒ画素から得るＲ画像（赤色画像）の３種類の画像を同時に得ることができる。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサ、または、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。

プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する。

制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。また、コンソール１９等を用いて、領域判別をする領域の種類及び数等を設定した場合には、制御部５２は、その設定を光源制御部２２に入力する。

画像取得部５４は、イメージセンサ４８から、観察対象を撮像した画像を取得する。本実施形態においては、イメージセンサ４８はカラーフィルタを有するので、画像取得部５４は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。画像取得部５４がイメージセンサ４８から取得する画像（撮像した画像）、及び、画像取得部５４がイメージセンサ４８から取得した画像を用いて生成する表示用の画像は、いずれも「内視鏡画像」である。以下、明示して区別する場合を除き、単に画像という場合にはイメージセンサ４８から得る観察対象を撮像した内視鏡画像を意味し、かつ、単に内視鏡画像という場合には表示用の内視鏡画像１０１（図６参照）を意味する。

画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。

ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。

欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して（イメージセンサ４８において他の色の画素を配置しているため）、画素値がない画素である。例えば、Ｂ画像はＢ画素において観察対象を撮影して得る画像なので、Ｇ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。

画像処理部６１は、画像取得部５４が取得した画像を用いて、モニタ１８に表示する内視鏡画像を生成する。また、画像処理部６１は、画像取得部５４から取得する画像または画像取得部５４から取得する画像を用いて生成する表示用の内視鏡画像を用いて、撮像シーンを判定し、かつ、判定結果を用いて、撮像または画像処理における条件を設定する。

より具体的には、図３に示すように、画像処理部６１は、画像生成部８１と、強調処理部８２と、ベースライン情報算出部８６と、撮像シーン判定部８７と、条件設定部８８と、を備える。

画像生成部８１は、画像取得部５４が取得した１または複数の画像を用いて、表示用の内視鏡画像１０１を生成する。画像生成部８１は、表示用の内視鏡画像１０１を生成する際に、必要に応じて、画像取得部５４が取得した画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施す。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。

強調処理部８２は、画像生成部８１が生成した内視鏡画像１０１に、必要に応じて強調処理を施す。例えば、観察対象の構造または組織等の一部または全部に対して周波数強調処理、エッジ強調処理、明るさ調整処理、または、色調変更処理等をする。表示制御部６６は、強調処理部８２が必要におじて強調処理を施した内視鏡画像１０１を表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８は、内視鏡画像１０１を表示する。

ベースライン情報算出部８６は、観察対象を撮像した内視鏡画像（画像取得部５４が取得した画像）、または、画像生成部８１が生成した表示用の内視鏡画像１０１を用いて、ベースライン情報を算出する。ベースライン情報とは、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報である。ここで言う「依存しない」とは、少なくともベースライン情報の変化が、特定の生体情報の高低に対してよりも、光散乱特性もしくは光吸収特性の強弱に対しての方が大きいことを言う。

「特定の生体情報」とは、例えば、観察対象が含むヘモグロビンの状態に起因して変化する情報である。具体的には、酸素飽和度もしくはヘモグロビン濃度、またはこれらの組み合わせ等が特定の生体情報である。また、「特定の生体情報」とは、例えば、観察対象が含む血管に関する情報である。具体的には、血管密度、血管深さ、もしくは血管太さ、またはこれらの２以上の組み合わせ等が特定の生体情報である。

本実施形態においては、ベースライン情報算出部８６は、撮像に使用した照明光の種類が異なる複数の画像（イメージセンサ４８から取得する内視鏡画像）を用いてベースライン情報を算出する。また、本実施形態においては、ベースライン情報算出部８６は、少なくとも酸素飽和度に依存しないベースライン情報を算出する。具体的には、第１狭帯域青色光を用いて観察対象を撮像して得る画像をＢ１画像とし、第２狭帯域青色光を用いて観察対象を撮像して得る画像をＢ２画像とし、狭帯域緑色光を用いて観察対象を撮像して得る画像をＧ２画像とし、かつ、狭帯域赤色光を用いて観察対象を撮像して得る画像をＲ２画像として用いる。そして、ベースライン情報算出部８６は、Ｇ２画像に対するＢ１画像の比（以下、Ｂ１／Ｇ２という）と、Ｇ２画像に対するＢ２画像の比（以下、Ｂ２／Ｇ２という）と、Ｇ２画像に対するＲ２画像の比（以下、Ｒ２／Ｇ２という）を算出する。次いで、式１にしたがって、演算値“Ｚ”を算出する。式１における位相φは観察対象が含むヘモグロビンの酸素飽和度に対して演算値“Ｚ”が不変となるように定める。位相φは予め実験等により求めることができる。
［式１］ Ｚ＝（Ｂ１／Ｇ２）×ｃｏｓφ−（Ｂ２／Ｇ２）×ｓｉｎφ

図４に実線によって示すように、演算値“Ｚ”は、ビリルビン等の黄色色素を含む残液等がなければ、観察対象の酸素飽和度に依らず、比Ｒ２／Ｇ２の値に応じた一定の値になる。一方、破線によって示すように、演算値“Ｚ”は、黄色色素を含む残液等があると、観察対象の酸素飽和度に依らないが、残液等が含む黄色色素の量（濃度）に応じて変動する。

また、残液等がない場合に、演算値“Ｚ”が、比Ｒ２／Ｇ２の値に応じた一定の値になるのは、観察対象が、位相φの調整において想定している光散乱特性もしくは光吸収特性を実際に有する場合である。したがって、観察対象が、位相φの調整において想定しない散乱特性もしくは光吸収特性を実際に有する領域、または、想定していない光散乱特性もしくは光吸収特性を有するように見える領域においては、残液等がない場合においても演算値“Ｚ”の値が比Ｒ２／Ｇ２の値に応じた一定の値から変動する。

観察対象が位相φの調整において想定していない光散乱特性または光吸収特性を実際に有するのは、例えば、観察部位の種類が異なる場合、または、病変等に起因して観察対象の組織もしくは構造が変性している場合等である。観察部位の種類とは、胃、食道、小腸、または、大腸等である。また、観察対象が位相φの調整において想定していない光散乱特性または光吸収特性を有するように見えるのは、例えば、照明光の当たり方に起因した暗部もしくはハレーションがある場合、病変がある場合、鉗子もしくはステント等の処置具がある場合、ズーム操作もしくは先端部１２ｄと観察対象の距離の変動に起因して照明光の当たり具合等が変化した場合、観察対象の組織もしくは構造を染色する色素を投与もしくは散布した場合、または、出血がある場合等である。したがって、演算値“Ｚ”の値によれば、残液等の有無の他、観察部位の種類、病変の有無もしくは種類、処置具の有無、拡大または縮小の有無（以下、拡大の有無という）、色素の有無、出血の有無を判定し得る。もちろん、これらの要因で演算値“Ｚ”の値が変化した場合においても、位相φが適切に調整してあれば、演算値“Ｚ”は酸素飽和度には依存しない。

上記の通り、演算値“Ｚ”は、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも酸素飽和度に依存しない「ベースライン情報」である。なお、ベースライン情報算出部８６は、ベースライン情報である演算値“Ｚ”を、内視鏡画像の１または複数の画素からなる部分ごとに算出する。本実施形態においては、ベースライン情報算出部８６は、画素ごとにベースライン情報である演算値“Ｚ”を算出する。

なお、本実施形態においては、ベースライン情報が酸素飽和度に依存しないように位相φの値を定めているが、代わりに、ベースライン情報が、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に依存しないように位相φを定めることができる。この場合、ベースライン情報算出部８６は、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度に対して依存しないベースライン情報を算出することができる。同様に、酸素飽和度、血管密度、血管深さ、血管太さ、または、ヘモグロビン濃度のうち、２以上の「特定の生体情報」に対してベースライン情報が依存しないように位相φを調整しておいた場合には、ベースライン情報算出部８６は、その２以上の「特定の生体情報」に対して依存しないベースライン情報を算出することができる。

撮像シーン判定部８７は、ベースライン情報である演算値“Ｚ”を用いて撮像シーンを判定する。撮像シーンの判定とは、観察部位の種類、病変の有無もしくは種類、処置具の有無、残液等の有無、拡大の有無、色素の有無、もしくは、出血の有無のうちいずれかを判定すること、または、これらの組み合わせを判定することをいう。撮像シーン判定部８７は、例えば、１または複数の画素からなる部分ごとに、撮像シーンを判定し、かつ、部分ごとの判定結果を用いて、画像取得部５４が取得した画像ごとまたは表示用の内視鏡画像１０１ごとに１つの撮像シーンを判定する。

例えば、観察部位の種類が異なれば、比Ｒ２／Ｇ２に対する演算値“Ｚ”の値（もしくは想定する値の範囲）、分布（もしくは想定する分布の範囲）、または統計値（もしくは想定する統計値の範囲）、すなわち、図４における実線の位置、形状、または範囲等が異なる。このため、実際に算出した演算値“Ｚ”の値、演算値“Ｚ”の分布、または演算値“Ｚ”の平均値、中央値、もしくは最頻値等の統計値を参照すれば、観察部位の種類を判定することができる。このため、撮像シーン判定部８７は、撮像シーンとして観察部位の種類を判定する場合、演算値“Ｚ”の値、演算値“Ｚ”の分布、または、演算値“Ｚ”の平均値、中央値、もしくは最頻値等の統計値に基づいて、１または複数の画素からなる部分ごとに観察部位の種類を判定する。そして、部分ごとに判定した観察部位の種類のうち、最多の観察部位の種類を、画像取得部５４が取得した画像ごとまたは表示用の内視鏡画像１０１ごとの観察部位（撮像シーン）と判定する。

また、撮像シーン判定部８７は、観察部位の種類が判明している場合、または、観察部位の種類を判定する必要がない場合（例えば、別途の設定等により観察部位が確定している場合等）に、撮像シーンとして、病変の有無もしくは種類、処置具の有無、残渣等の有無、拡大の有無、色素の有無、または、出血の有無を判定する。具体的には、病変、処置具、残液等、拡大、色素、及び、出血等のイレギュラーがない正常な観察対象の場合に実際に算出した比Ｒ２／Ｇ２の値において演算値“Ｚ”がとる値Ｚ₀（図４における実線上の値）を基準として、実際に算出した比Ｒ２／Ｇ２の値において実際に算出した演算値“Ｚ”（図４における破線上の値）の変化量ΔＺ（＝Ｚ−Ｚ₀）を算出する（図４参照）。この変化量ΔＺは、病変の有無もしくは種類、処置具の有無、残液等の有無、拡大の有無、色素の有無、または、出血の有無等に起因して、その値、分布、または、平均値等の統計値が変化する。このため、撮像シーン判定部８７は、変化量ΔＺの値、分布、または統計値を用いて、１または複数の画素からなる部分ごとに、変化量ΔＺの原因が、処置具、残液等、拡大、色素、または出血のいずれであるかを判定する。

そして、撮像シーン判定部８７は、上記部分ごとの判定結果に特定の撮像シーンであることを示す判定結果が含まれている場合、その特定の撮像シーンを、画像取得部５４が取得した画像ごとまたは表示用の内視鏡画像１０１ごとの撮像シーンとする。具体的には、画像取得部５４が取得した画像または表示用の内視鏡画像１０１に所定の個数または所定の面積の病変、処置具、残液等、拡大、色素、または出血がある場合、画像取得部５４が取得した画像または表示用の内視鏡画像１０１の撮像シーンを、処置具がある撮像シーン、残液等がある撮像シーン、拡大または縮小した撮像シーン、色素等がある撮像シーン、または、出血がある撮像シーンと判定する。当然ながら、撮像シーン判定部８７は、画像取得部５４が取得した画像または表示用の内視鏡画像１０１の撮像シーンを、病変、処置具、残液等、拡大、色素、または出血のうち２以上がある複合的な撮像シーンに判定する場合がある。

条件設定部８８は、撮像シーン判定部８７の判定結果を用いて、撮像または画像処理における条件を設定する。撮像シーン判定部８７の判定結果とは、撮像シーン判定部８７が画像取得部５４が取得した画像ごとまたは表示用の内視鏡画像１０１ごとに判定した撮像シーンであって、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣等の有無、拡大の有無、色素の有無、もしくは、出血の有無、または、これらの組み合わせで分類した撮像シーンある。

撮像における条件（以下、撮像条件という）とは、例えば、撮像する際に使用する照明光の種類（中心波長、波長帯域、または分光スペクトルの形状等）、照明光の光量、複数種類の照明光を使用する場合における照明光の組み合わせ及び光量のバランス、または、イメージセンサ４８における露光時間もしくは画像読み出し時のゲイン等である。条件設定部８８は、撮像シーン判定部８７の判定結果を用いて撮像条件を設定する場合、制御部５２を介して、光源制御部２２またはイメージセンサ４８等の各部に撮像条件を入力する。

画像処理における条件（以下、画像処理条件という）とは、内視鏡システム１０において行う各種画像処理の実行もしくは不実行または各種画像処理の強弱等の設定である。条件設定部８８が画像処理条件を設定する各種画像処理は、例えば、画像生成部８１において行う色変換処理、色彩強調処理、もしくは構造強調処理、または、強調処理部８２において行う周波数強調処理、エッジ強調処理、明るさ調整処理、もしくは色調変更処理等である。また、条件設定部８８が設定する画像処理条件には、画像取得部５４が行う各種処理の実行もしくは不実行または強弱等の設定を含む。条件設定部８８は、画像処理条件を設定する場合、必要に応じて画像生成部８１、強調処理部８２、または画像取得部５４に画像処理条件を入力する。

条件設定部８８は、撮像シーンごとに適切な撮像条件、適切な画像処理条件、または、撮像条件及び画像処理条件の適切な組み合わせ（以下、プリセットという）を予め記憶する。このため、条件設定部８８は、撮像シーン判定部８７の判定結果に対して適切なプリセットを選択し、選択したプリセットに係る撮像条件及び画像処理条件を、光源制御部２２、イメージセンサ４８、画像生成部８１、強調処理部８２、または、画像取得部５４に設定する。また、条件設定部８８は、プリセットを選択した場合、選択したプリセットに関する情報（以下、プリセット情報という）を表示制御部６６に入力する。これにより、表示制御部６６は、プリセット情報をモニタ１８に表示する。プリセット情報とは、例えば、プリセットに対応する撮像シーンの名称、プリセットの名称、または、プリセットに係る撮像条件または画像処理条件が指定するパラメータ等である。

次に、内視鏡システム１０の動作の流れを、図５に示すフローチャートに沿って説明する。観察を開始すると、内視鏡システム１０は照明光を適宜切り替えながら観察対象を撮像する（Ｓ１１）。その結果、画像取得部５４はイメージセンサ４８から画像を取得する。より具体的には、照明光を、第１狭帯域青色光からなる第１照明光と、第２狭帯域青色光、狭帯域緑色光、及び狭帯域赤色光からなる第２照明光と、白色光である第３照明光と、に順次切り替えながら観察対象を撮像する。第１照明光を用いた撮像によってＢ１画像を取得でき、第２照明光を用いた撮像によってＢ２画像、Ｇ２画像、及びＲ２画像を取得できる。また、白色光である第３照明光を用いた撮像によって、ＢＧＲ各色の画像を取得できる。以下、白色光である第３照明光を用いた撮像によって、Ｂ画素から取得する画像をＢ３画像、Ｇ画素から取得する画像をＧ３画像、及び、Ｒ画素から取得する画像をＲ３画像という。

上記のように、撮像の各フレームにおいてＢＧＲ各色の画像を取得すると、画像生成部８１が、Ｂ３画像、Ｇ３画像、及び、Ｒ３画像を用いて、表示用の内視鏡画像１０１を生成する（Ｓ１２）。その後、強調処理部８２が表示用の内視鏡画像１０１に必要な強調処理を施し、図６に示すように、必要な強調処理等を施した内視鏡画像１０１は、表示制御部６６がモニタ１８に表示する。

また、撮像の各フレームにおいてＢＧＲ各色の画像を取得すると、ベースライン情報算出部８６が、Ｂ１画像、Ｂ２画像、及びＧ２画像を用いて、ベースライン情報である演算値“Ｚ”を算出する（Ｓ１３）。そして、撮像シーン判定部８７は、ベースライン情報を用いて撮像シーンを判定する（Ｓ１４）。その後、条件設定部８８が撮像シーン判定部８７の判定結果に対して適切なプリセットを選択し、選択したプリセットに係る撮像条件及び画像処理条件を、光源制御部２２、イメージセンサ４８、画像生成部８１、強調処理部８２、または、画像取得部５４に設定する（Ｓ１５）。選択したプリセットのプリセット情報は、表示制御部６６がモニタ１８のプリセット情報表示部１１１に表示する（図６参照）。

上記のように、内視鏡システム１０は、ベースライン情報（演算値“Ｚ”）を用いて撮像シーンを判定する。ベースライン情報を用いた撮像シーンの判定は、パターンマッチングよって撮像シーンを判定する場合と比較して処理負荷が小さく、リアルタイムに算出可能な程度に高速に実行できる。さらに、ベースライン情報を用いた撮像シーンの判定は、パターンマッチングに劣らない精度を有し、かつ、観察対象の色に基づいた撮像シーンの判定よりも高精度である。また、ベースライン情報を用いた撮像シーンの判定は、パターンマッチングよりも、観察対象の微細な構造等に影響を受けにくいので、ベースライン情報を用いた撮像シーンの判定は、場合によっては、パターンマッチングよりも正確性が高い。したがって、内視鏡システム１０は、従来よりも簡易に、かつ、ロバストに撮像シーンを判定し、自動的に、撮像シーンに適した撮像または画像処理における条件を設定できる。

また、ベースライン情報を用いて撮像シーンの判定を行い、判定した撮像シーンに応じたプリセット設定を用いると、ユーザが撮像シーンごとに画質調整等を行う必要が無いので、ユーザの操作負担が低減し、かつ、検査時間も短縮できる。その結果、ユーザは短時間に集中して診断することができるので、診断の正確性も向上する。

なお、上記実施形態においては、条件設定部８８は、撮像条件、画像処理条件、または、撮像条件及び画像処理条件の組み合わせを設定するが、条件設定部８８は、表示における条件（以下、表示条件という）も設定できる。例えば、条件設定部８８が撮像シーンに応じて表示条件を設定すれば、撮像シーンごとにモニタ１８における表示態様を変更することができる。

上記実施形態においては、内視鏡システム１０は、内視鏡画像１０１を生成及び表示しているが、内視鏡システム１０は、画像取得部５４が取得した画像、表示用の内視鏡画像１０１、または、これらの両方をストレージ（内視鏡システム１０と接続した院内システムを含む。）に保存することができる。画像取得部５４が取得した画像、表示用の内視鏡画像１０１、または、これらの両方を保存する場合、撮像シーン判定部８７が判定した撮像シーン、及び、プリセット情報等を、画像取得部５４が取得した画像または表示用の内視鏡画像１０１に関連付けて保存すると良い。例えば、撮像シーン判定部８７が判定した撮像シーン、及び、プリセット情報等を、画像取得部５４が取得した画像または表示用の内視鏡画像１０１のタグ情報として保存すると良い。

上記実施形態においては、各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（Processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）によって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

上記実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０において本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図７に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡７００と、プロセッサ装置（図示しない）とを少なくとも有する。

カプセル内視鏡７００は、光源部７０２と制御部７０３と、イメージセンサ７０４と、画像処理部７０６と、送受信アンテナ７０８と、を備えている。光源部７０２は、光源部２０に対応する。制御部７０３は、光源制御部２２及び制御部５２と同様に機能する。また、制御部７０３は、送受信アンテナ７０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部７０６はカプセル内視鏡７００に設けられ、内視鏡画像は、送受信アンテナ７０８を介してプロセッサ装置に送信される。イメージセンサ７０４はイメージセンサ４８と同様に構成される。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０、７０２ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８、７０４ イメージセンサ
５２、７０３ 制御部
５４、７０６ 画像取得部
５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６６ 表示制御部
８１ 画像生成部
８２ 強調処理部
８６ ベースライン情報算出部
８７ 撮像シーン判定部
８８ 条件設定部
１０１ 内視鏡画像
１１１ プリセット情報表示部
７００ カプセル内視鏡
７０８ 送受信アンテナ
Ｚ 演算値（ベースライン情報）
ΔＺ 変化量
Ｒ２／Ｇ２ Ｇ２画像に対するＲ２画像の比

撮像シーン判定部は、１または複数の画素からなる部分ごとに、撮像シーンを判定し、かつ、部分ごとの判定結果を用いて、内視鏡画像ごとまたは表示用の内視鏡画像ごとに１つの撮像シーンを判定することが好ましい。また、撮像シーン判定部は、部分ごとの判定結果のうち最多の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。

撮像シーン判定部は、正常な観察対象を撮像した内視鏡画像を用いて算出されたベースライン情報を基準としてベースライン情報の変化量を算出し、かつ、観察部位の種類が判明している場合、または、観察部位の種類を判定する必要がない場合に、変化量を用いて、１または複数の画素からなる部分ごとに、撮像シーンを判定し、かつ、部分ごとの判定結果を用いて、内視鏡画像ごとまたは表示用の内視鏡画像ごとに１つの撮像シーンを判定し、部分ごとの判定結果のうち最多の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。また、撮像シーン判定部は、１または複数の画素からなる部分ごとに、変化量の原因が、処置具、残液等、拡大、色素、または出血のいずれであるかを判定することが好ましい。

撮像シーン判定部は、部分ごとの判定結果に特定の撮像シーンであることを示す判定結果が含まれている場合、特定の撮像シーンを、内視鏡画像ごとまたは表示用の内視鏡画像ごとの撮像シーンとすることが好ましい。また、撮像シーン判定部は、特定の撮像シーンに所定の個数または所定の面積の病変、処置具、残液等、拡大、色素、または出血がある場合、特定の撮像シーンを、処置具がある撮像シーン、残液等がある撮像シーン、拡大または縮小した撮像シーン、色素等がある撮像シーン、または、出血がある撮像シーンと判定することが好ましい。

本発明の内視鏡システムの作動方法は、光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用いて内視鏡システムの作動方法であって、画像取得部が、観察対象を撮像した内視鏡画像を取得するステップと、ベースライン情報算出部が、内視鏡画像または内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するステップと、撮像シーン判定部が、ベースライン情報を用いて撮像シーンを判定するステップと、条件設定部が、撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定するステップと、を備える。

強調処理部８２は、画像生成部８１が生成した内視鏡画像１０１に、必要に応じて強調処理を施す。例えば、観察対象の構造または組織等の一部または全部に対して周波数強調処理、エッジ強調処理、明るさ調整処理、または 、色調変更処理等をする。表示制御部６６は、強調処理部８２が必要に応じて強調処理を施した内視鏡画像１０１を表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８は、内視鏡画像１０１を表示する。

条件設定部８８は、撮像シーン判定部８７の判定結果を用いて、撮像または画像処理における条件を設定する。撮像シーン判定部８７の判定結果とは、撮像シーン判定部８７が画像取得部５４が取得した画像ごとまたは表示用の内視鏡画像１０１ごとに判定した撮像シーンであって、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣等の有無、拡大の有無、色素の有無、もしくは、出血の有無、または、これらの組み合わせで分類した撮像シーンである。

Claims (15)

1. 光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムであって、
   前記観察対象を撮像した内視鏡画像を取得する画像取得部と、
   前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、
   前記ベースライン情報を用いて撮像シーンを判定する撮像シーン判定部と、
   前記撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定する条件設定部と、
   を備える内視鏡システム。
2. 前記撮像シーン判定部は、観察部位の種類、病変の有無もしくは種類、処置具の有無、残渣もしくは残液の有無、拡大の有無、色素の有無、または、出血の有無を、前記撮像シーンとして判定する請求項１に記載の内視鏡システム。
3. 前記条件設定部は、使用する前記照明光の種類または光量を設定する請求項１または２に記載の内視鏡システム。
4. 前記条件設定部は、前記画像処理の有無または強弱を設定する請求項１〜３のいずれか１項に記載の内視鏡システム。
5. 前記ベースライン情報算出部は、１または複数の画素からなる部分ごとに前記ベースライン情報を算出する請求項１〜４のいずれか１項に記載の内視鏡システム。
6. 前記撮像シーン判定部は、１または複数の画素からなる前記部分ごとに、前記撮像シーンを判定し、かつ、前記部分ごとの判定結果を用いて、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとに１つの前記撮像シーンを判定する請求項５に記載の内視鏡システム。
7. 前記撮像シーン判定部は、前記部分ごとの判定結果のうち最多の前記撮像シーンを、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとの前記撮像シーンとする請求項６に記載の内視鏡システム。
8. 前記撮像シーン判定部は、前記部分ごとの判定結果に特定の前記撮像シーンであることを示す判定結果が含まれている場合、特定の前記撮像シーンを、前記内視鏡画像ごとまたは前記表示用の内視鏡画像ごとの前記撮像シーンとする請求項６に記載の内視鏡システム。
9. 前記ベースライン情報算出部は、撮像に使用した照明光の種類が異なる複数の前記内視鏡画像を用いて、前記ベースライン情報を算出する請求項１〜８のいずれか１項に記載の内視鏡システム。
10. 前記特定の生体情報は、前記観察対象が含むヘモグロビンの状態に起因して変化する情報である請求項１〜９のいずれか１項に記載の内視鏡システム。
11. 前記特定の生体情報は、酸素飽和度、または、ヘモグロビン濃度である請求項１０に記載の内視鏡システム。
12. 前記特定の生体情報は、前記観察対象が含む血管に関する情報である請求項１〜９のいずれか１項に記載の内視鏡システム。
13. 前記特定の生体情報は、血管密度、血管深さ、または、血管太さである請求項１２に記載の内視鏡システム。
14. 光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡を有する内視鏡システムのシステム制御及び画像処理を行うプロセッサ装置であって、
    前記観察対象を撮像した内視鏡画像を取得する画像取得部と、
    前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するベースライン情報算出部と、
    前記ベースライン情報を用いて撮像シーンを判定する撮像シーン判定部と、
    前記撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定する条件設定部と、
    を備えるプロセッサ装置。
15. 光源と、光源から出射された照明光が照射された観察対象を撮像する内視鏡と、システム制御及び画像処理を行うプロセッサ装置と、を備える内視鏡システムを用いで内視鏡システムの作動方法であって、
    画像取得部が、前記観察対象を撮像した内視鏡画像を取得するステップと、
    ベースライン情報算出部が、前記内視鏡画像または前記内視鏡画像を用いて生成する表示用の内視鏡画像を用いて、前記観察対象の光散乱特性もしくは光吸収特性に関する情報であって、かつ、少なくとも特定の生体情報に依存しない情報であるベースライン情報を算出するステップと、
    撮像シーン判定部が、前記ベースライン情報を用いて撮像シーンを判定するステップと、
    条件設定部が、前記撮像シーン判定部の判定結果を用いて、撮像または画像処理における条件を設定するステップと、
    を備える内視鏡システムの作動方法。