JP6430880B2 - 内視鏡システム、及び、内視鏡システムの作動方法 - Google Patents

Description

本発明は、被検体内の観察対象を拡大して観察する内視鏡システム、及び内視鏡システムの作動方法に関する。

医療分野においては、内視鏡、光源装置、及びプロセッサ装置を備える内視鏡システムを用いて診断をすることが一般的になっている。内視鏡は、被検体内に挿入する挿入部を有し、光源装置が発生する照明光が照射された観察対象（被検体内の粘膜等）を撮像する。プロセッサ装置は、観察対象を撮像して得る画像信号を用いて観察対象の画像を生成し、モニタに表示する。

また、光学ズームや電子ズーム（デジタルズームとも言う）によって観察対象を拡大して観察する機能を有しており、かつ、観察対象の動画と観察対象を拡大した静止画とをモニタに同時に表示する内視鏡システムが知られている。例えば、特許文献１の内視鏡システムは、拡大していない観察対象の動画（以下、非拡大動画という）と、観察対象を光学ズームによって拡大した静止画をモニタに表示する。特許文献２の内視鏡システムは、観察対象の非拡大動画と、観察対象を電子ズームによって拡大した静止画をモニタに表示する。そして、特許文献３の内視鏡システムは、観察対象を光学ズームによって拡大した動画と、拡大していない観察対象の静止画をモニタに表示している。

特開２０１３−２４０５２２号公報 特開２００８−２２９２０５号公報 特開２０１０−１２４９２１号公報

内視鏡システムの観察対象は消化管の粘膜等であるため、蠕動運動によってほぼ常に動き続けており、内視鏡の挿入部の先端と、観察対象の相対的な位置関係は変化し続ける。そして、光学ズームや電子ズームによって観察対象を拡大すると、内視鏡と観察対象の見かけ上の相対的な動きはさらに激しくなる。このため、拡大観察時には、観察対象を見失ってしまうことがある。また、観察対象を見失わないとしても、画面の中での観察対象の動きがまわるので、安定して観察対象を拡大観察し続けることは難しい。

上記のように、動画で観察対象を拡大して観察し続けるのは難易度が高いので、静止画を撮って観察をする場合があるが、観察対象を拡大したことにより、画面の中で観察対象が動き回っている状態では静止画中に病変等を捉えることも当然容易ではない。

本発明は観察対象を安定して拡大観察することができる内視鏡システム、及び、内視鏡システムの作動方法を提供することを目的とする。

本発明の内視鏡システムは、照明光を発する光源と、照明光が照射された観察対象を撮像する撮像センサと、観察対象の静止画の取得を指示する静止画取得指示を入力する静止画取得指示部と、静止画取得指示が入力された場合に、観察対象の動画を形成する動画用画像信号を取得する動画用撮像フレームの間に、観察対象を電子ズームによって拡大した静止画を生成する静止画用画像信号を取得する静止画用撮像フレームを挿入する制御部と、動画用画像信号を用いて観察対象の動画を生成する動画生成部と、静止画用画像信号を用いて観察対象を電子ズームによって拡大した静止画である拡大静止画を自動的に生成する拡大静止画生成部と、を備え、制御部は、１回の静止画取得指示の入力に対して、動画用撮像フレームの間に、複数の静止画用撮像フレームを挿入する。

制御部は、静止画用撮像フレームのシャッタスピードを、動画用撮像フレームのシャッタスピードよりも速くすることが好ましい。

制御部は、拡大静止画用撮像フレームの照明光の光量を、動画用撮像フレームの照明光の光量よりも大きくすることが好ましい。

拡大静止画生成部は、複数の静止画用撮像フレームで取得する複数の静止画用画像信号を用いて、複数の拡大静止画を生成し、１回の静止画取得指示の入力に対して拡大静止画の表示を複数回更新することが好ましい。

拡大静止画生成部は、複数の静止画用撮像フレームで取得する複数の静止画用画像信号を用いてノイズ低減処理をするノイズ低減部を備え、ノイズ低減処理をした静止画用画像信号を用いて拡大静止画を生成することが好ましい。

拡大静止画生成部は、複数の静止画用撮像フレームで取得する複数の静止画用画像信号を用いて超解像処理をする超解像処理部を備え、超解像処理をした静止画用画像信号を用いて拡大静止画を生成することが好ましい。

拡大静止画生成部は、複数の静止画用画像信号を比較して、複数の静止画用画像信号の中からブレの少ない静止画用画像信号を複数選択する画像信号選択部を備えることが好ましい。

拡大静止画生成部は、動画用画像信号または静止画用画像信号を用いて、電子ズームによって拡大する領域を設定する拡大領域設定部を備え、拡大領域設定部が設定した領域を拡大した拡大静止画を生成することが好ましい。

拡大静止画生成部は、動画用画像信号または静止画用画像信号を用いて、観察対象の特徴点を検出する特徴点検出部を備え、拡大領域設定部は、特徴点検出部が検出した特徴点を用いて、電子ズームによって拡大する領域を設定することが好ましい。

特徴点検出部は、複数の特徴点を検出し、拡大領域設定部は、複数の特徴点の中から選択した特徴点が中央に位置する領域を、電子ズームによって拡大する領域に設定することが好ましい。

本発明の内視鏡システムの作動方法は、照明光を発する光源と、照明光が照射された観察対象を撮像する撮像センサと、観察対象の静止画の取得を指示する静止画取得指示を入力する静止画取得指示部と、を有する内視鏡システムの作動方法において、制御部が、静止画取得指示が入力された場合に、観察対象の動画を形成する動画用画像信号を取得する動画用撮像フレームの間に、観察対象を電子ズームによって拡大した静止画を生成する静止画用画像信号を取得する静止画用撮像フレームを挿入するステップであって、１回の静止画取得指示の入力に対して、動画用撮像フレームの間に、複数の静止画用撮像フレームを挿入するステップと、動画生成部が、動画用画像信号を用いて観察対象の動画を生成するステップと、拡大静止画生成部が、静止画用画像信号を用いて観察対象を電子ズームによって拡大した静止画である拡大静止画を自動的に生成するステップと、を備える。

本発明の内視鏡システム、及び、内視鏡システムの作動方法は、静止画取得指示が入力された場合に、動画用撮像フレームの間に静止画用撮像フレームを挿入して、静止画用画像信号を用いて、観察対象を電子ズームによって拡大した静止画（以下、拡大静止画という）を生成するので、観察対象を拡大してから静止画を撮る必要がなく、遠景から安定して観察対象を捉えた状態で静止画取得指示を入力するだけで、自動的に病変等を的確に捉えた拡大静止画を生成することができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 動画用画像信号を得る動画用撮像フレームを示す説明図である。 動画を表示するモニタの表示画面である。 静止画取得指示を入力した場合の撮像フレームを示す説明図である。 シャッタスピード、露光時間、及び照明光の光量を示すタイミングチャートである。 観察対象の拡大静止画を表示するモニタの表示画面である。 内視鏡システムの動作を示すフローチャートである。 静止画用撮像フレームを複数挿入する変形例の説明図である。 拡大静止画を更新する場合の説明図である。 ノイズ低減処理をする拡大静止画生成部のブロック図である。 超解像処理をする拡大静止画生成部のブロック図である。 ノイズ低減処理に使用する静止画用画像信号を選択する拡大静止画生成部のブロック図である。 拡大する箇所を追跡する拡大静止画生成部のブロック図である。 特徴点と拡大する領域を示す説明図である。 カプセル内視鏡の概略図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール２０と、を有する。内視鏡１２は、ユニバーサルコード１７によって、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部分に設けられた操作部２２と、挿入部２１の先端側に設けられた湾曲部２３及び先端部２４を有している。操作部２２のアングルノブ２２ａを操作することにより、湾曲部２３は湾曲動作する。この湾曲動作によって、先端部２４を所望の方向に向けることができる。

また、操作部２２には、アングルノブ２２ａの他、フリーズボタン２２ｂ等が設けられている。フリーズボタン２２ｂは、観察対象の静止画の取得を指示する静止画取得指示を入力する静止画取得指示部として機能する。内視鏡システム１０は、静止画取得指示が入力されない限り、モニタ１８に観察対象の非拡大動画を表示する。そして、フリーズボタン２２ｂによって静止画取得指示が入力されると、観察対象の静止画であり、かつ、観察対象の一部を拡大した拡大静止画と、観察対象の非拡大動画とをモニタ１８に表示する。フリーズボタン２２ｂは、拡大静止画の表示を停止して、静止画取得指示の入力前と同様にモニタ１８の表示を、観察対象の非拡大動画だけに戻す表示切り替え部としても機能する。この場合、フリーズボタン２２ｂは、表示切り替え指示を入力する。

プロセッサ装置１６は、モニタ１８及びコンソール２０と電気的に接続される。モニタ１８は、観察対象の非拡大動画や観察対象の拡大静止画の他、これらの動画等に関する情報等を表示する。コンソール２０は、機能設定等の入力操作を受け付けるユーザインターフェースとして機能する。なお、プロセッサ装置１６には、観察対象の非拡大動画、拡大静止画、及びこれらに付帯する情報等を記録する記録部（図示省略）等を接続しても良い。

図２に示すように、光源装置１４は、観察対象に照射する照明光を発生する光源３６と、光源３６を制御する光源制御部３７と、を備える。光源３６は、例えば、紫色ＬＥＤ、青色ＬＥＤ、緑色ＬＥＤ、及び赤色ＬＥＤ等の複数色のＬＥＤ（Light Emitting Diode）や、これらが発する光の波長帯域を制限する光学フィルタ等から構成される。光源制御部３７は、光源３６を構成するＬＥＤの点灯タイミングや発光量、光学フィルタの挿抜等を制御する。例えば、光源３６は、照明光として白色光を発生し、設定によっては、白色光よりも波長帯域が狭い青色の光（青色狭帯域光）や緑色の光（緑色狭帯域光）を発生する。本実施形態では、光源３６は、照明光として白色光を発生する。また、本実施形態では上記のように光源３６を複数色のＬＥＤや光学フィルタ等で構成しているが、代わりに、キセノンランプや白色ＬＥＤ等の広帯域光源と、広帯域光源が発する光の波長帯域を制限する光学フィルタによって光源３６を構成することもできる。また、ＬＥＤの代わりに、ＬＤ（Laser Diode）とＬＤが発するレーザー光によって蛍光を発する蛍光体、及びレーザー光や蛍光の波長帯域を制限する光学フィルタ等を組み合わせて光源３６を構成することもできる。

光源３６から発する照明光は、集光レンズ、光ファイバ、または合波器等の光学部材（いずれも図示せず）を介してライトガイド４１に入射する。ライトガイド４１は、ユニバーサルコード１７と内視鏡１２に内蔵されている。ライトガイド４１は照明光を内視鏡１２の先端部２４まで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部２４には、照明部２６及び撮像部２７を有している。照明部２６には、照明レンズ４５が設けられており、ライトガイド４１から出射される照明光は、照明レンズ４５を介して観察対象に照射される。

撮像部２７は、撮像レンズ４７と撮像センサ４８を備える。撮像レンズ４７は、照明光の反射光や照明光の照射によって観察対象が発する蛍光等の観察対象からの光を撮像センサ４８に入射させ、撮像センサ４８は、観察対象を撮像する。

撮像センサ４８は、カラーの撮像素子であり、観察対象を撮像して画像信号を出力する。撮像センサ４８としては、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサを用いることができる。撮像センサ４８は、撮像面にＲＧＢカラーフィルタが設けられたＲＧＢ画素を有しており、ＲＧＢ各色の画素で光電変換をすることによってＲＧＢ各色の画像信号を出力する。なお、撮像センサ４８としては、撮像面にＣ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた、いわゆる補色撮像センサを用いても良い。撮像センサ４８として補色撮像センサを用いる場合は、ＣＭＹＧの４色の画像信号からＲＧＢの３色の画像信号に色変換する色変換部を、内視鏡１２、光源装置１４またはプロセッサ装置１６のいずれかに設けておけば良い。こうすれば補色イメージセンサを用いる場合でも、ＣＭＹＧの４色の画像信号から色変換によってＲＧＢ３色の画像信号を得ることができる。

撮像センサ４８は、電子シャッタの速度（以下、シャッタスピードという）及び露光時間の長さや、画像信号の出力時に掛けるゲイン等を、少なくとも撮像フレーム毎に変更可能である。撮像フレームは、撮像センサ４８が観察対象を撮像して、１枚の画像の生成に必要な１セットの画像信号を出力する時間単位である。本実施形態では、ＲＧＢの各カラーフィルタに対応するＲ画像信号、Ｇ画像信号、及びＢ画像信号が、非拡大動画の１コマ分の画像や１枚の拡大静止画の生成に使用される１セットの画像信号である。このため、撮像センサ４８が観察対象を撮像して、これら１セットの画像信号を取得する時間が１つの撮像フレームである。

また、撮像フレームには、動画用撮像フレームと静止画用撮像フレームがあり、これらの違いは撮像条件である。動画用撮像フレームは、動画用の撮像条件で撮像センサ４８が観察対象を撮像し、観察対象の非拡大動画の生成に適した動画用画像信号を取得する撮像フレームである。静止画用撮像フレームは、静止画用の撮像条件で撮像センサ４８が観察対象を撮像し、観察対象の拡大静止画の生成に適した静止画用画像信号を取得する撮像フレームである。撮像条件は、例えば、観察対象に照射する照明光の光量、撮像センサ４８の電子シャッタのシャッタスピードや露光時間の長さ、画像信号の出力時に掛けるゲインの他、観察対象に照射する照明光の光量を含む。本実施形態では、動画用撮像フレームと静止画用撮像フレームの撮像条件を比較すると、静止画用撮像フレームは、動画用撮像フレームに比べて、シャッタスピードが速く、露光時間が短く、かつ、照明光の光量を大きくする。

撮像センサ４８から出力される各色の画像信号は、ＣＤＳ（correlated double sampling）／ＡＧＣ（automatic gain control）回路５０に送信される。ＣＤＳ／ＡＧＣ回路５０は、撮像センサ４８から出力されるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器５２によってデジタル画像信号に変換される。こうしてデジタル化した画像信号はプロセッサ装置１６に入力される。

プロセッサ装置１６は、画像信号取得部５４と、画像処理部６２と、表示用画像信号生成部６８と、制御部７１と、を備えている。画像信号取得部５４は、内視鏡１２から画像信号を取得する。画像信号取得部５４は、ＤＳＰ（Digital Signal Processor）５６とノイズ低減部５８と信号変換部５９とを備えている。

ＤＳＰ５６は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサの欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理をしたＲＧＢ各画像信号に特定のゲインを乗じることにより各画像信号の信号レベルが整えられる。ゲイン補正処理をした各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理をした画像信号には、デモザイク処理（等方化処理や同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５９は、デモザイク処理をした各画像信号にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５８に出力する。

ノイズ低減部５８は、ＤＳＰ５６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、信号変換部５９に入力され、ＲＧＢの画像信号に再変換され、画像処理部６２に入力される。

画像処理部６２は、動画生成部６３と、拡大静止画生成部６４と、を備える。動画生成部６３は、動画用撮像フレームに取得する動画用画像信号を用いて、観察対象の非拡大動画を生成する。具体的には、動画生成部６３は、非拡大動画の１コマ分の画像を生成するために、動画用撮像フレームに取得する１セットのＲＧＢ画像信号をそれぞれＲ画素、Ｇ画素、及びＢ画素に割り当てたＲＧＢ画像データを生成する。そして、生成したＲＧＢ画像データに対して、さらに３×３のマトリックス処理、階調変換処理、及び３次元ルックアップテーブル処理等の色変換処理を施す。次いで、色変換済みのＲＧＢ画像データに対して、各種色彩強調処理を施し、色彩強調処理済みのＲＧＢ画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調処理をしたＲＧＢ画像データが非拡大動画の１コマ分の画像である。

拡大静止画生成部６４は、静止画用撮像フレームに取得する静止画用画像信号を用いて拡大静止画を生成する。動画生成部６３が動画用撮像フレームに取得する１セットの画像信号を用いて非拡大動画の１コマ分の画像を生成するのと同様に、拡大静止画生成部６４は、静止画用撮像フレームに取得する１セットの画像信号を用いてＲＧＢ画像データを生成し、生成したＲＧＢ画像データにマトリックス処理、階調変換処理、及び３次元ルックアップテーブル処理等の色変換処理と構造強調処理を施して、観察対象の静止画を生成する。そして、生成した静止画の一部をトリミングし、元の静止画と同じ大きさに拡大する電子ズームによって、観察対象の拡大静止画を生成する。本実施形態では、拡大静止画生成部６４が電子ズームによって拡大する領域は、撮像部２７の正面（非拡大動画の中央部分）であるが、拡大静止画生成部６４が電子ズームによって拡大する領域は、設定等により変更可能である。

表示用画像信号生成部６８は、動画生成部６３が生成する非拡大動画や拡大静止画生成部６４が生成する拡大静止画を、表示用形式の信号（表示用画像信号）に変換してモニタ１８に入力する。これにより、モニタ１８には観察対象の非拡大動画や拡大静止画が表示される。

制御部７１は、内視鏡システム１０の各部を統括的に制御する。例えば、制御部７１は、
撮像センサ４８を制御して、シャッタスピード及び露光時間の長さや、画像信号の出力時に掛けるゲインを調節する。また、制御部７１は、光源制御部３７を制御して、観察対象に照射する照明光の分光スペクトルや光量を調節する。そして、制御部７１は、モニタ１８を制御して、観察対象の非拡大動画を表示する第１表示パターンと、観察対象の拡大静止画と非拡大動画を表示する第２表示パターンとの表示切り替えをする。

制御部７１は、撮像センサ４８、光源制御部３７、及びモニタ１８の各制御を複合的に行う。例えば、制御部７１は、撮像センサ４８及び光源制御部３７を動画用の撮像条件で繰り返し駆動することにより、図３に示すように、複数の動画用撮像フレームを繰り返し実行することで、画像信号取得部５４に動画用画像信号を順次取得させる。図３では、「Ｍ１」〜「Ｍ５」の５フレーム分の動画用撮像フレームによって動画用画像信号を取得する様子を示している。また、制御部７１は、図４に示すように、動画生成部６３が生成する観察対象の非拡大動画９１をモニタ１８に表示させる。

一方、フリーズボタン２２ｂによって静止画取得指示が入力されると、制御部７１は、上記のように繰り返し実行する動画用撮像フレームの間に、静止画用撮像フレームを挿入する。例えば、図５に示すように、動画用撮像フレームＭ２の実行中にフリーズボタン２２ｂによって静止画取得指示が入力されると、制御部７１は、動画用撮像フレームＭ２と、動画用撮像フレームＭ２の次に実行する動画用撮像フレームＭ３との間に、静止画用撮像フレームＦ１を挿入して、画像信号取得部５４に静止画用画像信号を取得させる。このように、動画用撮像フレームＭ２と動画用撮像フレームＭ３の間に静止画用撮像フレームＦ１を挿入する場合、図６に示すように、制御部７１は、撮像センサ４８を制御して、動画用撮像フレームＭ２等と比較して、静止画用撮像フレームＦ１のシャッタスピードを速くして、露光時間を短くする。また、制御部７１は、光源制御部３７を制御して、静止画用撮像フレームＦ１の照明光の光量を、動画用撮像フレームＭ２等の照明光の光量よりも大きくする。

動画生成部６３は、上記のように静止画用撮像フレームＦ１を挿入した場合でも、静止画用撮像フレームＦ１の前後の動画用撮像フレームＭ１等（例えば図５の動画用撮像フレームＭ１〜Ｍ４）に取得する動画用画像信号を用いて観察対象の非拡大動画の生成を継続する。また、拡大静止画生成部６４は、挿入した静止画用撮像フレームＦ１に取得される静止画用画像信号を用いて観察対象の拡大静止画を生成する。すなわち、制御部７１が、静止画取得指示の入力に応じて、動画用撮像フレームＭ２及びＭ３の間に静止画用撮像フレームを挿入すると、観察対象の非拡大動画と拡大静止画が生成される。このため、例えば図７に示すように、制御部７１は、拡大静止画９２と、非拡大動画９１をモニタ１８に表示させる。また、制御部７１は、非拡大動画９１中に、拡大静止画９２に対応する領域９１ａを例えば破線で表示する。

図７では、観察対象の拡大静止画９２を、非拡大動画９１よりも大きく表示しているが、これら表示サイズは設定等により任意に変更可能である。また、例えばモニタ１８が２個のディスプレイからなる場合等、モニタ１８が複数の表示画面を有する場合には、これらに拡大静止画９２と非拡大動画９１をそれぞれ表示させても良い。

次に、本実施形態の内視鏡システム１０の動作の流れを図８のフローチャートに沿って説明する。内視鏡システム１０を起動すると、制御部７１は、撮像センサ４８及び光源制御部３７を動画用の撮像条件で駆動して、動画用撮像フレームを繰り返し継続的に実行する（Ｓ１１）。動画生成部６３は、これらの動画用撮像フレームＭ１等で取得される動画用画像信号を用いて観察対象の非拡大動画９１を生成するので、制御部７１は、モニタ１８に動画生成部６３が生成する非拡大動画９１を表示し（Ｓ１２）、静止画取得指示を待ち受ける（Ｓ１３；ＮＯ）。

フリーズボタン２２ｂによって静止画取得指示が入力されると（Ｓ１３；ＹＥＳ）、制御部７１は、動画用撮像フレームの間に静止画用撮像フレームＦ１を１フレーム挿入する（Ｓ１４）。静止画用撮像フレームＦ１では、少なくとも前後の動画用撮像フレームＭ１〜Ｍ５に比べて、撮像センサ４８のシャッタスピードが速く、露光時間が短くされる。また、照明光の光量は、静止画用撮像フレームＦ１の照明光の光量は、動画用撮像フレームＭ１〜Ｍ５に比べて大きくされる。

制御部７１が動画用撮像フレームＭ１〜Ｍ５等の間に静止画用撮像フレームＦ１を挿入すると、動画生成部６３が動画用撮像フレームＭ１〜Ｍ５に取得する動画用画像信号を用いて観察対象の非拡大動画９１を生成し、かつ、拡大静止画生成部６４が静止画用撮像フレームＦ１に取得する静止画用画像信号を用いて観察対象の拡大静止画９２を生成するので、制御部７１は、観察対象の拡大静止画９２と非拡大動画９１をモニタ１８に表示する（Ｓ１５）。これら拡大静止画９２と非拡大動画９１の表示は、フリーズボタン２２ｂによって、拡大静止画９２の表示を止め、非拡大動画９１だけの表示に戻すために、フリーズボタン２２ｂによって表示切り替え指示が入力されるまで継続する。

上記のように、内視鏡システム１０は、フリーズボタン２２ｂによって静止画取得指示が入力された場合に、継続的に繰り返し実行される動画用撮像フレームＭ１〜Ｍ５等の間に静止画用撮像フレームＦ１を挿入して、観察対象の拡大静止画９２を自動的に生成及び表示するので、内視鏡１２の先端部２４を観察対象に近接させたり、ズーム操作をしたりすることによって、観察対象を拡大してから静止画を取得する必要がない。このため、内視鏡システム１０によれば、常に遠景から観察対象を観察し、拡大して観察したい部分を非拡大動画９１のほぼ中央に安定して捉えた状態で、フリーズボタン２２ｂによって静止画取得指示を入力するだけで、病変等を的確に捉えた拡大静止画９２を容易に生成及び表示することができる。なお、内視鏡システム１０は、光学ズームを使用しないので、ズームレンズ等が不要である。このため、安価に内視鏡システム１０を構成することができ、かつ、内視鏡１２の挿入部２１を細径に形成することができる。

また、上記の通り、内視鏡システム１０では、制御部７１が動画用撮像フレームＭ１〜Ｍ５等の間に静止画用撮像フレームＦ１を挿入する場合に、静止画用撮像フレームＦ１のシャッタスピードを、動画用撮像フレームＭ１〜Ｍ５のシャッタスピードよりも速くし、静止画用撮像フレームＦ１の露光時間を動画用撮像フレームＭ１〜Ｍ５の露光時間よりも短くする。これは、動きのある観察対象の静止画をブレなく鮮明に撮影するためである。特に、拡大静止画では、僅かなブレがあるだけでも拡大することで不鮮明になりやすいので、動画用撮像フレームＭ１〜Ｍ５よりも静止画用撮像フレームＦ１のシャッタスピードを速くし、露光時間を短くすることで拡大静止画の生成に耐え得る静止画用画像信号が得られる。

なお、動画は静止画の集合体であるが、静止画用撮像フレームＦ１で得る静止画用画像信号は動画には適さない。例えば、静止画用撮像フレームＦ１を繰り返し実行することで得られる複数の静止画用画像信号を用いて動画を生成すると、滑らかさがなく、コマ送りをしているような観察し難いぎこちない動画になる。このため、内視鏡システム１０では、静止画用撮像フレームＦ１よりもシャッタスピードを遅くし、露光時間を長くした動画用撮像フレームＭ１〜Ｍ５によって、非拡大動画９１に適した動画用画像信号を得ている。

さらに、内視鏡システム１０は、動画用撮像フレームＭ１〜Ｍ５等の間に静止画用撮像フレームＦ１を挿入する場合に、動画用撮像フレームＭ１〜Ｍ５の照明光の光量よりも静止画用撮像フレームＦ１の照明光の光量を大きくする。これは、動画用撮像フレームＭ１〜Ｍ５よりも静止画用撮像フレームＦ１のシャッタスピードを速くし、露光時間を短くすると、静止画用画像信号及び静止画用画像信号を用いて生成する拡大静止画９２が暗くなるからである。静止画用撮像フレームＦ１の照明光の光量を動画用撮像フレームＭ１〜Ｍ５よりも大きくすることで、静止画用画像信号及び拡大静止画９２の明るさを非拡大動画９１と同程度に補って、明るい拡大静止画９２を生成及び表示することができる。

なお、上記実施形態では、フリーズボタン２２ｂによって静止画取得指示を入力すると、静止画取得指示の入力時に実行中の動画用撮像フレームＭ２と、次に実行する動画用撮像フレームＭ３との間に静止画用撮像フレームＦ１を挿入しているが、静止画用撮像フレームＦ１の挿入タイミングは、静止画取得指示の入力タイミングと静止画用画像信号の取得タイミングをほぼ同時と捉えることができる範囲内で任意である。例えば、動画用撮像フレームＭ２の実行中に静止画取得指示が入力される場合、上記実施形態のように、動画用撮像フレームＭ２と次の動画用撮像フレームＭ３との間に静止画用撮像フレームＦ１を挿入する代わりに、動画用撮像フレームＭ３とその次に実行する動画用撮像フレームＭ４との間に静止画用撮像フレームＦ１を挿入してもよい。

上記実施形態では、１回の静止画取得指示の入力に対して、動画用撮像フレームＭ１〜Ｍ５等の間に、１つの静止画用撮像フレームＦ１を挿入しているが、１回の静止画取得指示の入力に対して、繰り返し実行する動画用撮像フレームの間に、複数の静止画用撮像フレームを挿入しても良い。例えば、図９に示すように、動画用撮像フレームＭ２の実行中に静止画取得指示が入力された場合、まず、上記実施形態と同様に、この動画用撮像フレームＭ２とその次に実行する動画用撮像フレームＭ３との間に第１の静止画用撮像フレームＦ１を挿入する。その後、動画用撮像フレームＭ３よりも後に実行する動画用撮像フレームＭ１０と、この動画用撮像フレームＭ１０の次に実行する動画用撮像フレームＭ１１との間に、第２の静止画用撮像フレームＦ２を挿入する。

図９では、１回の静止画取得指示に対して、第１の静止画用撮像フレームＦ１と第２の静止画用撮像フレームＦ２の２つの静止画用撮像フレームを挿入しているが、１回の静止画取得指示に対して３以上の静止画用撮像フレームを挿入してもよい。また、第１の静止画用撮像フレームＦ１、第２の静止画用撮像フレームＦ２、及びこれ以降に挿入する静止画用撮像フレームの挿入タイミングは任意である。静止画用撮像フレームＦ１等の挿入によって動画用画像信号の取得タイミングが離散的になるので、非拡大動画９１を滑らかに生成可能な範囲内で、２以上の静止画用撮像フレームが連続していても良い。

上記のように、１回の静止画取得指示に対して、動画用撮像フレームＭ１〜Ｍ１１等の間に、複数の静止画用撮像フレームＦ１及びＦ２を挿入する場合、拡大静止画生成部６４は、各静止画用撮像フレームＦ１及びＦ２で取得する静止画用画像信号を用いて、それぞれ拡大静止画を生成することができる。このため、図１０に示すように、制御部７１は、第１の静止画用撮像フレームＦ１に取得した第１の静止画用画像信号を用いて生成される拡大静止画９２をモニタ１８に表示させた後、モニタ１８の表示した拡大静止画９２を、第２の静止画用撮像フレームＦ２に取得した第２の静止画用画像信号を用いて生成される拡大静止画１０１に更新することができる。すなわち、１回の静止画取得指示に対して、動画用撮像フレームＭ１〜Ｍ１１等の間に、複数の静止画用撮像フレームＦ１及びＦ２を挿入し、挿入した各々の静止画用撮像フレームで取得する静止画用画像信号を用いて複数の拡大静止画９２及び１０１を生成すれば、１回の静止画取得指示に対して拡大静止画の表示を複数回更新することができる。１回の静止画取得指示に対して、繰り返し実行する動画用撮像フレームＭ１〜Ｍ１１等の間に一定時間毎に静止画用撮像フレームＦ１及びＦ２等を挿入し、これらの静止画用撮像フレームで取得する各静止画用画像信号を用いて拡大静止画を生成してモニタ１８の拡大静止画の表示を更新すれば、拡大静止画を低フレームレートの動画のように表示することができる。

また、１回の静止画取得指示に対して、動画用撮像フレームＭ１〜Ｍ１１等の間に、複数の静止画用撮像フレームＦ１及びＦ２等を挿入する場合、複数の静止画用撮像フレームＦ１及びＦ２等で取得する複数の静止画用画像信号を用いてノイズ低減処理をし、ノイズ低減処理をした静止画用画像信号を用いて、ノイズが少ない拡大静止画９２を生成及び表示することができる。この場合、図１１に示すように、拡大静止画生成部６４には、複数の静止画用画像信号を記憶する静止画用画像信号記憶部１１１と、いわゆる巡回型のノイズ低減処理（３次元ノイズ低減処理とも言う）を行うノイズ低減部１１２を設ける。巡回型のノイズ低減処理は、短時間の間に取得され、観察対象の動きが小さく相関が高い複数の画像信号を例えば平均することによって、ランダム性でフレーム間での相関が低いノイズを低減する処理である。拡大静止画生成部６４は、ノイズ低減部１１２によるノイズ低減処理をした静止画用画像信号を用いて拡大静止画９２を生成する。

１回の静止画取得指示に対して、動画用撮像フレームＭ１〜Ｍ１１等の間に、複数の静止画用撮像フレームＦ１及びＦ２等を挿入する場合、複数の静止画用撮像フレームで取得する複数の静止画用画像信号を用いて超解像処理をし、超解像処理をした静止画用画像信号を用いて、電子ズームによって拡大しても鮮明な、高解像度化した拡大静止画９２を生成及び表示することもできる。この場合、図１２に示すように、拡大静止画生成部６４には、複数の静止画用画像信号を記憶する静止画用画像信号記憶部１１１と、静止画用画像信号記憶部１１１が記憶する複数の静止画用画像信号を用いて超解像処理をすることにより、高解像度化した静止画用画像信号を生成する超解像処理部１１３を設ける。超解像処理は、例えば、複数の画像信号間を用いて補間演算をすることで補間画像信号を生成し、生成した補間画像信号をエッジ強度等に基づいて重み付けをして元の画像信号に合成することにより、高解像度化した画像信号を得る処理である（例えば、特開２００４−８８６１６号公報を参照）。拡大静止画生成部６４は、超解像処理部１１３による超解像処理をした静止画用画像信号を用いて拡大静止画９２を生成する。

上記のように、ノイズ低減処理や超解像処理をして、拡大静止画９２を生成する場合、静止画用画像信号記憶部１１１が記憶する複数の静止画用画像信号のうち、ノイズ低減処理や超解像処理に用いる静止画用画像信号を選別することで、ノイズ低減処理や超解像処理の結果が向上し、特に画質が良い拡大静止画９２が得られる場合がある。

このため、拡大静止画生成部６４にノイズ低減部１１２を設ける場合、図１３に示すように、拡大静止画生成部６４には、静止画用画像信号記憶部１１１が記憶する複数の静止画用画像信号から、ノイズ低減部１１２で使用する静止画用画像信号を選択する画像信号選択部１１４をさらに設けておくことが好ましい。画像信号選択部１１４は、静止画用画像信号記憶部１１１が記憶する複数の静止画用画像信号を比較し、これらの中からブレの少ない組み合わせになる複数の静止画用画像信号を選択する。ノイズ低減部１１２は、画像信号選択部１１４が選択した複数の静止画用画像信号を使用してノイズ低減処理をすることにより、特に良い画質が良い静止画用画像信号を生成することができる。

図１３では、拡大静止画生成部６４にノイズ低減部１１２を設ける場合に、さらに画像信号選択部１１４を設けているが、拡大静止画生成部６４に超解像処理部１１３を設ける場合も上記と同様の画像信号選択部１１４を設けると良い。この場合、画像信号選択部１１４が選択したブレが少ない複数の静止画用画像信号を用いて超解像処理をすることにより、特に画質が良い静止画用画像信号を生成することができる。

なお、上記変形例のように、１回の静止画取得指示に対して、動画用撮像フレームＭ１〜Ｍ１１等の間に、複数の静止画用撮像フレームＦ１及びＦ２等を挿入し、かつ、各静止画用撮像フレームＦ１及びＦ２等で取得する静止画用画像信号を用いてそれぞれ拡大静止画を生成して、モニタ１８に表示する拡大静止画９２を更新する場合、拡大静止画生成部６４が電子ズームによって拡大する部分は、病変等を自動的に追跡することが好ましい。この場合、図１４に示すように、拡大静止画生成部６４には、例えば、特徴点検出部１２１と、拡大領域設定部１２２と、を設ける。図１５に示すように、特徴点検出部１２１は、静止画用画像信号１２３を用いて観察対象の複数の特徴点１２４を検出する。特徴点１２４は、画素値の変化（明るさや色の変化を含む）が極大または極小の点、曲線の始点または終点、曲線の曲率が極大または極小の点等、観察対象の特徴を表す点（画素）である。拡大領域設定部１２２は、特徴点検出部１２１が検出した特徴点１２４の分布から病変等１２５を特定し、特定した病変等１２５が中央に位置する領域を、電子ズームによって拡大する領域１２６に設定する。

このように、特徴点検出部１２１によって観察対象の特徴点を検出し、特徴点検出部１２１が検出した特徴点１２４によって電子ズームによって拡大する領域１２６を設定すれば、モニタ１８に表示する拡大静止画９２を更新する場合でも、病変等１２５を自動的に追跡することができる。このため、遠景から観察対象を観察している状態で、病変等１２５が視界（非拡大動画９１内）に入ってさえいれば、拡大静止画９２では常に病変等１２５の周囲を適切に拡大表示することができる。

上記変形例では、特徴点１２４によって病変等１２５を特定しているが、モニタ１８に表示した拡大静止画９２から、コンソール２０等を用いて病変等１２５が指定した場合に、指定した病変等１２５を追跡するようにしてもよい。また、上記変形例では、静止画用画像信号から特徴点１２４を検出して電子ズームによって拡大する領域１２６を設定しているが、特徴点１２４の検出及び電子ズームによって拡大する領域１２６の設定に、動画用画像信号を用いても良い。

１回の静止画取得指示に対して、動画用撮像フレームＭ１〜Ｍ１１等の間にいくつの静止画用撮像フレームを挿入するか、複数の静止画用撮像フレームＦ１及びＦ２等を挿入する場合に、拡大静止画を更新するか、ノイズ低減処理をするか、超解像処理をするか等は、設定により変更可能であることが好ましい。拡大静止画９２の拡大率も設定により変更可能であることが好ましい。

上記実施形態及び変形例では、撮像センサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システムによって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図１６に示すように、カプセル内視鏡システムでは、カプセル内視鏡４００と、プロセッサ装置（図示しない）とを少なくとも有する。

カプセル内視鏡４００は、光源４０２と制御部４０３と、撮像センサ４０４と、画像処理部４０６と、送受信アンテナ４０８と、を備えている。光源４０２は、上記実施形態及び変形例の光源３６に対応する。

制御部４０３は、上記実施形態及び変形例の光源制御部３７及び制御部７１と同様に機能する。また、制御部４０３は、送受信アンテナ４０８によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態及び変形例のプロセッサ装置１６とほぼ同様であるが、画像処理部６２に対応する画像処理部４０６はカプセル内視鏡４００に設けられ、生成した内視鏡画像は、送受信アンテナ４０８を介してプロセッサ装置に送信される。撮像センサ４０４は上記各実施形態の撮像センサ４８と同様に構成される。

１０ 内視鏡システム
２２ｂ フリーズボタン
３６ 光源
６３ 動画生成部
６４ 拡大静止画生成部
７１ 制御部
４００ カプセル内視鏡

Claims (11)

1. 照明光を発する光源と、
   照明光が照射された観察対象を撮像する撮像センサと、
   前記観察対象の静止画の取得を指示する静止画取得指示を入力する静止画取得指示部と、
   前記静止画取得指示が入力された場合に、前記観察対象の動画を形成する動画用画像信号を取得する動画用撮像フレームの間に、前記観察対象を電子ズームによって拡大した静止画を生成する静止画用画像信号を取得する静止画用撮像フレームを挿入する制御部と、
   前記動画用画像信号を用いて前記観察対象の動画を生成する動画生成部と、
   前記静止画用画像信号を用いて前記観察対象を電子ズームによって拡大した静止画である拡大静止画を自動的に生成する拡大静止画生成部と、
   を備え、
   前記制御部は、１回の前記静止画取得指示の入力に対して、前記動画用撮像フレームの間に、複数の前記静止画用撮像フレームを挿入する内視鏡システム。
2. 前記制御部は、前記静止画用撮像フレームのシャッタスピードを、前記動画用撮像フレームのシャッタスピードよりも速くする請求項１に記載の内視鏡システム。
3. 前記制御部は、前記拡大静止画用撮像フレームの前記照明光の光量を、前記動画用撮像フレームの前記照明光の光量よりも大きくする請求項２に記載の内視鏡システム。
4. 前記拡大静止画生成部は、複数の前記静止画用撮像フレームで取得する複数の前記静止画用画像信号を用いて、複数の前記拡大静止画を生成し、１回の前記静止画取得指示の入力に対して前記拡大静止画の表示を複数回更新する請求項１に記載の内視鏡システム。
5. 前記拡大静止画生成部は、複数の前記静止画用撮像フレームで取得する複数の前記静止画用画像信号を用いてノイズ低減処理をするノイズ低減部を備え、前記ノイズ低減処理をした前記静止画用画像信号を用いて前記拡大静止画を生成する請求項１に記載の内視鏡システム。
6. 前記拡大静止画生成部は、複数の前記静止画用撮像フレームで取得する複数の前記静止画用画像信号を用いて超解像処理をする超解像処理部を備え、前記超解像処理をした前記静止画用画像信号を用いて前記拡大静止画を生成する請求項１に記載の内視鏡システム。
7. 前記拡大静止画生成部は、複数の前記静止画用画像信号を比較して、複数の前記静止画用画像信号の中からブレの少ない前記静止画用画像信号を複数選択する画像信号選択部を備える請求項５または６に記載の内視鏡システム。
8. 前記拡大静止画生成部は、前記動画用画像信号または前記静止画用画像信号を用いて、前記電子ズームによって拡大する領域を設定する拡大領域設定部を備え、前記拡大領域設定部が設定した領域を拡大した前記拡大静止画を生成する請求項１または４に記載の内視鏡システム。
9. 前記拡大静止画生成部は、前記動画用画像信号または前記静止画用画像信号を用いて、前記観察対象の特徴点を検出する特徴点検出部を備え、前記拡大領域設定部は、前記特徴点検出部が検出した前記特徴点を用いて、前記電子ズームによって拡大する領域を設定する請求項８に記載の内視鏡システム。
10. 前記特徴点検出部は、複数の前記特徴点を検出し、前記拡大領域設定部は、複数の前記特徴点の中から選択した前記特徴点が中央に位置する領域を、前記電子ズームによって拡大する領域に設定する請求項９に記載の内視鏡システム。
11. 照明光を発する光源と、照明光が照射された観察対象を撮像する撮像センサと、前記観察対象の静止画の取得を指示する静止画取得指示を入力する静止画取得指示部と、を有する内視鏡システムの作動方法において、
    制御部が、前記静止画取得指示が入力された場合に、前記観察対象の動画を形成する動画用画像信号を取得する動画用撮像フレームの間に、前記観察対象を電子ズームによって拡大した静止画を生成する静止画用画像信号を取得する静止画用撮像フレームを挿入するステップであって、１回の前記静止画取得指示の入力に対して、前記動画用撮像フレームの間に、複数の前記静止画用撮像フレームを挿入するステップと、
    動画生成部が、前記動画用画像信号を用いて前記観察対象の動画を生成するステップと、
    拡大静止画生成部が、前記静止画用画像信号を用いて前記観察対象を電子ズームによって拡大した静止画である拡大静止画を自動的に生成するステップと、
    を備える内視鏡システムの作動方法。

Images