JP6581984B2 - 内視鏡システム - Google Patents

Description

本発明は、体内器官等の被写体を撮像して処置、手術などを行う内視鏡システムに関し、特に、分光画像における病変部抽出に関する。

分光画像表示機能を備えた内視鏡システムでは、ピークの異なる狭帯域の光を観察対象に向けて照射し、観察目的に応じたイメージを分光画像として表示することが可能である。例えば、Ｒ、Ｇ、Ｂの光透過帯域を狭めた離散的ピーク分光特性をもつ（オーバラップ部分のない）狭帯域フィルタが、光路上に配置される（例えば、特許文献１参照）。

病変部に狭帯域光を照射したときの反射光の分光特性は、健常部に照射したときの分光特性と相違する。これは、血管中に含まれる酸素化ヘモグロビン、還元ヘモグロビン濃度や病変部の生体組織に含まれる物質が、健常部と異なるためである。

そこで、異なる狭帯域の光を観察対象に順次照射して複数の分光画像データを生成し、ある波長域の光に対して分光特性の異なるエリアを検出することができれば、病変部を特定することができる。これは、重回帰分析などの統計解析を使うことで可能である。

例えば、酸素化ヘモグロビン、還元ヘモグロビンの病変部と健常部の分光特性の違いがあることを考慮し、５ｎｍ〜８００ｎｍの範囲にある狭帯域の光を順次照射し、得られる複数の分光画像を重回帰分析する。重回帰分析によって酸素化ヘモグロビン、還元ヘモグロビンの成分割合（寄与率）を画素ごとに特定することによって、病変部の強調された観察画像を表示することができる（特許文献２参照）。

特許第３６０７８５７号公報 特開２０１３−２４０４０１号公報

複数の分光画像データを取得して病変部を特定する場合、撮影領域を同一箇所に留めておかなければ、各画素における分光特性の相違を正確に検出することができない。しかしながら、オペレータがスコープを保持し続ける内視鏡作業では、同一箇所を常に撮影することが難しく、分光画像間で撮影領域にずれが生じる。そのため、誤って病変部を抽出する恐れがある。

したがって、内視鏡作業中に撮影領域が変動しても、複数の分光画像に基づいて病変部を精度よく抽出することが求められる。

本発明の内視鏡システムは、観察対象に対し、通常光を照射する照明部と、スコープ先端部のイメージセンサから所定時間間隔で読み出される１フレーム／フィールド分の画素信号に基づいて観察画像を生成する画像処理部とを備える。照明部は、通常光とともに、互いに異なるピークをもつ複数の狭帯域光を別々に照射可能である。例えば、観察モードの切替に応じて、通常光照射と複数の狭帯域光の連続照射とを切り替え可能である。また、画像処理部は、複数の狭帯域光照射に応じて生成される画像信号から複数の観察画像（以下では、分光画像という）を生成することができる。

さらに本発明の内視鏡システムは、少なくとも複数の分光画像に対し、オペレータ照準箇所を検出する検出部と、検出された照準箇所を含む診断対象エリアを定める設定部と、複数の分光画像に対して定められた複数の診断対象エリアの中で、スペクトル特性が他と比べて異なる病変部を抽出する分光画像処理部とを備える。

ここで、「オペレータ照準箇所」とは、内視鏡作業者が観察対象である被写体の中で注意、注目する箇所であって、診断対象となる場所を示す。例えば、病変部と思われる部位、組織が照準箇所となる。オペレータ照準箇所は、観察画像におけるオペレータの視線位置、観察対象に対して特定箇所に付着させた色素など、様々である。

診断対象エリアについては、観察画像の一部任意のエリアを設定することが可能であり、例えば、オペレータ照準箇所を中心とした診断対象エリアを設定し、各分光画像において同一サイズの診断対象エリアを設定することが可能である。

分光画像処理部は、スペクトル解析などを適宜行って病変部を抽出することが可能である。例えば、重回帰分析などを用いることができる。画像処理部は、抽出された病変部を識別化させた診断画像を生成する。例えば、画像処理部は、通常光に基づいた観察画像の中で病変部と他と識別化させるように表示することが可能であり、また、分光画像を合成した画像を診断画像として生成することも可能である。

本発明では、観察画像に定めた診断対象エリアを、オペレータ照準箇所を基準として定めることにより、各分光画像の診断対象エリアが観察対象である被写体の同一部分の画像エリアになる。したがって、狭帯域光が照射している期間に撮影範囲がずれても、同一エリアの分光画像が生成されることになり、適正な病変部抽出が可能となる。

画像処理部は、観察画像に対してオペレータ照準箇所を示す像を重ねることが可能であり、オペレータは、画面に表示される分光画像において視線位置および照準箇所を同時に視認することができる。また、画像処理部は、観察画像に対して診断対象エリアを示す像を重ねることが可能であり、各分光画像における診断対象エリアを視認することができる。

検出部が、各分光画像における色素付着箇所を、オペレータ照準箇所として検出することが可能であり、観察画像の画像解析によって色素付着箇所は容易に検出可能である。検出部は、分光画像だけでなく、観察モード切替前の通常光に基づいた観察画像に対しても、色素付着箇所を検出することが可能である。色素付着箇所を示す像を表示することによって、分光画像への切り替え前に色素付着箇所を正確に検出できているかオペレータが確認することができる。例えば検出部は、観察モード切替前のオペレータの操作に従い、色素付着箇所を検出する。また、通常光に基づいた観察画像を用いて診断画像を生成する場合、検出部は、複数の狭帯域光照射後に生成される通常光に基づいた観察画像についても色素付着箇所を検出すればよい。

一方、視線位置をオペレータ照準箇所として検出する場合、検出部は、撮像部と、撮像部によって生成されるオペレータの顔画像に基づいて、表示される分光画像に対する視線位置を、オペレータ照準箇所として検出する視線位置検出部とを備える。視線位置を観察画像の表示画面上から検出することも可能であり、また、オペレータの両眼付近に指標を取り付け、それを検出することも可能である。例えば、検出部は、オペレータの両眼から離れた場所にある指標の像を顔画像から検出し、指標の位置と両眼位置とに基づいて視線位置を検出することができる。

照明部は、観察モードの切替に応じて、通常光照射と複数の狭帯域光照射とを切り替え可能であるが、視線位置検出の場合、検出部は、分光画像だけでなく、観察モード切替前の観察画像、あるいは、複数の狭帯域光照射後の通常光に基づいた観察画像についても視線位置を検出することが望ましい。

本発明の他の態様における画像処理装置は、互いに異なるピークをもつ複数の狭帯域光に基づいて得られる複数の分光画像に対し、オペレータ照準箇所を検出する検出部と、複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定める設定部と、複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成する分光画像処理部とを備える。

また、本発明の内視鏡システムの分光画像処理方法は、互いに異なるピークをもつ複数の狭帯域光を順次放射したときに得られる複数の分光画像に対し、オペレータ照準箇所を検出し、複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定める設定し、複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成する。さらに、内視鏡システムにおいて、互いに異なるピークをもつ複数の狭帯域光に基づいて得られる複数の分光画像に対し、オペレータ照準箇所を検出するステップと、複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定めるステップと、複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成するステップとを実行させるプログラムを提供することも可能である。

一方、本発明の他の態様における内視鏡装置は、通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、スコープ先端部に設けられたイメージセンサから順次読み出される１フィールドもしくは１フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部と、複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、検出された視線位置を含む診断対象エリアを定め、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、画像処理部が、病変部を識別化させた表示用診断画像を生成する。

分光画像処理部は、各分光画像の中で診断対象エリアに応じた画素データを一時的にメモリに保存し、保存した画素データに対して分光画像処理を実行することが可能である。分光画像処理部は、視線位置周辺のエリアを、診断対象エリアとして定めることができる。

本発明の他の態様における内視鏡装置のプロセッサは、通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、スコープ先端部に設けられたイメージセンサから順次読み出される１フィールド／フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部によって検出された視線位置を含む診断対象エリアを定め、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、画像処理部が、病変部を識別化させた表示用診断画像を生成する。

このように本発明によれば、内視鏡システムにおける分光画像を利用した病変部診断において、正確に病変部を抽出することができる。

本実施形態である電子内視鏡システムのブロック図である。 分光画像モードにおいて実行される分光画像処理のフローチャートである。 視線追従した場合の分光画像の画面表示を示した図である。 撮像部の装着位置を示した図である。 オペレータの頭部に取り付けた指標を示した図である。 視線検出装置によって実行されるキャリブレーション処理を示したフローチャートである。 キャリブレーション処理過程における表示画面を示した図である。 第２の実施形態における分光画像処理のフローチャートである。 第３の実施形態である内視鏡システムのブロック図である。 色素噴出箇所を特定する処理を示すフローチャートである。 色素噴出位置を特定した画面を示した図である。 第３の実施形態における分光画像処理のフローチャートである。

以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。

図１は、第１の実施形態である電子内視鏡システムのブロック図である。

電子内視鏡システムは、ビデオスコープ１０とプロセッサ２０とを備えた電子内視鏡装置を備えるとともに、カメラ７１を具備する視線検出装置７０を備えている。ビデオスコープ１０は、プロセッサ２０に着脱自在に接続可能であり、また、モニタ６０がプロセッサ２０に接続されている。

プロセッサ２０は、キセノンランプなどのランプ４８を備え、ランプ４８はランプ駆動回路（図示せず）によって駆動される。ランプ４８から放射された広帯域の白色光（通常光）は、集光レンズ４５を介してビデオスコープ１０内に設けられたライトガイド１１の入射端１１Ａに入射する。ライトガイド１１を通った光は、配光レンズ１３を介してスコープ先端部１０Ｔから被写体（観察対象）に向けて照射される。ランプ４８とライトガイド１１との間には、絞り（図示せず）が設けられており、絞りの開閉によって照明光量が調整される。

被写体において反射した光は、スコープ先端部１０Ｔに設けられた対物レンズ１４によってイメージセンサ１２に結像し、被写体像がイメージセンサ１２の受光面に形成される。イメージセンサ１２は、駆動回路１７によって駆動されており、１フィールド分もしくは１フレーム分の画素信号がイメージセンサ１２から所定の時間間隔（例えば、１／６０秒あるいは１／３０秒間隔）で読み出される。

イメージセンサ１２は、ここではＣＣＤ、ＣＭＯＳなどの撮像素子によって構成されており、イメージセンサ１２の受光面上には、Ｃｙ、Ｙｅ、Ｇ、Ｍｇ、あるいはＲ、Ｇ、Ｂなどの色要素をマトリクス配列させた色フィルタアレイ（図示せず）が配設されている。

イメージセンサ１２から読み出された１フィールド／フレーム分の画素信号は、初期回路（図示せず）において増幅、デジタル化された後、プロセッサ２０へ送られる。プロセッサ２０の前段画像信号処理回路２６では、一連のデジタル画素信号に対し、ホワイトバランス処理、ガンマ補正処理などの画像信号処理が施される。これにより、通常光に基づいたカラー画像信号、すなわち観察画像が生成される。

生成されたカラー画像信号は、分光画像処理回路２７を経由して後段画像信号処理回路２８へ送られる。後段画像信号処理回路２８では、輪郭強調処理、スーパーインポーズ処理などが画像信号に対して施される。画像信号が後段画像信号処理回路２８からモニタ６０に出力されることによって、観察画像がモニタ６０に表示される。

ＣＰＵ、ＲＯＭ（いずれも図示せず）などを含むシステムコントロール回路４０は、タイミングコントローラ３８、前段画像信号処理回路２６などへ制御信号を出力し、プロセッサ２０が電源ＯＮ状態の間、プロセッサ２０の動作を制御する。動作制御プログラムは、あらかじめＲＯＭに記憶されている。

プロセッサ２０に設けられたタイミングコントローラ３８は、前段画像信号処理回路２６、駆動回路１７などプロセッサ２０、およびビデオスコープ１０に設けられた回路へクロックパルス信号を出力し、各回路の入出力タイミングを制御、調整する。

ランプ４８とライトガイド１１との間には、ディスク状の分光フィルタ５０が設けられている。分光フィルタ５０は、ランプ４８から放射される光の中で、互いにピークが離間していてオーバラップ部分のない狭帯域の光のみ通過させる。ここでは、それぞれピークが５４０ｎｍ、５５５ｎｍ、５７０ｎｍの色フィルタを等間隔で配置させたディスクによって分光フィルタ５０が構成されている。分光フィルタ５０は、フィルタ駆動部（図示せず）によって光路上から光路外、またはその逆方向に移動可能である。

モータ５４は、ドライバ５２からの制御信号に基づいて分光フィルタ５０を所定角度回転させる。分光フィルタ５０は、回転角度に応じて、白色光あるいは特定の狭帯域光を、ライトガイド１１に対して選択的に入射させる。システムコントロール回路４０は、ドライバ５２を経由してモータ５４を駆動制御し、分光フィルタ５０の回転角度および回転移動するタイミングを調整する。

プロセッサ２０のフロントパネル２２には、通常の広帯域の白色光を照明光として設定する通常画像観察モードと、狭帯域光を照明光に切り替えて病変部を特定した診断画像を表示する分光画像観察モードとを切り替えるモード設定ボタン（図示せず）が設けられている。さらに、オペレータのモニタ画面における視線位置を検出し、視線位置を表示する視線追従モードが設定可能である。視線追従に基づく病変部診断を行う場合、オペレータは視線追従モードを設定した後、分光画像観察モードに切り替える。なお、ビデオスコープ１０に設けられた操作ボタン（図示せず）によってモード切替を行ってもよい。

オペレータあるいは共同作業者によって分光画像観察モードに切り替えられると、光路外の退避位置に配置された分光フィルタ５０が、フィルタ駆動部（図示せず）によって光路上に移動する。そして、タイミングコントローラ３８からの同期信号に従い、分光フィルタ５０がモータ５４によって所定角度ずつ回転する。これにより、３つの狭帯域光が、ライトガイド１１に対して順次入射する。

前段画像信号処理回路２６は、各狭帯域の光に基づいた１フィールド／フレーム分の画素信号に対して画像処理を施し、狭帯域光に基づいた観察画像（以下では、分光画像という）を生成する。分光画像観察モードが設定されている場合、分光画像処理回路２７は、分光画像に基づいて病変部を抽出する分光画像処理を実行する。すなわち、３つの分光画像に基づいて各画素データのスペクトル特性を解析する。そして、スペクトル特性が他の画素と異なる部分を病変部として抽出する。ここでは、重回帰分析を各画素に対し行うことによって病変部を特定する。

３つの狭帯域光を順次照射させた後、再び通常光を照射するように分光フィルタ５０が光路外に退避する。後段画像信号処理回路２８は、通常光に基づいて生成される観察画像の中で特定された病変部が識別化されるように、カラー画像信号に対して画像処理を実行する。

視線検出装置７０は、ビデオスコープ１０を保持しているオペレータの視線位置を検出し、プロセッサ２０のシステムコントロール回路４０へモニタ画面上の位置座標データを送信する。ここでは、イメージセンサ１２から読み出される画素信号のフレーム期間に同期しながら位置座標データを送信する。モニタ６０の画面上部に設けられたカメラ７１はオペレータの顔を撮像し、視線検出位置７０は生成される顔画像に基づいて視線位置を検出する。

視線位置の検出は、様々な周知の視線検出方式を適用することが可能である。例えば、目の特徴点となる瞳部分の位置、および目の向く方向を検出することによって、視線位置を特定することができる。あるいは、ヘッドマウントタイプの視線検出器をオペレータの頭部に装着させてもよい。

プロセッサ２０のタイミングコントローラ３８は、システムコントロール回路４０を経由して同期信号を視線検出装置７０へ出力する。視線検出装置７０は、分光画像モードが設定されると、その同期信号、すなわち１フィールド／フレーム期間に合わせて視線位置の位置座標データを送信する。

以下、図２、３を用いて、分光画像に基づいた病変部診断処理について説明する。

図２は、分光画像観察モードのとき実行される分光画像処理のフローチャートである。図３は、視線追従モード設定時における照明光の切替および表示画像を示した図である。なお、以下では１フレーム期間に合わせて通常光による観察画像、狭帯域光による分光画像が生成されるものとして説明する。

通常観察モードにおいては、通常光を観察対象へ照射するように分光フィルタ５０は光路外に退避されている（Ｓ１０１）。視線追従モードが設定されていない状態で分光観察モードに切り替えられると、通常の分光画像処理が実行される（Ｓ１１３、Ｓ１１４）。システムコントロール回路４０は、分光フィルタ５０を光路上に移動させて回転制御し、１フレーム期間ごとに３つの狭帯域光を順次照明させる。

分光画像処理回路２７は、前段画像信号処理回路２６において生成された３フレーム分の分光画像データに基づいてスペクトル解析を行い、病変部を抽出する分光画像処理を実行する。以下、分光画像処理について詳述する。

観察対象となる生体組織は、それぞれ光の吸収特性の異なる複数の物質を有し、また、病変部と健常部との間では、光の吸収特性の違い（特に、５４０ｎｍ〜５７０ｎｍ）によって酸素化ヘモグロビンと還元ヘモグロビンの構成比率が相違する。そこで、各分光画像の画素値（輝度値）を目的変数、酸素化ヘモグロビン、還元ヘモグロビンの波長域ごとの光の吸収特性を説明変数とし、画素値が説明変数の総和とすれば、重回帰分析によって各説明変数の係数の値を算出し（パラメータを同定し）、酸素化ヘモグロビン、還元ヘモグロビンの構成比率を各画素について求めることができる。

しかしながら、３つの狭帯域光の照射によって得られる分光画像には、生体組織での反射光のみならず、生体組織内で散乱した光の画素情報も含まれる。また、イメージセンサ１２の信号特性、観察対象の周囲の明るさなどに起因する装置固有のノイズも分光画像に含まれている。そのため、さらに散乱光成分および装置固有のオフセット成分を説明変数として加えた以下の式を定める。

［数１］

上記数式１において、Ｘ₁〜Ｘ₃は、５４０ｎｍ、５５５ｎｍ、５７０ｎｍのピークをもつ狭帯域光によってそれぞれ得られる分光画像の１画素のデータであり、輝度値を対数で表している。また、ａ１〜ａ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおける酸素化ヘモグロビンの光吸収特性を示し、ｂ１〜ｂ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおける還元ヘモグロビンの光吸収特性を示す。

また、ｃ１〜ｃ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおけるレイリー散乱、ｄ１〜ｄ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおけるミー散乱の散乱係数を表す。これら係数の値は、従来公知である。なお、装置固有オフセットの係数Ｐ５の値は、内視鏡システムの固有値としてあらかじめ定められた補正値である。

上記数式１に分光画像の画素値を代入することにより、画素データは、吸収特性のスペクトルと、散乱係数のスペクトルと、固有オフセット値に分解される。係数Ｐ１〜Ｐ４は、各スペクトル成分の寄与率、すなわち画素値の構成割合を示すことから、係数Ｐ１〜Ｐ４を算出する重回帰分析を画素ごとに行えば、酸素化ヘモグロビン、還元ヘモグロビンの寄与率を示す係数Ｐ１、Ｐ２を求めることができる。

上述したように、病変部では、酸素化ヘモグロビンと還元ヘモグロビンの構成比率（寄与率）が健常部とは異なることから、重回帰分析によって求められた係数Ｐ１、Ｐ２の比、すなわち係数Ｐ１、Ｐ２の相対的な値を求めることができれば、病変部を特定することができる。したがって、上記数式１から係数Ｐ１〜Ｐ４のいずれか１つの係数を基準とした相対値を各係数に対して算出することで、係数Ｐ１、Ｐ２の構成比率を求めることができる。

各画素の係数比に基づく病変部の判断には、様々な手法を用いることが可能である。例えば、全画素の係数比のヒストグラムを求め、閾値以上の画素を病変部として特定することができる。閾値については、あらかじめ健常部と病変部を撮影することで得られる分光画像データのスペクトル分布特性から求められる閾値をＲＯＭなどのメモリに記憶させればよい。

分光画像の中で病変部の画素が特定されると、後段画像信号処理回路２８において、病変部を識別化できるように画像編集処理を実行する。具体的には、狭帯域光から通常光に切り替わった後に生成される観察画像に対し、病変部に該当する画素を健常部とは異なる特定の色で表示するように、画像処理が実行される。ここでは、病変部に応じた画素が赤色で表示される。

一方、分光画像観察モードへの切替前に視線追従モードが設定されると、各フレームの観察画像に対して視線位置を検出するとともに視線位置を囲む診断対象エリアを設定し、視線位置および診断対象エリアをスーパーインポーズ表示する処理が実行される（Ｓ１０３）。

具体的に説明すると、システムコントロール回路４０は、１フレーム期間ごとに受信するモニタ画面上における視線位置座標データを受信し、視線位置を中心とする診断対象エリアを設定する。後段画像信号処理回路２８では、システムコントロール回路４０の制御の下、視線位置および診断対象エリアをモニタ６０の画面において表示するスーパーインポーズ処理が施される。

図３に示すように、画面上における視線Ｃの位置は、オペレータが病変部と疑う部分を注視している状態で視線が画面と交差する点の位置を表す（以下では、視線位置を符号Ｃで表すこともある）。一方、診断対象エリアＢＲは、視線位置Ｃを囲む領域、すなわち病変部が含まれる領域相応のサイズを有し、分光画像によって診断処理を行うべき領域を表す。ここでは、診断対象エリアＢＲが視線Ｃの位置を中心とする矩形エリアによって規定される。

そしてスーパーインポーズ処理により、視線Ｃの位置を示す微小円の像Ｒと、診断対象エリアＢＲを示す破線状フレームの像ＦＢとを、観察画像に重ねて表示する。診断対象エリアＢＲは、観察画像の一部領域に設定される。例えば、診断対象エリアＢＲは、観察画像（画面）サイズの半分以下、１／４以下などに定められる。オペレータがモニタ６０の画面を見ている間、システムコントロール回路４０は、１フレーム期間ごとに視線位置Ｃおよび診断対象エリアＢＲの表示位置を更新する。なお、診断対象エリアＢＲのサイズあるいは形状を任意に設定できるようにしてもよい。

このように視線追従モードが設定された状態で分光画像観察モードに切り替えられると（Ｓ１０４）、システムコントロール回路４０は、分光フィルタ５０を回転制御し、狭帯域光を観察対象に順次照射する（Ｓ１０５）。生成された分光画像データは、分光画像処理回路２７を経由して後段画像信号処理回路２８へ順次送られる。これにより、３つの分光画像がモニタ６０上で順に表示される（図３参照）。

狭帯域光を順次照射している間についても、視線Ｃの位置検出と診断対象エリアＢＲの設定、そして視線Ｃを示す像Ｒと診断対象エリアＢＲのフレーム像ＦＢを示すスーパーインポーズ処理が、各分光画像に対して実行される。そして、各分光画像に対して定められた診断対象エリアＢＲ内に位置する画素の画素データが、前段画像信号処理回路２６から出力されて画像メモリ２９に保存される（Ｓ１０６〜Ｓ１０９）。

帯域光を順次照射する間、スコープ先端部１０Ｔによって捉えられる撮像領域は常に同じ領域とはならず、オペレータのビデオスコープ１０を保持する姿勢がわずかに変化するだけでも、撮像領域が変動する（ただし、図３ではその変動を誇張して描いている）。一方、オペレータが病変部を注視している間に撮像領域が変動すると、注視位置はその変動に伴って移動する。その結果、オペレータの視線Ｃの位置および診断対象エリアＢＲの位置も、視線Ｃの動きに合わせて移動する。

図３では、最初の狭帯域光に基づく分光画像（Ａ）、次の狭帯域光に基づく分光画像（Ｂ）、最後の狭帯域光に基づく分光画像（Ｃ）が表示されているときの診断対象エリアＢＲの表示位置を示している。視線位置を示す像Ｒを表示した状態でオペレータが診断対象のスポットを注視し続けることを踏まえれば、視線位置Ｃを中心とする診断対象エリアＢＲ内の画像は、各分光画像とも実質的に同一箇所の画像とみなすことができる。

すなわち、３つの分光画像に対して定められた３つの診断対象エリアＢＲ間でその相対的位置が同じ画素のデータは、同一の被写体に基づいたデータとみなすことができる。また、多少の画素間の相違があったとしても、病変部はある程度のエリアに渡って発生することを考えれば、病変部の位置はある程度正確に特定される。

３フレーム分の診断対象エリアＢＲに応じた画素データが画像メモリ２９に保存されると、分光画像処理回路２７では、診断対象エリアＢＲに応じた画素データに対し、重回帰分析処理を実行する（Ｓ１１０、Ｓ１１１）。重回帰分析処理が実行されることにより、診断対象エリアＢＲ内で病変部とみなされる画素が特定される。一方、診断対象エリアＢＲ以外の画素データは、分光画像処理を行わずにそのまま後段画像信号処理回路２８へ送られる。

病変部が特定されると、分光フィルタ５０が光路外に退避し、通常の白色光が照射される。これに伴い、前段画像信号処理回路２６では、通常のカラー画像信号が生成される。後段画像信号処理回路２８は、視線検出装置７０から送られてくる視線位置座標のデータに基づいてスーパーインポーズ処理を実行し、視線Ｃの像Ｒおよび診断対象エリアＢＲのフレーム像ＦＢを、通常光に基づいた観察画像に重畳表示させる。

さらに後段画像信号処理回路２８は、システムコントロール回路４０から送られてくる病変部の画素位置情報に基づき、診断対象エリアＢＲ内において病変部が識別化されるように画像処理を施す（Ｓ１１２）。ここでは、病変部に応じた画素を赤色で表示するように画像処理が施される。図３では、病変部ＳＴに該当する赤色画像部分をハッチングで示している。病変部を識別化した画像処理は、所定期間（例えば数秒）続けられる。電源がＯＦＦになるまで、ステップＳ１０１〜Ｓ１１５が繰り返し実行される。

このように本実施形態によれば、視線検出装置７０を備えた内視鏡システムにおいて、分光フィルタ５０によってピークの異なる狭帯域光をスコープ先端部１０Ｔから射出させる。一方、視線追従モードが設定されると、通常光、狭帯域光に基づいて生成される各フレームの観察画像（分光画像を含む）に対し視線Ｃの位置を検出し、診断対象エリアＢＲを定める。そして、診断対象エリアＢＲ内の画素データに対して重回帰分析を行って病変部を特定し、病変部の画素が識別化されるように画像処理を施す。

視線Ｃの位置に従って診断対象エリアＢＲを定めることにより、分光観察モード期間中に撮影領域が変動しても被写体の同一箇所の画像部分をマッチングさせることができ、誤った病変部特定を防ぐことができる。また、視線位置座標データを１フィールド／フレーム間隔で検出するため、各分光画像における診断対象エリアＢＲを常に把握することができる。さらに、診断対象エリアＢＲのイメージのみ分光画像処理を行うため、計算処理スピードを上げることができる。

通常画像観察モードから分光画像観察モードの切り替え前後において視線Ｃの像Ｒと診断対象エリアＢＲの像ＦＢを継続して表示するため、分光観察モード切替直後においてオペレータは撮影領域を固定しやすくなり、また、狭帯域光の照射中に撮影領域がわずかにずれても、オペレータが瞬時に対応して視線位置を調整させることができる。

一方、分光画像観察モードから自動的に通常観察モードへ切り替わった場合においても、分光画像ではなく通常光に基づいた観察画像に対して病変部特定画像処理を施すことにより、自然な色合いの観察画像上で病変部を診断することができる。

診断対象エリアＢＲの表示ついては、モード切替前だけエリアを示す像を表示してもよく、あるいは、通常画像観察モードに戻ると表示を消去させるようにしてもよい。また、モード切替前後いずれも表示せず、視線位置を示す像のみ表示する構成にしてもよい。視線位置の表示についても、モード切替操作が行われてから表示開始するようにしてもよく、あるいは、狭帯域光の照射期間まで表示し、診断画像表示時には表示しないように構成してもよい。

病変部に該当する画素をスペクトル解析によって求める画像処理を実行しなくても、上記数式１によって画素値を吸収特性、散乱特性成分ごとに分解した後、吸収特性の成分だけで分光画像を合成し、診断対象エリアにその合成画像を表示してもよい。この診断画像においても、各画素の値はスペクトル値の合成となることから、オペレータは病変部を画面上において識別することができる。

分光画像については、１フレーム期間よりも長い期間に渡って順次表示してもよく、視線位置検出タイミングも分光画像表示期間に合わせて調整してよい。診断結果を通知する診断画像については、静止画像（フリーズ画像）として表示することも可能である。例えば、動画である観察画像とともに、上述した診断対象エリアの合成画像を静止画像として画面に同時表示するようにしてもよい。さらに、照射期間中に通常光と狭帯域光を交互に照射し、狭帯域光の間欠的な順次照射期間中において通常観察画像だけ表示するようにしてもよい。

分光画像処理については、上述した重回帰分析以外の手法によって病変部を特定してもよい。例えば、非負荷高速値の重回帰分析、最小二乗法などの線形回帰分析、あるいは、ニュートン法、準ニュートン法、共役勾配法、減衰最小二乗法などを適用することが可能である。

観察部位に対する狭帯域光の照明に関しては、開口部を設けた分光フィルタを光路上で回転させてモード切替に対応する構成にしてもよい。また、分光フィルタ以外の構成によっても可能である。例えば、ファブリ・ペロー型光学素子を用いることも可能であり、レーザを使用して狭帯域光を照明することも可能である。

次に、図４〜図８を用いて、第２の実施形態である内視鏡システムについて説明する。第２の実施形態では、視線位置を直接検出する代わりに、視線位置検出の指標をオペレータ頭部に取り付ける。

図４は、撮像部の装着位置を示した図である。図５は、オペレータの頭部に取り付けた指標を示した図である。

第１の実施形態と同様、カメラ７１は、スクリーン中心位置ＳＣとカメラ７１の光軸ＯＸの位置が同一ラインに沿うように、モニタ６０の上部中央に取り付けられている。一方、オペレータの頭部に巻かれたバンドＢＤには、蛍光物質ＲＭが塗られている。蛍光物質ＲＭの塗布範囲は、オペレータの両眼幅に対応し、また両眼に沿って平行に塗布している。

視線検出装置７０は、オペレータの顔を撮像して得られる顔画像からこの蛍光物質ＲＭの位置を検出し、視線位置を演算する。ここでは、オペレータに画面上の特定位置を中止させたときに得られる顔画像から蛍光物質ＲＭの位置を検出し、蛍光物質ＲＭと両眼との距離間隔から視線位置を算出する。そのため、分光画像による病変部診断前にキャリブレーション処理を行う。

図６は、視線検出装置によって実行されるキャリブレーション処理を示した図である。図７は、キャリブレーション処理過程における表示画面を示した図である。

プロセッサ２０が電源ＯＮ状態になると、図７（Ａ）に示すように、オペレータにキャリブレーション処理の実行を促すメッセージ表示を行う（Ｓ２０１）。バンドＢＤを装着していない他の作業者がプロセッサ２０のフロントパネル２２に設けられたキャリブレーション用ボタン（図示せず）を操作すると、図７（Ｂ）に示すように、システムコントロール回路４０は、後段画像信号処理回路２８を制御し、画面上にグリッドＧおよび画面中心点Ｂをスーパーインポーズ表示させる（Ｓ２０２、Ｓ２０３）。

バンドＢＤを装着したオペレータの顔の向きを確認してからフロントパネル２２の実行ボタンが操作されると（Ｓ２０４）、そのときの蛍光物質ＲＭの画面上に基づいて視線Ｃの位置を算出し、これを基準点として定める（Ｓ２０５）。そして、図７（Ｃ）に示すように、この基準点を示す像Ｃをスーパーインポーズ表示させる（Ｓ２０６）。

一方、ステップＳ２０２、Ｓ２０４においてオペレータによる入力操作が所定時間経過しても検出されない場合、エラーメッセージを表示して処理を終了させる（Ｓ２０７）。一度基準点が検出されると、視線検出装置７０は１フレーム期間ごとに基準位置の検出を継続して行う。

図８は、第２の実施形態における分光画像処理のフローチャートである。第２の実施形態では、分光画像観察モードにおいて自動的に視線追従を行う設定される構成になっている。分光画像観察モードが設定されると、処理が開始される。

キャリブレーション処理が行われていない場合、図６に示すキャリブレーション処理が実行される（Ｓ３０１、Ｓ３０２）。すでにキャリブレーション処理が行われた場合、第１の実施形態と同様、分光画像処理が実行される。ただし、第２の実施形態では、基準点（視線位置）のみが画面表示されるようにスーパーインポーズ処理が実行される。

したがって、通常観察モードから分光画像観察モードへの切り替え、狭帯域光の順次照射後の通常光照射に至る期間、基準点の像Ｒのみ表示される。視線位置および診断対象エリアの表示以外については、ステップＳ３０３〜Ｓ３１０の実行は、図２のステップＳ１０５〜Ｓ１１２の実行と同じである。

このように第２の実施形態によれば、蛍光物質ＲＭを用いることで視線位置を容易に検出することができる。また、簡易な画像処理回路によって視線位置を検出することができる。特に、モード切替前にキャリブレーション処理を行うことにより、正確な視線位置を検出することができる。なお、蛍光物質以外を指標としてもよい。

第１、第２の実施形態では、視線検出装置をプロセッサとは独立した機器として構成しているが、内視鏡装置プロセッサ内で視線位置を検出してもよい。この場合、内視鏡システムにオペレータの顔を撮像するカメラはプロセッサに接続される。

次に、図９〜図１２を用いて、第３の実施形態である電子内視鏡システムについて説明する。第３の実施形態では、視線位置を検出する代わりに、色素付着位置を検出する。

図９は、第３の実施形態である内視鏡システムのブロック図である。

内視鏡システムは、ビデオスコープ１０とプロセッサ２０とを備え、ビデオスコープ１０は、ウォータージェット送水機能を備え、送水管路１９がスコープ操作部１０Ｐからスコープ先端部１０Ｔに渡って設けられている。オペレータは、水その他液体を注入可能な注射器８０を接続口１９Ｔに挿入し、注射器８０の押し子を押下することで、観察対象に液体を特定箇所に噴射することができる。

本実施形態では、分光画像による病変部診断を行う場合、オペレータは、胃粘膜診断などに使用される青味を帯びたインディゴ色素あるいはその他識別しやすい色素を注射器８０に注入し、診断対象部分へ噴射する。システムコントロール回路４０は、前段画像信号処理回路２６で生成される観察画像の中で青色の色素付着部分を検出し、その付着部分に応じて診断対象エリアを設定する。そして、通常画像観察モードから分光画像観察モードへ切り替えられると、診断対象エリアに基づいた病変部診断が行われる。

図１０は、色素噴出箇所を特定する処理を示すフローチャートである。図１１は、色素噴出位置を特定した画面を示した図である。

ステップＳ４０１では、色素噴霧を促すメッセージがモニタ６０に表示される。オペレータは、メッセージに従い、ウォータジェットノズル機能を使用して色素を診断対象箇所へ色素を噴出する。このとき、診断対象箇所のみ色素を付着させるように注射器８０を押下する力を調整する。

ステップＳ４０２では、オペレータによって色素噴出が行われたか、すなわち、青色の色素が観察画像に含まれているか否かが判断される。色素噴出が行われたと判断すると、観察画像における色素付着箇所の画素を基準点ＢＣとして特定する（Ｓ４０３）。色素噴出箇所の像（青色像）の範囲は複数の画素のエリアに渡ることが多いことから、そのエリア中心や重心位置にある画素を基準点として特定すればよい。そして、基準点ＢＣを中心とする診断対象エリアＢＲを設定する。

そして、基準点ＢＣを示す像ＷＣおよび診断対象エリアＢＲを示すフレーム像ＦＢが観察画像に重ねて表示される（Ｓ４０４）。表示処理を所定期間行ったあと、像ＷＣ、ＦＢの表示を消去する。ステップＳ４０２において色素を検出しない場合、エラーメッセージを表示して終了する（Ｓ４０５）。

図１２は、第３の実施形態における分光画像処理のフローチャートである。

通常観察モードから分光画像モードに切り替えられたときに基準点（色素付着位置）が特定されていない場合、すなわちまだ色素が噴出されていない場合、図１０に示した基準点を特定する処理が実行される（Ｓ５０１、Ｓ５０２）。基準点が特定されている場合、第１、第２の実施形態と同様、狭帯域光の順次照射によって３つの分光画像を生成し、各分光画像に対して基準点を特定し、診断対象エリアＢＲを設定する（Ｓ５０３〜Ｓ５０７）。

青味を帯びた色素は、分光画像においても他と識別可能であるため、基準点ＢＤの画素は同一箇所の画素データを得ることになる。基準点特定の仕方は、モード切替前と同様に行えばよいが、色素噴出を考慮した分光画像処理を行う。なお、第３の実施形態では、分光画像モード切替前後において基準点、診断対象エリアの像ＷＣ、ＦＢは表示されない。基準点の特定および診断対象エリアを設定すると、分光画像処理を実行する。病変部が抽出されると、病変部を識別した診断画像を表示する（Ｓ５０８〜Ｓ５１１）。

このように第３の実施形態によれば、モード切替前に行われた作業に従って色素付着箇所の像を基準点として特定し、中心診断対象エリアを定め、分光画像に対しても同様に基準点特定、診断対象エリア設定を行う。これによって、視線検出と比べ、より確実に診断対象エリアを同一箇所の像にすることができる。

視線位置あるいは基準点の特定手法については、色素を使わないで特定することも可能であり、観察画像の中でオペレータが注視、着目している位置（照準位置）を観察画像から検出すればよい。例えば、光強度が相対的に高い部分、観察画像の中心位置、スコープ先端部との距離が最も短い箇所などを基準点として検出することが可能である。

第１〜第３の実施形態では、内視鏡作業中に病変部診断を行っているが、診断対象エリアの画像データを不揮発性メモリに記憶させ、内視鏡作業終了後に分光画像処理を実行させてもよい。また、分光画像を診断する画像処理装置を内視鏡プロセッサの一部あるいは別に用意してもよい。

１０ ビデオスコープ
２０ プロセッサ
２６ 前段画像信号処理回路 （画像処理部）
２７ 分光画像処理回路 （分光画像処理部、設定部）
２８ 後段画像信号処理回路（画像処理部、分光画像処理部）
２９ 画像メモリ
４０ システムコントロール回路
５０ 分光フィルタ
７０ 視線検出装置（検出部、視線位置検出部）
７１ カメラ（撮像部）
ＢＲ 診断対象エリア
Ｃ 視線位置

Claims (18)

1. 観察対象に対し、通常光を照射する照明部であって、互いに異なるピークをもつ複数の狭帯域光を別々に照射可能な照明部と、
   スコープ先端部のイメージセンサから所定時間間隔で読み出される１フレーム／フィールド分の画素信号に基づいて観察画像を生成する画像処理部であって、複数の狭帯域光照射に従って複数の分光画像を生成する画像処理部と、
   少なくとも複数の分光画像それぞれに対し、オペレータ照準箇所を検出する検出部と、
   前記複数の分光画像それぞれに対し、検出された照準箇所を基準点として含む一部の画像領域を、診断対象エリアとして自動的に定める設定部と、
   複数の分光画像に対して定められた複数の診断対象エリアの中で、スペクトル特性が他と比べて異なる病変部を抽出する分光画像処理部とを備え、
   前記画像処理部が、病変部を識別化させた診断画像を生成することを特徴とする内視鏡システム。
2. 前記検出部が、各分光画像における色素付着箇所を、オペレータ照準箇所として検出することを特徴とする請求項１に記載の内視鏡システム。
3. 前記照明部が、観察モードの切替に応じて、通常光照射と複数の狭帯域光照射とを切り替え可能であり、
   前記検出部が、観察モード切替前および複数の狭帯域光照射後の少なくともいずれか一方において生成される観察画像に対し、色素付着箇所を検出することを特徴とする請求項２に記載の内視鏡システム。
4. 前記検出部が、観察モード切替前のオペレータの操作に従い、色素付着箇所を検出することを特徴とする請求項３に記載の内視鏡システム。
5. 前記検出部が、
   撮像部と、
   前記撮像部によって生成されるオペレータの顔画像に基づいて、表示される分光画像に対する視線位置を、オペレータ照準箇所として検出する視線位置検出部と
   を備えることを特徴とする請求項１に記載の内視鏡システム。
6. 前記検出部が、オペレータの両眼から離れた場所にある指標の像を前記顔画像から検出し、指標の位置と両眼位置とに基づいて視線位置を検出することを特徴とする請求項５に記載の内視鏡システム。
7. 前記照明部が、観察モードの切替に応じて、通常光照射と複数の狭帯域光照射とを切り替え可能であり、
   前記検出部が、観察モード切替前の観察画像および複数の狭帯域光照射後の観察画像の少なくともいずれか一方に対し、視線位置を検出することを特徴とする請求項５乃至６のいずれかに記載の内視鏡システム。
8. 前記画像処理部が、観察画像に対してオペレータ照準箇所を示す像を重ねることを特徴とする請求項１乃至７のいずれかに記載の内視鏡システム。
9. 前記画像処理部が、観察画像に対して診断対象エリアを示す像を重ねることを特徴とする請求項１乃至８のいずれかに記載の内視鏡システム。
10. 前記設定部が、オペレータ照準箇所を中心とした診断対象エリアを設定することを特徴とする請求項１乃至９のいずれかに記載の内視鏡システム。
11. 互いに異なるピークをもつ複数の狭帯域光に基づいて得られる複数の分光画像それぞれに対し、オペレータ照準箇所を検出する検出部と、
    複数の分光画像それぞれに対し、検出された照準箇所を基準点として含む一部の画像領域を、診断対象エリアとして自動的に定める設定部と、
    複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成する分光画像処理部と
    を備えたことを特徴とする画像処理装置。
12. 検出部が、互いに異なるピークをもつ複数の狭帯域光を順次放射したときに得られる複数の分光画像それぞれに対し、オペレータ照準箇所を検出し、
    設定部が、複数の分光画像それぞれに対し、検出された照準箇所を基準点として含む一部の画像領域を、診断対象エリアとして自動的に設定し、
    複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成することを特徴とする内視鏡システムの作動方法。
13. 検出部が、通常光の照射による観察画像の中で、色素の付着箇所をオペレータ照準箇所として検出することを特徴とする請求項１２に記載の内視鏡システムの作動方法。
14. 通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、
    スコープ先端部に設けられたイメージセンサから順次読み出される１フィールド／フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、
    観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部と、
    複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、検出された視線位置を基準点として含む一部の画像領域を、診断対象エリアとして自動設定し、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、
    前記画像処理部が、病変部を識別化させた表示用診断画像を生成することを特徴とする内視鏡システム。
15. 前記分光画像処理部が、各分光画像の中で診断対象エリアに応じた画素データを一時的にメモリに保存し、保存した画素データに対して分光画像処理を実行することを特徴とする請求項１４に記載の内視鏡システム。
16. 前記分光画像処理部が、視線位置を中心としたその周辺のエリアを、診断対象エリアとして定めることを特徴とする請求項１５に記載の内視鏡システム。
17. 前記視線検出部が、１フィールド／フレーム期間に同期して視線位置を検出することを特徴とすることを特徴とする請求項１４乃至１６のいずれかに記載の内視鏡システム。
18. 通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、
    スコープ先端部に設けられたイメージセンサから順次読み出される１フィールド／フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、
    複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部によって検出された視線位置を基準点として含む一部の画像領域を、診断対象エリアとして自動設定し、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、
    前記画像処理部が、病変部を識別化させた表示用診断画像を生成することを特徴とする内視鏡装置のプロセッサ。