JPWO2020012563A1 - 内視鏡装置、処理装置及び処理方法 - Google Patents

Abstract

内視鏡装置１０は、被写体を撮像する撮像部と、被写体に対する照明光として、互いに色が異なる第１〜第ｍの光を射出する光源部１４０と、撮像部からの画像信号に基づいて第１〜第ｎの画像を生成する第１処理回路１１０と、を含む。第１〜第ｎの画像の各々は、第１〜第ｍの光のうちいずれかの光に対応した画像である。第１処理回路１１０は、第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成し、表示画像とは異なる支援用画像、又は表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路１２０へ出力する。第１処理回路１１０は、前記支援用画像又は前記支援用画像群に基づいて第２処理回路１２０が出力した診断支援情報を、取得する。

Description

本発明は、内視鏡装置、処理装置及び処理方法等に関する。

診断支援機能を搭載した内視鏡装置が知られている。診断支援の一例として、ＡＩ（Artificial Intelligence）により画像から病変部を抽出し、その病変部を提示する機能が提案されている。例えば特許文献１には、観察対象物の血管情報に基づいた診断支援パラメータを算出する内視鏡用画像処理装置が提案されている。特許文献１では、特殊光画像から血管情報を抽出し、その特殊光画像を観察者に提示することで診断を支援する。また特許文献２には、特殊光画像から取得した血管パターンと、予め記憶しておいた血管パターンとをマッチングし、その結果に基づいて診断支援を行う手法が開示されている。特許文献２では、マッチングの結果が一致していた場合には、撮像又は観察のモード変更を促す表示をする。

特開２０１６−１４４６２６号公報 特開２０１２−１５２２７９号公報

従来技術において、支援情報の抽出に用いる画像と、モニタに表示する画像とは共通である。即ち、ＡＩに入力する画像と、人間が見る画像とが同じになっている。このため、精度の良い支援情報を提供できない場合がある。

本発明の一態様は、被写体を撮像する撮像部と、前記被写体に対する照明光として、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）を射出する光源部と、前記撮像部からの画像信号に基づいて第１〜第ｎの画像（ｎは２以上の整数）を生成する第１処理回路と、を含み、前記第１〜第ｎの画像の各々は、前記第１〜第ｍの光のうちいずれかの光に対応した画像であり、前記第１処理回路は、前記第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成し、前記表示画像とは異なる支援用画像、又は前記表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路へ出力し、前記支援用画像又は前記支援用画像群に基づいて前記第２処理回路が出力した診断支援情報を、取得する内視鏡装置に関係する。

また本発明の他の態様は、第１〜第ｎの画像（ｎは２以上の整数）を記憶する記憶装置と、前記記憶装置から前記第１〜第ｎの画像を取得する第１処理回路と、を含み、前記第１〜第ｎの画像の各々は、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）のうちいずれかの光に対応した画像であり、前記第１処理回路は、前記第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成することを特徴とする処理装置に関係する。

また本発明の他の態様は、第１処理回路が、各々の画像が、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）のうちいずれかの光に対応した画像である第１〜第ｎの画像（ｎは２以上の整数）を生成し、前記第１処理回路が、前記第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成し、前記第１処理回路が、前記表示画像とは異なる支援用画像、又は前記表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路へ出力し、前記第１処理回路が、前記支援用画像又は前記支援用画像群に基づいて前記第２処理回路が出力した診断支援情報を、取得することを特徴とする処理方法に関係する。

内視鏡装置の第１構成例。 第１構成例において、光源が射出するレーザ光の例。 白色光画像を生成するためのレーザ光の例。 ＮＢＩ画像を生成するためのレーザ光の例。 第１実施形態における照明光の発光シーケンス。 内視鏡装置の第２構成例。 第２構成例において、光源が射出するレーザ光の例。 第２実施形態における照明光の発光シーケンス。 処理装置の構成例。 内視鏡システムの構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．内視鏡装置
図１は、内視鏡装置１０の第１構成例である。以下では消化器用の医療用内視鏡を例に説明するが、本発明の適用対象はこれに限定されない。即ち、本明細書で言う内視鏡とは、様々な観察対象物の凹部内面を観察するための挿入部を備える機器一般を言うものとする。例えば、内視鏡とは、生体の診察に用いる医療用内視鏡、又は工業用内視鏡である。

図１の内視鏡装置１０は、制御装置１００とスコープ部２００と表示部３００と入力部６００とを含む。なお、制御装置１００を本体部とも呼ぶ。またスコープ部２００をスコープ、撮像部、撮像装置とも呼ぶ。また表示部３００をディスプレイ、表示装置とも呼ぶ。また入力部６００を入力装置、操作装置とも呼ぶ。

まず、内視鏡装置１０の構成について説明する。

スコープ部２００は、挿入部２１０と操作部２２０と接続ケーブル２３０とコネクタ２４０とにより構成されている。挿入部２１０は、可撓性を有しており、生体の体腔内に挿入可能である。生体の体腔は、本実施形態における被写体である。被写体は観察対象又は観察対象物とも呼ぶ。なお図１では被写体の図示を省略している。医師等の作業者は、操作部２２０を把持すると共に、操作部２２０を用いて内視鏡装置１０を操作する。接続ケーブル２３０は、制御装置１００とスコープ部２００を接続するケーブルであり、可撓性を有する。コネクタ２４０は、接続ケーブル２３０の一端に設けられており、制御装置１００とスコープ部２００を着脱可能にする。

挿入部２１０の先端には、照明光を被写体に向けて射出する２個の照明レンズ２１１、２１２と、被写体の表面から反射又は散乱された照明光を受光することで画像を撮像する撮像ユニット２１３と、が配置されている。

スコープ部２００には導光路２１４が設けられている。制御装置１００に光源部１４０が設けられており、導光路２１４は、光源部１４０から射出される照明光を照明レンズ２１１、２１２まで導光する。導光路２１４は光ファイバ束であり、その光ファイバ束は、コネクタ２４０から、接続ケーブル２３０、操作部２２０内を経由して、照明レンズ２１１、２１２まで延びている。導光路２１４は、コネクタ２４０側では一本に束ねられており、挿入部２１０内で二股に分岐して、２つの照明レンズ２１１、２１２と光学的に接続されている。

照明レンズ２１１、２１２は、光ファイバ束により導光された照明光を所望の放射角となるように広げる。照明レンズ２１１、２１２の各々は、単数または複数のレンズにより構成された照明光学系である。

撮像ユニット２１３は、撮像光学系と撮像素子を有している。本実施形態では、撮像素子はＣＭＯＳ型イメージャであり、そのイメージャには、ベイヤ型に配列されたＲＧＢカラーフィルタが搭載されている。即ち、撮像素子はＲ画素、Ｇ画素、Ｂ画素を有する原色フィルタ型の撮像素子である。

また、スコープ部２００には画像信号線２１５が設けられており、撮像ユニット２１３が撮像した画像の画像信号を制御装置１００まで伝送する。画像信号線２１５は、挿入部２１０、操作部２２０、接続ケーブル２３０内に配置されており、コネクタ２４０を介して制御装置１００へ電気的に接続されている。画像信号線２１５は、画像信号を伝送可能な信号線であれば、どのような信号線であってもよい。例えば、画像信号線２１５は、電気配線、又は光通信用の光ファイバ等である。画像信号線２１５は、図１では１本の線で示したが、画像信号の量や伝送速度などに応じて、複数の信号線を併設してもよい。

なお、本実施形態における挿入部２１０には、図示を省略した種々の機能又は機構を搭載できる。例えば、挿入部２１０には、先端部を湾曲させるための湾曲機構、又は、種々の処置を行うための鉗子等を挿入可能な鉗子孔、又は、送気送水管等を搭載できる。送気送水管は、液体又は気体を噴出及び吸引可能にするための管である。

制御装置１００は、照明光を射出する光源部１４０と、照明光の光量及び発光タイミング等を制御する照明光制御回路１５０と、撮像ユニット２１３からの画像信号に対して画像処理を行う第１処理回路１１０と、第１処理回路１１０が出力する画像に基づいて診断支援情報を生成する第２処理回路１２０と、を含む。なお、光源部１４０を光源装置とも呼ぶ。また第１処理回路１１０を画像処理回路とも呼ぶ。

例えば、第１処理回路１１０と第２処理回路１２０の各々は、個別の集積回路装置により実現される。第１処理回路１１０は例えばプロセッサー或いはＡＳＩＣ（Application Specific Integrated Circuit）等である。また第２処理回路１２０は例えばプロセッサー或いはＡＳＩＣ等である。或いは、第１処理回路１１０と第２処理回路１２０が１つの集積回路装置に集積されてもよい。或いは、第１処理回路１１０は、複数の集積回路装置により構成されてもよい。例えば、第１処理回路１１０は、第１〜第ｎの画像を生成する画像処理回路と、表示用画像群及び支援用画像群を出力する画像群出力回路と、を含んでもよい。このとき、画像処理回路と画像群出力回路とが、それぞれ個別の回路として構成されてもよい。例えば、画像処理回路と画像群出力回路とが、それぞれ集積回路装置により構成されてもよい。

光源部１４０は、複数の光源ＬＤａ〜ＬＤｅと、光源ＬＤａ〜ＬＤｅを駆動する駆動回路ＤＲａ〜ＤＲｅと、光源ＬＤａ〜ＬＤｅが射出する光を合波する光合波光学系１４１と、を含む。

光源ＬＤａ〜ＬＤｅの各々は、半導体レーザ素子（LASER Diode）である。この場合、照明光はレーザ光である。或いは、光源ＬＤａ〜ＬＤｅの各々は、ＬＥＤ（Light Emitting Diode）であってもよい。例えば、波長帯域が数１０ｎｍ程度の狭帯域光を射出するＬＥＤを採用できる。但し、照明光は狭帯域光に限定されず、例えば表示画像の視認性、或いは支援情報の抽出手法に合わせて適切な帯域の照明光を採用すればよい。なお、以下では光源ＬＤａ〜ＬＤｅの各々が半導体レーザ素子である場合を例に説明する。

図２は、光源ＬＤａ〜ＬＤｅが射出するレーザ光の例である。図２に示すように、光源ＬＤａは、波長λａ＝４０５ｎｍの青紫レーザ光を射出する。光源ＬＤｂは、波長λｂ＝４４５ｎｍの青色レーザ光を射出する。光源ＬＤｃは、波長λｃ＝５３２ｎｍの緑色レーザ光を射出する。光源ＬＤｄは、波長λｄ＝６００ｎｍのオレンジ色レーザ光を射出する。光源ＬＤｅは、波長λｅ＝６３５ｎｍの赤色レーザ光を射出する。図２では、各光源が射出する光量が同程度となっているが、各光源が射出する光量はこれに限定されない。例えば表示画像の視認性、或いは支援情報の抽出手法に合わせて適切な光量を採用すればよい。

駆動回路ＤＲａ〜ＤＲｅは、それぞれ対応する光源ＬＤａ〜ＬＤｅと電気的に接続されている。すなわち図１に示すように、駆動回路ＤＲａは光源ＬＤａと、駆動回路ＤＲｂは光源ＬＤｂと、駆動回路ＤＲｃは光源ＬＤｃと、駆動回路ＤＲｄは光源ＬＤｄと、駆動回路ＤＲｅは光源ＬＤｅと、それぞれ電気的に接続されている。光源ＬＤａ〜ＬＤｅは、駆動回路ＤＲａ〜ＤＲｅから供給される電力によりレーザ光を発振する。

駆動回路ＤＲａ〜ＤＲｅは、照明光制御回路１５０と電気的に接続されている。照明光制御回路１５０は、駆動回路ＤＲａ〜ＤＲｅのそれぞれにレーザ光の光量及び発光タイミング等の制御信号を送信することで、光源ＬＤａ〜ＬＤｅを制御する。これにより光源ＬＤａ〜ＬＤｅは、互いに独立したレーザ光量や発光タイミングでレーザ光を射出することが出来る。すなわち、後述する観察モードや表示モード等に基づいて、光源ＬＤａ〜ＬＤｅの各々を独立に、発振及び消灯できる。

光源ＬＤａ〜ＬＤｅから射出されたレーザ光は、光合波光学系１４１に入射する。図１では光合波光学系１４１の詳細は省略したが、一般的に用いられている合波光学技術を光合波光学系１４１に適用できる。例えば、光合波光学系１４１は、複数のダイクロイックミラーを組み合わせた空間光学系、又は、複数の光ファイバの端面を一本の光ファイバの端面と対峙するように接続した光コンバイナ等である。以下では光合波光学系１４１が空間光学系である場合を例に説明する。

光源ＬＤａ〜ＬＤｅから射出されたレーザ光は、図示しないレンズ系、ダイクロイックミラー等を経由してコネクタ２４０に向けて射出される。即ち、光源ＬＤａ〜ＬＤｅから射出されたレーザ光は、光合波光学系１４１で合波され、その合波されたレーザ光は、ひとつの射出端から、コネクタ２４０に設けられた導光路２１４の入射端に向けて射出される。光導波路の入射端に入射したレーザ光は、導光路２１４により挿入部２１０先端の照明レンズ２１１、２１２まで導光され、照明レンズ２１１、２１２により所望の放射角へ広げられ、被写体に向けて照射される。

光源ＬＤａ〜ＬＤｅから射出させるレーザ光量を安定化させるため、制御装置１００内には図示しないレーザ光量モニタが設けられている。駆動回路ＤＲａ〜ＤＲｅは、レーザ光量モニタの出力値に応じて、半導体レーザに供給する電流量を調整することで、所望のレーザ光量を出力させる。なお、レーザ光量の調整は、光量モニタを用いる方法に限定されない。例えば、不図示のメモリが、電流と光量の関係を示すテーブルをあらかじめ記憶しておき、駆動回路ＤＲａ〜ＤＲｅが、このテーブルを参照して供給電流を調整してもよい。その他さまざまな光量調整方法が知られており、用途に応じて光量調整方法を選択することが出来る。

また、レーザ光源は、半導体レーザ素子の温度を制御する温度安定化部を有する。駆動回路ＤＲａ〜ＤＲｅは、温度安定化部を制御するための制御信号を出力する。半導体レーザ素子は一般に、素子の温度が変化すると発振するレーザ光の光量及び波長が変化することが知られている。このため、安定した光量及び波長のレーザ光を得るため、レーザ光源に温度安定化部が設けられている。温度安定化部は、たとえば半導体レーザ素子と熱的に接続されたペルチェ素子である。駆動回路ＤＲａ〜ＤＲｅは、ペルチェ素子を制御し、半導体レーザが適切な温度となるように制御信号及び電力を供給する。適切な温度は例えば摂氏２５度である。なお、半導体レーザの温度を安定化する方法は、ペルチェ素子を用いる方法に限定されない。例えば、十分な熱容量のヒートシンクを用いる方法や、強制空冷手段を用いる方法など、さまざまな方法が知られている。用途に応じてこれらの方法から選択することが可能である。さらに、温度センサにより半導体レーザの温度を測定し、測定された温度に基づいて供給電流と出射光量、波長を予測し、これらが所望の値となるよう半導体レーザ素子に供給する電流量を調整する方法を用いることも出来る。温度安定化機構は、光源ＬＤａ〜ＬＤｅのそれぞれに独立に搭載することも可能であり、またひとつの温度安定化機構に複数の光源ＬＤａ〜ＬＤｅを搭載することも可能である。

照明光制御回路１５０は、駆動回路ＤＲａ〜ＤＲｅと電気的に接続されている。照明光制御回路１５０は、駆動回路ＤＲａ〜ＤＲｅを経由して光源ＬＤａ〜ＬＤｅを独立に、或いは光源ＬＤａ〜ＬＤｅを連動させて、光量を制御する。本実施形態における各レーザ光の発光タイミングは後述する。

第１処理回路１１０は、撮像ユニット２１３から画像信号線２１５を経由して伝送された画像信号を、表示部３００が表示可能な信号に変換する画像処理を行う。

コネクタ２４０は、画像信号線２１５と、導光路２１４と、撮像ユニット２１３に電力を供給する図示しない電力線とを、電気的又は光学的に制御装置１００へ着脱可能にする。その他、コネクタ２４０は、内視鏡を機能させるのに必要な電気配線又は光配線を、電気的又は光学的に制御装置１００へ着脱可能にする。また、コネクタ２４０は、チューブ配管などを制御装置１００へ着脱可能にする。チューブ配管は、内視鏡を用いた観察又は治療等の作業に必要な気体又は液体などを送るものである。

なお、本実施形態では、光源ＬＤａ〜ＬＤｅは、それぞれひとつの半導体レーザを有する例を示したが、これに限らない。波長の略等しい複数のレーザ素子を組み合わせたものをひとつのレーザ光源として取り扱ってもよい。この場合、レーザ光源内に図示しない光合波部を設け、複数のレーザ光源からのレーザ光をひとつの射出端から出力する。或いは、図１の光合波光学系１４１の入力端をレーザ素子の数に合わせて増やしてもよい。

ひとつのレーザ光源に複数のレーザ素子を搭載することで、例えば、目的の波長のレーザ素子が十分な光量のものが調達できない場合にも十分な光量を得ることができる。また、低コストな低出力レーザを複数組み合わせることで、低コスト化を実現することが可能となる。一方、ひとつのレーザ光源にひとつのレーザ素子を用いることで、本体部を小型化することが可能となる。また、制御系をシンプルにしたり、消費電力を小さく抑えることが出来る。

次に、観察モードについて説明する。ここでは各観察モードにおいて表示用の画像を取得するために、各観察モードにおいて発光させるレーザ光源が異なっている。但し、後述するように、本実施形態では観察モードに関わらず表示用の画像と支援情報抽出用の画像とを取得するので、実際には、観察モードに関わらず発光させるレーザ光源は同じである。また、観察モードに応じて表示用の画像は異なっているが、観察モードが異なっていても支援情報抽出用の画像は同じである。

内視鏡装置１０は、白色照明による通常光観察モードと、ＮＢＩ（Narrow Band Imaging）照明によるＮＢＩ観察モードを有している。ＮＢＩ観察モードは、広義には特殊光観察モードとも呼ぶ。通常光観察モードは白色光観察モードとも呼ぶ。

通常光観察モードは、内視鏡で一般に用いられている白色光による観察画像を取得し、その観察画像を表示部３００に表示するモードである。ＮＢＩ観察モードは、ヘモグロビンの吸収特性に応じた狭帯域光を照明として用いることで、特に粘膜表層から粘膜中層の血管をコントラスト良く表示するモードである。例えば、作業者が操作部２２０又は入力部６００を用いて観察モードを設定する。入力部６００は、作業者から内視鏡装置１０への操作入力を受け付ける入力装置であり、制御装置１００に接続されている。

図３に示すように、通常光観察モードでは、光源部１４０は４本の線スペクトルの照明光を発光させる。即ち、光源部１４０は、光源ＬＤｂ〜ＬＤｅの４個のレーザ光源を発光させる。このとき、４つのレーザ光の光量比は、照明光が白色となる光量比に調整されている。例えば、色温度が６０００ケルビンとなるように光量比が決められている。

図４に示すように、ＮＢＩ観察モードでは、光源部１４０は４０５ｎｍ、５３２ｎｍの２本のスペクトルの照明光を射出する。これらのスペクトルは、血液中のヘモグロビンの吸収スペクトルに基づいて選定されたものである。即ち、光源部１４０は、光源ＬＤａと光源ＬＤｃの２個のレーザ光源を発光させる。このとき、２つのレーザ光の光量比は、ＮＢＩ観察モードとして適切な光量比に設定されている。この光量比は予め設定されたものである。例えば、光源ＬＤａの発光量：光源ＬＤｃの発光量＝３：１に設定されている。

２．第１実施形態
内視鏡装置１０は、通常光観察モードとＮＢＩ観察モードの２つの観察モードによる画像を同時に取得可能となっている。このための手順を次に説明する。

内視鏡装置１０は、通常光観察モードの画像とＮＢＩ観察モードの画像とを略同時に取得する。

具体的には、通常光観察モードの画像を構築するためには、Ｂ、Ｇ、Ａ、Ｒの４色の照明光による画像４枚を取得する必要がある。また、ＮＢＩ観察モードの画像を構築するためにはＶ、Ｇの２色の照明光による画像２枚を取得する必要がある。Ｖ、Ｂ、Ｇ、Ａ、Ｒの５色は、それぞれ、図２の波長４０５ｎｍ、４４５ｎｍ、５３２ｎｍ、６００ｎｍ、６３５ｎｍに対応している。

ＡとＲの２色は、一般にはどちらも赤色領域に含まれている。即ち、２色とも、撮像素子の赤色フィルタが透過する波長帯域に含まれている。このため、２色の照明光を同時に発光させた場合、１枚のＲ画像として取得される。本実施形態の内視鏡装置１０は、Ａ色のレーザ光とＲ色のレーザ光を別のタイミングで発光させることで、Ａ画像とＲ画像を個別に取得する。また、図３、図４に示すように、白色光画像のＧ色とＮＢＩ画像のＧ色では光量が異なっている。本実施形態の内視鏡装置１０は、これらも独立に取得する。以下では、白色光画像を取得するためのＧ色の光量を光量１と呼び、ＮＢＩ画像を取得するためのＧ色の光量を光量２と呼ぶ。本実施形態の内視鏡装置１０は、Ｂ画像と、光量１におけるＧ画像と、Ａ画像と、Ｒ画像と、Ｖ画像と、光量２におけるＧ画像との７枚の画像を略同時に取得する。そして、内視鏡装置１０は、後述する画像処理シーケンスにより、白色光画像とＮＢＩ画像とを構築し表示する。このために照明光制御回路１５０は、図３に示すような発光シーケンスに従って光源ＬＤａ〜ＬＤｅＬＤ１〜ＬＤ５を発光させる。このシーケンスを、図５を用いて詳しく説明する。

図５において、横軸は時間である。縦方向において上から順に光源ＬＤａ、ＬＤｂ、ＬＤｃ、ＬＤｄ、ＬＤｅの順に発光及び消灯のタイミングを記載している。Ｔ１、Ｔ２等はタイミングを示す。以下、「タイミング」を省略してＴ１、Ｔ２等と記載する。

Ｔ１からＴ１’までを１周期として白色及びＮＢＩの両画像を取得する。このとき、撮像素子は、撮像動作を２回行う。即ち、１周期に撮像フレームが２フレーム含まれる。

Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｂ、ＬＤｃ、ＬＤｅを発光させる。このとき、照明光制御回路１５０は、通常光観察モードにおけるＧ色の光量１で光源ＬＤｃを発光させる。撮像素子は、原色型フィルタを有するＲＧＢ撮像素子である。このため、光源ＬＤｂからの青色光はＢ画素により検出され、その結果、Ｂ画像として出力される。同様に、光源ＬＤｃからの緑色光によりＧ画像が出力され、光源ＬＤｅからの赤色光によりＲ画像が出力される。ここでのＧ画像は、光量１によるＧ画像である。これらの画像情報は、全ての光源ＬＤａ〜ＬＤｅが消灯している読み出し期間において撮像素子から出力される。

次にＴ２からＴ１’の間には、照明光制御回路１５０は光源ＬＤａ、ＬＤｃ、ＬＤｄを発光させる。このとき、照明光制御回路１５０は、ＮＢＩ観察モードにおけるＧ色の光量２で光源ＬＤｃを発光させる。光源ＬＤａからの紫色光によりＶ画像が出力され、光源ＬＤｃからの光量２の緑色光によりＧ画像が出力され、光源ＬＤｄからのオレンジ色光によりＡ画像が出力される。これらの画像情報は、読み出し期間において撮像素子から出力される。

照明光制御回路１５０は、１周期における上記の動作を連続的に繰り返す。この結果、１周期において、白色光画像を構築するために必要な４枚の画像と、ＮＢＩ画像を構築するために必要な２枚の画像とを取得できる。

次に、第１処理回路１１０が行う動作を説明する。

第１処理回路１１０は、上記のシーケンスにより取得された６枚の画像から、白色光画像とＮＢＩ画像を構築する。また、第１処理回路１１０は、６枚の画像のうち１又は複数の画像を第２処理回路１２０の診断支援部１２１へ出力する。

具体的には、第１処理回路１１０は、Ｂ画像と、光量１によるＧ画像と、Ａ画像と、Ｒ画像とから、表示用のＲＧＢ画像信号を構築し、そのＲＧＢ画像信号を表示部３００へ出力する。

また第１処理回路１１０は、Ｖ画像と、光量２によるＧ画像とから、表示用のＲＧＢ画像信号を構築し、そのＲＧＢ画像信号を表示部３００へ出力する。このようにして、ＮＢＩ観察モードにおけるカラー画像であるＮＢＩ画像がモニタに表示可能となる。

次に、表示部３００について説明する。

表示部３００は、第１処理回路１１０により画像処理された被写体の画像を表示する。表示部３００は、一般に用いられている種々の表示デバイスであり、例えば液晶モニタ等である。

表示部３００と制御装置１００とは電気配線により電気的に接続されている。第１処理回路１１０が出力した画像信号は、この電気配線により表示部３００に伝送される。表示部３００は、受信した画像情報を表示する。

なお図１では、表示部３００と制御装置１００とを接続している電気配線を１本の線で記載したが、これに限らない。必要に応じて２本以上の電気配線を用いても良い。また、図１では表示部３００の動作に必要な電力を供給する電源線等、当然必要となるものの図示を省略した。また画像信号の伝送手法は電気配線に限定されず、例えば無線通信又は光通信等、通常用いられるさまざまな信号伝送技術を用いてもよい。

本実施形態の内視鏡装置１０は、上述の通り白色光画像とＮＢＩ画像とを表示できる。本実施形態の内視鏡装置１０は、この２枚の画像を並列して同時に表示することも可能であるし、或いは、作業者が選択した観察モードに応じて一方の画像を表示することも可能である。そのほか、複数の観察モードを有する従来の内視鏡が有するさまざまな表示形態を実施することが可能である。

次に、第２処理回路１２０について説明する。

第２処理回路１２０は診断支援部１２１を含む。診断支援部１２１は例えばＡＩである。即ち、診断支援部１２１は、入力された画像からＡＩ処理により診断支援情報を抽出する。ＡＩ処理としては、種々の画像認識手法又は機械学習手法を採用できる。機械学習は、学習結果に基づいて種々の推論を行う処理である。代表的なＡＩとしてニューラルネットワークがあるが、これに限定されず、本実施形態におけるＡＩとして既知の様々な機械学習の手法を採用できる。

診断支援部１２１は、撮像ユニット２１３が取得した画像信号に基づいて診断支援情報を生成する。具体的には、診断支援部１２１は、上述した６画像のうち第１処理回路１１０により選択された１又は複数の画像に基づいて診断支援情報を生成する。診断支援情報とは、作業者による診断を支援するための情報である。即ち、診断支援情報とは、画像の中に存在する部位であり且つ観察の目的である注目部位に関する情報である。例えば、内視鏡検診の場合、癌や病変部が注目部位に相当する。診断支援情報は、注目部位が存在する位置、又は注目部位の大きさ、注目部位の形状、注目部位の輪郭などの情報である。或いは診断支援情報は、注目部位が癌である場合において、その癌の進行度又はステージレベルに関する情報である。また、診断支援情報は、これらの情報のうち複数を組み合わせたものであってもよい。

これらの診断支援情報を医師へ提供することで、医師による診断を支援することが可能になる。診断支援部１２１は、撮像ユニット２１３が略同時に取得した６枚の画像のうち、一部の画像を用いて診断支援情報を抽出する。支援情報を抽出する手順については後述する。

診断支援部１２１は、抽出した診断支援情報を第１処理回路１１０へ送信する。第１処理回路１１０は、診断支援情報に対応した表示情報を表示画像へ付加し、その表示画像を表示部３００へ送信する。この表示画像に付加された表示情報を、以下では支援表示情報と呼ぶ。通常光観察モードにおいては、白色光画像と共に支援表示情報が表示され、ＮＢＩ観察モードにおいては、ＮＢＩ画像と共に支援表示情報が表示される。このとき、いずれの観察モードにおいても、同じ画像に基づいて診断支援情報が生成される。これにより、作業者は違和感なく診断支援情報を確認及び享受できる。

次に、内視鏡装置１０の基本的な動作について説明する。

はじめに作業者により内視鏡装置１０の電源が投入される。電源が投入されると、内視鏡装置１０は、通常の内視鏡と同様にセルフチェック回路等により装置が正常か否かを確認する。正常であることが確認されると、駆動回路ＤＲａ〜ＤＲｅから光源ＬＤａ〜ＬＤｅへ所定の電流が印加され、レーザ光源が安定化するように温める作業が行われる。

作業者は制御装置１００と別体として保管されていたスコープ部２００を取り出し、スコープ部２００のコネクタ２４０を制御装置１００へ接続する。制御装置１００は、通常の内視鏡と同様に、スコープ接続の状態、及び接続されたスコープ部２００の種類等を確認する。

スコープ部２００の接続が確認されると、照明光制御回路１５０は、図５に示す発光シーケンスに従って駆動回路ＤＲａ〜ＤＲｅへ制御信号を送信することで、光源ＬＤａ〜ＬＤｅを発光させる。制御装置１００は、図示しないメモリを含み、そのメモリは、光源ＬＤａ〜ＬＤｅの基本的な特性及び個体差などの情報を記憶している。駆動回路ＤＲａ〜ＤＲｅは、その情報を参照することで光源ＬＤａ〜ＬＤｅを制御する。この情報は、例えば各レーザ光源における駆動電流と発光光量の関係に関する情報、及び、駆動電流と発振波長の関係などである。照明光制御回路１５０は、光源ＬＤａ〜ＬＤｅへ制御信号を順次に送信する。駆動回路ＤＲａ〜ＤＲｅは、制御装置１００が有する図示しないタイミング回路等を参照することで、光源ＬＤａ〜ＬＤｅを互いに同期させ、図５に示すタイミング及び光量で光源ＬＤａ〜ＬＤｅを発光させる。

光源ＬＤａ〜ＬＤｅは、駆動回路ＤＲａ〜ＤＲｅから印加される駆動電流に応じてレーザ発振し、所定の波長のレーザ光を射出する。光源ＬＤａ〜ＬＤｅから射出されたレーザ光は、光合波光学系１４１により合波され、その合波されたレーザ光が光ファイバ束の入射端に入射する。光ファイバ束に入射されたレーザ光は照明レンズ２１１、２１２まで導光され、照明レンズ２１１、２１２から被写体へ向けて射出される。撮像ユニット２１３は、この照明光によって照明された被写体を撮像する。

第１処理回路１１０は、撮像ユニット２１３から画像信号線２１５により伝送された画像信号を受信し、その画像信号に対して適切な画像処理を施す。画像処理は観察モードに応じて異なっている。観察モードと、施すべき画像処理との関係は、たとえば第１処理回路１１０内に設けられた、図示しないメモリに記憶されている。または、その関係は、制御装置１００内の図示しないメモリに記憶されている。第１処理回路１１０は、画像信号に対して画像処理を行うことで、Ｖ画像、及びＢ画像、光量１におけるＧ画像、光量２におけるＧ画像、Ａ画像、Ｒ画像を生成する。

診断支援部１２１は、血管をコントラスト良く表示できるＶ画像及びＧ画像に基づいて、ＡＩ処理により診断支援情報を生成する。ここでのＧ画像は光量１におけるＧ画像である。ＮＢＩ観察モードにおける表示画像は、Ｖ画像、及び光量２におけるＧ画像を合成したものであるが、これとは異なった組み合わせの画像が診断支援部１２１へ入力される。本実施形態では、ヘモグロビン、すなわち血管をコントラスト良く検出できる波長の画像を選定しているので、血管のパターン又は分布などに基づいて診断支援情報が生成される。例えば、注目部位として癌を想定できる。

ＡＩ処理には、Ｖ画像とＧ画像が、合成画像ではなく個々の画像として入力される。即ち、診断支援部１２１は、Ｖ画像とＧ画像のそれぞれから注目部位を抽出し、注目部位が存在していた場合には、その注目部位についての診断支援情報を生成する。診断支援部１２１は、注目部位が抽出された場合、その位置及び輪郭などを図示しないメモリに記憶させる。診断支援部１２１は、Ｖ画像とＧ画像のそれぞれについて、この情報をメモリに記憶させる。診断支援部１２１は、抽出された注目部位が癌か否かを推定し、注目部位が癌である場合には、その癌の進行度又はステージレベルなどを推定する。診断支援部１２１は、これらの推定結果を診断支援情報として出力する。診断支援情報の生成手法としては、一般に利用されている、または利用可能なＡＩ技術を用いることができる。機械学習を用いる場合の教師データの準備や選定などについては、公知となっているさまざまな技術を利用することが可能である。

診断支援情報としては、例えば以下の情報を想定できる。以下に説明する情報のうち１つの情報、又は複数の情報を組み合わせたものを、診断支援情報として採用できる。
（１）場所に関する情報：注目部位の位置、及び形状、輪郭。輪郭は、癌と正常細胞を分けるデマルケーションラインなどである。
（２）形態に関する情報：注目部位が凸型であるか、平坦であるか、凹型であるか。又は、注目部位が有茎型か否かなど。
（３）状態に関する情報：注目部位が分散しているか、一箇所であるか。注目部位が分散している場合には、注目部位の密集度又は、個々の注目部位が有するサイズなど
（４）その他の情報：出血の有無、又は治療の痕、手術の痕、ピロリ菌除去の有無など。

以上（１）〜（４）の情報そのものを診断支援情報としてもよいし、それらを総合的に評価して判断した情報を診断支援情報としてもよい。例えば（５）、（６）を診断支援情報としてもよい。
（５）医学的特徴に関する情報：注目部位が癌か否か。注目部位が癌である場合には、癌が良性であるか悪性であるか、又は癌がステージＩ〜ＩＶのいずれに属するか。
（６）処置に関する情報：注目部位に適した処置手法、又は注目部位に適した手術手法、注目部位に適した投薬に関する情報など。又は、推奨される追加検査、又は病理に関する情報など。

例えば、上記（１）〜（６）の情報と画像情報とを対応付けたデータを教師データとして用いることで、ＡＩ処理のアウトプットとして上記（１）〜（６）の情報を得ることができる。

或いは、診断支援部１２１がＡＩ処理を第１処理として行い、その後段の第２処理を更に行ってもよい。この場合、ＡＩ処理には、上記（１）〜（４）の情報と画像情報とを対応付けたデータを教師データとして用いる。ＡＩ処理は、アウトプットとして上記（１）〜（４）の情報を出力する。第２処理は、ＡＩ処理が出力する上記（１）〜（４）の情報に基づいて、上記（５）、（６）の情報を生成する。例えば、（１）〜（４）の情報に基づいてドクターが実施する方法に倣って第２処理が作成される。第２処理は、例えばＡＩ、或いはＡＩを用いない情報処理等により実現される。

Ｖ画像とＧ画像のそれぞれから診断支援情報が抽出されるので、Ｖ画像とＧ画像から抽出された診断支援情報が一致しない場合がある。例えば、一方の画像のみにおいて注目部位が抽出される場合である。或いは、両方の画像において注目領域が抽出された場合であっても、その注目領域の輪郭又は位置が画像間で異なっている場合である。この場合、それぞれの診断支援情報を別々に作業者に提示し、作業者に判断させてもよい。或いは、これらの情報をＡＩ処理への新たなインプットとして用い、そのＡＩ処理が、総合的な診断支援情報を最終的なアウトプットとして生成してもよい。

次に、診断支援情報を作業者へ提示する手法について説明する。

内視鏡装置１０は、作業者が希望した表示画像、又はデフォルトにおいて設定されている画像に支援表示情報を表示させる。即ち、診断支援情報を、その抽出に用いた元画像と共に提示する必要はない。内視鏡装置１０は、白色観察モードの場合は白色光画像と共に支援表示情報を表示し、ＮＢＩ観察モードの場合はＮＢＩ画像と共に支援表示情報を表示する。

例えば、第１処理回路１１０は、位置又は輪郭に関する診断支援情報に基づいて、その位置又は輪郭を示す支援表示情報を表示画像にスーパーインポーズする。本実施形態では、上述した６枚の画像を略同時に取得しているため、各画像は略同一の位置及びアングルの画像となっている。このため、ある画像から抽出した注目部位の位置及び輪郭の情報は、それ以外の画像においても略同一の位置及び輪郭を示す。従って、各画像の位置関係を計算し、注目部位の位置が同じになるように演算するなどの手法は省くことができる。もちろん、一般に知られている技術により画像間の位置情報を演算することで、位置及び輪郭が同一部位を示すように位置決めしてもよい。

位置及び輪郭以外の情報は、表示部３００の画面において、被写体画像が表示される領域の領域に表示されてもよい。或いは、その情報は被写体画像にスーパーインポーズされてもよい。その他、一般に知られているさまざまな表意方式を採用できる。

ここで、本実施形態では、撮像した画像のうち一部の画像がＡＩ処理にインプットされる。これにより、６枚の画像の全てを用いた場合と比べて、短時間に診断支援情報を生成させることが可能となっている。

また、注目部位を抽出するために用いた画像と、表示画像に用いた画像とは少なくとも一枚が異なっている。本実施形態では、Ｖ画像と、光量１におけるＧ画像とから診断支援情報が抽出されている。また、通常光観察モードにおいて、Ｂ画像と、光量１におけるＧ画像と、Ａ画像と、Ｒ画像とから表示画像が生成されている。即ち、表示画像にはＶ画像が用いられていない。ＮＢＩ観察モードにおいて、Ｖ画像と、光量２におけるＧ画像とから表示画像が生成されている。即ち、表示画像には光量１におけるＧ画像が用いられていない。言い換えると、ＡＩ処理が診断支援情報を抽出するために適した画像がＡＩ処理へ入力されている。一方、人間が画像を見るために適した画像は表示画像を生成するために用いられている。

なお、表示部３００は、入力部６００から入力された観察モードの情報、又は観察対象物の情報、観察日時、観察に要した時間など、様々な情報を表示可能である。これらの情報は、スコープ部２００または制御装置１００に設けられた図示しないメモリ又は図示しない時計、図示しないタイマから供給される。或いは、これらの情報は、入力部６００から入力された情報である。

例えば、ＡＩが支援情報を抽出する際に適切な画像と、人間が診断又は診察する際に適切な画像とは、必ずしも一致しない。このため、人間が見やすい画像を表示することと、支援情報の抽出にとって適切な画像をＡＩに入力することの、いずれかを優先する必要がある。例えば、診断するのは人間であるため、一般的には、人間が見やすい画像を表示することが優先される。この場合、その人間が見やすい画像からＡＩが支援情報を抽出することになる。

或いは、特許文献１、２のように特殊光画像から支援情報を抽出する場合、支援情報を得るためには観察モードを特殊光モードに切り替える必要がある。また、仮に白色光モードにおいて白色光画像から支援情報を抽出したとしても、モード毎にＡＩに入力される画像が異なってしまう。このため、通常観察モードと特殊光モードとでは提供される支援情報が異なってしまう恐れがある。一方、支援情報は様々な場面で求められており、例えばスクリーニングにおいては白色光画像に支援情報を表示し、病変部を拡大観察する際には特殊光画像に支援情報を表示する必要がある。

以上の実施形態によれば、内視鏡装置１０は撮像部と光源部１４０と第１処理回路１１０とを含む。撮像部は、被写体を撮像する。光源部１４０は、被写体に対する照明光として、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）を射出する。第１処理回路１１０は、撮像部からの画像信号に基づいて第１〜第ｎの画像（ｎは２以上の整数）を生成する。第１〜第ｎの画像の各々は、第１〜第ｍの光のうちいずれかの光に対応した画像である。第１処理回路１１０は、第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成する。また第１処理回路１１０は、表示画像とは異なる支援用画像、又は表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路１２０へ出力する。そして第１処理回路１１０は診断支援情報を取得する。診断支援情報は、第２処理回路１２０が支援用画像又は支援用画像群に基づいて出力したものである。

図１において、撮像部は撮像ユニット２１３に対応する。第１実施形態ではｍ＝５であるが、本発明の適用対象はｍ＝５に限定されない。また第１実施形態において、ｎ＝６であり、第１〜第ｎの画像は、Ｖ画像及びＢ画像、光量１におけるＧ画像、光量２におけるＧ画像、Ａ画像、Ｒ画像である。なお、本発明の適用対象はｎ＝６に限定されない。またｎ≠ｍに限定されずｎ＝ｍであってもよい。例えば各光源を１周期において１回ずつ発光させる場合にはｎ＝ｍである。第１実施形態のように同じ光源を光量を変えて２回発光させる場合にはｎ≠ｍとなる。また第１実施形態において表示用画像群はＢ画像、及び光量１におけるＧ画像、Ｒ画像であり、支援用画像群はＶ画像及び光量１におけるＧ画像である。この支援用画像群は表示画像を含まない。なお、後述する第２実施形態では、支援用画像はＩＲ画像であり、この支援用画像は表示画像とは異なる。支援用画像群は、表示画像とは少なくとも一部が異なっていればよい。即ち、支援用画像群は、表示画像を含まない画像群、又は、表示画像と第１〜第ｎの画像のうち１又は複数の画像とを含む画像群である。なお、図１では内視鏡装置１０が第２処理回路１２０を含む場合を例に説明したが、図１０において後述するように、内視鏡装置１０の外部に第２処理回路１２０を設けてもよい。即ち、内視鏡装置１０が第２処理回路１２０を内蔵しない場合にも本発明を適用できる。

本実施形態によれば、表示画像とは異なる支援用画像、又は、表示画像とは少なくとも一部が異なる支援用画像群が第２処理回路１２０へ入力され、第２処理回路が支援用画像又は支援用画像群から診断支援情報を抽出する。これにより、ＡＩ技術による診断支援情報の生成に用いる画像情報と、観察作業のための観察画像を形成するための画像情報とを、それぞれ最適な画像とすることができる。診断支援情報の生成では、最小限で最適な画像を選定できる。これにより、より高速でより効率的、かつ高精度で診断支援情報を生成することが期待できる。また、作業者に向けた観察画像の生成及び表示では、観察モード毎に最適な画像情報を選定している。このため、色再現性、及び画質、解像度、病変部のコントラストなどの、作業者が望む品質の画像を構築することが可能である。

なお、第１実施形態では表示用画像群と支援用画像群が異なるが、これに限定されず、支援用画像群は表示用画像群と同じであってもよい。表示画像は表示用画像群を合成したものなので、表示画像は表示用画像群の各画像とは異なったものである。このため、支援用画像群は表示用画像群と同じであっても、支援用画像群は表示画像そのものを含んでいない。例えば、後述する第３実施形態では、光量１におけるＧ画像、及びＡ画像、Ｒ画像が表示用画像群であり、それらを合成することで、ＲＢＩ画像を表示画像として生成する。この場合、支援用画像群として、Ｇ画像、及びＡ画像、Ｒ画像を採用し、３画像の各々を分離した状態でＡＩ処理へ入力する。即ち、３画像が合成されたＲＢＩ画像と、それらが分離した状態の支援用画像群とは異なるものである。

また本実施形態では、第１処理回路１１０は、第１表示モードが設定された場合において、第１表示用画像群に基づいて第１表示画像を生成し、第２表示モードが設定された場合において、第２表示用画像群に基づいて第２表示画像を生成する。第１、第２表示用画像群は、それぞれ、第１〜第ｎの画像から選択された画像群である。第２表示用画像群は第１表示用画像群とは異なる。第１処理回路１１０は、第１表示画像及び第２表示画像とは異なる支援用画像、又は第１表示画像及び第２表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路１２０へ出力する。

第１実施形態において、第１表示モードは通常光観察モードであり、第２表示モードはＮＢＩ観察モードである。即ち、第１表示画像は白色光画像であり、第２表示画像はＮＢＩ画像であり、第１表示用画像群は、Ｂ画像、及び光量１におけるＧ画像、Ａ画像、Ｒ画像であり、第２表示用画像群は、Ｖ画像及び光量２におけるＧ画像である。支援用画像群は、Ｖ画像及び光量１におけるＧ画像であり、白色光画像及びＮＢＩ画像とは異なっている。なお、支援用画像群は、第１表示画像及び第２表示画像とは少なくとも一部が異なっていればよい。

本実施形態によれば、複数の表示モードが設定可能である場合に、そのいずれの表示モードにおける表示画像とも異なる支援用画像又は支援用画像群が第２処理回路１２０へ入力される。このとき、いずれの表示モードにおいても支援用画像又は支援用画像群は同じである。これにより、表示モードに関わらず同じ画像又は画像群から診断支援情報を抽出し、それに基づく支援表示情報を表示部３００へ表示させることができる。即ち、表示モードによらずに支援表示情報の抽出に最適な画像又は画像群から診断支援情報を抽出できる。また、作業者が設定した表示モードに左右されずに、いつも同じ画像又は画像群から診断支援を行うことができる。なお、第１処理回路１１０は、第１表示モードが設定された場合において、第１表示画像とは異なる支援用画像、又は第１表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路１２０へ出力してもよい。即ち、第１表示モードにおいて、支援用画像が第２表示画像であってもよいし、支援用画像群が第２表示画像を含んでいてもよい。また第１処理回路１１０は、第２表示モードが設定された場合において、第２表示画像とは異なる支援用画像、又は第２表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路１２０へ出力してもよい。即ち、第２表示モードにおいて、支援用画像が第１表示画像であってもよいし、支援用画像群が第１表示画像を含んでいてもよい。このような場合であっても、上記と同様な作用効果が得られる。

また本実施形態では、支援用画像は、第１〜第ｎの画像のうちの１つの画像、又は第１〜第ｎの画像の一部に基づいて合成された画像、又は第１〜第ｎの画像に基づいて合成された画像である。支援用画像群は、第１〜第ｎの画像から選択された画像群である。

後述する第２実施形態では、ＩＲ画像が支援用画像である。この場合、支援用画像は、第１〜第ｎの画像のうちの１つの画像である。また、第１実施形態の変形例として、Ｖ画像、及び光量１におけるＧ画像を合成し、その合成画像を支援用画像としてもよい。この場合、支援用画像は、第１〜第ｎの画像のうち一部に基づいて合成された画像である。支援用画像は、第１〜第ｎの画像のうち全部に基づいて合成された画像であってもよい。また、第１実施形態では、Ｖ画像、及び光量１におけるＧ画像が支援用画像群である。この場合、支援用画像群は、第１〜第ｎの画像から選択された画像群である。また、後述する第３実施形態では、光量１におけるＧ画像、及びＡ画像、Ｒ画像が表示用画像群であり、支援用画像群も同一である。この場合も、支援用画像群は、第１〜第ｎの画像から選択された画像群である。

本実施形態によれば、ＡＩ技術による診断支援情報の生成に最適な画像又は画像群をＡＩ処理へ入力できる。また、観察画像を形成するために最適な画像群から表示画像を生成できる。

また本実施形態では、撮像部は、青色及び緑色、赤色のカラーフィルタを有する撮像素子を含む。ｍは４以上である。第１の光は、青色のカラーフィルタの透過波長帯域内にピーク波長を有し、第２の光は、緑色のカラーフィルタの透過波長帯域内にピーク波長を有し、第３の光は、赤色のカラーフィルタの透過波長帯域内にピーク波長を有する。第４の光は、青色のカラーフィルタ又は緑色のカラーフィルタ又は赤色のカラーフィルタの透過波長帯域内にピーク波長を有する。光源部１４０は、第１〜第４の光のうち同色のカラーフィルタを通過する光を、異なる撮像フレームにおいて射出する。

第１実施形態では、第１の光は波長λｂ＝４４５ｎｍの青色レーザ光であり、第２の光は波長λｃ＝５３２ｎｍの緑色レーザ光であり、第３の光は波長λｅ＝６３５ｎｍの赤色レーザ光である。第４の光は、例えば波長λａ＝４０５ｎｍの紫色レーザ光である。或いは、第４の光は、波長λｄ＝６００ｎｍのオレンジ色レーザ光であってもよい。或いは、第４の光は、波長λｃ＝５３２ｎｍの緑色レーザ光であり且つ第２の光とは光量が異なる光であってもよい。第１実施形態では、光源部１４０は、第１〜第３の光をＴ１とＴ２の間の撮像フレームにおいて射出し、第４の光をＴ２とＴ１’の間の撮像フレームにおいて射出する。

本実施形態によれば、撮像素子のＲＧＢフィルタによって分離可能な光が同時に射出され、同一のカラーフィルタを通過する光が異なる撮像フレームにおいて射出される。これにより、例えばベイヤ型等のＲＧＢフィルタを有するカラー撮像素子を用いて、第１〜第ｎの画像を出来るだけ短時間に撮像することが可能となる。即ち、第１〜第４の光を順次に発光させた場合には４つの撮像フレームが必要であるが、本実施形態では２つの撮像フレームでよくなる。このように、ＡＩ技術及び表示に用いる全ての画像を略同時に取得できる。これにより、診断支援情報で抽出した注目部位の位置及び輪郭は、略そのまま表示画像上での位置及び輪郭と対応している。従って複雑な位置合わせ技術等を用いることなく、診断支援情報を観察画像にスーパーインポーズするなど、重ね合わせ表示することができる。

また本実施形態では、光源部１４０は、第１の光と第２の光と第３の光とを、第１撮像フレームにおいて射出する。また光源部１４０は、第４の光を第２撮像フレームにおいて射出する。第２撮像フレームは、第１撮像フレームの次又は第１撮像フレームの前の撮像フレームである。即ち、第２撮像フレームは第１撮像フレームの直後又は直前において隣り合う撮像フレームである。

図５において、Ｔ１とＴ２の間の撮像フレームを第１撮像フレームとした場合、Ｔ２とＴ１’の間の撮像フレームが、第１撮像フレームの次の第２撮像フレームとなる。なお、第１実施形態では１周期に２つの撮像フレームを含むが、１周期に３以上の撮像フレームを含んでもよい。この場合、第１撮像フレームの次に第２撮像フレームがあってもよいし、第１撮像フレームの前に第２撮像フレームがあってもよい。例えば、後述する図８の発光シーケンスにおいて、Ｔ３からＴ１’の間の撮像フレームを第２撮像フレームとした場合、Ｔ１’とＴ２’の間の第１撮像フレームの前に第２撮像フレームが存在する。

本実施形態によれば、第１撮像フレームと、その第１撮像フレームの直後又は直前において隣り合う第２撮像フレームとにおいて、第１〜第ｎの画像が取得される。これにより、略同時に第１〜第ｎの画像を取得することができる。

また本実施形態では、第４の光は、青色のカラーフィルタ又は緑色のカラーフィルタ又は赤色のカラーフィルタの透過波長帯域よりも狭い波長帯域を有する狭帯域光である。また本実施形態では、ｎは４以上であり、表示用画像群は、第１〜第３の光に対応する第１〜第３の画像を含む。第１処理回路１１０が支援用画像を出力する場合、支援用画像は、第４の光に対応する第４の画像である。第１処理回路１１０が支援用画像群を出力する場合、支援用画像は、第４の光に対応する第４の画像を含む。

本実施形態によれば、狭帯域光によって撮像された第４の画像を第２処理回路１２０へ入力できる。狭帯域光は、その狭い波長帯域における被写体の情報のみを含んでいる。例えば、生体表面からどの程度の深さまで光が届くかは、光の波長に依存している。即ち、狭帯域光を用いることで、特定の深さの被写体像を得ることができる。取得しようとする診断支援情報の内容に応じて、狭帯域光の波長を選択することで、診断支援情報の抽出にとって適切な画像をＡＩ処理へ入力できる。

また本実施形態では、光源部１４０は、第１〜第４光源を含む。第１光源は第１の光を発生し、第１の光は、４３６〜４８０ｎｍの範囲内にピーク波長を有する。第２光源は第２の光を発生し、第２の光は、４８１〜５８５ｎｍの範囲内にピーク波長を有する。第３光源は第３の光を発生し、第３の光は、６１６〜７００ｎｍの範囲内にピーク波長を有する。第４光源は第４の光を発生し、第４の光は、４００〜４３５ｎｍの範囲内にピーク波長を有する。また光源部１４０は、第１〜第３光源を第１撮像フレームにおいて発光させ、第４光源を第２撮像フレームにおいて発光させる。

図１及び図５において、第１光源は光源ＬＤｂであり、第２光源は光源ＬＤｃであり、第３光源は光源ＬＤｅであり、第４光源は光源ＬＤａである。

本実施形態によれば、光源部１４０に第１〜第４光源を設けたことで、青色カラーフィルタの波長帯域内にピーク波長を有する第１の光と、緑色カラーフィルタの波長帯域内にピーク波長を有する第２の光と、赤色カラーフィルタの波長帯域内にピーク波長を有する第３の光と、青色カラーフィルタの波長帯域内にピーク波長を有する第４の光と、を射出できる。また、各光を独立した光源から射出することで、光源のオンオフ制御によって発光シーケンスを実現できる。例えばレーザ光源又はＬＥＤ等を用いた場合、光源をオフすることで、その光源の発光量をゼロにできる。即ち、オンした光源が射出する光のみの純度の高い光を照明光にできる。

また、紫色レーザ光を発生する第４光源を設けたことで、緑色レーザ光と合わせてＮＢＩ観察モードを実現できる。ＮＢＩ観察モードでは、粘膜表層の血管を高コントラストで観察できる。また、紫色レーザ光及び緑色レーザ光により撮像した画像群を支援用画像群とすることで、粘膜表層の血管が高コントラストで撮像された画像から診断支援情報を抽出できる。

また本実施形態では、光源部１４０は、第２撮像フレームにおいて、第１撮像フレームにおける第２光源の発光量とは異なる発光量で第２光源を発光させることで、第５の光を射出する。第１表示用画像群は、第１〜第３の光に対応する第１〜第３の画像を含む。第２表示用画像群は、第４の画像、及び、第５の光に対応する第５の画像を含む。支援用画像群は、第２の画像、及び、第４の光に対応する第４の画像像を含む。第１処理回路１１０は、第１表示モードが設定された場合において、第１表示用画像群に基づいて第１表示画像を生成し、支援用画像群を第２処理回路１２０へ出力する。また第１処理回路１１０は、第２表示モードが設定された場合において、第２表示用画像群に基づいて第２表示画像を生成し、支援用画像群を第２処理回路１２０へ出力する。

第１実施形態において、光源部１４０は、第１撮像フレームでは光量１で光源ＬＤｃを発光させ、第２撮像フレームでは光量２で光源ＬＤｃを発光させる。第２の光は、光量１における緑色レーザ光であり、第５の光は、光量２における緑色レーザ光である。第１処理回路１１０は、Ｖ画像、及び光量１におけるＧ画像を支援用画像群として第２処理回路１２０へ出力する。第１表示用画像群は、Ｂ画像、及び光量１におけるＧ画像、Ｒ画像である。第２表示用画像群は、Ｖ画像、及び光量２におけるＧ画像である。

本実施形態によれば、支援用画像群は、第１、第２表示用画像群のいずれとも一部が異なっている。即ち、表示画像を生成するために用いられる画像群とは少なくとも一部の画像が異なる支援用画像群がＡＩ処理へ入力され、その支援用画像群から診断支援情報が抽出される。

また本実施形態では、内視鏡装置１０は第２処理回路１２０を含む。第２処理回路１２０は、支援用画像群の各画像から診断支援情報を抽出する。

例えば、第２処理回路１２０は、各画像に関する診断支援情報を第１処理回路１１０へ出力できる。或いは、第２処理回路１２０は、各画像に関する診断支援情報に基づいて更に診断支援情報を抽出し、その診断支援情報を第１処理回路１１０へ出力できる。表示画像としては、人間にとって観察しやすくするために、例えばＲＧＢ画像を合成する必要がある。一方、ＡＩ処理においては、必ずしも合成画像を入力する必要はない。本実施形態によれば、各波長において撮影された個々の画像から診断支援情報を抽出できる。

また本実施形態では、内視鏡装置１０は、表示画像を表示する表示部３００を含む。診断支援情報は、被写体に含まれる注目部位の位置及び輪郭の少なくとも一方の情報を含む。第１処理回路１１０は、診断支援情報に基づいて、注目部位の位置及び輪郭の少なくとも一方を示す表示情報を表示画像に加える画像処理を行い、その表示画像を表示部３００へ出力する。表示情報は、上述した支援表示情報に相当する。

本実施形態によれば、注目部位の位置及び輪郭の少なくとも一方の情報を診断支援情報として抽出できる。そして、注目部位の位置及び輪郭の少なくとも一方を示す表示情報を作業者に提示することができる。このようにして、診断支援を実現できる。

また本実施形態では、第２処理回路１２０は、画像を含む診断支援情報を出力してもよい。即ち、第２処理回路１２０は、注目部位を抽出した場合に、その注目部位の位置情報と、その注目部位の画像とを診断支援情報として出力する。第１処理回路１１０は、その位置情報に基づいて、表示画像における注目部位の位置に、診断支援情報に含まれる注目部位の画像をスーパーインポーズする。

また本実施形態では、第２処理回路１２０は、支援用画像群の各画像から抽出された診断支援情報を比較し、その抽出状況に基づいて診断支援情報を分類し、その分類結果を診断支援情報として第１処理回路１１０へ出力してもよい。抽出状況は、例えば、同一の注目部位がすべての画像において抽出されたか、同一の注目部位が１枚の画像のみにおいて抽出されたか、注目部位が抽出された画像はどの波長の照明光により撮影されたものであるか、等である。分類は、例えば癌などの可能性の高低、又は、癌の浸潤度、癌のステージなどである。

また本実施形態では、第２処理回路１２０は、現在活用されている医学分類を用いて注目部位を分類し、その注目部位と分類結果と対応付けた情報を診断支援情報として抽出してもよい。医学分類は、一般に用いられている分類であり、例えばＴＮＭ分類、又はピットパターン分類、ＪＮＥＴ分類などである。ＴＮＭ分類は癌の進行度分類として広く遣われており、癌の深さ、リンパ節転移の有無とその範囲、遠隔転移の有無により、IＡ、IＢ、IIＡ、IIＢ、IIIＡ、IIIＢ、IIIＣ、IVの８段階に分類するものである。また、ピットパターン分類は、組織の表面微細構造をパターンとして認識し、分類したものであり、I型、II型、IIIＳ型、IIIＬ型、IV型、Ｖ型の６パターンに分類するものである。ＪＮＥＴ分類は、大腸腫瘍に対する組織、深達度などの質的診断を目的としたＮＢＩ拡大内視鏡所見統一分類で、Ｔｙｐｅ１、２Ａ、２Ｂ、３の４カテゴリーの分類である。これらの分類では、他臓器への転移の有無など画像だけでは判断できない分類も含まれているが、例えば、機械学習において、教師データとして画像と上記医学分類を対応付けて教育するなどにより、診断支援部が分類を行うか、または分類に属する可能性を診断支援情報として提供できる可能性がある。分類には、機械学習のほか、ＡＩによる既存のさまざまな手法が利用可能である。

３．第２実施形態
次に、第２実施形態について説明する。なお、第１実施形態と同じ内容についてはその説明を省略する。

図６は、内視鏡装置１０の第２構成例である。図６では、光源部１４０が、光源ＬＤａ〜ＬＤｆと駆動回路ＤＲａ〜ＤＲｆと光合波光学系１４１とを含む。第２実施形態は、光源部１４０が、赤外レーザ光を射出する光源ＬＤｆを備える点において第１実施形態と異なっている。

駆動回路ＤＲｆは光源ＬＤｆを駆動する。光合波光学系１４１は、光源ＬＤａ〜ＬＤｆが射出するレーザ光を合波し、その合波した光を導光路２１４へ入射させる。駆動回路ＤＲａ〜ＤＲｅの詳細は、第１実施形態における駆動回路ＤＲａ〜ＤＲｅと同様である。駆動回路ＤＲｆについても、第１実施形態における駆動回路ＤＲａ〜ＤＲｅの各々と同様の機能を有する。第１実施形態において光合波光学系１４１は５つのレーザ光を合波するが、第２実施形態では光合波光学系１４１は６つのレーザ光を合波する。合波方法は、第１実施形態における合波方法と同様である。

図７は、光源ＬＤａ〜ＬＤｆが射出するレーザ光の例である。光源ＬＤａ〜ＬＤｅが射出するレーザ光の波長は、図２と同じである。光源ＬＤｆは、波長λｆ＝７８０ｎｍの赤外レーザ光を射出する。波長７８０ｎｍの赤外レーザ光は、蛍光観察に用いられる。例えば、蛍光色素であるインドシアニングリーン（ＩＣＧ）は、７８０ｎｍ付近の赤外光を吸収し、８０５ｎｍ付近の蛍光を発する。インドシアニングリーンは、体内散布又は静脈注射等による蛍光観察用の薬剤として用いられている。

撮像ユニット２１３に含まれる撮像素子は、赤外に感度を有する画素を含む。即ち、撮像素子がＲ画素及びＧ画素、Ｂ画素を有し、そのＲ画素のフィルタが赤外を透過する。なお、後述するように、赤外に感度を有する画素、及び発光シーケンスとして種々の変形実施が考えられる。

次に第２実施形態における内視鏡装置１０の動作について説明する。図８は、第２実施形態における照明光の発光シーケンスである。図８においてＴ１等はタイミングを示す。以下、「タイミング」を省略してＴ１等と記載する。

図８に示すように、Ｔ１からＴ１’までの１周期において撮像動作を３回行う。即ち、１周期に撮像フレームが３フレーム含まれる。Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｂ、ＬＤｃ、ＬＤｅを発光させる。Ｔ２からＴ３までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｄを発光させる。Ｔ３からＴ１’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｆを発光させる。以降、同様の発光シーケンスを繰り返す。これにより、略同時に６枚の画像を取得できる。即ち、略同時にＶ画像、Ｂ画像、Ｇ画像、Ａ画像、Ｒ画像、ＩＲ画像を取得できる。

第１処理回路１１０は、診断支援用の画像としてＩＲ画像を選択し、そのＩＲ画像を診断支援部１２１へ出力する。診断支援部１２１は、ＩＲ画像に基づいて診断支援情報を抽出する。診断支援情報は、ＩＣＧによる蛍光発光の領域、又はその領域の輪郭、蛍光の明るさ、蛍光の分布に関する情報である。また、診断支援情報は、蛍光発光の領域と、その領域に隣接する領域との間のコントラストに関する情報である。これらの情報のうち１つの情報、又は複数の情報を組み合わせたものを診断支援情報として採用できる。

本実施形態において、診断支援部１２１は、ＩＲ画像のみに基づいて診断支援情報を抽出し、ＩＲ画像以外の５つの画像を用いない。通常光観察モード及びＮＢＩ観察モードのいずれにおいても、表示画像を合成するための画像とは異なる画像から診断支援情報が抽出される。

第１処理回路１１０は、Ｖ画像、Ｂ画像、Ｇ画像、Ａ画像、Ｒ画像を用いて表示画像を生成する。第１実施形態と異なり、第２実施形態では白色光画像にＶ画像が用いられる。Ｖ、Ｂ、Ｇ、Ａ、Ｒにおけるレーザ光の光量比は、表示画像が白色光画像となるホワイトバランスに設定されている。

Ｖ画像はＢ画像と比較して、表層の毛細血管をコントラスト良く表示する特性を有している。従って本実施形態による白色光画像は、第１実施形態によるＢ、Ｇ、Ａ、Ｒの４色による白色光画像と比較して、表層の毛細血管のコントラストが高い。第１処理回路１１０は、Ｖ画像＋Ｂ画像を合成して表示画像のＢチャンネルとし、Ｇ画像を表示画像のＧチャンネルとし、Ａ画像＋Ｒ画像を合成して表示画像のＲチャンネルとする。そして、第１処理回路１１０は、上記のＲＧＢチャンネルから構成される表示画像を表示部３００へ出力する。

表示部３００は、上記の白色光画像に対してＩＲ画像を重畳した画像を表示してもよい。例えば、作業者が入力部６００によりＩＲ重畳画像を選択した場合に、白色光画像に対してＩＲ画像を重畳した画像が表示部３００へ表示される。なお、蛍光画像の重畳の方法については、一般に知られているさまざまな画像重畳技術を用いることが可能である。

これにより、作業者は、蛍光の画像を視覚的に確認することができる。また、蛍光画像に基づく支援表示情報を表示画像に付加することができる。例えば、第１処理回路１１０は、第２処理回路１２０から診断支援情報を受信し、その診断支援情報に基づいて支援表示情報を表示画像に付加する。この場合、支援表示情報は、例えば蛍光領域の境界線、又は蛍光領域に重畳した視認性の高い色などである。第１処理回路１１０は、これらの支援表示情報を表示画像にスーパーインポーズする。

なお、上記ではＲＧＢカラーフィルタを有する撮像素子を用いる場合を例に説明したが、例えば撮像素子がＲ画素及びＧ画素、Ｂ画素に加えてＩＲ画素を有してもよい。ＩＲ画素にはＩＲフィルタが設けられ、ＩＲフィルタは、７８０ｎｍのレーザ光をほとんど透過せず、８０５ｎｍ付近の光を透過する。この場合、紫色レーザ光及びオレンジ色レーザ光と共に赤外レーザ光を発光させる。即ち、発光シーケンスの１周期において撮像動作を２回行う。Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｂ、ＬＤｃ、ＬＤｅを発光させる。Ｔ２からＴ１’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｄ、ＬＤｆを発光させる。

以上の実施形態によれば、ｍは４以上である。光源部１４０は、第１〜第４光源を含む。第１光源は第１の光を発生し、第１の光は、４３６〜４８０ｎｍの範囲内にピーク波長を有する。第２光源は第２の光を発生し、第２の光は、４８１〜５８５ｎｍの範囲内にピーク波長を有する。第３光源は第３の光を発生し、第３の光は、６１６〜７００ｎｍの範囲内にピーク波長を有する。第４光源は第４の光を発生し、第６の光は、７０１〜９９９ｎｍの範囲内にピーク波長を有する。

図６及び図８において、第１光源は光源ＬＤｂであり、第２光源は光源ＬＤｃであり、第３光源は光源ＬＤｅであり、第６光源は光源ＬＤｆである。

本実施形態によれば、赤外レーザ光を発生する第４光源を設けたことで、被写体の蛍光画像を撮影できる。ＩＣＧ等の薬剤に基づく蛍光画像を撮影できる。そして、その蛍光画像が第２処理回路１２０へ入力されることで、蛍光画像から診断支援情報を抽出できる。

また本実施形態では、光源部１４０は、第１光源及び第２光源、第３光源を、第１撮像フレームにおいて発光させ、第６光源を第２撮像フレームにおいて発光させる。ｎは４以上である。表示用画像群は、第１〜第３の光に対応する第１〜第３の画像を含む。支援用画像は、第６の光に対応する第６の画像である。

図８では、Ｔ１’とＴ２’の間の撮像フレームが第１撮像フレームであり、Ｔ３とＴ１’の間の撮像フレームが第２撮像フレームである。この場合、第２撮像フレームは第１撮像フレームの前である。なお、第１撮像フレームの次に第２撮像フレームがあってもよい。例えば、図８において、Ｔ２とＴ３の間に光源ＬＤｆが発光し、Ｔ３とＴ１’の間に光源ＬＤａ、ＬＤｄが発光してもよい。

本実施形態によれば、ＡＩ処理へ入力される支援用画像はＩＲ画像となる。１種類の画像のみをＡＩ処理のインプットにした場合、複数種類の画像から診断支援情報を抽出する場合に比べてＡＩ処理の負荷が小さくなる。

４．第３実施形態
次に、第３実施形態について説明する。なお、第１実施形態又は第２実施形態と同じ内容についてはその説明を省略する。

内視鏡装置１０の構成は図１と同じである。光源ＬＤａ〜ＬＤｅが射出するレーザ光の特性は図２に示す通りである。第３実施形態では、図５に示す発光シーケンスのうち、光量２における光源ＬＤｃの発光を行わない。即ち、Ｔ１からＴ１’までの１周期において撮像動作を２回行う。Ｔ１からＴ２までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤｂ、ＬＤｃ、ＬＤｅを発光させる。Ｔ２からＴ１’までのうち、撮像素子の読み出し期間を除いた期間において、照明光制御回路１５０は光源ＬＤａ、ＬＤｄを発光させる。以降、同様の発光シーケンスを繰り返す。これにより、略同時に５枚の画像を取得できる。即ち、略同時にＶ画像、Ｂ画像、光量１におけるＧ画像、Ａ画像、Ｒ画像を取得できる。

第１処理回路１１０は、Ｇ画像及びＡ画像、Ｒ画像の３枚を診断支援部１２１へ出力する。通常光観察モードにおける表示画像の生成手法は第１実施形態又は第２実施形態と同様である。ＲＢＩ観察モードにおいて、第１処理回路１１０は、Ｇ画像及びＡ画像、Ｒ画像を合成してＲＢＩ（Red Band Imaging）画像を生成し、そのＲＢＩ画像を表示画像として表示部３００へ出力する。ＲＢＩは、深部血管又は出血点を視認しやすい画像を提供する手法である。

診断支援部１２１は、Ｇ画像及びＡ画像、Ｒ画像の各々をＡＩ処理のインプットとして、診断支援情報を抽出する。ＲＢＩの表示画像を生成する際にはＧ画像及びＡ画像、Ｒ画像を合成するが、ＡＩ処理へは合成画像ではなくＧ画像及びＡ画像、Ｒ画像の各々を入力する。診断支援部１２１は、例えばＧ画像及びＡ画像、Ｒ画像の各々から注目部位を抽出する。或いは、診断支援部１２１は、Ａ画像とＲ画像を比較した結果に基づいて注目部位を抽出してもよい。

なお、上記では第１処理回路１１０は、Ｇ画像及びＡ画像、Ｒ画像の３枚を診断支援部１２１へ出力する場合を例に説明したが、第１処理回路１１０は、Ａ画像及びＲ画像の２枚を診断支援部１２１へ出力してもよい。

以上の実施形態によれば、ｍは４以上である。光源部１４０は、第１〜第４光源を含む。第１光源は第１の光を発生し、第１の光は、４３６〜４８０ｎｍの範囲内にピーク波長を有する。第２光源は第２の光を発生し、第２の光は、４８１〜５８５ｎｍの範囲内にピーク波長を有する。第３光源は第３の光を発生し、第３の光は、５８６〜６１５ｎｍの範囲内にピーク波長を有する。第５光源は第５の光を発生し、第５の光は、６１６〜７００ｎｍの範囲内にピーク波長を有する。

第３実施形態において、第１光源は光源ＬＤｂであり、第２光源は光源ＬＤｃであり、第３光源は光源ＬＤｄであり、第５光源は光源ＬＤｅである。

本実施形態によれば、オレンジ色レーザ光を発生する第３光源を設けたことで、緑色レーザ光及び赤色レーザ光と合わせてＲＢＩ観察モードを実現できる。ＲＢＩ観察モードでは、粘膜深部の血管或いは粘膜の出血点を高コントラストで観察できる。また、オレンジ色レーザ光及び緑色レーザ光、赤色レーザ光により撮像した画像群を支援用画像群とすることで、粘膜深部の血管或いは粘膜の出血点が高コントラストで撮像された画像群から診断支援情報を抽出できる。

また本実施形態では、光源部１４０は、第１光源及び第２光源、第３光源を、第１撮像フレームにおいて発光させ、第５光源を第２撮像フレームにおいて発光させる。ｎは４以上である。第１表示用画像群は、第１〜第３の光に対応する第１〜第３の画像を含む。第２表示用画像群は、第２〜第４の光に対応する第２〜第４の画像を含む。支援用画像群は、第３、第５の画像を含む。第１処理回路１１０は、第１表示モードが設定された場合において、第１表示用画像群を合成することで第１表示画像を生成し、支援用画像群を第２処理回路１２０へ出力する。また第１処理回路１１０は、第２表示モードが設定された場合において、第２表示用画像群を合成することで第２表示画像を生成し、支援用画像群を第２処理回路１２０へ出力する。

第３実施形態において、第２表示用画像群は、Ｇ画像及びＡ画像、Ｒ画像である。また支援用画像群も同一である。第２表示画像は、これら３画像を合成したものである。一方、これら３画像の各々が独立の画像として第２処理回路１２０へ入力される。即ち、第２処理回路１２０へ入力される支援用画像群は、第２表示用画像群とは異なる画像となっている。

５．第４実施形態
次に、第４実施形態について説明する。なお、第１〜第３実施形態と同じ内容についてはその説明を省略する。

第４実施形態では、観察時において録画された画像に基づいて、事後的に各観察モードにおける画像を表示する。画像は静止画及び動画のいずれであってもよい。

図９は、処理装置５００の構成例である。処理装置５００は、第１処理回路１１０と、記憶装置５１０と、入力部５２０と、を含む。また処理装置５００は、更に第２処理回路１２０を含んでもよい。処理装置５００の一例としては、ＰＣ（Personal Computer）又はタブレット、サーバ等の情報処理装置である。或いは、処理装置５００の他の一例としては、内視鏡装置１０の制御装置１００である。この場合、記憶装置５１０は制御装置１００に含まれ、入力部５２０は入力部６００に相当し、表示部５５０は表示部３００に相当する。

記憶装置５１０は、内視鏡装置１０が撮像した画像を記憶する。例えば第１実施形態を例にとると、６画像を記憶装置５１０が記憶する。即ち、Ｖ画像及びＢ画像、光量１におけるＧ画像、光量２におけるＧ画像、Ａ画像、Ｖ画像を記憶装置５１０が記憶する。処理装置５００がＰＣ等である場合、内視鏡装置１０からＵＳＢ又はネットワーク等を介して処理装置５００へ画像が転送され、その画像を記憶装置５１０が記憶する。或いは、処理装置５００が内視鏡装置１０の制御装置１００である場合、第１処理回路１１０が出力する画像を記憶装置５１０が記憶する。なお、ここでは第１実施形態において撮影される画像を記憶装置５１０が記憶する場合を例に説明したが、これに限定されず、第２実施形態又は第３実施形態において撮影される画像を記憶装置５１０が記憶してもよい。

作業者は入力部５２０により観察モードを選択する。例えば、処理装置５００は、記憶装置５１０に記憶されている画像群から構築可能な観察モードを選択肢として表示部５５０に表示させる。作業者は、入力部５２０により選択肢の中から所望の観察モードを選択する。入力部５２０としては、例えばポインティングデバイス又はキーボード、ボタン等の種々の操作装置を想定できる。また、処理装置５００が内視鏡装置１０の制御装置１００である場合、作業者が操作部２２０により観察モードを選択してもよい。

第１処理回路１１０は、選択された観察モードに基づいて表示画像を生成し、その表示画像を表示部５５０へ出力する。記憶装置５１０が上述の６画像を記憶している場合、例えば第１通常光観察モード、第２通常光観察モード、第３通常光観察モード、ＮＢＩ観察モード、ＲＢＩ観察モードを選択可能である。第１通常光観察モードでは、第１処理回路１１０は、Ｂ画像、及び光量１におけるＧ画像、Ａ画像、Ｒ画像から白色光画像を合成する。第２通常光観察モードでは、第１処理回路１１０は、Ｖ画像、及びＢ画像、光量１におけるＧ画像、Ａ画像、Ｒ画像から白色光画像を合成する。第３通常光観察モードでは、第１処理回路１１０は、Ｂ画像、及び光量１におけるＧ画像、Ｒ画像から白色光画像を合成する。ＮＢＩ観察モードでは、第１処理回路１１０は、Ｖ画像及び光量２におけるＧ画像からＮＢＩ画像を合成する。ＲＢＩ観察モードでは、第１処理回路１１０は、光量１におけるＧ画像、及びＡ画像、Ｒ画像からＲＢＩ画像を合成する。

なお、作業者が６画像から任意に組み合わせを選択し、第１処理回路１１０が、その組み合わせの表示画像を合成してもよい。

処理装置５００が情報処理装置である場合、例えば、内視鏡装置１０が行う画像処理と同等の処理を実行できる画像処理ソフトを情報処理装置へインストールしておく。そして、第１処理回路１１０が画像処理ソフトを実行することで、上述した画像処理を実現する。

処理装置５００が情報処理装置である場合、記憶装置５１０として、例えば半導体メモリ又はハードディスクドライブ、光学ドライブ等の種々の記憶装置を想定できる。或いは、記憶装置５１０からではなく、ネットワーク等のインフラを経由して画像データが処理装置５００へ入力されてもよい。例えば、内視鏡装置１０及び処理装置５００がネットワークに接続されており、内視鏡装置１０からネットワークを経由して処理装置５００が画像データを取得してもよい。

処理装置５００が第２処理回路１２０を含む場合には、更に診断支援情報を取得することが可能である。即ち、第１処理回路１１０が、診断支援情報を抽出するための画像を第２処理回路１２０へ出力する。第２処理回路１２０は、第１処理回路１１０から入力された画像に対してＡＩ処理を行うことで、診断支援情報を抽出し、その診断支援情報を第１処理回路１１０へ出力する。第１処理回路１１０は、診断支援情報に基づいて支援表示情報を表示画像へ付加し、その表示画像を表示部５５０へ出力する。診断支援情報を抽出する手法は、第１〜第３実施形態と同様である。

以上の実施形態によれば、処理装置５００は、第１〜第ｎの画像（ｎは２以上の整数）を記憶する記憶装置５１０と、記憶装置５１０から第１〜第ｎの画像を取得する第１処理回路１１０と、を含む。第１〜第ｎの画像の各々は、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）のうちいずれかの光に対応した画像である。第１処理回路１１０は、第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成する。第１処理回路１１０は、第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成し、表示画像とは異なる支援用画像、又は表示用画像を含まない支援用画像群を、第２処理回路１２０へ出力する。そして第１処理回路１１０は、診断支援情報を取得する。診断支援情報は、支援用画像又は支援用画像群に基づいて第２処理回路１２０が出力したものである。

本実施形態によれば、内視鏡装置１０によりリアルタイムに診察を行っているときだけでなく、事後的に観察画像を構築及び表示できる。また、リアルタイムに診察を行ったときの観察モードとは関係無く、事後的に行うときに所望の観察モードで画像を生成できる。例えば、事後に気づいた病変部を詳細に確認したり、別の作業者が画像確認したときに気になった部位を所望の観察モードで観察したりできる。また、後々病変であることがわかった場合、時間を遥か遡って所望の観察モードで観察しなおすことが可能である。例えば、新たに病変が発見された場合、前回の検診時のデータから特殊光画像を構築して状態を確認するなどが可能になる。また、処理装置５００が情報処理装置である場合には、内視鏡装置１０が無くても観察画像を構築及び表示できる。また、複数の観察者が異なる場所で観察やスクリーニング等の作業を行うことが可能となる。

６．第５実施形態
次に、第５実施形態について説明する。なお、第１〜第４実施形態と同じ内容についてはその説明を省略する。

図１０は、内視鏡システムの構成例である。内視鏡システムは、内視鏡装置１０と処理装置４００とを含む。第５実施形態では、内視鏡装置１０は第２処理回路１２０を含まず、内視鏡装置１０とは別に設けられた処理装置４００が第２処理回路１２０を含んでいる。処理装置４００は、例えばＰＣ又はサーバ等の情報処理装置である。また、処理装置４００は１つの情報処理装置に限定されず、例えばネットワークに接続されたクラウド処理システムであってもよい。

内視鏡装置１０の制御装置１００は、画像及び診断支援情報を通信するための図示しないインターフェースを有する。このインターフェースとしては種々の装置間インターフェースを採用できる。例えば、インターフェースは、ＵＳＢ又はＬＡＮ等の有線通信インターフェースであってもよいし、或いは無線ＬＡＮ等の無線通信インターフェースであってもよい。

なお、以上の第１〜第５実施形態によれば、略同時に画像を取得するため、異なる画像間の位置合わせを行わなくてよい。但し、本発明の適用対象は、これに限らない。複数の画像間において、一般的な画像認識や画像処理技術を用いた位置合わせを行っても良いことは無論である。位置合わせを行うことで、位置情報を含む診断支援情報を、より正確に提供することが可能となる。

また、以上の第１〜第５実施形態では、撮像した単色画像を第２処理回路１２０にインプットする例を説明した。但し、本発明の適用対象は、これに限らない。複数の画像を組み合わせた画像、たとえば、Ｖ画像と光量２のＧ画像を組み合わせたＮＢＩ画像を用いて診断支援情報を抽出しても良いことは無論である。このとき、表示画像は作業者が選択した画像を表示し、第１処理回路１１０は、それとは独立に診断支援に最適な画像を診断支援部１２１へ出力する。これにより、支援情報抽出に最適な画像を用いて支援情報を抽出し、また作業に最適な画像を用いて診断等の作業を行うことが可能となる。さらに、支援情報抽出に最適な画像を選択するとき、選択肢が増え、また他の内視鏡システムで撮像取得した画像を用いて診断支援情報を抽出することも可能となる。このとき、偶然、作業者が作業する画像と診断支援部１２１に最適な画像とが一致することはあるが、それぞれを独立に選択、設定可能にすることで、本発明の効果を享受できる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 内視鏡装置、１００ 制御装置、１１０ 第１処理回路、１２０ 第２処理回路、１２１ 診断支援部、１４０ 光源部、１４１ 光合波光学系、１５０ 照明光制御回路、２００ スコープ部、２１０ 挿入部、２１１ 照明レンズ、２１２ 照明レンズ、２１３ 撮像ユニット、２１４ 導光路、２１５ 画像信号線、２２０ 操作部、２３０ 接続ケーブル、２４０ コネクタ、３００ 表示部、３１０ 第１処理装置、４００ 処理装置、５００ 処理装置、５１０ 記憶装置、５２０ 入力部、５５０ 表示部、６００ 入力部、ＤＲａ〜ＤＲｆ 駆動回路、ＬＤａ〜ＬＤｆ 光源

Claims (20)

1. 被写体を撮像する撮像部と、
   前記被写体に対する照明光として、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）を射出する光源部と、
   前記撮像部からの画像信号に基づいて第１〜第ｎの画像（ｎは２以上の整数）を生成する第１処理回路と、
   を含み、
   前記第１〜第ｎの画像の各々は、前記第１〜第ｍの光のうちいずれかの光に対応した画像であり、
   前記第１処理回路は、
   前記第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成し、前記表示画像とは異なる支援用画像、又は前記表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路へ出力し、前記支援用画像又は前記支援用画像群に基づいて前記第２処理回路が出力した診断支援情報を、取得することを特徴とする内視鏡装置。
2. 請求項１において、
   前記第１処理回路は、
   第１表示モードが設定された場合において、第１表示用画像群に基づいて第１表示画像を生成し、第２表示モードが設定された場合において、第１表示用画像群とは異なる第２表示用画像群に基づいて第２表示画像を生成し、前記第１表示画像及び前記第２表示画像とは異なる前記支援用画像、又は前記第１表示画像及び前記第２表示画像とは少なくとも一部が異なる前記支援用画像群を、前記第２処理回路へ出力することを特徴とする内視鏡装置。
3. 請求項１において、
   前記第１処理回路は、
   第１表示モードが設定された場合において、前記第１〜第ｎの画像のうちの第１表示用画像群に基づいて第１表示画像を生成し、第２表示モードが設定された場合において、前記第１〜第ｎの画像のうちの第１表示用画像群とは異なる第２表示用画像群に基づいて第２表示画像を生成し、
   前記第１処理回路は、
   前記第１表示モードが設定された場合において、前記第１表示画像とは異なる前記支援用画像、又は前記第１表示画像とは少なくとも一部が異なる前記支援用画像群を、前記第２処理回路へ出力し、前記第２表示モードが設定された場合において、前記第２表示画像とは異なる前記支援用画像、又は前記第２表示画像とは少なくとも一部が異なる前記支援用画像群を、前記第２処理回路へ出力することを特徴とする内視鏡装置。
4. 請求項１において、
   前記支援用画像は、前記第１〜第ｎの画像のうちの１つの画像、又は第１〜第ｎの画像の一部に基づいて合成された画像、又は前記第１〜第ｎの画像に基づいて合成された画像であり、
   前記支援用画像群は、前記第１〜第ｎの画像のうちの画像群であって且つ前記表示用画像群から選択された画像群であることを特徴とする内視鏡装置。
5. 請求項１において、
   前記撮像部は、
   青色及び緑色、赤色のカラーフィルタを有する撮像素子を含み、
   ｍは４以上であり、
   前記第１の光は、前記青色のカラーフィルタの透過波長帯域内にピーク波長を有し、
   前記第２の光は、前記緑色のカラーフィルタの透過波長帯域内にピーク波長を有し、
   前記第３の光は、前記赤色のカラーフィルタの透過波長帯域内にピーク波長を有し、
   前記第４の光は、前記青色のカラーフィルタ又は前記緑色のカラーフィルタ又は前記赤色のカラーフィルタの透過波長帯域内にピーク波長を有し、
   前記光源部は、
   前記第１〜第４の光のうち同色の前記カラーフィルタを通過する光を、異なる撮像フレームにおいて射出することを特徴とする内視鏡装置。
6. 請求項５において、
   前記光源部は、
   前記第１の光と前記第２の光と前記第３の光とを、第１撮像フレームにおいて射出し、
   前記第４の光を、前記第１撮像フレームの次又は前記第１撮像フレームの前の第２撮像フレームにおいて射出することを特徴とする内視鏡装置。
7. 請求項５において、
   前記第４の光は、前記青色のカラーフィルタ又は前記緑色のカラーフィルタ又は前記赤色のカラーフィルタの透過波長帯域よりも狭い波長帯域を有する狭帯域光であることを特徴とする内視鏡装置。
8. 請求項７において、
   ｎは４以上であり、
   前記表示用画像群は、前記第１〜第３の光に対応する前記第１〜第３の画像を含み、
   前記第１処理回路が前記支援用画像を出力する場合、前記支援用画像は、前記第４の光に対応する前記第４の画像であり、
   前記第１処理回路が前記支援用画像群を出力する場合、前記支援用画像は、前記第４の光に対応する前記第４の画像を含むことを特徴とする内視鏡装置。
9. 請求項１において、
   ｍは４以上であり、
   前記光源部は、
   ４３６〜４８０ｎｍの範囲内にピーク波長を有する前記第１の光を発生する第１光源と、
   ４８１〜５８５ｎｍの範囲内にピーク波長を有する前記第２の光を発生する第２光源と、
   ６１６〜７００ｎｍの範囲内にピーク波長を有する前記第３の光を発生する第３光源と、
   ４００〜４３５ｎｍの範囲内にピーク波長を有する前記第４の光を発生する第４光源と、
   を含むことを特徴とする内視鏡装置。
10. 請求項９において、
    ｍは４以上であり、
    前記光源部は、
    前記第１〜第３光源を第１撮像フレームにおいて発光させ、前記第１撮像フレームの次又は前記第１撮像フレームの前の第２撮像フレームにおいて前記第４光源を発光させることを特徴とする内視鏡装置。
11. 請求項１０において、
    ｍは５以上であり、
    前記光源部は、
    前記第２撮像フレームにおいて、前記第１撮像フレームにおける前記第２光源の発光量とは異なる発光量で前記第２光源を発光させることで、前記第５の光を射出し、
    ｎは５以上であり、
    第１表示用画像群は、前記第１〜第３の光に対応する前記第１〜第３の画像を含み、
    第２表示用画像群は、前記第４の画像、及び、前記第５の光に対応する前記第５の画像を含み、
    前記支援用画像群は、前記第２の画像、及び、前記第４の光に対応する前記第４の画像像を含み、
    前記第１処理回路は、
    第１表示モードが設定された場合において、前記第１表示用画像群に基づいて第１表示画像を生成し、前記支援用画像群を前記第２処理回路へ出力し、
    第２表示モードが設定された場合において、前記第２表示用画像群に基づいて第２表示画像を生成し、前記支援用画像群を前記第２処理回路へ出力することを特徴とする内視鏡装置。
12. 請求項１において、
    ｍは４以上であり、
    前記光源部は、
    ４３６〜４８０ｎｍの範囲内にピーク波長を有する前記第１の光を発生する第１光源と、
    ４８１〜５８５ｎｍの範囲内にピーク波長を有する前記第２の光を発生する第２光源と、
    ５８６〜６１５ｎｍの範囲内にピーク波長を有する前記第３の光を発生する第３光源と、
    ６１６〜７００ｎｍの範囲内にピーク波長を有する前記第５の光を発生する第５光源と、
    を含むことを特徴とする内視鏡装置。
13. 請求項１２において、
    前記光源部は、
    前記第１光源及び前記第２光源、前記第３光源を、第１撮像フレームにおいて発光させ、前記第５光源を、前記第１撮像フレームの次又は前記第１撮像フレームの前の第２撮像フレームにおいて発光させ、
    ｎは４以上であり、
    第１表示用画像群は、前記第１〜第３の光に対応する前記第１〜第３の画像を含み、
    第２表示用画像群は、前記第２〜第４の光に対応する前記第２〜第４の画像を含み、
    前記支援用画像群は、前記第３、第５の画像を含み、
    前記第１処理回路は、
    第１表示モードが設定された場合において、前記第１表示用画像群を合成することで第１表示画像を生成し、前記支援用画像群を前記第２処理回路へ出力し、
    第２表示モードが設定された場合において、前記第２表示用画像群を合成することで第２表示画像を生成し、前記支援用画像群を前記第２処理回路へ出力することを特徴とする内視鏡装置。
14. 請求項１において、
    ｍは４以上であり、
    前記光源部は、
    ４３６〜４８０ｎｍの範囲内にピーク波長を有する前記第１の光を発生する第１光源と、
    ４８１〜５８５ｎｍの範囲内にピーク波長を有する前記第２の光を発生する第２光源と、
    ６１６〜７００ｎｍの範囲内にピーク波長を有する前記第３の光を発生する第３光源と、
    ７０１〜９９９ｎｍの範囲内にピーク波長を有する前記第６の光を発生する第６光源と、
    を含むことを特徴とする内視鏡装置。
15. 請求項１４において、
    前記光源部は、
    前記第１光源及び前記第２光源、前記第３光源を、第１撮像フレームにおいて発光させ、前記第６光源を、前記第１撮像フレームの次又は前記第１撮像フレームの前の第２撮像フレームにおいて発光させ、
    ｎは４以上であり、
    前記表示用画像群は、前記第１〜第３の光に対応する前記第１〜第３の画像を含み、
    前記支援用画像は、前記第６の光に対応する前記第６の画像であることを特徴とする内視鏡装置。
16. 請求項１において、
    前記第２処理回路を含み、
    前記第２処理回路は、
    前記支援用画像群の各画像から前記診断支援情報を抽出することを特徴とする内視鏡装置。
17. 請求項１において、
    前記表示画像を表示する表示部を含み、
    前記診断支援情報は、前記被写体に含まれる注目部位の位置及び輪郭の少なくとも一方の情報を含み、
    前記第１処理回路は、
    前記診断支援情報に基づいて、前記注目部位の位置及び輪郭の少なくとも一方を示す表示情報を前記表示画像に加える画像処理を行い、画像処理後の前記表示画像を前記表示部へ出力することを特徴とする内視鏡装置。
18. 第１〜第ｎの画像（ｎは２以上の整数）を記憶する記憶装置と、
    前記記憶装置から前記第１〜第ｎの画像を取得する第１処理回路と、
    を含み、
    前記第１〜第ｎの画像の各々は、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）のうちいずれかの光に対応した画像であり、
    前記第１処理回路は、
    前記第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成することを特徴とする処理装置。
19. 請求項１８において、
    前記第１処理回路は、
    前記表示画像とは異なる支援用画像、又は前記表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路へ出力し、前記支援用画像又は前記支援用画像群に基づいて前記第２処理回路が出力した診断支援情報を、取得することを特徴とする処理装置。
20. 第１処理回路が、各々の画像が、互いに色が異なる第１〜第ｍの光（ｍは２以上の整数）のうちいずれかの光に対応した画像である第１〜第ｎの画像（ｎは２以上の整数）を生成し、
    前記第１処理回路が、前記第１〜第ｎの画像のうちの表示用画像群に基づいて表示画像を生成し、
    前記第１処理回路が、前記表示画像とは異なる支援用画像、又は前記表示画像とは少なくとも一部が異なる支援用画像群を、第２処理回路へ出力し、
    前記第１処理回路が、前記支援用画像又は前記支援用画像群に基づいて前記第２処理回路が出力した診断支援情報を、取得することを特徴とする処理方法。

Images