JP7137684B2 - 内視鏡装置、プログラム、内視鏡装置の制御方法及び処理装置 - Google Patents

Description

本発明は、内視鏡装置、プログラム、内視鏡装置の制御方法及び処理装置等に関する。

医療用内視鏡分野において、ＡＩ技術の適用が検討されている。例えば、病変の発見又は診断に役立つ観察支援情報をＡＩ技術により抽出し、その観察支援情報を内視鏡モニターに表示する。このような技術は、例えば特許文献１に開示されている。特許文献１では、蛍光観察モードにおいて診断支援モードがオンに設定されている場合に、基準領域と注目領域における蛍光発光の状態を可視化し、その状態をモニター表示し、そのモニター表示された状態の経時変化によって診断支援をする。

また内視鏡装置において目的に合った画像が撮像できるように光源を制御する技術が知られている。このような技術は、例えば特許文献２、３に開示されている。特許文献２では、液晶レンズにより照明光の配光角を変化させることで、酸素飽和度等の生体機能情報を得る際の誤差を減少させる。特許文献３では、撮像光学系の瞳近傍に分光透過率分布を備えており、その分光透過率分布は、被写体からの戻り光のうち強調したい波長帯に対して瞳の面積が大きくなるような分布となっている。これにより、所望の深部組織情報をコントラスト良く観察できる。

国際公開第２０１６／０８４５０４号 特開２００６－１８１３８７号公報 特開２００３－２１５４６９号公報

上述した診断支援を行う内視鏡装置において、画像情報に基づいてＡＩ支援情報を精度よく又は適切に表示するという課題がある。例えば、内視鏡の観察目的は、病変の存在診断又は質的診断、範囲診断、処置支援など多岐にわたる。画像情報に基づいて、適切な照明に制御することで、内視鏡の観察目的により適したＡＩ支援情報の生成を可能とすることが望ましい。特許文献１などの従来技術では、支援情報をモニター表示することが開示されているが、画像情報に基づいて支援情報を最適化することは開示されていない。

本発明の幾つかの態様によれば、画像情報に基づいて照明光を最適化することで、診断支援情報の精度を向上できる、又は適切な診断支援情報を提示できる内視鏡装置及びプログラム等を提供できる。

本発明の一態様は、出射する照明光の分光特性及び光量、配光特性、照射タイミングのうち少なくとも１つを含む照明特性を変更可能な光源部と、前記照明光により照明された被写体を撮像し、画像信号を出力する撮像部と、診断又は処置を支援する支援情報に基づいて前記照明特性を設定する処理部と、を含み、前記処理部は、前記照明特性が第１照明特性であるとき、前記画像信号に基づいて生成された第１支援情報に基づいて、前記照明特性を第２照明特性に変更する内視鏡装置に関係する。

また本発明の他の態様は、照明光の分光特性及び光量、配光特性、照射タイミングのうち少なくとも１つを含む照明特性が第１照明特性であるとき、前記照明光により照明された被写体が撮像された画像信号に基づいて生成された、診断又は処置を支援する第１支援情報を取得し、前記第１支援情報に基づいて、前記照明特性を第２照明特性に変更するステップを、コンピュータに実行させるプログラムに関係する。

内視鏡装置の構成例。 存在診断モードにおける発光シーケンス及び撮像シーケンスを示す図。 表示画像の生成処理を説明する図。 ＮＢＩモードにおける発光シーケンス及び撮像シーケンスを示す図。 疑似染色モードにおける発光シーケンス及び撮像シーケンスを示す図。 存在診断モードから質的診断モードに切り替える際に処理部が行う処理の手順を示すフローチャート。 存在診断モードから質的診断モードに移行するか否かを判断する手法を説明する図。 質的診断モードにおける自動分類の一例。 ＵＣ炎症診断モードにおける発光シーケンス及び撮像シーケンスを示す図。 ＵＣ炎症診断モードにおける支援情報の表示例。 範囲診断モードにおける発光シーケンス及び撮像シーケンスを示す図。 範囲診断モードにおける表示画像の例。 出血点認識モードにおける発光シーケンス及び撮像シーケンスを示す図。 出血点認識モードにおける表示画像の例。 内視鏡システムの構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。例えば本明細書では消化器用内視鏡について説明するが、本明細書に開示される手法の適用対象はこれに限定されない。即ち、本明細書で言う内視鏡装置とは、様々な観察対象物の凹部内面を観察するための挿入部を備える機器一般を言うものとする。例えば、内視鏡装置には、腹腔又は関節等の外科手術に用いられる外科用内視鏡が含まれる。

１．内視鏡装置
図１は、本実施形態における内視鏡装置１０の構成例である。内視鏡装置１０は、制御装置１００とスコープ部２００と表示部３００と操作部６００とを含む。なお、制御装置１００を本体部とも呼ぶ。またスコープ部２００をスコープ、撮像部、撮像装置とも呼ぶ。また表示部３００をディスプレイ、表示装置とも呼ぶ。また操作部６００を操作パネル、操作装置とも呼ぶ。

まず内視鏡装置１０の構成について説明する。その後、観察目的に応じて照明光を最適化する手法を説明する。

スコープ部２００は、挿入部２１０とコネクタ２４０とにより構成されている。挿入部２１０は、可撓性を有しており、生体の体腔内に挿入可能である。生体の体腔は、本実施形態における被写体である。コネクタ２４０は、スコープ部２００の一端に設けられており、制御装置１００とスコープ部２００を着脱可能にする。

挿入部２１０の先端には、照明光を被写体に向けて出射する照明レンズ２１１と、被写体の表面から反射又は散乱された照明光を受光することで画像を撮像する撮像部２１３と、挿入部２１０の先端から被写体までの距離を測定する測距センサ２１５と、が配置されている。また挿入部２１０は、光源部１４０から出射される照明光を照明レンズ２１１まで導光するライトガイド２１４を、含む。

照明レンズ２１１は、ライトガイド２１４により導光された照明光を所望の放射角となるように広げる。なお図１では挿入部２１０の先端に１つの照明レンズが設けられているが、挿入部２１０の先端に複数の照明レンズが設けられてもよい。ライトガイド２１４は、例えば光ファイバ束である。撮像部２１３は、撮像光学系と撮像素子を有している。撮像素子は例えば原色型又は補色型のＣＭＯＳイメージャである。測距センサ２１５は、例えばＴＯＦ（Time Of Flight）方式の測距センサ、或いは超音波測距センサ等である。なお、測距センサの代わりに、撮像部２１３をステレオ光学系とすることで距離を測定してもよい。ＴＯＦ方式の測距センサを用いる場合、赤外光等の長波長の光を用いる場合がある。

なお、挿入部２１０には、図示を省略した種々の機能又は機構を搭載できる。例えば、挿入部２１０には、スコープ部２００を操作するためのスコープ操作部、又は、先端部を湾曲させるための湾曲機構、又は、鉗子等を挿入可能な鉗子孔、又は、処置に用いられる電気メス等の処置具、又は、液体及び気体を噴出及び吸引可能にするための送気送水管等を搭載できる。また、挿入部２１０に含まれる構成要素の一部が省略されてもよい。例えば、測距機能が用いられない実施形態においては、測距センサ２１５が省略されてもよい。

制御装置１００は、内視鏡装置１０の各部を制御したり、スコープ部２００によって撮像された画像に対する画像処理を行ったりする。制御装置１００は、光源部１４０と処理部１１０と記憶部１６０とを含む。

光源部１４０は、照明光を生成し、その照明光をライトガイド２１４に入射させる。光源部１４０は、種々の分光特性を有する照明光を発生可能である。具体的には、光源部１４０は、赤色光を出射する光源ＬＤＲと、アンバー光を出射する光源ＬＤＡと、緑色光を出射する光源ＬＤＧと、青色光を出射する光源ＬＤＢと、紫色光を出射する光源ＬＤＶと、レンズＬＮ１～ＬＮ６と、ダイクロイックミラーＤＣ１～ＤＣ４と、光センサＳＳ１～ＳＳ５と、光源駆動部１４１と、フィルタ部１４２と、を含む。なお光源部１４０の構成は図１に限定されない。例えば光センサが省略されてもよい。或いは、ダイクロイックミラーＤＣ１～ＤＣ４の代わりに、光ファイバによる光合波部が設けられてもよい。

光源ＬＤＲ、ＬＤＡ、ＬＤＧ、ＬＤＢ、ＬＤＶは、例えばＬＥＤ（Light Emitting Diode）又は半導体レーザである。光源ＬＤＲが出射する赤色光は、ピーク波長６３５ｎｍである。光源ＬＤＡが出射するアンバー光は、ピーク波長６００ｎｍである。光源ＬＤＧが出射する緑色光は、ピーク波長５３２ｎｍである。光源ＬＤＢが出射する青色光は、ピーク波長４４５ｎｍである。光源ＬＤＶが出射する紫色光は、ピーク波長４０５ｎｍである。これらの光は、例えば半値幅が数１０ｎｍの狭帯域光である。なお、各光源が出射する光はこれに限定されない。即ち、赤色光は波長領域６１５ｎｍ～６８０ｎｍにピーク波長を有していればよく、アンバー光は波長領域５８６ｎｍ～６１５ｎｍにピーク波長を有していればよく、緑色光は波長領域４９５ｎｍ～５８５ｎｍにピーク波長を有していればよく、青色光は波長領域４４０ｎｍ～４９５ｎｍにピーク波長を有していればよく、紫色光は波長領域４００ｎｍ～４４０ｎｍにピーク波長を有していればよい。また、各光はブロード光であってもよい。

レンズＬＮ１は、光源ＬＤＲが出射した光を、ダイクロイックミラーＤＣ１に入射させる。同様に、レンズＬＮ２、ＬＮ３、ＬＮ４、ＬＮ５は、光源ＬＤＡ、ＬＤＧ、ＬＤＢ、ＬＤＶが出射した光を、ダイクロイックミラーＤＣ１、ＤＣ２、ＤＣ３、ＤＣ４に入射させる。

ダイクロイックミラーＤＣ１は、光源ＬＤＲが出射した光を通過させ、光源ＬＤＡが出射した光を反射する。同様に、ダイクロイックミラーＤＣ２、ＤＣ３、ＤＣ４は、ダイクロイックミラーＤＣ１、ＤＣ２、ＤＣ３からの光を通過させ、光源ＬＤＧ、ＬＤＢ、ＬＤＶが出射した光を反射する。

フィルタ部１４２は、フィルタと通過部分が切り替え可能な構成となっている。フィルタは複数設けられてもよい。通過部分は、ダイクロイックミラーＤＣ４からの光を、分光特性を変えずにそのまま通過させる。フィルタは分光透過率特性を有しており、ダイクロイックミラーＤＣ４からの光のうち、分光透過率特性に対応した波長領域を通過させる。光源ＬＤＲ、ＬＤＡ、ＬＤＧ、ＬＤＢ、ＬＤＶは、それらのうち任意の１又は複数の光源が発光可能なように構成されている。これら５光源のうち発光させる光源が選択されること、及びフィルタ部１４２のフィルタが選択されることによって、所望の分光特性を有する照明光が実現される。

レンズＬＮ６は、フィルタ部１４２を通過した光を、ライトガイド２１４に入射させる。

光源駆動部１４１は、光源制御部１５１により制御され、その制御に基づいて光源ＬＤＲ、ＬＤＡ、ＬＤＧ、ＬＤＢ、ＬＤＶを駆動する。光源制御部１５１については後述する。例えば光源ＬＤＲ、ＬＤＡ、ＬＤＧ、ＬＤＢ、ＬＤＶがＬＥＤ又は半導体レーザである場合、光源駆動部１４１は、各光源に駆動電流を出力することで各光源を発光させる。

光センサＳＳ１、ＳＳ２、ＳＳ３、ＳＳ４、ＳＳ５は、それぞれ光源ＬＤＲ、ＬＤＡ、ＬＤＧ、ＬＤＢ、ＬＤＶからの漏れ光を検出できる位置に配置されている。漏れ光とは、レンズＬＮ１～ＬＮ５に入射する光路でない部分に出射された光のことである。

処理部１１０は、画像生成部１１１と支援情報生成部１２１と光源制御部１５１とを含む。処理部１１０を実現するハードウェアは種々想定できる。例えば、画像生成部１１１と支援情報生成部１２１と光源制御部１５１は１つのプロセッサ又はＡＳＩＣ（Application Specific Integrated Circuit）で構成されてもよいし、各々が個別のプロセッサ又はＡＳＩＣで構成されてもよい。或いは、画像生成部１１１と支援情報生成部１２１など、２つの構成要素が１つのプロセッサ又はＡＳＩＣで構成されてもよい。

画像生成部１１１は、撮像部２１３からの画像信号に基づいて表示画像を生成する。具体的には、光源部１４０は、表示画像を撮像するための表示用照明光と、支援情報を生成するための支援用照明光と、を時分割に出射する。画像生成部１１１は、表示用照明光が被写体に照射されたときに撮像された画像信号から表示画像を生成する。画像生成部１１１は、例えば画像信号を補間処理してＲＧＢ画像を生成する処理、又はホワイトバランス処理、又は階調変換処理等の画像処理を行う。また画像生成部１１１は、支援情報生成部１２１が生成した支援情報に基づく表示内容を表示画像にスーパーインポーズし、その表示画像を表示部３００に出力する。

表示部３００は、例えば液晶ディスプレイ等の表示装置である。表示部３００は、画像生成部１１１が出力した表示画像を表示する。これにより、表示用照明光によって撮像された画像と、それにスーパーインポーズされた支援情報とが、内視鏡装置１０のユーザーに提示される。

支援情報生成部１２１は、支援用照明光が被写体に照射されたときに撮像された画像信号から支援情報を生成する。支援情報は、内視鏡装置１０を用いる医師が行う診断又は処置を支援するための情報である。支援情報生成部１２１は、ＡＩ（Artificial Intelligence）による推論処理を行う。即ち、支援情報生成部１２１は、入力された画像信号から推論処理により支援情報を抽出する。ＡＩとしては、種々の画像認識手法又は機械学習手法を採用できる。機械学習は、学習結果に基づいて種々の推論を行う処理である。代表的なＡＩとしてニューラルネットワークがあるが、これに限定されず、本実施形態におけるＡＩとして既知の様々な機械学習の手法を採用できる。

記憶部１６０は、例えば半導体メモリ、或いはハードディスクドライブ等の記憶装置である。記憶部１６０は、学習済みモデルの情報を記憶している。支援情報生成部１２１は、学習済みモデルに基づいて上記ＡＩによる推論処理を行う。推論処理を実行する支援情報生成部１２１のハードウェアとしては種々想定できる。例えば、支援情報生成部１２１はＣＰＵ等の汎用プロセッサである。この場合、記憶部１６０は、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を学習済みモデルの情報として記憶する。或いは、支援情報生成部１２１は、推論アルゴリズムがハードウェア化された専用プロセッサであってもよい。この場合、記憶部１６０は、推論アルゴリズムに用いられるパラメータを学習済みモデルの情報として記憶する。

推論アルゴリズムはニューラルネットワークである。ニューラルネットワークは、データを入力する入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいてデータを出力する出力層と、を備えている。入力層に含まれるノードと中間層に含まれるノードが接続されており、中間層に含まれるノードと出力層に含まれるノードが接続されている。このノード間接続の重み係数が、上記のパラメータに相当する。

光源制御部１５１は照明光の分光特性を制御する。即ち、光源制御部１５１は、光源駆動部１４１に対して制御信号を出力することで、各光源を発光又は消灯させ、或いは各光源の発光量を制御する。また光源制御部１５１はフィルタ部１４２を制御することで、照明光の分光特性を制御する。また光源制御部１５１は所定の発光シーケンスに従って、各光源の発光タイミングを制御する。また光源制御部１５１は、光センサＳＳ１～ＳＳ５の出力信号に基づいて、光源ＬＤＲ、ＬＤＡ、ＬＤＧ、ＬＤＢ、ＬＤＶの発光量が所望値となるようにフィードバック制御する。

光源制御部１５１は、上記制御により光源部１４０に表示用照明光と支援用照明光とを時分割に発光させる。内視鏡装置１０は、存在診断モードと質的診断モードと処置支援モードとを有する。各モードの詳細は後述する。存在診断モードと質的診断モードと処置支援モードでは、支援用照明光の分光特性が異なっている。即ち、光源制御部１５１は、設定されたモードに対応した分光特性の支援用照明光を発生させるように光源部１４０を制御する。光源制御部１５１はモード判定部１５２を含み、モード判定部１５２は、支援情報生成部１２１が生成した支援情報に基づいて判断モードの切り替えを行う。なお図１ではモード判定部１５２が光源制御部１５１に含まれるが、モード判定部１５２は光源制御部１５１の外に設けられてもよい。或いは、操作部６００から入力された情報に基づいて判断モードが切り替えられてもよい。操作部６００は、医師等のユーザーが内視鏡装置１０を操作するための装置である。例えば、操作部６００は、ボタン、又はダイヤル、フットスイッチ、タッチパネル等である。

判断モードは、支援情報生成部１２１が支援情報を生成する際の判断基準に対応したモードである。即ち、第１判断モードの支援情報生成部１２１は、第１判断基準によって支援情報を生成し、第１判断モードと異なる第２判断モードの支援情報生成部１２１は、第１判断基準とは異なる第２判断基準によって支援情報を生成する。各判断モードの判断基準は、その判断モードの観察目的に対応したものであればよい。即ち、提示が求められる支援情報は観察目的によって異なるが、その観察目的に応じた支援情報が画像情報から抽出される判断基準を、採用すればよい。例えば、処理部１１０が、画像情報に基づいて判断モードを推測し、その推測した判断モードを設定してもよい。判断モードが設定されることで、支援情報を生成する際の判断基準が設定される。以下、第１判断モードが存在診断モードであり、第２判断モードが質的診断モードである場合を例に説明する。但し、存在診断モードや質的診断は、内視鏡の観察時にドクターの観察モードに応じて、設定された判断モードの例であるが、他の予め定められた判断モードでもよい。また、以下では各判断モードに対応した学習済みモデルが用いられるが、これに限定されず、判断モードに応じて判断基準が異なる処理になっていればよい。

支援情報は、各判断モードに対応した学習済みモデルによって生成される。即ち、記憶部１６０は、存在診断モードに対応した学習済みモデルの情報と、質的診断モードに対応した学習済みモデルの情報と、処置支援モードに対応した学習済みモデルの情報と、を記憶している。そして支援情報生成部１２１は、設定された判断モードに対応した学習済みモデルに基づく推論処理により、画像信号から支援情報を生成する。各判断モードの学習済みモデルは、例えば下記のようにして学習されている。以下、存在診断モードを例に説明するが、質的診断モード、処置支援モードについても同様な手法で学習される。

教師データは、存在診断モードの支援用照明光で撮影された画像と、その画像に対して医師等のエキスパートが付したアノテーション情報である。アノテーション情報は、支援情報として表示させたい情報であり、存在診断モードにおいては例えば病変部の位置又は輪郭を示す情報等である。画像とアノテーション情報のセットが複数用意され、それらが教師データとなる。教師データのうち画像が推論アルゴリズムに入力され、推論アルゴリズムが画像から支援情報を推論する。そして、支援情報とアノテーション情報が近づくように、推論アルゴリズムのパラメータに対してフィードバックを行う。画像とアノテーション情報の複数のセットを用いて、上記フィードバックを繰り返すことで学習が行われる。

学習処理を実行する環境は種々想定できる。例えば内視鏡装置１０の処理部１１０が学習処理を実行し、それによって生成された学習済みモデルの情報が記憶部１６０に書き込まれてもよい。或いは、ＰＣ（Personal Computer）等の情報処理装置が学習処理を実行し、それによって生成された学習済みモデルの情報が内視鏡装置１０の記憶部１６０に書き込まれてもよい。

なお本明細書において「病変」とは、病変の可能性があると支援情報生成部１２１により検出された部位のことであり、実際に病変であるか否かは医師が判断する。即ち、支援情報生成部１２１が検出した「病変」は病変候補のことである。本明細書において、病変候補を単に病変又は病変部とも記載している。

２．第１実施形態
以下、観察目的に応じて照明光を最適化する手法を説明する。第１実施形態では、支援情報に基づいて存在診断モードから質的診断モードに自動的に切り替えが行われる。上述したように表示用照明光と支援用照明光とが時分割に出射されるが、存在診断モードと質的診断モードの各々において、支援用照明光が最適な分光特性に設定される。

まず各モードにおける発光シーケンス及び撮像シーケンスについて説明する。また支援情報の内容と支援情報の表示手法等について説明する。

図２は、存在診断モードにおける発光シーケンス及び撮像シーケンスを示す図である。撮像素子の駆動シーケンスにおいて、画像信号が読み出される読み出し期間Ｔｒｄと、被写体が撮像される露出期間ＴＥとが繰り返される。フレームレート６０Ｈｚで表示画像を表示させる場合、期間Ｔｒｄ、ＴＥの繰り返しレートは１２０Ｈｚである。

光源制御部１５１は、露出期間ＴＥに対応した期間ＴＨ、ＴＡＩにおいて光源部１４０から照明光を出射させる。期間ＴＨにおいて、光源制御部１５１は、表示用照明光として白色光Ｗを光源部１４０から出射させる。白色光は表示用照明光である。期間ＴＡＩにおいて、光源制御部１５１は、支援用照明光としてアンバー光Ａ及び紫色光Ｖを光源部１４０から出射させる。光源制御部１５１は、白色光と、アンバー光Ａ及び紫色光Ｖとを、交互に光源部１４０から出射させる。

紫色光は、粘膜の表層血管又は腺管構造の特徴を取得するのに適した光である。アンバー光は、粘膜の深部血管又は発赤、炎症等の特徴を取得するのに適した光である。即ち、支援情報生成部１２１は、粘膜の表層血管又は腺管構造の特徴に基づいて検出可能な病変、或いは、粘膜の深部血管又は発赤、炎症等の特徴に基づいて検出可能な病変を、支援情報として検出する。存在診断モードでは、紫色光及びアンバー光を用いることで、癌及び炎症性疾患等、幅広い病変の存在を検出することが可能となっている。

図３は、表示画像の生成処理を説明する図である。画像生成部１１１は、図２の期間ＴＨにおいて撮像された画像信号から通常画像を生成する。通常画像は白色光画像である。

また画像生成部１１１は、図２の期間ＴＡＩにおいて撮像された画像信号から支援用画像を生成する。支援用画像は、アンバー光及び紫色光で照明された被写体が撮像された画像である。支援情報生成部１２１は、支援用画像から支援情報を生成する。図３において、支援用画像の左下に示すハッチング部分が病変であり、その輪郭が支援情報として検出される。図３では病変の輪郭を点線で示している。なお画像生成部１１１が支援用画像を生成せずに、期間ＴＡＩにおいて撮像された画像信号が直接に支援情報生成部１２１に入力されてもよい。

画像生成部１１１は、通常画像を表示画像とし、更に病変の輪郭を示す表示を表示画像にスーパーインポーズする。この支援情報が加えられた表示画像が表示部３００に表示される。内視鏡装置１０を用いる医師等は、この表示画像を見ることで、病変候補の位置又は輪郭等を認識することができる。医師等は、通常画像において病変がどのように見えるのかを経験又は学習によって習得している。このため、通常画像を表示画像とし、それに支援情報を加えることによって、医師が病変を観察及び診断しやすくなる。

次に質的診断モードにおける発光シーケンス等を説明する。質的診断モードとして複数の診断モードを設けることが可能である。第１実施形態では、ＮＢＩ（Narrow Band Imaging）モードと疑似染色モードが設けられている。

図４は、ＮＢＩモードにおける発光シーケンス及び撮像シーケンスを示す図である。なお図２と同じ内容について説明を省略する。

ＮＢＩモードでは、期間ＴＡＩにおいて光源制御部１５１は紫色光Ｖ及び緑色光Ｇを光源部１４０から出射させる。紫色光Ｖと緑色光Ｇの組み合わせはＮＢＩに用いられるものである。但し、紫色光Ｖと緑色光Ｇの光量比は、ＡＩによる推論処理にとって適切なものであればよく、通常のＮＢＩにおける光量比である必要はない。

ＮＢＩモード等の質的診断モードにおける支援情報は、存在診断モードにおいて検出された病変に関する質的な支援情報である。質的な支援情報は、例えば病変の進行度、又は症状の程度、病変の範囲、又は病変と正常部位の境界等、病変の診断に用いられる種々の情報を想定できる。例えば、学会等が策定した分類基準に沿った分類を学習済みモデルに学習させ、その学習済みモデルによる分類結果を支援情報としてもよい。

ＮＢＩモードでは、支援情報生成部１２１は、ＮＢＩモードに対応した学習済みモデルに基づく処理により質的な支援情報を生成する。ＮＢＩモードにおける質的な支援情報は、各種のＮＢＩ分類基準に従って分類された分類結果である。ＮＢＩ分類基準としては、例えば胃の病変分類基準であるＶＳclassification、又は大腸の病変分類基準であるＪＮＥＴ、ＮＩＣＥ分類、ＥＣ分類等がある。

図５は、疑似染色モードにおける発光シーケンス及び撮像シーケンスを示す図である。なお図２等と同じ内容について説明を省略する。

疑似染色モードでは、期間ＴＡＩにおいて処理部１１０が測距センサ２１５を用いて被写体を測距する。具体的には、処理部１１０は、測距により被写体表面の凹凸情報を取得する。凹凸情報は例えば深度マップ等である。支援情報生成部１２１は、測距結果に基づいて支援情報を生成する。支援情報は、疑似染色を示す情報であり、例えば各画素における染色の濃淡を示す情報である。薬剤散布による染色では、被写体表面の凹部が濃く染色される。支援情報生成部１２１は、薬剤散布による染色を再現するような疑似染色の支援情報を生成する。

画像生成部１１１は、表示用照明光を用いて撮像された通常画像を、支援情報に基づいて染色処理することで、表示画像を生成する。即ち、画像生成部１１１は、支援情報が示す各画素の濃淡に従って、各画素に色を加算する。例えばインジゴカルミンの疑似染色では、インジゴカルミンを模した青色により疑似染色を行う。

支援情報生成部１２１は、支援情報に基づいて染色処理された表示画像から、質的な支援情報を生成する。疑似染色モードに対応した学習済みモデルは、染色処理された画像と、その画像に対して医師等のエキスパートが付したアノテーション情報とを教師データとして、学習されている。支援情報生成部１２１は、その学習済みモデルを用いて疑似染色画像から支援情報を生成する。アノテーションに際しては、色素散布による染色を用いた種々の分類基準を用いることができる。支援情報生成部１２１が生成する支援情報は、学習に用いられた分類基準に沿った分類結果である。

次に、支援情報に基づいて存在診断モードから質的診断モードに自動的に切り替える手法を説明する。図６は、存在診断モードから質的診断モードに切り替える際に処理部１１０が行う処理の手順を示すフローチャートである。

ステップＳ１において、モード判定部１５２は存在診断モードを設定する。光源制御部１５１は、白色光と、アンバー光Ａ及び紫色光Ｖとを、時分割に光源部１４０から出射させる。支援情報生成部１２１は、存在診断モードに対応した学習済みモデルに基づく処理により支援情報を生成する。

次にステップＳ２において、モード判定部１５２は、支援情報が示す病変が注目エリア内において所定面積以上であるか否かを判断する。病変が所定面積以上である場合には、ステップＳ３においてモード判定部１５２は質的診断モードのうちＮＢＩモードを設定する。病変が所定面積以上でない場合には、ステップＳ１に戻る。

図７は、存在診断モードから質的診断モードに移行するか否かを判断する手法を説明する図である。ＩＭＧは存在診断モードにおいて撮像された画像であり、その画像内のハッチングは管腔状の被写体を模式的に示すものである。ＩＭＧ内の右上が管腔の奥であり、左下に行くほど壁面と撮像部の距離が近くなっている。支援情報生成部１２１が、ＩＭＧの下部、即ち管腔の壁面に病変ＢＹＨを検出したとする。実線の楕円は、支援情報生成部１２１が生成した支援情報であり、ここでは病変ＢＹＨの輪郭である。

ＡＴＡは注目エリアである。例えば、内視鏡装置１０を操作する医師が操作部６００を用いて注目エリアを設定してもよい。注目エリアＡＴＡは画像ＩＭＧ内において任意の位置及び面積に設定可能である。図７では画像ＩＭＧの下部領域に注目エリアＡＴＡが設定されている。モード判定部１５２は、注目エリアＡＴＡ内において病変ＢＹＨの面積を求め、その面積が所定値以上であるか否かを判断する。例えば、モード判定部１５２は、注目エリアＡＴＡと病変ＢＹＨとが重なっている部分の画素数をカウントする。モード判定部１５２は、その画素数が所定値以上であるか否かを判断する。或いは、モード判定部１５２は、カウントした画素数と、注目エリアＡＴＡの画素数との比を求め、その比が所定値以上であるか否かを判断する。モード判定部１５２は、病変ＢＹＨの面積が所定値以上であると判断したとき、存在診断モードから質的診断モードのＮＢＩモードに移行させる。例えば、内視鏡装置１０を操作する医師が操作部６００を用いて、面積判定のための所定値を設定してもよい。

ステップＳ３のＮＢＩモードにおいて、光源制御部１５１は、白色光Ｗと、紫色光Ｖ及び緑色光Ｇとを、時分割に光源部１４０から出射させる。支援情報生成部１２１は、ＮＢＩモードに対応した学習済みモデルに基づく処理により支援情報を生成する。支援情報生成部１２１は、存在診断モードにおいて検出した病変に関する質的な支援情報を生成する。

次にステップＳ４において、モード判定部１５２は、支援情報生成部１２１が生成した質的な支援情報に基づいて、更に精査が必要か否かを判断する。精査が必要でないと判断された場合、ステップＳ２に戻る。精査が必要であると判断された場合、ステップＳ５においてモード判定部１５２は質的診断モードのうち疑似染色モードを設定する。

疑似染色モードにおいて、白色光Ｗによる照明と測距とが、時分割に行われる。支援情報生成部１２１は、疑似染色モードに対応した学習済みモデルに基づく処理により支援情報を生成する。画像生成部１１１は、支援情報に基づいて表示画像に染色処理を行う。支援情報生成部１２１は、支援情報に基づいて染色処理された表示画像から、質的な支援情報を生成する。即ち、染色を用いた分類基準に沿った病変の分類結果が、支援情報として生成される。

次にステップＳ６において、ステップＳ５で検出された病変が注目エリア内において所定面積以上であるか否かを判断する。判断手法はステップＳ２と同じである。病変が所定面積以上である場合には、ステップＳ５に戻る。病変が所定面積以上でない場合には、ステップＳ１に戻る。

図８は、質的診断モードにおける自動分類の一例を示す。図８には、ＪＮＥＴ分類基準を用いた自動分類のフローを示す。このフローは図６のステップＳ３～Ｓ５において実行される。

学習段階においては、ＪＮＥＴに基づいて医師が画像に分類結果をタグ付けする。即ち、医師等は、ポインティングデバイス等を用いて、画像に含まれる病変部分を囲む等することで、病変の位置又は輪郭と、その病変の分類とをタグ付けする。そして、そのタグ情報と画像とを教師データとして学習済みモデルが生成される。内視鏡装置を用いた診断時には、上記学習済みモデルにより推論処理が行われることで以下の自動分類が実現される。即ち、推論処理によって、病変の位置又は輪郭と、その病変の分類とが支援情報として生成される。

図８に示すように、ＮＢＩモードにおいて、支援情報生成部１２１は、存在診断モードにおいて検出された病変をＴｙｐｅ１、Ｔｙｐｅ２Ａ、Ｔｙｐｅ２Ｂ、Ｔｙｐｅ３に分類する。これらのＴｙｐｅは粘膜の血管パターン及び粘膜の表面構造によって特徴付けられた分類である。支援情報生成部１２１は、病変がＴｙｐｅ１である確率と、病変がＴｙｐｅ２Ａである確率と、病変がＴｙｐｅ２Ｂである確率と、病変がＴｙｐｅ３である確率と、を出力する。なお、最終的な分類結果だけでなく、この段階における分類結果を文字等で表示画像に表示させるようにしてもよい。

支援情報生成部１２１は、ＮＢＩモードにおける分類結果に基づいて、病変の判別が困難であるか否かを判断する。

即ち、Ｔｙｐｅ１、Ｔｙｐｅ２Ａである確率が同程度である場合、支援情報生成部１２１は、判別困難であると判断する。この場合、モード判定部１５２は、インジゴカルミン染色を疑似的に再現する疑似染色モードを設定する。この疑似染色モードにおいて、支援情報生成部１２１は疑似染色画像に基づいて病変を過形成性ポリープ又は低異型度粘膜内腫瘍に分類する。これらの分類は、インジゴカルミン染色画像におけるピットパターンによって特徴付けられた分類である。一方、Ｔｙｐｅ１である確率がしきい値以上である場合には、支援情報生成部１２１は病変を過形成性ポリープに分類し、モード判定部１５２は疑似染色モードに移行させない。またＴｙｐｅ２Ａである確率がしきい値以上である場合には、支援情報生成部１２１は病変を過形成性ポリープに分類し、モード判定部１５２は疑似染色モードに移行させない。

Ｔｙｐｅ２Ａ、Ｔｙｐｅ２Ｂである確率が同程度である場合、支援情報生成部１２１は、判別困難であると判断する。この場合、モード判定部１５２は、クリスタルバイオレット染色を疑似的に再現する疑似染色モードを設定する。この疑似染色モードにおいて、支援情報生成部１２１は疑似染色画像に基づいて病変を低異型度粘膜内腫瘍又は高異型度粘膜内腫瘍又は粘膜下層軽度浸潤癌に分類する。これらの分類は、クリスタルバイオレット染色画像におけるピットパターンによって特徴付けられた分類である。

以下、詳細は省略するが、Ｔｙｐｅ２Ｂと判断された場合には、クリスタルバイオレット染色を疑似的に再現する疑似染色モードが設定され、病変が高異型度粘膜内腫瘍又は粘膜下層軽度浸潤癌に分類される。Ｔｙｐｅ２Ｂ、Ｔｙｐｅ３が判別困難である場合には、クリスタルバイオレット染色を疑似的に再現する疑似染色モードが設定され、病変が高異型度粘膜内腫瘍又は粘膜下層軽度浸潤癌又は粘膜下層深部浸潤癌に分類される。Ｔｙｐｅ２Ｂと判断された場合には、病変が粘膜下層深部浸潤癌に分類され、疑似染色モードに設定に移行されない。

画像生成部１１１は、上記分類結果と、検出された病変の位置又は輪郭を支援情報として表示画像に加え、その表示画像を表示部３００に表示させる。

なお第１実施形態ではモードに応じて支援用照明光の分光特性を変化させているが、これに限定されず、モードに応じて支援用照明光の光量又は配光特性、照射タイミングを変化させてもよい。例えば存在診断モードにおいて検出された病変部が適切な明るさで検出されるように、診断支援モードにおいて光量を設定してもよい。或いは、存在診断モードにおいて検出された病変部が適切に照明されるように、診断支援モードにおいて配光特性を設定してもよい。例えばスコープ部２００の先端に複数の照明レンズを設け、各照明レンズから射出される光量を制御することで、配光を変化させることができる。照射タイミングを変化させる例は、例えば第２実施形態の図９で後述する。図９では、支援用照明光が期間ＴＡＩ１、ＴＡＩ２の２つのタイミングで出射される。

以上に説明した実施形態の内視鏡装置１０は、光源部１４０と撮像部２１３と処理部１１０とを含む。光源部１４０は、出射する照明光の分光特性及び光量、配光特性、照射タイミングのうち少なくとも１つを含む照明特性を変更可能である。撮像部２１３は、照明光により照明された被写体を撮像し、画像信号を出力する。処理部１１０は、診断又は処置を支援する支援情報に基づいて照明特性を設定する。処理部１１０は、照明特性が第１照明特性であるとき、画像信号に基づいて生成された第１支援情報に基づいて、照明特性を第２照明特性に変更する。

これにより、ＡＩの推論処理にとって最適な照明特性となるように、照明光を最適化することができので、支援情報を高精度に推定できるようになり、その高精度な支援情報を医師等に提示できる。具体的には、観察目的に対して必要な支援情報を出力するＡＩを用いることが想定される。このとき、そのＡＩの推論処理にとって最適な照明光を、光源部１４０から出射させることができる。これにより、観察目的に応じた支援情報を高精度に推定できる。

なお、第１実施形態においては、第１照明特性は存在診断モードにおけるアンバー光Ａ及び紫色光Ｖであり、第２照明特性はＮＢＩモードにおける紫色光Ｖ及び緑色光Ｇであり、第１支援情報は存在診断モードにおいて検出された病変の位置又は輪郭であり、第２支援情報はＮＢＩモードにおける病変の分類結果である。

また本実施形態では、処理部１１０は、画像信号に基づいて支援情報を生成する。即ち、処理部１１０は、照明特性が第１照明特性であるとき、画像信号に基づいて第１支援情報を生成し、照明特性が第２照明特性であるとき、画像信号に基づいて、第１支援情報とは診断又は処置の内容が異なる第２支援情報を生成する。

但し、図１５に示すように、支援情報を生成する支援情報生成部を内視鏡装置１０の外部に設けてもよい。図１５の内視鏡装置システムは、内視鏡装置１０と情報処理システム４００とを含む。図１５では内視鏡装置１０の処理部１１０が支援情報生成部１２１を含んでおらず、内視鏡装置１０がインターフェース１７０を更に含んでいる。情報処理システム４００はインターフェース４７０と記憶部４６０と処理部４１０とを含み、処理部４１０は支援情報生成部４２１を含む。

支援情報生成部４２１と記憶部４６０は図１の支援情報生成部１２１と記憶部１６０に対応する。即ち、インターフェース１７０とインターフェース４７０を介して撮像部２１３から画像信号が支援情報生成部４２１に入力される。支援情報生成部４２１は、記憶部４６０に記憶された学習済みモデルに基づく推論処理を行うことで、画像信号から支援情報を生成する。支援情報は、インターフェース４７０とインターフェース１７０を介して、モード判定部１５２に入力される。モード判定部１５２が支援情報に基づいて判断モードを切り替え、その判断モードの情報がインターフェース１７０とインターフェース４７０を介して支援情報生成部４２１に入力される。

インターフェース１７０、４７０としては、種々の通信インターフェースを想定できる。例えばインターフェース１７０、４７０は、ＬＡＮ又はＷＡＮ等によるネットワーク接続を行うためのインターフェースであってもよい。或いは、インターフェース１７０、４７０は、ＵＳＢ等の有線通信を行うためのインターフェース、或いは近接無線通信等の無線通信を行うためのインターフェースであってもよい。情報処理システム４００は、例えば、ＰＣ又はサーバー等の情報処理装置であってもよい。或いは、情報処理システム４００は、ネットワークにより接続された複数の情報処理装置が情報処理を行うクラウドシステムであってもよい。この場合、クラウドシステムに含まれる複数の情報処理装置が行う情報処理によって、処理部４１０の機能が実現される。

また本実施形態では、処理部１１０は、支援情報の生成処理における判断モードが第１判断モードであるとき、第１照明特性を設定し、第１支援情報を生成する。処理部１１０は、第１支援情報に基づいて、判断モードを第２判断モードに切り替える。処理部１１０は、第２判断モードにおいて、第２照明特性を設定し、第２支援情報を生成する。

これにより、第１支援情報に基づいて、自動的に、第１判断モードから第２判断モードに移行させ、それに伴って各判断モードに対応した照明特性の照明光を出射できる。このようにすれば、各判断モードに最適な照明特性の照明光を出射することが可能となり、各判断モードにおいて高精度又は最適な支援情報を生成し、その支援情報を医師等に提示できるようになる。

また本実施形態では、処理部１１０は、第１支援情報が所定条件を満たすか否かの判断を行う。処理部１１０は、第１支援情報が所定条件を満たしたと判断したとき、第１判断モードから第２判断モードに切り替える。

これにより、第１判断モードにおいて第１支援情報が所定条件を満たしたとき、自動的に、第１判断モードから第２判断モードに移行させることができる。

また本実施形態では、第１判断モードは、被写体に含まれる病変候補の存在を診断する存在診断モードである。第１支援情報は、病変候補の存在を示す情報である。第２判断モードは、病変候補の状態を診断する質的診断モードである。第２支援情報は、病変候補の状態を示す情報である。

これにより、存在診断モードにおいて第１支援情報に基づいて、自動的に、存在診断モードから質的診断モードに移行させることができる。存在診断モードから質的診断モードに自動的に移行させることで、病変の存在だけでなく、その病変の質的な情報を自動的に医師等に提示できるようになる。これにより、医師が病変を診断する際に有用な質的な支援情報を自動的にモニター表示できる。

また本実施形態では、処理部１１０は、第１支援情報に含まれる病変候補の面積が所定値以上であること、又は、撮像部の観察倍率が所定値以上であることという所定条件を、第１支援情報が満たすか否かの判断を行う。処理部１１０は、第１支援情報が所定条件を満たしたと判断したとき、第１判断モードから第２判断モードに切り替える。

医師が病変に着目してスコープ部２００を病変に近づけた場合、病変候補の面積が所定値以上になると想定できる。又は、医師が病変を観察しようとしたとき拡大観察を行う。このため、病変候補の面積が所定値以上である場合、又は撮像部の観察倍率が所定値以上である場合に、診断支援モードに移行させることで、医師が着目する病変に関する質的な支援情報を医師に提供できる。

また本実施形態では、病変候補は、腫瘍候補である。

本実施形態によれば、存在診断モードにおいて腫瘍候補が検出され、その腫瘍候補が上記所定条件を満たしたときに質的診断モードに移行できる。これにより、例えば腫瘍の種類等、腫瘍候補の質的な支援情報を医師に提示できる。なお病変は腫瘍に限定されず、生体において非正常な領域であればよい。例えば病変は、炎症又は出血領域等であってもよい。

第１判断モードにおいて、第１照明特性の照明光は、複数色の光のうち少なくとも１つの光である第１グループの光を含む。第２判断モードにおいて、第２照明特性の照明光は、複数色の光のうち少なくとも１つの光であり且つ第１グループとは異なる第２グループの光を、含む。

このようにすれば、第１判断モードにおける照明光の分光特性と、第２判断モードにおける照明光の分光特性とを、異ならせることができる。これにより、各判断モードにおいて最適な分光特性の照明光を用いて、支援情報を生成できる。なお、グループは、１色の光である場合も含む。また、第１グループの光と、第２グループの光は、一部が異なっていればよく、重複部分があってもよい。例えば図２と図４の例では、第１グループがＡ、Ｖであり、第２グループがＶ、Ｇである。この例では、Ｖが重複しているが、色の組み合わせが異なっている。

また本実施形態では、複数色の光は、紫色光及びアンバー光、緑色光を含む。

このようにすれば、紫色光又は緑色光により粘膜表層血管の情報が得られ、その情報から支援情報を抽出できる。但し、紫色光は緑色光に比べてより浅い血管の情報を取得可能である。またアンバー光により粘膜深層血管の情報、又は血だまり等におけるヘモグロビン濃度の情報が得られ、それらの情報から支援情報を抽出できる。

また本実施形態では、判断モードは、被写体に含まれる病変候補の存在を診断する存在診断モード、又は病変候補の状態を診断する質的診断モードである。又は、判断モードは、処置を支援する処置支援モードであってもよい。処置支援モードについては、後述の実施形態において説明する。

質的診断モードにおける照明光は、存在診断モードにおける照明光に含まれない、炎症又は中層血管、深層血管観察用の光を含む。この照明光は、存在診断モードにおける照明光よりも長波長の光を含む。具体的には、存在診断モードにおける照明光は、紫色光とアンバー光を含む。質的診断モードにおける照明光は、紫色光と緑色光を含む。又は、後述の実施形態において説明するように、質的診断モードにおける照明光は、緑色光とアンバー光と赤色光、又は測距用照明光を含んでもよい。

このようにすれば、紫色光又は緑色光を用いることで、粘膜表層の血管をコントラスト良く撮影可能である。またアンバー光を用いることで、粘膜深部の血管、或いは出血領域における血液の濃淡などを、コントラスト良く撮影可能である。存在診断モードにおいて紫色光とアンバー光を用いることで、様々なタイプの病変候補を抽出できる。また質的診断モードにおいて紫色光と緑色光を組み合わせることで、ＮＢＩ診断に沿った支援情報を得ることができる。また質的診断モードにおいて緑色光とアンバー光と赤色光を組み合わせることで、表層血管と深層血管の情報から、例えば潰瘍性大腸炎等の炎症性疾患に関する支援情報を得ることができる。また質的診断モードにおいて測距用照明光を用いることで、粘膜の形状又は構造の情報から例えば粘膜の状態或いは癌等の病変に関する支援情報を得ることができる。

また、後述の実施形態において説明するように、処置支援モードにおける照明光は、支援情報の生成処理において病変範囲の抽出又は出血点の抽出に用いられる光を含んでもよい。具体的には、処置支援モードにおける照明光は、狭帯域光である紫色光及びアンバー光と測距用照明光とを含んでもよい。又は、処置支援モードにおける照明光は、赤色光と狭帯域光であるアンバー光とを含んでもよい。

処置支援モードにおいて紫色光とアンバー光と測距用照明光を組み合わせることで、表層血管と深層血管の情報及び粘膜の形状又は構造の情報から病変範囲を支援情報として抽出できる。これにより、病変範囲を医師等に提示することが可能となり、例えば病変切除等の処置を支援することが可能となる。また処置支援モードにおいて赤色光とアンバー光とを組み合わせることで、ヘモグロビンの濃淡情報から血だまり等における出血点の情報を得ることができる。

また本実施形態では、内視鏡装置１０は、表示画像を表示する表示部３００を含む。光源部１４０は、表示画像の生成に用いられる表示用照明光と、表示用照明光とは照明特性が異なる支援用照明光と、を時分割で照射する。処理部１１０は、表示用照明光が出射されたときの画像信号に基づいて、表示画像を生成する。処理部１１０は、支援用照明光が出射されたときの画像信号に基づいて、支援情報を生成する。そして処理部１１０は、支援情報に基づく表示内容を、表示画像に加える画像処理を行う。

支援用照明光はＡＩによる推論処理に最適化されているので、必ずしも観察に適していない。本実施形態では、表示画像は支援用照明光とは異なる表示用照明光により撮像されているので、観察に適した表示画像を医師に提示できる。また、本実施形態によれば、支援情報生成部１２１が生成した支援情報に基づいて、その支援情報に対応した表示内容が表示部３００に表示される。観察目的に応じて照明特性が最適化されているので、その照明光で撮像された画像から生成された高精度な支援情報を、医師に提示し、診断又は処置を支援できる。

また本実施形態では、支援情報に基づく表示内容は、支援情報が示す注目部位の位置及び輪郭の少なくとも一方である。

これにより、支援情報生成部１２１により検出された注目部位の位置及び輪郭の少なくとも一方を、表示部３００に表示できる。例えば存在診断モードにおいて、位置及び輪郭の少なくとも一方を表示部３００に表示させることで、病変候補の存在を医師に提示できる。

また本実施形態では、処理部１１０は、支援用照明光の照明特性が第１照明特性であるとき、第１支援情報を生成し、第１支援情報に基づいて第１表示内容を表示画像に加える画像処理を行う。処理部１１０は、第１支援情報に基づいて、支援用照明光の照明特性を第２照明特性に変更し、第２支援情報を生成する。処理部１１０は、第２支援情報に基づいて、第１表示内容とは異なる第２表示内容を表示画像に加える画像処理を行う。

これにより、照明特性が最適化された照明光によって得られる高精度な支援情報を、表示用照明光によって撮像された表示画像に表示させることができる。また、各照明特性に応じて異なる内容の支援情報が得られ、その支援情報を表示画像に表示させることができる。これにより、観察目的に応じた様々な支援情報を、観察に適した表示画像に重畳して、医師に提示できる。

また本実施形態では、表示用照明光は、白色光である。支援用照明光は、紫色光及びアンバー光、緑色光のうち少なくとも１つを含む。

このようにすれば、白色光画像を表示画像として表示部３００に表示させ、その白色光画像に支援情報を加えて医師に提示できる。また、支援用照明光が紫色光及びアンバー光、緑色光のうち少なくとも１つを含むことで、観察目的に応じた照明特性を実現できる。即ち、紫色光又は緑色光を用いることで、粘膜表層の血管をコントラスト良く撮影可能である。またアンバー光を用いることで、粘膜深部の血管、或いは出血領域における血液の濃淡などを、コントラスト良く撮影可能である。或いは、観察目的に応じて、これらの光を組み合わせることが考えられる。例えば、ＮＢＩ診断に沿った支援情報を得たい場合には、紫色光と緑色光を組み合わせればよい。

また本実施形態では、内視鏡装置１０は、学習済みモデルの情報を記憶する記憶部１６０を含む。学習済みモデルは、画像信号に対して支援情報を出力するように学習されたモデルである。処理部１１０は、学習済みモデルに基づく処理により、画像信号から支援情報を生成する。

これにより、ＡＩの推論処理により画像信号から支援情報を生成できる。医師等のエキスパートが作成した教師データにより学習済みモデルを学習させておくことで、エキスパートの知見を反映させた学習済みモデルを生成できる。このような学習済みモデルを用いることで、エキスパートの知見に基づく支援情報を、内視鏡装置１０のユーザーに提供できる。

上述したように、学習済みモデルはニューラルネットワークを含むことができる。ニューラルネットワークとして、公知の様々なＡＩ（Artificial Intelligence）技術を採用できる。ニューラルネットワークを利用するためには、学習や推論アルゴリズムを実行するためのソフトウェア開発を行う必要があるが、市販化、無償公開されたソフトウェアパッケージも現在複数入手可能であり、それらを利用することもできる。また、ニューラルネットワークにおける機械学習のアルゴリズムとして、公知の種々な学習アルゴリズムを採用でき、例えば誤差逆伝播法を用いた教師有り学習アルゴリズムを採用できる。

また本実施形態では、記憶部１６０は、第１学習済みモデルと第２学習済みモデルの情報を記憶する。第１学習済みモデルは、照明特性が第１照明特性であるときの画像信号に対して第１支援情報を出力するように学習されたモデルである。第２学習済みモデルは、照明特性が第２照明特性であるときの画像信号に対して第２支援情報を出力するように学習されたモデルである。処理部１１０は、照明特性が第１照明特性であるとき、第１学習済みモデルに基づく処理により第１支援情報を生成する。処理部１１０は、照明特性が第２照明特性であるとき、第２学習済みモデルに基づく処理により第２支援情報を生成する。

本実施形態によれば、各照明特性に対応した学習済みモデルを用意しておくことで、観察目的に応じた学習済みモデルを用いて支援情報を生成できる。即ち、照明特性だけでなく、ＡＩも観察目的に応じて最適化されている。これにより、観察目的に応じた高精度な支援情報を医師に提示できる。

以上に説明した内視鏡装置１０の機能及び動作は、プログラムにより実現されてもよい。即ち、内視鏡装置１０の機能及び動作が記述されたプログラムがメモリに記憶されており、そのプログラムをコンピュータが実行することで、内視鏡装置１０の機能及び動作が実現されてもよい。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置であり、例えばＰＣ等の情報処理装置である。プログラムは、照明特性が第１照明特性であるときに撮像された画像信号に基づいて第１支援情報を生成し、第１支援情報に基づいて照明特性を第２照明特性に変更し、照明特性が第２照明特性であるときに撮像された画像信号に基づいて第２支援情報を生成するステップを、コンピュータに実行させる。

また、本実施形態のプログラムは情報記憶媒体に記憶されてもよい。情報記憶媒体は、コンピュータにより読み取り可能な媒体である。情報記憶媒体としては、ＤＶＤ又はＣＤ等の光ディスク、ハードディスク、不揮発性メモリ又はＲＯＭ等の半導体メモリなど、種々の記憶媒体を想定できる。コンピュータは、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態における種々の処理を行う。即ち情報記憶媒体には、本実施形態の内視鏡装置１０としてコンピュータを機能させるためのプログラムが記憶される。

３．第２実施形態
第２実施形態では、質的診断モードはＵＣ炎症診断モードである。ＵＣは潰瘍性大腸炎のことである。存在診断モードから質的診断モードへの移行手法は第１実施形態と同様であるため、以下ではＵＣ炎症診断モードについて説明する。

図９は、ＵＣ炎症診断モードにおける発光シーケンス及び撮像シーケンスを示す図である。なお図２等と同じ内容について説明を省略する。

光源制御部１５１は、期間ＴＥにおいて白色光を光源部１４０から出射させる。ＵＣ炎症診断モードにおいて、支援用照明光は赤色光Ｒ及び緑色光Ｇ、アンバー光Ａである。光源制御部１５１は、期間ＴＡＩ１において赤色光Ｒ及び緑色光Ｇを光源部１４０から出射させ、期間ＴＡＩ２においてアンバー光Ａを光源部１４０から出射させる。期間ＴＥ、ＴＡＩ１、ＴＡＩ２が繰り返されることで、上記照明光が時分割に出射される。なお、赤色光Ｒとアンバー光Ａは共に赤色領域に属しており、例えば原色ベイヤ型イメージャにおいて赤色フィルタを通過する。このため、赤色光Ｒとアンバー光Ａが時分割に出射される。赤色光Ｒとアンバー光Ａの出射順は逆でもよい。

赤色光Ｒ及び緑色光Ｇ、アンバー光Ａの組み合わせは、粘膜深層の血管を撮像するのに適した照明光である。ＵＣ炎症診断モードにおける質的な支援情報は、深層血管視認性に基づく診断結果又は分類結果である。なお、視認性は実際に人が見ることを意味せず、例えば画像における深層血管のコントラスト等のことである。例えば、支援情報生成部１２１は、深層血管のコントラストを数値化した炎症度を支援情報として生成する。

図１０は、ＵＣ炎症診断モードにおける支援情報の表示例である。画像生成部１１１は、白色光により撮像された通常画像ＩＭＧ２に、支援情報生成部１２１が生成した炎症度の情報ＳＪＨをスーパーインポーズする。例えば、炎症度の数値が５０である場合、画像生成部１１１は、「炎症度５０」の文字を通常画像ＩＭＧ２の下部に表示させる。支援情報生成部１２１が判定した数値に応じて、炎症度の数値が変化する。医師等は、表示された通常画像と炎症度の数値を参考にして、ＵＣの炎症度を診断できる。

４．第３実施形態
第３実施形態では、処置支援モードを設定可能である。第３実施形態における処置支援モードは、病変の切除範囲を推定する範囲診断モードである。例えば、操作部６００からの入力に基づいて範囲診断モードが選択される。或いは、第１実施形態における存在診断モードから質的診断モードへの自動移行と同様の手法により、存在診断モードから範囲診断モードに移行させてもよい。或いは、質的診断モードから範囲診断モードへ移行させてもよい。例えば図６のステップＳ６において病変面積が所定値以上であると判断されたときに範囲診断モードへ移行するようにしてもよい。

図１１は、範囲診断モードにおける発光シーケンス及び撮像シーケンスを示す図である。なお図２等と同じ内容について説明を省略する。

期間ＴＡＩにおいて、光源制御部１５１はアンバー光Ａ及び紫色光Ｖを光源部１４０から出射させる。また期間ＴＡＩにおいて、処理部１１０は測距センサ２１５を用いて被写体を測距する。即ち、処理部１１０は、被写体表面の凹凸情報を示す深度マップ等を生成する。

支援用照明光であるアンバー光Ａ及び紫色光Ｖは、存在診断モードにおける支援用照明光と同じである。支援情報生成部１２１は、存在診断モードと同様な学習済みモデルを用いて、病変の位置又は輪郭を検出する。

図１２は、範囲診断モードにおける表示画像の例である。画像生成部１１１は、支援情報生成部１２１が検出した病変ＢＹＨの位置又は輪郭を、表示画像ＩＭＧ３に表示させる。

また、支援情報生成部１２１は、測距により得られた被写体表面の凹凸情報と、上記で検出された病変ＢＹＨの位置又は輪郭に基づいて、病変の切除範囲ＳＪＨを推定する。この推定には、切除範囲を学習した学習済みモデルが用いられる。即ち、学習済みモデルは、病変が撮像された画像と、その画像に医師等のエキスパートが切除範囲をアノテーションしたアノテーション情報と、を教師データとして学習されている。画像生成部１１１は、支援情報生成部１２１が推定した切除範囲ＳＪＨを表示画像ＩＭＧ３に表示させる。以上のように、病変ＢＹＨの位置又は輪郭と、切除範囲ＳＪＨとが、支援情報として表示画像ＩＭＧ３に表示される。

内視鏡装置１０を用いる医師等は、病変ＢＹＨ及び切除範囲ＳＪＨが表示された表示画像ＩＭＧ３を参考にして、切除範囲ＳＪＨを決定できる。内視鏡を用いた病変切除の手法として、例えば内視鏡的粘膜下層剥離術（Endoscopic Submucosal Dissection）を想定できる。この手法では、切除範囲の外周にマーキングを行うが、そのマーキングの際に、表示画像ＩＭＧ３に表示された切除範囲ＳＪＨを参考にできる。

５．第４実施形態
第４実施形態では、処置支援モードは、出血点を自動認識する出血点認識モードである。出血点認識モードは、止血処置の際に用いられる。例えば、操作部６００からの入力に基づいて出血点認識モードが選択される。或いは、存在診断モードから出血点認識モードへ自動移行させてもよい。例えば、存在診断モードで用いられる学習済みモデルに対して、血だまり等の出血領域が存在する画像を学習させておく。上述したＥＳＤにおいて粘膜下層を剥離した際に、剥離後の凹部に血だまりが発生する。そのような画像を教師データとして学習を実行しておいてもよい。これにより、ＥＳＤにおいて画像内に血だまりが発生したときに存在診断モードから出血点認識モードへ自動移行させてもよい。

図１３は、出血点認識モードにおける発光シーケンス及び撮像シーケンスを示す図である。なお図２等と同じ内容について説明を省略する。

期間ＴＡＩ１において、光源制御部１５１は赤色光Ｒを光源部１４０から出射させ、期間ＴＡＩ２において、光源制御部１５１はアンバー光Ａを光源部１４０から出射させる。赤色光Ｒとアンバー光Ａの出射順は逆でもよい。

図１４は、出血点認識モードにおける表示画像の例である。白色光画像である通常画像において血だまりは赤色又は暗い赤色等に見える。ハッチング部分が血だまりを示す。出血点は血だまりの底に存在している。送気送水管からの送水によって血と水が混ざった状態では、出血点付近でヘモグロビン濃度が濃くなっているが、白色光ではヘモグロビン濃淡のコントラストが見えにくいため、通常画像において出血点を視認しにくい。

赤色光Ｒ及びアンバー光Ａにより撮像された支援用画像では、血だまりはオレンジ色等である。赤色光Ｒの波長領域ではヘモグロビンにほとんど吸光されないが、６００ｎｍ付近のアンバー光Ａはある程度ヘモグロビンに吸光される。このため、支援用画像では、ヘモグロビン濃淡のコントラストが出やすくなっている。出血点からの出血フローではヘモグロビン濃度が濃くなっており、その部分は周囲に比べてオレンジ色が濃くなる。図１４では、オレンジ色が濃くなった領域をＳＫＴで示している。この領域ＳＫＴから出血点を推定することが可能である。

出血点認識モードにおける学習済みモデルは、赤色光Ｒ及びアンバー光Ａにより撮像された出血領域の画像と、その画像に対して医師等のエキスパートが出血点をアノテーションしたアノテーション情報と、を教師データとして学習されている。支援情報生成部１２１は、上記学習済みモデルを用いることで、血だまり及び上記の領域ＳＫＴが撮影された支援用画像から出血点の位置を検出する。この出血点の位置が、出血点認識モードにおける支援情報である。画像生成部１１１は、検出された出血点の位置を例えば矢印ＪＹＳ等によって表示画像に表示させる。内視鏡装置１０を用いる医師等は、表示画像に表示された矢印ＪＹＳ等を参考にして、出血点を特定できる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 内視鏡装置、１００ 制御装置、１１０ 処理部、１１１ 画像生成部、１２１ 支援情報生成部、１４０ 光源部、１４１ 光源駆動部、１４２ フィルタ部、１５１ 光源制御部、１５２ モード判定部、１６０ 記憶部、１７０ インターフェース、２００ スコープ部、２１０ 挿入部、２１１ 照明レンズ、２１３ 撮像部、２１４ ライトガイド、２１５ 測距センサ、２４０ コネクタ、３００ 表示部、４００ 情報処理システム、４１０ 処理部、４２１ 支援情報生成部、記憶部 ４６０、６００ 操作部、ＡＴＡ 注目エリア、ＢＹＨ 病変、ＤＣ１～ＤＣ４ ダイクロイックミラー、ＬＤＡ，ＬＤＢ，ＬＤＧ，ＬＤＲ，ＬＤＶ 光源、ＬＮ１～ＬＮ６ レンズ、ＳＳ１～ＳＳ５ 光センサ

Claims (20)

1. 照明光の照明特性を変更して、表示用照明光と支援用照明光とを出射可能な光源部と、
   前記表示用照明光が出射されたときの画像信号に基づいて表示画像を生成し、前記支援用照明光が出射されたときの前記画像信号に基づいて支援情報を生成する処理部と、
   を含み、
   前記光源部は、
   前記表示用照明光と前記支援用照明光とを時分割で出射し、
   前記処理部は、
   前記照明特性が第１照明特性であるとき、前記画像信号に基づいて第１支援情報を生成し、
   前記第１支援情報に基づく第１表示内容を前記表示画像に重畳し、
   更に、前記第１支援情報が所定条件を満たしたと判断したとき、前記支援用照明光の照明特性を前記第１照明特性から第２照明特性に切り替え、
   前記照明特性が前記第２照明特性であるとき、前記画像信号に基づいて、前記第１支援情報とは診断又は処置の内容が異なる第２支援情報を生成し、
   前記第２支援情報に基づく第２表示内容を前記表示画像に重畳する、
   ことを特徴とする内視鏡装置。
2. 請求項１において、
   前記処理部は、
   前記支援情報の生成処理における判断モードが第１判断モードであるとき、前記第１照明特性を設定し、前記第１支援情報を生成し、
   前記第１支援情報に基づいて、前記判断モードを第２判断モードに切り替え、
   前記第２判断モードにおいて、前記第２照明特性を設定し、前記第２支援情報を生成することを特徴とする内視鏡装置。
3. 請求項２において、
   前記第１判断モードは、被写体に含まれる病変候補の存在を診断する存在診断モードであり、
   前記第１支援情報は、前記病変候補の存在を示す情報であり、
   前記第２判断モードは、前記病変候補の状態を診断する質的診断モードであり、
   前記第２支援情報は、前記病変候補の状態を示す情報であることを特徴とする内視鏡装置。
4. 請求項３において、
   前記処理部は、
   前記第１支援情報に含まれる前記病変候補の面積が所定値以上であること、又は、撮像部の観察倍率が所定値以上であることという前記所定条件を、前記第１支援情報が満たすか否かの判断を行い、
   前記第１支援情報が前記所定条件を満たしたと判断したとき、前記第１判断モードから前記第２判断モードに切り替えることを特徴とする内視鏡装置。
5. 請求項３において、
   前記病変候補は、腫瘍候補であることを特徴とする内視鏡装置。
6. 請求項２において、
   前記第１判断モードにおいて、前記第１照明特性の前記照明光は、複数色の光のうち少なくとも１つの光である第１グループの光を含み、
   前記第２判断モードにおいて、前記第２照明特性の前記照明光は、前記複数色の光のうち少なくとも１つの光であり且つ前記第１グループとは異なる第２グループの光を、含むことを特徴とする内視鏡装置。
7. 請求項６において、
   前記複数色の光は、紫色光及びアンバー光、緑色光を含むことを特徴とする内視鏡装置。
8. 請求項２において、
   前記第１判断モードは、被写体に含まれる病変候補の存在を診断する存在診断モードであり、
   前記第２判断モードは、前記病変候補の状態を診断する質的診断モードであり、
   更に、第３判断モードとして、処置を支援する処置支援モードを有することを特徴とする内視鏡装置。
9. 請求項８において、
   前記質的診断モードにおける前記照明光は、前記存在診断モードにおける前記照明光に含まれない、炎症又は中層血管、深層血管観察用の光を含む、
   又は、前記存在診断モードにおける前記照明光は、紫色光とアンバー光を含む、
   又は、前記質的診断モードにおける前記照明光は、紫色光と緑色光、又は緑色光とアンバー光と赤色光、又は測距用照明光を含むことを特徴とする内視鏡装置。
10. 請求項８において、
    前記処置支援モードにおける前記照明光は、
    前記支援情報の生成処理において病変範囲の抽出又は出血点の抽出に用いられる光として、狭帯域光である紫色光及びアンバー光と、測距用照明光とを含み、
    又は、赤色光と狭帯域光であるアンバー光とを含むことを特徴とする内視鏡装置。
11. 請求項１において、
    前記第１表示内容は、前記第１支援情報が示す注目部位の位置及び輪郭の少なくとも一方であることを特徴とする内視鏡装置。
12. 請求項１において、
    前記表示用照明光は、白色光であり、
    前記支援用照明光は、紫色光及びアンバー光、緑色光のうち少なくとも１つを含むことを特徴とする内視鏡装置。
13. 請求項１において、
    学習済みモデルの情報を記憶する記憶部を、含み、
    前記学習済みモデルは、前記画像信号に対して前記支援情報を出力するように学習されたモデルであり、
    前記処理部は、
    前記学習済みモデルに基づく処理により、前記画像信号から前記支援情報を生成することを特徴とする内視鏡装置。
14. 請求項１３において、
    前記記憶部は、
    第１学習済みモデルと第２学習済みモデルの前記情報を記憶し、
    前記第１学習済みモデルは、前記照明特性が前記第１照明特性であるときの前記画像信号に対して前記第１支援情報を出力するように学習されたモデルであり、
    前記第２学習済みモデルは、前記照明特性が前記第２照明特性であるときの前記画像信号に対して前記第２支援情報を出力するように学習されたモデルであり、
    前記処理部は、
    前記照明特性が前記第１照明特性であるとき、前記第１学習済みモデルに基づく処理により前記第１支援情報を生成し、
    前記照明特性が前記第２照明特性であるとき、前記第２学習済みモデルに基づく処理により前記第２支援情報を生成することを特徴とする内視鏡装置。
15. 表示用照明光と支援用照明光とを時分割で光源部から出射させ、
    前記表示用照明光が出射されたときの画像信号に基づいて表示画像を生成し、
    前記支援用照明光の照明特性が第１照明特性であるときに、前記画像信号に基づいて第１支援情報を生成し、
    前記第１支援情報に基づく第１表示内容を前記表示画像に重畳し、
    更に、前記第１支援情報が所定条件を満たしたと判断したときに、前記支援用照明光の照明特性を前記第１照明特性から第２照明特性に切り替え、
    前記照明特性が前記第２照明特性であるとき、前記画像信号に基づいて、前記第１支援情報とは診断又は処置の内容が異なる第２支援情報を生成し、
    前記第２支援情報に基づく第２表示内容を前記表示画像に重畳する、
    ステップをコンピュータに実行させるプログラム。
16. 請求項１５において、
    前記照明特性が前記第１照明特性であるとき、第１学習済みモデルに基づく処理により前記第１支援情報を生成し、
    前記第１支援情報に基づいて、前記照明特性を前記第２照明特性に変更し、
    前記照明特性が前記第２照明特性であるとき、第２学習済みモデルに基づく処理により前記第２支援情報を生成するステップを、
    前記コンピュータに実行させ、
    前記第１学習済みモデルは、前記照明特性が前記第１照明特性であるときの前記画像信号に対して前記第１支援情報を出力するように学習されたモデルであり、
    前記第２学習済みモデルは、前記照明特性が前記第２照明特性であるときの前記画像信号に対して前記第２支援情報を出力するように学習されたモデルであることを特徴とするプログラム。
17. 光源部が、表示用照明光と支援用照明光とを時分割で出射するステップと、
    処理部が、前記表示用照明光が出射されたときの画像信号に基づいて表示画像を生成するステップと、
    前記処理部が、前記支援用照明光の照明特性が第１照明特性であるときに、前記画像信号に基づいて第１支援情報を生成するステップと、
    前記処理部が、前記第１支援情報に基づく第１表示内容を前記表示画像に重畳するステップと、
    前記処理部が、更に、前記第１支援情報が所定条件を満たしたと判断したときに、前記支援用照明光の照明特性を前記第１照明特性から第２照明特性に切り替えるステップと、
    前記処理部が、前記照明特性が前記第２照明特性であるとき、前記画像信号に基づいて、前記第１支援情報とは診断又は処置の内容が異なる第２支援情報を生成するステップと、
    前記処理部が、前記第２支援情報に基づく第２表示内容を前記表示画像に重畳するステップと、
    を含むことを特徴とする内視鏡装置の制御方法。
18. プロセッサを含み、
    前記プロセッサは、
    照明光を、表示用照明光と、支援用照明光と、に時分割で切り替えるよう光源を制御し、
    前記照明光をもとに取得された画像信号から表示画像を生成し、
    前記画像信号から被検体に関する診断または処置に関する支援情報を生成し、
    さらに、
    前記支援用照明光が第１照明特性であるときに取得された前記画像信号に基づいて、第１支援情報を生成し、
    前記支援用照明光が第２照明特性であるときに取得された前記画像信号に基づいて、前記第１支援情報とは診断又は処置の内容が異なる第２支援情報を生成し、
    前記第１支援情報が所定の条件を満たしたときに、前記支援用照明光を前記第１照明特性から前記第２照明特性へ切り替え、
    前記表示画像に対して、前記第１支援情報と、前記第２支援情報と、の少なくとも一方に基づく画像情報を重畳表示する、
    ように構成されることを特徴とする処理装置。
19. 照明光を、表示用照明光と、支援用照明光と、に時分割で切り替えるよう光源を制御する光源制御回路と、
    前記照明光をもとに取得された画像信号から表示画像を生成する画像処理回路と、
    前記画像信号から被検体に関する診断または処置に関する支援情報を生成する支援情報生成回路と、
    を含み、
    前記支援情報生成回路は、
    前記支援用照明光が第１照明特性であるときに取得された前記画像信号に基づいて、第１支援情報を生成し、
    前記支援用照明光が第２照明特性であるときに取得された前記画像信号に基づいて、前記第１支援情報とは診断又は処置の内容が異なる第２支援情報を生成し、
    前記光源制御回路は、
    前記第１支援情報が所定の条件を満たしたときに、前記支援用照明光を前記第１照明特性から前記第２照明特性へ切り替え、
    前記画像処理回路は、
    前記表示画像に対して、前記第１支援情報と、前記第２支援情報と、の少なくとも一方に基づく画像情報を重畳表示する、
    ことを特徴とする処理装置。
20. 請求項１８において、
    撮像素子からの前記画像信号が入力される入力端子と、
    前記表示画像をモニタへ出力する出力端子と、
    を含むことを特徴とする処理装置。

Images