WO2021095446A1

WO2021095446A1 - 情報表示システムおよび情報表示方法

Info

Publication number: WO2021095446A1
Application number: PCT/JP2020/039231
Authority: WO
Inventors: 渡邉　幹緒
Original assignee: 富士フイルム株式会社
Priority date: 2019-11-11
Filing date: 2020-10-19
Publication date: 2021-05-20
Also published as: JPWO2021095446A1; JP7257544B2

Abstract

情報表示システムおよび情報表示方法においては、医療画像取得部が、１以上のモダリティから、被検体の医療画像を取得し、診断情報取得部が、外部システムから、被検体の診断情報を取得する。表示制御部が、被検体の診断情報をモニタに表示させる、もしくは、被検体の医療画像および診断情報の少なくとも１つを、モニタの表示画面を分割した２以上の分割領域の少なくとも１つに表示させ、被検体の検査の進行状況に応じて、モニタに表示させる被検体の医療画像および診断情報の内容を変える。

Description

情報表示システムおよび情報表示方法

　本発明は、様々なモダリティによる被検体の医療画像および診断情報等を集約して表示する情報表示システムおよび情報表示方法に関する。

　医療分野においては、内視鏡診断装置および超音波診断装置等の各種のモダリティを用いて被検体の医療画像を撮像し、各種のモダリティにより撮像された医療画像等に基づいて医師による診断が行われている。

　例えば、内視鏡診断装置においては、内視鏡から被検体の体腔内の観察対象に照明光が照射され、照明光が照射された観察対象が内視鏡の撮像素子により撮像されて観察対象の内視鏡画像が生成され、モニタに表示される。医師は、モニタに表示された内視鏡画像を観察して、異常部の可能性がある部位である注目領域を拾い上げ、この注目領域が異常部なのか否かを鑑別して、異常部と鑑別された部位を治療し、診断レポートを作成する。

　本発明に関連性のある先行技術文献として、特許文献１～４がある。

　特許文献１には、内視鏡下外科手術装置において、モニタの画面を、内視鏡の観察画像を表示する主画面と、硬さ検出ユニットから入力された生体組織の硬さを示す画像を表示する第１の副画面と、インピーダンス検出ユニットから入力された生体組織のインピーダンスを示す画像を表示する第２の副画面とに３分割することが記載されている。

　特許文献２には、内視鏡手術支援システムにおいて、軟性内視鏡先端に取り付けられたカメラから取り入れた撮影画像データと、軟性内視鏡によって得られる被術者の処置を施す部位周辺の断層画像データとを重畳してディスプレイ上に表示することが記載されている。

　特許文献３には、超音波・内視鏡複合システムにおいて、リアルタイム画像としての超音波画像及び内視鏡画像が分割表示されることが記載されている。

　特許文献４には、医療用画像記録装置および電子内視鏡装置等を有するシステムにおいて、内視鏡観察画像データ及び検査結果のレポート等が医療用画像記録装置１内に格納され、接続されている他の医療機器が有するデータを共有することが記載されている。

特開平１１－３４７０４３号公報特開２００６－３２０４２７号公報特開平０８－０１０２６３号公報特開２００４－３５０７３４号公報

　内視鏡診断装置の場合、内視鏡画像を内視鏡診断装置が有するモニタに表示させることはできるが、他のモダリティによる被検体の医療画像および診断情報等を内視鏡診断装置のモニタに同時に表示させることはできなかった。他のモダリティの場合も同様である。

　そのため、医師は、内視鏡画像を観察する時には、内視鏡診断装置のモニタを使用して内視鏡画像を観察し、超音波画像を観察する時には、超音波診断装置のモニタを使用して超音波画像を観察している。また、被検体の診断情報、例えば被検体の患者情報および診断レポート等を閲覧する時には、被検体の診断情報を保管・管理する外部システムにおいて、外部システムのモニタを使用して閲覧し、診断レポートを作成している。

　このように、医師は、例えば内視鏡診断装置のモニタにおいて、様々なモダリティによる被検体の医療画像および診断情報等を集約して観察することはできなかった。また、医師は、被検体の内視鏡画像を観察する前に、被検体の診断情報等をモニタ上で事前に確認したり、被検体の検査の進行状況に応じて、内視鏡診断装置による検査時に、モニタに表示させる内容を変えたりすることはできなかった。

　本発明の第１の目的は、様々なモダリティによる被検体の医療画像および診断情報等を１箇所で集約して表示させ、被検体の検査の進行状況に応じて、表示させる内容を変えることができる情報表示システムおよび情報表示方法を提供することにある。
　また、本発明の第２の目的は、上記第１の目的に加えて、多くの情報が集約して表示された場合においても、ユーザが重要な情報を認識しやすいように表示させることができる情報表示システムおよび情報表示方法を提供することにある。

　上記目的を達成するために、本発明は、１以上のモダリティから、被検体の医療画像を取得する医療画像取得部と、
　モニタと、
　被検体の医療画像を、モニタの表示画面を分割した２以上の分割領域の少なくとも１つに表示させる表示制御部と、を備え、
　表示制御部は、被検体の検査の進行状況に応じて、モニタに表示させる被検体の医療画像の内容を変える、情報表示システムを提供する。

　さらに、外部システムから、被検体の診断情報を取得する診断情報取得部を備え、
　表示制御部は、被検体の診断情報をモニタに表示させる、もしくは、被検体の医療画像および被検体の診断情報の少なくとも１つを、２以上の分割領域の少なくとも１つに表示させ、被検体の検査の進行状況に応じて、モニタに表示させる被検体の医療画像および被検体の診断情報の内容を変えることが好ましい。

　また、被検体の医療画像は、被検体の現在の内視鏡画像を含み、
　被検体の検査は、準備段階、内視鏡の挿入段階、注目領域の拾上段階、注目領域の鑑別・治療段階、および、診断レポートの作成段階を含むことが好ましい。

　また、表示制御部は、準備段階において、被検体の患者情報、および、被検体の過去の診断レポートの少なくとも１つをモニタに表示させることが好ましい。

　また、表示制御部は、内視鏡の挿入段階において、被検体の現在の内視鏡画像を２以上の分割領域のうちの１の分割領域に表示させ、被検体の過去の内視鏡画像、被検体の生体情報、被検体の体腔内における内視鏡の挿入形状、および、被検体の体腔内において内視鏡を移動させるための支援情報の少なくとも１つを２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させることが好ましい。

　また、表示制御部は、心拍値および血圧値を含む被検体の生体情報を他の分割領域の１つに表示させ、被検体の検査中において、心拍値および血圧値の少なくとも１つが上限値を上回ったまたは下限値を下回った場合に、被検体の生体情報を指し示す矢印を、２以上の分割領域のうちの被検体の生体情報が表示されている他の分割領域の１つ以外の分割領域に表示させることが好ましい。

　さらに、被検体の現在の内視鏡画像から、注目領域の有無および注目領域の位置を推定する注目領域推定部を備え、
　表示制御部は、注目領域の拾上段階において、被検体の現在の内視鏡画像を２以上の分割領域のうちの１の分割領域に表示させ、被検体の現在の内視鏡画像のうちの注目領域と推定された部位の位置を表す画像、および、被検体の現在の内視鏡画像に色強調処理を施すことにより生成される、被検体の現在の内視鏡画像における正常部と異常部との色の違いが強調された色強調画像の少なくとも１つを２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させることが好ましい。

　さらに、白色光および青色狭帯域光を被検体に照射することにより撮像される、被検体の現在の内視鏡画像における粘膜表層の血管構造が強調された青色狭帯域光画像から、注目領域と推定された部位が異常部と推定されるか否か、異常部と推定された部位の位置および異常部と推定される確率を鑑別する異常部鑑別部を備え、
　表示制御部は、注目領域の鑑別・治療段階において、被検体の現在の内視鏡画像を２以上の分割領域のうちの１の分割領域に表示させ、異常部と推定されると鑑別された部位の位置を表す画像、異常部と推定されると鑑別された部位が異常部と推定される確率、および、異常部と推定されると鑑別された部位の長さを表す測長結果の少なくとも１つを２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させることが好ましい。

　また、表示制御部は、ユーザからの指示に応じて、被検体の現在の内視鏡画像から、被検体の現在の内視鏡画像における酸素飽和度を表す画像に切り替えて１の分割領域に表示させることが好ましい。

　また、表示制御部は、異常部と推定されると鑑別された場合に、もしくは、ユーザからの指示に応じて、異常部と推定されると鑑別された部位の位置を表す画像を被検体の現在の内視鏡画像にオーバレイして表示させることが好ましい。

　また、表示制御部は、一定時間が経過した後に、もしくは、ユーザからの指示に応じて、異常部と推定されると鑑別された部位の位置を表す画像のオーバレイを停止して被検体の現在の内視鏡画像を表示させることが好ましい。

　また、表示制御部は、異常部と推定されると鑑別された部位の位置を表す画像を枠線で囲んで表示させることが好ましい。

　また、表示制御部は、枠線を一定時間間隔で点滅させることが好ましい。

　また、表示制御部は、異常部と推定されると鑑別された部位の位置を表す画像を指し示す矢印を、２以上の分割領域のうちの異常部と推定されると鑑別された部位の位置を表す画像が表示されている他の分割領域の１つ以外の分割領域に表示させることが好ましい。

　また、表示制御部は、矢印を一定時間間隔で点滅させることが好ましい。

　また、表示制御部は、ユーザからの検査開始の指示に応じて、または、照明光を用いて被検体を撮像した画像信号を出力する内視鏡が画像信号を画像処理して被検体の現在の内視鏡画像を出力するプロセッサ装置および照明光を出力する光源装置の少なくとも１つに接続された場合に、準備段階において表示させる内容から、内視鏡の挿入段階において表示させる内容に自動的に切り替えることが好ましい。

　さらに、診断レポートの作成段階において、被検体の診断結果、検査時間、および、使用機材を含む検査情報を外部システムにフィードバックする検査情報フィードバック部を備えることが好ましい。

　また、表示制御部は、モニタの表示画面を第１分割領域および第１分割領域よりも面積が小さい１以上の第２分割領域に分割して、１以上のモダリティのうちの１のモダリティから取得された被検体の医療画像を第１分割領域に表示させ、１以上のモダリティから取得された被検体の医療画像、および、外部システムから取得された被検体の診断情報の少なくとも１つを１以上の第２分割領域の少なくとも１つに表示させることが好ましい。

　また、表示制御部は、モニタの表示画面を第１分割領域および２つの第２分割領域に分割して、１のモダリティから取得された被検体の医療画像を第１分割領域に表示させ、１以上のモダリティから取得された被検体の医療画像、および、外部システムから取得された被検体の診断情報の少なくとも１つを２つの第２分割領域の少なくとも１つに表示させることが好ましい。

　また、モニタの表示画面のアスペクト比は、１６：９、第１分割領域および２つの第２分割領域のアスペクト比は、５：４であり、
　第１分割領域は、モニタの表示画面の左部から中央部にわたって配置され、２つの第２分割領域は、それぞれ、モニタの表示画面の右上部および右下部に配置されることが好ましい。

　また、本発明は、医療画像取得部が、１以上のモダリティから、被検体の医療画像を取得するステップと、
　表示制御部が、被検体の医療画像を、モニタの表示画面を分割した２以上の分割領域の少なくとも１つに表示させるステップと、を含み、
　被検体の検査の進行状況に応じて、モニタに表示させる被検体の医療画像の内容を変える、情報表示方法を提供する。

　さらに、診断情報取得部が、外部システムから、被検体の診断情報を取得するステップを含み、
　被検体の診断情報をモニタに表示させる、もしくは、被検体の医療画像および被検体の診断情報の少なくとも１つを、２以上の分割領域の少なくとも１つに表示させ、被検体の検査の進行状況に応じて、モニタに表示させる被検体の医療画像および被検体の診断情報の内容を変えることが好ましい。

　また、医療画像取得部、診断情報取得部、注目領域推定部、異常部鑑別部、表示制御部および検査情報フィードバック部は、ハードウェア、または、プログラムを実行するプロセッサであることが好ましい。

　本発明によれば、１のモダリティが有するモニタにおいて、様々なモダリティによる被検体の医療画像および診断情報等を集約して観察することができる。また、本発明によれば、被検体の医療画像を観察する前に、被検体の診断情報等をモニタ上で事前に確認したり、被検体の検査の進行状況に応じて、モダリティによる検査時に、モニタに表示させる内容を変えたりすることができる。さらに、本発明によれば、多くの情報が集約して表示された場合においても、ユーザが重要な情報を認識しやすいように表示させることができる。

本発明の情報表示システムを適用する内視鏡診断装置の構成を表す一実施形態の概念図である。内視鏡診断装置が有する内視鏡、光源装置およびプロセッサ装置の内部構成を表す一実施形態のブロック図である。４色のLEDから発せられる、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示す一実施形態のグラフである。モニタの表示画面を表す一実施形態の概念図である。内視鏡診断装置による被検体の検査の手順を表す一実施形態の概念図である。準備段階におけるモニタの表示画面を表す一実施形態の概念図である。内視鏡の挿入段階におけるモニタの表示画面を表す一実施形態の概念図である。注目領域の拾上段階におけるモニタの表示画面を表す一実施形態の概念図である。注目領域の鑑別・治療段階におけるモニタの表示画面を表す一実施形態の概念図である。注目領域の鑑別・治療段階におけるモニタの表示画面を表す別の実施形態の概念図である。診断レポートの作成段階におけるモニタの表示画面を表す一実施形態の概念図である。医師に注意を喚起するためのモニタの表示画面を表す一実施形態の概念図である。医師に注意を喚起するためのモニタの表示画面を表す別の実施形態の概念図である。医師に注意を喚起するためのモニタの表示画面を表す別の実施形態の概念図である。

　以下に、添付の図面に示す好適実施形態に基づいて、本発明の情報表示システムおよび情報表示方法を詳細に説明する。

　図１は、本発明の情報表示システムを適用する内視鏡診断装置の構成を表す一実施形態の概念図である。図１に示す内視鏡診断装置１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。

　内視鏡１２は光源装置１４と光学的に接続され、プロセッサ装置１６と電気的に接続される。内視鏡１２は、照明光を用いて被検体を撮像した画像信号を出力するものであり、被検体の体腔内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄと、を有する。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。

　また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ（スイッチ）１３ａが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、第１特殊観察モードと、第２特殊観察モードと、第３特殊観察モードとの４種類のモード間の切り替え操作に用いられる。

　通常観察モードは、被検体の現在の内視鏡画像として、白色光を被検体に照射することにより撮像される通常画像を観察するモードである。
　第１特殊観察モードは、被検体の現在の内視鏡画像として、白色光および青色狭帯域光を被検体に照射することにより撮像される、被検体の現在の内視鏡画像における粘膜表層の血管構造が強調された第１特殊画像（青色狭帯域光画像）を観察するモードである。
　なお、青色狭帯域光とは、青色の波長範囲の狭帯域光のみに限らず、青色から紫色の波長範囲の狭帯域光であってもよい。
　第２特殊観察モードは、被検体の現在の内視鏡画像として、例えば第１特殊画像に色強調処理を施すことにより生成される、被検体の現在の内視鏡画像における正常部と異常部との色の違いが強調された第２特殊画像（色強調画像）を観察するモードである。
　第３特殊観察モードは、被検体の現在の内視鏡画像として、通常画像における血中ヘモグロビンの酸素飽和度を表す第３特殊画像（酸素飽和度画像）を観察するモードである。
　なお、第１～第３特殊観察モード以外の１以上の特殊観察モードをさらに含んでいてもよい。

　図２は、内視鏡診断装置が有する内視鏡、光源装置およびプロセッサ装置の内部構成を表す一実施形態のブロック図である。光源装置１４は、照明光を出力するものであり、図２に示すように、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃおよびR-LED（Red Light Emitting Diode）２０ｄを含む４色のLED（光源）と、これら４色のLED２０a～２０ｄの駆動を制御する光源制御部２１と、ダイクロイックミラー等を用いて構成され、４色のLED２０a～２０ｄから発せられる４色の光の光路を結合する光路結合部２３と、を有する。

　図３は、４色のLEDから発せられる、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示す一実施形態のグラフである。図３に示すように、V-LED２０ａは、中心波長４０５±１０nm、波長範囲３８０～４２０nmの紫色光Ｖを発生する。B-LED２０ｂは、中心波長４６０±１０nm、波長範囲４２０～５００nmの青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０～６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０～６３０nmで、波長範囲が６００～６５０nmに及ぶ赤色光Ｒを発生する。

　光源制御部２１は、第１特殊観察モードおよび第２特殊観察モードの場合、例えばV-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄの全てを点灯する。その際、表層血管での吸収率が高い紫色光Ｖの発光量が比較的高くなるように、かつ、中層血管への吸収率が高い緑色光Ｇの発光量が比較的低くなるように設定し、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの４色の光の光量比が定められた比率となるように照射する。
　光源制御部２１は、第３特殊観察モードの場合、例えばB-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄを点灯する。その際、第１光学フィルタを用いて青色光Ｂの波長帯域を制限することにより生成される中心波長４７３±１０ｎｍの第１青色光Ｂ１、緑色光Ｇ１及び赤色光Ｒ１の照射と、第２光学フィルタを用いて青色光Ｂの波長帯域を制限することにより生成される中心波長４４５±１０ｎｍの第２青色光Ｂ２、緑色光Ｇ２及び赤色光Ｒ２の照射と、を一定の間隔で交互に繰り返し行う。

　図２に示すように、ライトガイド（LG）４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されている。ライトガイド４１としては、マルチモードファイバを使用することができる。

　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。
　照明光学系３０ａは照明レンズ４５を有し、光路結合部２３で結合された光は、ライトガイド４１及び照明レンズ４５を介して内視鏡１２の先端部１２ｄまで伝搬され、被検体内の観察対象に照射される。
　撮像光学系３０ｂは、対物レンズ４６および撮像センサ４８を有する。観察対象からの反射光は、対物レンズ４６を介して撮像センサ４８に入射し、撮像センサ４８に観察対象の反射像が結像される。

　撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。撮像センサ４８としては、ＣＣＤ(Charge Coupled Device）撮像センサおよびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を用いることができる。撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を有するＲＧＢ撮像センサである。

　また、内視鏡１２の内部には、ＣＤＳ（Correlated Double Sampling）・ＡＧＣ（Auto Gain Control）回路５０及びＡ／Ｄ（Analog/Digital）変換器５２が設けられている。撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０に入力される。ＣＤＳ・ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ）及び自動利得制御（ＡＧＣ）等を行う。

　ＣＤＳ・ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器５２により、アナログ画像信号からデジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。

　プロセッサ装置１６は、モニタ１８およびコンソール１９の他、図２に示すように、各種のモダリティ８０および外部システム８２等と電気的に接続される。プロセッサ装置１６は、画像信号を画像処理して被検体の現在の内視鏡画像を生成し、被検体の現在の内視鏡画像を含む各種のモダリティ８０による医療画像を出力するものであり、受信部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、画像処理切替部６０と、通常画像処理部６２と、特殊画像処理部６４と、映像信号生成部６６と、医療画像取得部６８と、診断情報取得部７０と、注目領域推定部７２と、異常部鑑別部７４と、表示制御部７６と、検査情報フィードバック部７８と、を有する。

　医療画像取得部６８、診断情報取得部７０、注目領域推定部７２、異常部鑑別部７４、表示制御部７６、検査情報フィードバック部７８およびモニタ１８は、本発明の情報表示システムの一実施形態を構成する。
　情報表示システムは、各種のモダリティ８０から、各々の被検体（患者）の医療画像を取得し、さらに、各種の外部システム８２から、各々の被検体の診断情報（医療情報）を取得し、各々の被検体について、医療画像および診断情報の少なくとも１つを表示する。

　受信部５３は、内視鏡１２からデジタル信号であるＲＧＢ画像信号を受信する。

　ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理およびデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたＲＧＢ画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のＲＧＢ画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のＲＧＢ画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさおよび彩度が整えられる。リニアマトリクス処理後のＲＧＢ画像信号には、デモザイク処理（等方化処理あるいは同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。

　ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施されたＲＧＢ画像信号に対して移動平均法およびメディアンフィルタ法等のノイズ除去処理を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去されたＲＧＢ画像信号は、画像処理切替部６０に入力される。

　画像処理切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、ＲＧＢ画像信号を通常画像処理部６２に入力し、第１特殊観察モード、第２特殊観察モード、又は第３特殊観察モードにセットされている場合には、ＲＧＢ画像信号を特殊画像処理部６４に入力するように切り替える。

　通常画像処理部６２は、ＲＧＢ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理等を行う。色変換処理では、デジタルのＲＧＢ画像信号に対して、３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ処理などを行い、色変換処理済みのＲＧＢ画像信号に変換する。次に、色変換処理済みのＲＧＢ画像信号に対して、各種色彩強調処理を施す。この色彩強調処理済みのＲＧＢ画像信号に対して、空間周波数強調等の構造強調処理を行う。構造強調処理が施されたＲＧＢ画像信号は、通常画像のＲＧＢ画像信号として、通常画像処理部６２から映像信号生成部６６に入力される。

　特殊画像処理部６４は、第１特殊観察モード、第２特殊観察モードまたは第３特殊観察モードに設定されている場合に作動する。この特殊画像処理部６４は、ＲＧＢ画像信号に対して、第１特殊画像のための画像処理を施して第１特殊画像を生成する第１特殊画像処理部６４ａと、第２特殊画像のための画像処理を施して第２特殊画像を生成する第２特殊画像処理部６４ｂと、第３特殊画像のための画像処理を施して第３特殊画像を生成する第３特殊画像処理部６４ｃとを有する。

　第１特殊画像処理部６４ａは、白色光および青色狭帯域光を被検体に照射することにより撮像される第１特殊画像のＲＧＢ画像信号に対して、例えば通常画像処理部６２と同様に、色変換処理、色彩強調処理、及び構造強調処理等を施し、被検体の粘膜表層の血管構造が強調された青色狭帯域光画像（第１特殊画像）を生成する。

　第２特殊画像処理部６４ｂは、例えば第１特殊画像のＲＧＢ画像信号のＧ画像信号とＢ画像信号との信号比Ｂ／Ｇ比を算出し、Ｒ画像信号とＧ画像信号との信号比Ｇ／Ｒ比を算出し、信号比Ｂ／Ｇおよび信号比Ｇ／Ｒに対して、正常粘膜が分布する第１範囲の彩度と色相が同じになるように、かつ、第１範囲と異常部が分布する第２範囲との彩度の差、および、第１範囲と異常部の下に存在する深層血管が分布する第３範囲との色相の差の少なくともいずれかが大きくなるように、例えば赤味を帯びている色がより赤く、白っぽい色がより白くなるように色強調処理を施すことにより、被検体の現在の内視鏡画像における正常部と異常部との色の違いが強調された色強調画像（第２特殊画像）を生成する。

　第３特殊画像処理部６４ｃは、第１青色光Ｂ１、緑色光Ｇ１及び赤色光Ｒ１の照射と、第２青色光Ｂ２、緑色光Ｇ２及び赤色光Ｒ２の照射と、を交互に行うことによって撮像される２種類の内視鏡画像のＲＧＢ画像信号から、例えばＢ１画像信号とＧ２画像信号の信号比Ｂ１／Ｇ２、Ｒ２画像信号とＧ２画像信号の信号比Ｒ２／Ｇ２、及びＧ２画像信号とＢ２画像信号の信号比Ｇ２／Ｂ２を算出し、これらの信号比と酸素飽和度との相関関係を記憶したLUT（Look Up Table：ルックアップテーブル）を参照して、信号比から被検体の血中ヘモグロビンの酸素飽和度を算出し、酸素飽和度を画像化した酸素飽和度画像（第３特殊画像）を生成する。
　特殊画像処理部６４で生成された第１特殊画像、第２特殊画像及び第３特殊画像のＲＧＢ画像信号は、映像信号生成部６６に入力される。

　映像信号生成部６６は、通常画像処理部６２又は特殊画像処理部６４から入力されたＲＧＢ画像信号を、モニタ１８で表示可能な画像として表示するための映像信号に変換する。映像信号は、内視鏡画像（医療画像）として、医療画像取得部６８に入力される。

　医療画像取得部６８は、内視鏡診断装置１０を含む１以上のモダリティ８０から、被検体の現在の内視鏡画像を含む被検体の医療画像（静止画像あるいは動画像）を取得する。医療画像取得部６８は、１のモダリティのみから、被検体の医療画像を取得してもよいし、２以上のモダリティから、被検体の医療画像を取得してもよい。医療画像取得部６８から出力される被検体の医療画像は、注目領域推定部７２、異常部鑑別部７４、表示制御部７６および検査情報フィードバック部７８に入力される。

　モダリティ８０は、被検体の医療画像を撮像する各種の医療装置であり、例えば内視鏡診断装置、超音波診断装置、超音波内視鏡診断装置、X線撮影装置、コンピュータ断層撮影装置（CT）および磁気共鳴診断装置（MRI）等が含まれる。また、モダリティ８０には、被検体の生体情報を取得する装置、被検体の体腔内における内視鏡１２の挿入形状を取得する装置、および、被検体の体腔内において内視鏡１２を移動させるための支援情報を取得する装置等が含まれていてもよい。

　被検体の生体情報を取得する装置は、例えば被検体の心拍値を取得する心拍計および被検体の血圧値を取得する血圧計等である。
　内視鏡１２の挿入形状を取得する装置は、例えば磁気等を利用して、被検体の体腔内における内視鏡１２の３次元の挿入形状をリアルタイムに取得する内視鏡挿入形状観測装置等である。
　支援情報を取得する装置は、例えば学習用内視鏡画像と、この学習用内視鏡画像に表示されている臓器の名称、臓器の範囲（領域あるいは境界とも言う）、内視鏡１２の先端部１２ｄの位置および向きと、の関係を複数の学習用超音波画像について学習した学習済みモデルに基づいて、被検体の診断用内視鏡画像から、この診断用内視鏡画像に表示されている臓器の名称、臓器の範囲、内視鏡１２の先端部１２ｄの位置および向き等を推定し、これらの情報を前述の支援情報として取得する装置である。

　なお、モダリティ８０には、例えば各種のモダリティ８０により撮像された被検体の医療画像を保管・管理する医療画像管理システム（PACS：Picture Archiving and Communication Systems）、および、内視鏡１２の挿入部１２ａに装着して使用されるダブルバルーンの膨張および収縮の状態を取得する装置等のように、上記以外のモダリティが含まれていてもよい。

　学習方法は、複数の学習用内視鏡画像から上記の関係を学習し、学習済みモデルを生成することができるものであれば特に限定されない。
　学習方法としては、例えば人工知能（AI：Artificial Intelligence）の技術の１つである機械学習（マシンラーニング）の一例としての、階層構造型のニューラルネットワークを用いるディープラーニング（深層学習）等を利用することができる。
　なお、ディープラーニング以外の機械学習を利用してもよいし、機械学習以外の人工知能の技術を利用してもよいし、人工知能の技術以外の学習方法を利用してもよい。これ以降に説明する他の学習済みモデルの学習方法についても同様である。

　診断情報取得部７０は、外部システム８２から、被検体の診断情報を取得する。診断情報取得部７０から出力される被検体の診断情報は、表示制御部７６に入力される。

　外部システム８２は、被検体の診断情報等を情報表示システムに提供し、かつ、医師が診断レポートを作成するために使用するものであり、例えば被検体の診断情報を保管・管理するIT（Information Technology：情報技術）システム等を利用することができる。
　被検体の診断情報は、被検体の患者情報（氏名、住所、連絡先等の情報）、および、診断レポート（病状、禁忌情報、医師の所見、経過情報等の情報）等を含む。

　注目領域推定部７２は、被検体の現在の医療画像、例えば通常画像（内視鏡画像）から、注目領域の有無および注目領域の位置等を推定する。注目領域推定部７２の推定結果は、異常部鑑別部７４および表示制御部７６に入力される。

　注目領域は、正常部ではない可能性がある被検体の部位、つまり、異常部の可能性がある被検体の部位である。
　注目領域推定部７２は、例えば学習用内視鏡画像と、この学習用内視鏡画像に表示されている注目領域の有無および注目領域の位置と、の関係を複数の学習用内視鏡画像について学習した学習済みモデルに基づいて、被検体の診断用内視鏡画像から、この診断用内視鏡画像に表示されている注目領域の有無および注目領域の位置を推定することができる。
　なお、注目領域推定部７２が、被検体の現在の医療画像から、注目領域の有無および注目領域の位置等を推定する方法は特に限定されない。

　異常部鑑別部７４は、被検体の現在の医療画像、例えば第１特殊画像から、注目領域と推定された部位が異常部と推定されるか否か、異常部と推定された部位の位置および異常部と推定される確率等を鑑別する。異常部鑑別部７４の鑑別結果は表示制御部７６に入力される。

　異常部鑑別部７４は、例えば学習用内視鏡画像と、この学習用内視鏡画像に表示されている注目領域と推定された部位が異常部と推定されるか否か、異常部と推定された部位の位置および異常部と推定される確率と、の関係を複数の学習用内視鏡画像について学習した学習済みモデルに基づいて、被検体の診断用内視鏡画像から、この診断用内視鏡画像に表示されている注目領域と推定される部位が異常部と推定されるか否か、異常部と推定された部位の位置および異常部と推定される確率を鑑別することができる。
　なお、異常部鑑別部７４が、内視鏡画像等の医療画像から、注目領域と推定された部位が異常部と推定されるか否か、異常部と推定された部位の位置および異常部と推定される確率等を鑑別する方法は特に限定されない。

　表示制御部７６は、被検体の医療画像、被検体の診断情報、注目領域の推定情報および異常部の鑑別情報等をモニタ１８に表示させる制御を行う。表示制御部７６から出力される被検体の医療画像、被検体の診断情報、注目領域の推定情報および異常部の鑑別情報等はモニタ１８に入力される。

　表示制御部７６は、例えばモニタ１８の表示画面を分割することなく、被検体の医療画像をモニタ１８に表示させたり、被検体の医療画像を、モニタ１８の表示画面を分割した２以上の分割領域の少なくとも１つに表示させたりすることができる。この場合、表示制御部７６は、被検体の検査の進行状況に応じて、モニタ１８の表示画面または分割領域に表示させる被検体の医療画像の内容を順次変えることができる。
　なお、分割領域の数、面積、アスペクト比および配置等は特に限定されない。

　また、表示制御部７６は、例えばモニタ１８の表示画面を分割することなく、被検体の医療画像または診断情報をモニタ１８に表示させる、もしくは、被検体の医療画像および診断情報の少なくとも１つを、２以上の分割領域の少なくとも１つに表示させることができる。この場合、表示制御部７６は、被検体の検査の進行状況に応じて、モニタ１８の表示画面または分割領域に表示させる被検体の医療画像および診断情報の内容を順次変えることができる。

　検査情報フィードバック部７８は、診断レポートの作成段階において、医師による被検体の診断結果、検査時間、および、使用機材等を含む検査情報を外部システム８２にフィードバックする。

　検査情報は、被検体の検査に関する情報であれば特に限定されず、上記以外の各種の情報、例えば被検体の医療画像等を含んでいてもよい。
　診断レポートは、検査情報および各種のモダリティ８０による医療画像等に基づいて、医師（ユーザ）が作成する被検体の診察記録であり、被検体の病状、禁忌情報、病状に対する医師の所見、被検体に対する処置、被検体の経過情報等が記録される。

　モニタ１８は、例えば液晶ディスプレイ等の表示装置であり、表示制御部７６の制御により、被検体の医療画像、被検体の診断情報、注目領域の推定情報および異常部の鑑別情報等を表示する。

　コンソール１９は、キーボードおよびマウス等のように、医師からの指示を入力する入力装置であり、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。

　次に、内視鏡診断装置１０の動作を説明する。

　まず、モード切替ＳＷ１３ａにより通常観察モードにセットされ、内視鏡１２の挿入部１２ａが検体内に挿入される。

　通常観察モード時には、光源制御部２１により、例えばV-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄの全てが点灯される。LED２０a～２０ｄから発せられた４色の光は、光路結合部２３により結合され、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの４色の光が混色されて、ほぼ白色の光となり、ライトガイド４１及び照明レンズ４５を介して、被検体内の観察対象に照射される。
　観察対象からの反射光は、対物レンズ４６を介して撮像センサ４８に入射され、撮像センサ４８に観察対象の反射像が結像される。撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０を経て、Ａ／Ｄ変換器５２によりデジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力され、受信部５３により受信される。
　受信部５３により受信されたデジタル画像信号は、ＤＳＰ５６により各種信号処理が施されて、通常画像のＲＧＢ画像信号とされ、ノイズ除去部５８によりノイズ除去処理が施されて、通常画像のＲＧＢ画像信号からノイズが除去される。ノイズが除去された通常画像のＲＧＢ画像信号は、画像処理切替部６０により通常画像処理部６２に入力され、通常画像処理部６２により、通常画像のための画像処理が施される。
　画像処理が施された通常画像のＲＧＢ画像信号は、映像信号生成部６６により、通常画像として表示するための映像信号に変換される。

　モード切替ＳＷ１３ａにより第１特殊観察モードに切り替えられると、光源制御部２１により、例えばV-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄの全てが点灯される。その際、表層血管での吸収率が高い紫色光Ｖの発光量が比較的高くなるように、かつ、中層血管への吸収率が高い緑色光Ｇの発光量が比較的低くなるように設定され、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの４色の光の光量比が定められた比率となるように照射される。
　これ以後、ノイズ除去部５８によりノイズ除去処理が施されるまでの動作は通常観察モードの場合と同様であり、ノイズ除去部５８からは、ノイズが除去された第１特殊画像のＲＧＢ画像信号が出力される。ノイズが除去された第１特殊画像のＲＧＢ画像信号は、画像処理切替部６０により第１特殊画像処理部６４ａに入力され、第１特殊画像処理部６４ａにより、第１特殊画像のための画像処理が施される。
　画像処理が施された第１特殊画像のＲＧＢ画像信号は、映像信号生成部６６により、第１特殊画像として表示するための映像信号に変換される。

　モード切替ＳＷ１３ａにより第２特殊観察モードに切り替えられた場合、第１特殊画像処理部６４ａにより第１特殊画像のための画像処理が施されるまでの動作は第１特殊観察モードの場合と同様であり、第１特殊画像処理部６４ａからは、画像処理が施された第１特殊画像のＲＧＢ画像信号が出力される。
　画像処理が施された第１特殊画像のＲＧＢ画像信号は、第２特殊画像処理部６４ｂにより、第２特殊画像のための画像処理が施され、第２特殊画像のＲＧＢ画像信号とされる。
　第２特殊画像のＲＧＢ画像信号は、映像信号生成部６６により、第２特殊画像として表示するための映像信号に変換される。

　モード切替ＳＷ１３ａにより第３特殊観察モードに切り替えられると、光源制御部２１により、例えばB-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄが点灯される。その際、第１青色光Ｂ１、緑色光Ｇ１及び赤色光Ｒ１の照射と、第２青色光Ｂ２、緑色光Ｇ２及び赤色光Ｒ２の照射と、が一定の間隔で交互に繰り返し行われる。
　これ以後、ノイズ除去部５８によりノイズ除去処理が施されるまでの動作は通常観察モードの場合と同様であり、ノイズ除去部５８からは、ノイズが除去された２種類の内視鏡画像のＲＧＢ画像信号が出力される。ノイズが除去された２種類の内視鏡画像のＲＧＢ画像信号は、画像処理切替部６０により第３特殊画像処理部６４ｃに入力され、第３特殊画像処理部６４ｃにより、第３特殊画像のための画像処理が施される。
　画像処理が施された第３特殊画像のＲＧＢ画像信号は、映像信号生成部６６により、第３特殊画像として表示するための映像信号に変換される。

　次に、表示制御部７６の制御によるモニタ１８の表示画面について説明する。

　表示制御部７６は、例えばモニタ１８の表示画面を第１分割領域およびこの第１分割領域よりも面積が小さい１以上の第２分割領域に分割することができる。この場合、表示制御部７６は、例えば１以上のモダリティ８０のうちの１のモダリティから取得された被検体の医療画像を第１分割領域に表示させ、１以上のモダリティ８０から取得された被検体の医療画像、および、外部システム８２から取得された被検体の診断情報の少なくとも１つを１以上の第２分割領域の少なくとも１つに表示させることができる。

　図４は、モニタの表示画面を表す一実施形態の概念図である。表示制御部７６は、図４に示すように、例えばモニタ１８の表示画面を第１分割領域（Area 1）および第１分割領域よりも面積が小さい２つの第２分割領域（Area 2, Area 3）からなる３つの領域に分割することができる。この場合、表示制御部７６は、１以上のモダリティ８０のうちの１のモダリティから取得された被検体の医療画像を第１分割領域に表示させ、１以上のモダリティ８０から取得された被検体の医療画像、および、外部システム８２から取得された被検体の診断情報の少なくとも１つを２つの第２分割領域の少なくとも１つに表示させることができる。

　また、表示制御部７６は、図４に示すように、被検体の診断情報のうち、テキスト情報として表示させることができる情報、例えば被検体の患者情報等を、モニタ１８の表示画面の下部において横方向に延びる１行ないし複数行からなる第３分割領域（Area 4）に表示させることができる。この場合、モニタ１８の表示画面は、第１分割領域、２つの第２分割領域および第３分割領域からなる４つの領域に分割される。

　本実施形態のように、本発明の情報表示システムが内視鏡診断装置１０に組み込まれている場合、表示制御部７６は、例えば内視鏡診断装置１０から取得された被検体の現在の通常画像を第１分割領域に表示させるのが望ましい。これにより、医師は、被検体の検査のために使用中の内視鏡診断装置１０のモニタ１８において、被検体の現在の通常画像を比較的大きなサイズで観察しながら、同時に各種のモダリティ８０による医療画像および被検体の診断情報等を閲覧することができる。

　なお、各々の分割領域に何を表示させるかは特に限定されない。例えば、内視鏡画像以外の様々なモダリティ８０による医療画像または被検体の診断情報を第１分割領域に表示させてもよいし、第２分割領域に表示させてもよい。また、通常画像以外の内視鏡画像、例えば第１特殊画像、第２特殊画像および第３特殊画像の少なくとも１つを第１分割領域に表示させてもよいし、第２分割領域に表示させてもよい。

　また、モニタ１８の表示画面のアスペクト比が、１６（横）：９（縦）である場合、第１分割領域および２つの第２分割領域のアスペクト比が、５（横）：４（縦）であるのが望ましい。この場合、図４に示すように、例えば第１分割領域を、モニタ１８の表示画面の左部から中央部にわたって配置し、２つの第２分割領域を、それぞれ、モニタ１８の表示画面の右上部および右下部に配置することができる。あるいは、第１分割領域を、モニタ１８の表示画面の中央部から右部にわたって配置し、２つの第２分割領域を、それぞれ、モニタ１８の表示画面の左上部および左下部に配置してもよい。

　近年、モニタ１８の表示画面のアスペクト比は、１６：９のものが主流である。これに対し、医療画像を撮像するモダリティ８０が有する撮像センサの受光面のアスペクト比、言い換えると、医療画像のアスペクト比は、５：４のものが多い。従って、上記のように、アスペクト比が、１６：９のモニタ１８を使用することにより、アスペクト比が１６：９のモニタ１８の表示画面において、トリミング等することなく、アスペクト比が、５：４の医療画像等を、図４に示す３つの分割領域の各々に好適に表示させることができる。

　次に、内視鏡診断装置１０による被検体の検査の手順について説明する。

　内視鏡診断装置１０においては、被検体の現在の内視鏡画像が順次撮像される。内視鏡診断装置１０による被検体の検査は、図５に示すように、準備段階、内視鏡の挿入段階、注目領域の拾上段階、注目領域の鑑別・治療段階、および、診断レポートの作成段階を含む。

　準備段階は、医師が、内視鏡診断装置１０によって被検体の内視鏡画像を観察する前の準備を行う段階である。

　表示制御部７６は、準備段階において、図６に示すように、被検体の診断情報、例えば被検体の患者情報、および、被検体の過去の診断レポートの少なくとも１つをモニタ１８に表示させる。また、表示制御部７６は、被検体の過去の医療画像、および、被検体の病状の類似事例等をモニタ１８に表示させることもできる。
　図６に示すモニタ１８の表示画面には、被検体の過去の医療画像が表示されている。
　これにより、医師は、実際に被検体の内視鏡画像の観察を行う前に、被検体の病状等を把握したり、観察すべき被検体の部位等を事前に確認したりすることができる。

　内視鏡の挿入段階は、医師が、被検体の体腔内に内視鏡１２を挿入し、被検体の内視鏡画像を観察する段階である。

　表示制御部７６は、内視鏡の挿入段階において、図７に示すように、例えば被検体の現在の内視鏡画像を２以上の分割領域のうちの１の分割領域に表示させ、被検体の過去の内視鏡画像、被検体の生体情報、被検体の体腔内における内視鏡１２の挿入形状、および、被検体の体腔内において内視鏡１２を移動させるための支援情報の少なくとも１つを２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させる。
　図７に示すモニタ１８の表示画面において、第１分割領域には、被検体の現在の内視鏡画像として、通常画像が表示されている。また、右上部の第２分割領域には、被検体の過去の内視鏡画像（サムネイル画像）が４枚表示され、右下部の第２分割領域には、被検体の体腔内における内視鏡１２の挿入形状を表す画像が表示されている。
　これにより、医師は、被検体の現在の内視鏡画像を観察しながら、同時に被検体の過去の内視鏡画像、被検体の生体情報、被検体の体腔内における内視鏡１２の挿入形状、および、被検体の体腔内において内視鏡１２を移動させるための支援情報等の少なくとも１つを確認しながら、被検体の体腔内において内視鏡１２を安全かつ確実に移動させて、観察対象を観察することができる。

　表示制御部７６は、医師からの検査開始の指示に応じて、または、照明光を用いて被検体を撮像した画像信号を出力する内視鏡１２が、画像信号を画像処理して被検体の現在の内視鏡画像を出力するプロセッサ装置１６および照明光を出力する光源装置１４の少なくとも１つに接続された場合に、準備段階において表示させる内容から、内視鏡の挿入段階において表示させる内容に切り替える。

　注目領域の拾上段階は、注目領域推定部７２が、被検体の現在の内視鏡画像において、注目領域と推定される部位を拾い上げていく段階である。例えば、医師からの指示に応じて、内視鏡の挿入段階から注目領域の拾上段階に移行される。

　表示制御部７６は、注目領域の拾上段階において、図８に示すように、例えば被検体の現在の内視鏡画像を２以上の分割領域のうちの１の分割領域に表示させ、被検体の現在の内視鏡画像のうちの注目領域と推定された部位の位置を表す画像、および、色強調画像の少なくとも１つを２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させる。
　図８に示すモニタ１８の表示画面において、第１分割領域には、被検体の現在の内視鏡画像として、通常画像が表示されている。また、右上部の第２分割領域には、被検体の現在の内視鏡画像のうちの注目領域と推定された部位の位置を表す画像が、注目領域と推定された部位の位置が枠線で囲まれた状態で表示され、右下部の第２分割領域には、注目領域と推定された部位の位置を含む色強調画像が表示されている。
　これにより、医師は、被検体の現在の内視鏡画像を観察しながら、同時に被検体の現在の内視鏡画像のうちの注目領域と推定された部位の位置を表す画像、および、色強調画像の少なくとも１つを確認することができる。

　注目領域の鑑別・治療段階は、異常部鑑別部７４が、注目領域と推定された部位が異常部と推定されるか否か等を鑑別し、医師が、その鑑別結果に応じて、異常部と推定されると鑑別された部位が病変部なのか否かを診断し、病変部と診断された部位を治療する段階である。

　表示制御部７６は、注目領域の鑑別・治療段階において、図９に示すように、例えば被検体の現在の内視鏡画像を２以上の分割領域のうちの１の分割領域に表示させ、異常部と推定されると鑑別された部位の位置を表す画像、異常部と推定されると鑑別された部位が異常部と推定される確率、および、異常部と推定されると鑑別された部位の長さを表す測長結果の少なくとも１つを２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させる。
　図９に示すモニタ１８の表示画面において、第１分割領域には、被検体の現在の内視鏡画像として、通常画像が表示されている。また、右上部の第２分割領域には、異常部と推定されると鑑別された部位の位置を表す画像が定められた色、例えば緑色に着色して表示され、右下部の第２分割領域には、異常部と推定されると鑑別された部位が異常部と推定される確率が９０％であることが表示されている。
　これにより、医師は、被検体の現在の内視鏡画像を観察しながら、同時に異常部と推定されると鑑別された部位の位置を表す画像、異常部と推定されると鑑別された部位が異常部と推定される確率、および、異常部と推定されると鑑別された部位の長さを表す測長結果の少なくとも１つを確認しながら、異常部と推定されると鑑別された部位が病変部なのか否か等を診断することができる。

　また、表示制御部７６は、注目領域の鑑別・治療段階において、医師からの指示に応じて、被検体の現在の内視鏡画像から、図１０に示すように、被検体の現在の内視鏡画像における酸素飽和度を表す画像に切り替えて、１の分割領域、例えば第１分割領域に表示させることができる。あるいは、表示制御部７６は、被検体の現在の内視鏡画像を１の分割領域に表示させ、酸素飽和度画像を他の分割領域の少なくとも１つに表示させてもよい。
　図１０に示すモニタ１８の表示画面において、第１分割領域には、被検体の現在の内視鏡画像として、酸素飽和度を表す画像が表示されている。また、右上部の第２分割領域には、被検体の過去の内視鏡画像（サムネイル画像）が４枚表示され、右下部の第２分割領域には、色強調画像が表示されている。
　これにより、医師は、酸素飽和度を表す画像を観察しながら、異常部と推定されると鑑別された部位が病変部なのか否か等をより正確に診断することができる。

　注目領域の拾上段階において、注目領域推定部７２が、被検体の現在の内視鏡画像において、注目領域と推定される部位を拾い上げていく処理、および、注目領域の鑑別・治療段階において、異常部鑑別部７４が、注目領域と推定された部位が異常部と推定されるか否か等を鑑別する処理は、いずれも自動で行わせることができる。従って、被検体の検査の進行状況に応じて、モニタ１８に表示させる被検体の医療画像の内容を自動で変えることができる。また、これらの処理は、複数の注目領域のそれぞれにおいて、繰り返し行われる。

　診断レポートの作成段階は、医師が、外部システム８２において、検査情報フィードバック部７８からフィードバックされる検査情報等に基づいて、被検体の診断レポートを作成する段階である。

　検査情報フィードバック部７８は、診断レポートの作成段階において、被検体の診断結果、検査時間、および、使用機材を含む検査情報を外部システム８２にフィードバックする。
　医師は、外部システム８２において、検査情報フィードバック部７８からフィードバックされる検査情報等に基づいて、図１１に示すように、被検体の診断レポートを簡単に作成することができる。
　検査情報フィードバック部７８は、検査情報として、被検体の医療画像等を含めて外部システム８２にフィードバックしてもよい。この場合、医師は、被検体の医療画像および検査情報に基づいて、診断レポートを作成することができ、例えば被検体の医療画像等を被検体の診断レポートに添付することもできる。

　上記のように、内視鏡診断装置１０においては、内視鏡診断装置１０が有するモニタ１８において、様々なモダリティ８０による被検体の医療画像および診断情報等を集約して観察することができる。また、被検体の内視鏡画像を観察する前に、被検体の診断情報等をモニタ１８上で事前に確認したり、被検体の検査の進行状況に応じて、内視鏡診断装置１０による検査時に、モニタ１８に表示させる内容を変えたりすることができる。

　ところで、内視鏡の挿入段階、注目領域の拾上段階および注目領域の鑑別・治療段階において、被検体の現在の内視鏡画像として、例えば通常画像が第１分割領域に表示されている場合、医師は、内視鏡１２を操作するために、通常画像を観察することに集中し、第２分割領域に表示されている被検体の医療画像および診断情報等をほとんど見ないという傾向がある。従って、医師に通知すべき特異的な状況が発生した場合に、そのような状況を医師に自動的に通知して医師の注意を喚起することが望ましい。

　例えば、表示制御部７６は、図１２に示すように、心拍値および血圧値を含む被検体の生体情報を他の分割領域の１つ、例えば右上部の第２分割領域に表示させ、被検体の検査中において、心拍値および血圧値の少なくとも１つが上限値を上回ったまたは下限値を下回った場合に、被検体の生体情報を指し示す矢印を、定められた色、例えば赤色で、２以上の分割領域のうちの被検体の生体情報が表示されている他の分割領域の１つ以外の分割領域、例えば図１２に示すように、第１分割領域に表示させてもよいし、あるいは右下部の第２分割領域に表示させてもよい。この場合、表示制御部７６は、矢印を一定時間間隔で点滅させてもよい。
　これにより、医師は、被検体の心拍値および血圧値の少なくとも１つが異常であることを即座に認識することができる。

　また、表示制御部７６は、図１３に示すように、異常部と推定されると鑑別された場合に、もしくは、ユーザからの指示に応じて、異常部と推定されると鑑別された部位の位置を表す画像を被検体の現在の内視鏡画像にオーバレイして表示させ、一定時間が経過した後に、もしくは、ユーザからの指示に応じて、異常部と推定されると鑑別された部位の位置を表す画像のオーバレイを停止して被検体の現在の内視鏡画像を表示させてもよい。
　これにより、医師は、異常部と推定されると鑑別された部位があることを即座に認識することができ、かつ、その位置を容易に確認することができる。

　あるいは、表示制御部７６は、図１４の右上部の第２分割領域に示すように、異常部と推定されると鑑別された部位の位置を表す画像を、定められた色、例えば赤色の枠線で囲んで表示させてもよい。この場合、表示制御部７６は、枠線を一定時間間隔で点滅させてもよい。また、表示制御部７６は、異常部と推定されると鑑別された部位の位置を表す画像を指し示す矢印を、定められた色、例えば赤色で、２以上の分割領域のうちの異常部と推定されると鑑別された部位の位置を表す画像が表示されている他の分割領域の１つ以外の分割領域に表示させてもよい。この場合、表示制御部７６は、矢印を一定時間間隔で点滅させてもよい。

　上記の各例のように、内視鏡診断装置１０においては、多くの情報が集約して表示された場合においても、医師が重要な情報を認識しやすいように表示させることができる。

　本発明の情報表示システムを内視鏡診断装置１０に組み込んだ場合の例を挙げて説明したが、本発明の情報表示システムは、内視鏡診断装置以外の各種のモダリティ８０においても同様に組み込むことが可能である。あるいは、本発明の情報表示システムをモダリティ８０に組み込むことなく、モダリティ８０とは別に設け、各種のモダリティ８０および外部システム８２等を本発明の情報表示システムに接続してもよい。

　本発明の装置において、例えば光源制御部２１、受信部５３、ＤＳＰ５６、ノイズ除去部５８、画像処理切替部６０、通常画像処理部６２、特殊画像処理部６４（第１特殊画像処理部６４ａ、第２特殊画像処理部６４ｂ、第３特殊画像処理部６４ｃ）、映像信号生成部６６、医療画像取得部６８、診断情報取得部７０、注目領域推定部７２、異常部鑑別部７４、表示制御部７６および検査情報フィードバック部７８等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。

　各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

　例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

　さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

　また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

　以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良および変更をしてもよいのはもちろんである。

　１０　内視鏡診断装置
　１２　内視鏡
　１２ａ　挿入部
　１２ｂ　操作部
　１２ｃ　湾曲部
　１２ｄ　先端部
　１２ｅ　アングルノブ
　１３ａ　モード切替ＳＷ
　１４　光源装置
　１６　プロセッサ装置
　１８　モニタ
　１９　コンソール
　２０ａ　V-LED
　２０ｂ　B-LED
　２０ｃ　G-LED
　２０ｄ　R-LED
　２１　光源制御部
　２３　光路結合部
　３０ａ　照明光学系
　３０ｂ　撮像光学系
　４１　ライトガイド
　４５　照明レンズ
　４６　対物レンズ
　４８　撮像センサ
　５０　ＣＤＳ・ＡＧＣ回路
　５２　Ａ／Ｄ変換器
　５３　受信部
　５６　ＤＳＰ
　５８　ノイズ除去部
　６０　画像処理切替部
　６２　通常画像処理部
　６４　特殊画像処理部
　６４ａ　第１特殊画像処理部
　６４ｂ　第２特殊画像処理部
　６４ｃ　第３特殊画像処理部
　６６　映像信号生成部
　６８　医療画像取得部
　７０　診断情報取得部
　７２　注目領域推定部
　７４　異常部鑑別部
　７６　表示制御部
　７８　検査情報フィードバック部
　８０　モダリティ
　８２　外部システム

Claims

　１以上のモダリティから、被検体の医療画像を取得する医療画像取得部と、
　モニタと、
　前記被検体の医療画像を、前記モニタの表示画面を分割した２以上の分割領域の少なくとも１つに表示させる表示制御部と、を備え、
　前記表示制御部は、前記被検体の検査の進行状況に応じて、前記モニタに表示させる前記被検体の医療画像の内容を変える、情報表示システム。
　さらに、外部システムから、前記被検体の診断情報を取得する診断情報取得部を備え、
　前記表示制御部は、前記被検体の診断情報を前記モニタに表示させる、もしくは、前記被検体の医療画像および前記被検体の診断情報の少なくとも１つを、前記２以上の分割領域の少なくとも１つに表示させ、前記被検体の検査の進行状況に応じて、前記モニタに表示させる前記被検体の医療画像および前記被検体の診断情報の内容を変える、請求項１に記載の情報表示システム。
　前記被検体の医療画像は、前記被検体の現在の内視鏡画像を含み、
　前記被検体の検査は、準備段階、内視鏡の挿入段階、注目領域の拾上段階、前記注目領域の鑑別・治療段階、および、診断レポートの作成段階を含む、請求項２に記載の情報表示システム。
　前記表示制御部は、前記準備段階において、前記被検体の患者情報、および、前記被検体の過去の診断レポートの少なくとも１つを前記モニタに表示させる、請求項３に記載の情報表示システム。
　前記表示制御部は、前記内視鏡の挿入段階において、前記被検体の現在の内視鏡画像を前記２以上の分割領域のうちの１の分割領域に表示させ、前記被検体の過去の内視鏡画像、前記被検体の生体情報、前記被検体の体腔内における前記内視鏡の挿入形状、および、前記被検体の体腔内において前記内視鏡を移動させるための支援情報の少なくとも１つを前記２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させる、請求項３または４に記載の情報表示システム。
　前記表示制御部は、心拍値および血圧値を含む前記被検体の生体情報を前記他の分割領域の１つに表示させ、前記被検体の検査中において、前記心拍値および前記血圧値の少なくとも１つが上限値を上回ったまたは下限値を下回った場合に、前記被検体の生体情報を指し示す矢印を、前記２以上の分割領域のうちの前記被検体の生体情報が表示されている前記他の分割領域の１つ以外の分割領域に表示させる、請求項５に記載の情報表示システム。
　さらに、前記被検体の現在の内視鏡画像から、前記注目領域の有無および前記注目領域の位置を推定する注目領域推定部を備え、
　前記表示制御部は、前記注目領域の拾上段階において、前記被検体の現在の内視鏡画像を前記２以上の分割領域のうちの１の分割領域に表示させ、前記被検体の現在の内視鏡画像のうちの前記注目領域と推定された部位の位置を表す画像、および、前記被検体の現在の内視鏡画像に色強調処理を施すことにより生成される、前記被検体の現在の内視鏡画像における正常部と異常部との色の違いが強調された色強調画像の少なくとも１つを前記２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させる、請求項３ないし６のいずれか一項に記載の情報表示システム。
　さらに、白色光および青色狭帯域光を前記被検体に照射することにより撮像される、前記被検体の現在の内視鏡画像における粘膜表層の血管構造が強調された青色狭帯域光画像から、前記注目領域と推定された部位が異常部と推定されるか否か、前記異常部と推定された部位の位置および前記異常部と推定される確率を鑑別する異常部鑑別部を備え、
　前記表示制御部は、前記注目領域の鑑別・治療段階において、前記被検体の現在の内視鏡画像を前記２以上の分割領域のうちの１の分割領域に表示させ、前記異常部と推定されると鑑別された部位の位置を表す画像、前記異常部と推定されると鑑別された部位が前記異常部と推定される確率、および、前記異常部と推定されると鑑別された部位の長さを表す測長結果の少なくとも１つを前記２以上の分割領域のうちの他の分割領域の少なくとも１つに表示させる、請求項３ないし７のいずれか一項に記載の情報表示システム。
　前記表示制御部は、ユーザからの指示に応じて、前記被検体の現在の内視鏡画像から、前記被検体の現在の内視鏡画像における酸素飽和度を表す画像に切り替えて前記１の分割領域に表示させる、請求項８に記載の情報表示システム。
　前記表示制御部は、前記異常部と推定されると鑑別された場合に、もしくは、ユーザからの指示に応じて、前記異常部と推定されると鑑別された部位の位置を表す画像を前記被検体の現在の内視鏡画像にオーバレイして表示させる、請求項８または９に記載の情報表示システム。
　前記表示制御部は、一定時間が経過した後に、もしくは、ユーザからの指示に応じて、前記異常部と推定されると鑑別された部位の位置を表す画像のオーバレイを停止して前記被検体の現在の内視鏡画像を表示させる、請求項１０に記載の情報表示システム。
　前記表示制御部は、前記異常部と推定されると鑑別された部位の位置を表す画像を枠線で囲んで表示させる、請求項８ないし１１のいずれか一項に記載の情報表示システム。
　前記表示制御部は、前記枠線を一定時間間隔で点滅させる、請求項１２に記載の情報表示システム。
　前記表示制御部は、前記異常部と推定されると鑑別された部位の位置を表す画像を指し示す矢印を、前記２以上の分割領域のうちの前記異常部と推定されると鑑別された部位の位置を表す画像が表示されている前記他の分割領域の１つ以外の分割領域に表示させる、請求項８ないし１３のいずれか一項に記載の情報表示システム。
　前記表示制御部は、前記矢印を一定時間間隔で点滅させる、請求項６または１４に記載の情報表示システム。
　前記表示制御部は、ユーザからの検査開始の指示に応じて、または、照明光を用いて前記被検体を撮像した画像信号を出力する内視鏡が前記画像信号を画像処理して前記被検体の現在の内視鏡画像を出力するプロセッサ装置および前記照明光を出力する光源装置の少なくとも１つに接続された場合に、前記準備段階において表示させる内容から、前記内視鏡の挿入段階において表示させる内容に自動的に切り替える、請求項３ないし１５のいずれか一項に記載の情報表示システム。
　さらに、前記診断レポートの作成段階において、前記被検体の診断結果、検査時間、および、使用機材を含む検査情報を前記外部システムにフィードバックする検査情報フィードバック部を備える、請求項３ないし１６のいずれか一項に記載の情報表示システム。
　前記表示制御部は、前記モニタの表示画面を第１分割領域および前記第１分割領域よりも面積が小さい１以上の第２分割領域に分割して、前記１以上のモダリティのうちの１のモダリティから取得された前記被検体の医療画像を前記第１分割領域に表示させ、前記１以上のモダリティから取得された前記被検体の医療画像、および、前記外部システムから取得された前記被検体の診断情報の少なくとも１つを１以上の前記第２分割領域の少なくとも１つに表示させる、請求項２ないし１７のいずれか一項に記載の情報表示システム。
　前記表示制御部は、前記モニタの表示画面を前記第１分割領域および２つの前記第２分割領域に分割して、前記１のモダリティから取得された前記被検体の医療画像を前記第１分割領域に表示させ、前記１以上のモダリティから取得された前記被検体の医療画像、および、前記外部システムから取得された前記被検体の診断情報の少なくとも１つを２つの前記第２分割領域の少なくとも１つに表示させる、請求項１８に記載の情報表示システム。
　前記モニタの表示画面のアスペクト比は、１６：９、前記第１分割領域および２つの前記第２分割領域のアスペクト比は、５：４であり、
　前記第１分割領域は、前記モニタの表示画面の左部から中央部にわたって配置され、２つの前記第２分割領域は、それぞれ、前記モニタの表示画面の右上部および右下部に配置される、請求項１９に記載の情報表示システム。
　医療画像取得部が、１以上のモダリティから、被検体の医療画像を取得するステップと、
　表示制御部が、前記被検体の医療画像を、モニタの表示画面を分割した２以上の分割領域の少なくとも１つに表示させるステップと、を含み、
　前記被検体の検査の進行状況に応じて、前記モニタに表示させる前記被検体の医療画像の内容を変える、情報表示方法。
　さらに、診断情報取得部が、外部システムから、前記被検体の診断情報を取得するステップを含み、
　前記被検体の診断情報を前記モニタに表示させる、もしくは、前記被検体の医療画像および前記被検体の診断情報の少なくとも１つを、前記２以上の分割領域の少なくとも１つに表示させ、前記被検体の検査の進行状況に応じて、前記モニタに表示させる前記被検体の医療画像および前記被検体の診断情報の内容を変える、請求項２１に記載の情報表示方法。