以下、本発明をその実施形態を示す図面に基づいて詳述する。
(実施形態1)
実施形態1は、内視鏡から取り込まれた内視鏡画像を、内視鏡が体内に挿入された距離に対応する仮想内視鏡画像に対応付けて出力する形態に関する。仮想内視鏡画像は、気管および気管支内又は腸管等の管状臓器を撮影したX線CTまたはMRまたはX線コーンビームCTの3次元医用画像に基づいて再構成し、3次元画像による体腔内を仮想の内視鏡で表した画像である。
3次元医用画像としては、例えばCT装置およびMRI(MagneticResonanceImaging)装置等から出力されたスライスデータから再構成されたボリュームデータにより表される画像、並びにMS(MultiSlice)CT装置およびX線フラットパネルを用いたX線コーンビームCT装置から出力されたボリュームデータにより表される画像等がある。例えば、大腸に空気を入れた状態でCT撮影を行い、その撮影によって得た3次元画像を大腸の内側からボリュームレンダリングすることによって、大腸の仮想内視鏡画像を再構成しても良い。
図1は、内視鏡システムの構成例を示す模式図である。図1に示すシステムは、被検体の体内に挿入されて撮影を行い、観察対象の映像信号を出力する内視鏡1、内視鏡1が出力した映像信号を内視鏡画像に変換する内視鏡用プロセッサ2、内視鏡画像等を表示する表示装置3、及び情報処理装置4を含む。内視鏡1、内視鏡用プロセッサ2及び表示装置3はコネクタを介して電気信号、映像信号等の送受信を行う。内視鏡用プロセッサ2及び情報処理装置4は、インターネット等のネットワークNを介して情報の送受信を行う。
内視鏡1は、先端部に撮像素子がある挿入部を被検体の体内に挿入し、診断または治療を行う器具である。内視鏡1は、先端にある撮像素子を用いて捉えた撮影画像をプロセッサ2に転送する。
内視鏡用プロセッサ2は、内視鏡1の先端にある撮像素子から取り込まれた撮像画像に対して画像処理を行い、内視鏡画像を収集して表示装置3に出力する情報処理装置である。また、以下では簡潔のため、内視鏡用プロセッサ2をプロセッサ2と読み替える。
表示装置3は、液晶ディスプレイ又は有機EL(electroluminescence)ディスプレイ等であり、プロセッサ2から出力された内視鏡画像等を表示する。
情報処理装置4は、患者に関する情報、及び患者を撮影した3次元医用画像に基づいて再構成された仮想内視鏡画像の記憶及び送受信を行う情報処理装置である。情報処理装置4は、例えばサーバ装置、パーソナルコンピュータ等である。本実施形態において情報処理装置4はサーバ装置であるものとし、以下では簡潔のためサーバ4と読み替える。
図2は、内視鏡1の外観図である。内視鏡1は、撮像素子11、処置具挿入チャネル12、操作部13、コネクタ14及び可撓管15を含む。撮像素子11は、内視鏡1の先端部に設置された、例えばCCD(ChargeCoupledDevice)イメージセンサ、CMD(ChargeModulationDevice)イメージセンサまたはCMOS(ComplementaryMetalOxideSemiconductor)イメージセンサであり、入射光を光電変換する。光電変換により再構成された電気信号には、図示しない信号処理回路によりA/D変換、ノイズ除去などの信号処理が施され、プロセッサ2に出力される。
処置具挿入チャネル12は、処置具を通すためのチャンネルである。処置具は、例えば把持具、生検針、鉗子、スネア、クランプ、ハサミ、メス、切開器具、内視鏡ステープラ、組織ループ、クリップアプライヤ、縫合糸送達器具、またはエネルギーによる組織凝固器具若しくは組織切断器具である。操作部13にはレリーズボタン、内視鏡の先端を曲げるためのアングルノブ等が設けられ、例えば送気、送水、送ガス等の周辺機器の操作指示信号の入力を受け付ける。コネクタ14は、プロセッサ2に接続される。可撓管15は、患者の体内に挿入され得る可撓性を有する内視鏡用導管である。
図3は、プロセッサ2の構成例を示すブロック図である。プロセッサ2は、制御部21、記憶部22、操作入力部23、出力部24、光源制御部25、通信部26、光源27、読取部28、大容量記憶部29及びセンサ信号入力部20を含む。各構成はバスBで接続されている。
制御部21は、CPU(CentralProcessingUnit)、MPU(Micro-ProcessingUnit)、GPU(GraphicsProcessingUnit)等の演算処理装置を含み、記憶部22に記憶された制御プログラム2Pを読み出して実行することにより、プロセッサ2に係る種々の情報処理、制御処理等を行う。なお、図3では制御部21を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。
記憶部22は、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)等のメモリ素子を含み、制御部21が処理を実行するために必要な制御プログラム2P又はデータ等を記憶している。また、記憶部22は、制御部21が演算処理を実行するために必要なデータ等を一時的に記憶する。操作入力部23は、例えばタッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生した入力信号を制御部21に入力する。出力部24は、制御部21の制御の下で、表示用の画像信号及び各種の情報を表示装置3に出力し、画像及び情報を表示させる。
光源制御部25は、LED等のオン/オフ、LED等の駆動電流及び駆動電圧の調整によって照明光の発光量を制御する。また、光源制御部25は、光学フィルタの変更等によって、照明光の波長帯域を制御する。光源制御部25は、各LEDの点灯や消灯、及び点灯時の発光量等を独立して制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。通信部26は、通信に関する処理を行うための通信モジュールであり、ネットワークNを介して、サーバ4及び外部の情報処理装置等との間で情報の送受信を行う。
光源27は、観察対象の照明に用いる照明光を発する光源を備える。光源は、例えば、波長域が異なる複数色のLED(LightEmittingDiode)等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、又はキセノンランプ、ハロゲンランプ等である。光源27は、プロセッサ2の光源制御部25からの制御に従い明るさ等を調整する。なお、本実施形態では、プロセッサ2が光源一体型であるが、これに限るものではない。例えば、プロセッサ2は、光源装置と分離する光源分離型であっても良い。
読取部28は、CD(CompactDisc)-ROM又はDVD(DigitalVersatileDisc)-ROMを含む可搬型記憶媒体2aを読み取る。制御部21が読取部28を介して、制御プログラム2Pを可搬型記憶媒体2aより読み取り、大容量記憶部29に記憶しても良い。また、ネットワークN等を介して他のコンピュータから制御部21が制御プログラム2Pをダウンロードし、大容量記憶部29に記憶しても良い。さらにまた、半導体メモリ2bから、制御部21が制御プログラム2Pを読み込んでも良い。
大容量記憶部29は、例えばHDD(Harddiskdrive:ハードディスク)、SSD(SolidStateDrive:ソリッドステートドライブ)等の記録媒体を備える。なお、本実施形態において記憶部22及び大容量記憶部29は一体の記憶装置として構成されていても良い。また、大容量記憶部29は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部29はプロセッサ2に接続された外部記憶装置であっても良い。センサ信号入力部20は、各種のセンサから得られた信号を受信する。
図4は、サーバ4の構成例を示すブロック図である。サーバ4は、制御部41、記憶部42、通信部43、入力部44、表示部45、読取部46及び大容量記憶部47を含む。各構成はバスBで接続されている。
制御部41はCPU、MPU、GPU等の演算処理装置を含み、記憶部42に記憶された制御プログラム4Pを読み出して実行することにより、サーバ4に係る種々の情報処理、制御処理等を行う。なお、図4では制御部41を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。
記憶部42はRAM、ROM等のメモリ素子を含み、制御部41が処理を実行するために必要な制御プログラム4P又はデータ等を記憶している。また、記憶部42は、制御部41が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部43は通信に関する処理を行うための通信モジュールであり、ネットワークNを介して、プロセッサ2との間で情報の送受信を行う。
入力部44は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部41へ出力する。表示部45は、液晶ディスプレイ又は有機EL(electroluminescence)ディスプレイ等であり、制御部41の指示に従い各種情報を表示する。
読取部46は、CD(CompactDisc)-ROM又はDVD(DigitalVersatileDisc)-ROMを含む可搬型記憶媒体4aを読み取る。制御部41が読取部46を介して、制御プログラム4Pを可搬型記憶媒体4aより読み取り、大容量記憶部47に記憶しても良い。また、ネットワークN等を介して他のコンピュータから制御部41が制御プログラム4Pをダウンロードし、大容量記憶部47に記憶しても良い。さらにまた、半導体メモリ4bから、制御部41が制御プログラム4Pを読み込んでも良い。
大容量記憶部47は、例えばHDD、SSD等の記録媒体を備える。大容量記憶部47には、医用画像DB(Database)471が記憶されている。なお、本実施形態において記憶部42及び大容量記憶部47は一体の記憶装置として構成されていても良い。また、大容量記憶部47は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部47はサーバ4に接続された外部記憶装置であっても良い。
なお、本実施形態では、サーバ4は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。
図5は、医用画像DB471のレコードレイアウトの一例を示す説明図である。医用画像DB471は、患者ID列、性別列、名前列及び3次元医用画像列を含む。患者ID列は、各患者を識別するために、一意に特定される患者のIDを記憶している。性別列は、患者の性別を記憶している。名前列は、患者の名前を記憶している。3次元医用画像列は、患者を撮影した3次元医用画像を記憶している。3次元医用画像列には、例えばDICOM(DigitalImagingandCommunicationinMedicine)形式の3次元医用画像が記憶されても良い。なお、3次元医用画像に関連付けられた内視鏡画像、診断サポート情報が医用画像DB471に記憶されても良い。
図6は、内視鏡画像を仮想内視鏡画像に対応付けて出力する処理を説明する説明図である。サーバ4の制御部41は、大容量記憶部47の医用画像DB471から、手術前または検査前等に患者を予め撮影した3次元医用画像を取得する。制御部41は、通信部43を介して、取得した3次元医用画像をプロセッサ2に送信する。プロセッサ2の制御部21は、通信部26を介して、サーバ4から送信された3次元医用画像を受信する。
制御部21は、受信した3次元医用画像に基づいて仮想内視鏡画像を再構成する。以下では、大腸の3次元医用画像を用いて、大腸の仮想内視鏡画像を再構成する例を説明する。なお、大腸の3次元医用画像に限らず、気管支または胃等のその他の管腔臓器を含む3次元医用画像であっても良い。
制御部21は、取得した3次元医用画像から被検体内の臓器のボクセルデータを抽出する。臓器としては、例えば大腸、小腸、腎臓、気管支または血管等があるが、これに限らずその他の臓器でも良い。なお、本実施形態においては大腸のボクセルデータを抽出して取得するものとする。
大腸領域を抽出する方法としては、具体的には、まず、3次元医用画像に基づいて体軸に垂直な断面(軸位断;axial)の軸位断画像を複数再構成し、その各軸位断画像に対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。例えば、再構成された軸位断画像に対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。
次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のCT値に対応する閾値(例えば、-600以下)を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。
なお、本実施形態の内壁画像は、内視鏡によって仮想的に大腸の内腔を撮影した画像である。具体的には、制御部21は、予め設定された視点と視線方向とに基づく視線ベクトルを中心として放射線状に伸ばした複数の光線方向上のボクセルデータを、所定の投影面に投影した中心投影による画像を仮想内視鏡画像として再構成する。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。
また、仮想内視鏡画像の視点については、例えば表示装置3上に表示された大腸の3次元医用画像上において、大腸内腔のボクセルデータに基づいて抽出された大腸の中心線上の所定の点を自動または手動で指定することによって設定するようにしても良い。また、視線方向についてもユーザが任意の方向を手動で設定するようにしても良いし、大腸の中心線の進行方向を視線方向としても良い。
なお、上述した処理では、3次元医用画像に基づいて仮想内視鏡画像を再構成する例を説明したが、これに限るものではない。例えば、制御部21は、事前に再構成された仮想内視鏡画像をサーバ4から直接に取得しても良い。
プロセッサ2の制御部21は、内視鏡1の先端が患者(被検体)の体内に挿入された場合、内視鏡1の先端にある撮影素子から取り込まれた内視鏡画像を取得する。制御部21は、内視鏡1が体内に挿入された距離(長さ)を取得する。
内視鏡1の挿入距離を取得する処理に関しては、例えば、内視鏡1の可撓管15には、内視鏡1周辺の環境を測定するための各種のセンサが配設されている。このセンサには、温度センサ、光センサ、圧力センサ、振動センサ、濡れセンサ(電極)、湿度センサ等が使用される。以下では、センサが光センサである場合について説明を行う。
図7は、可撓管15に光センサが配設されている際の構成図である。図7Aは、可撓管15の斜視図である。図中の矢印15aの指示する方向は、可撓管15の長手方向を示す。可撓管15は、内視鏡1外部と接触する内視鏡外面151と、内視鏡内面152を有する。
図7Bは、図7AのA-A線における概略断面図を示す。可撓管15には、光を透過する可撓体153、光センサ16及び光センサケーブル17が備えられている。光センサ16が矢印15aの方向に沿って、内視鏡内面152上に所定の間隔毎に可撓体153と接触して配設されている。なお、可撓体153の代替として、可撓管15全体を透過率の高い材料で形成しても良い。このように構成することにより、光センサ16は、可撓体153の場合と比較して、より多く受光することができる。各光センサ16は、それぞれ光センサケーブル17に接続され、その光センサケーブル17は、プロセッサ2のセンサ信号入力部20に接続されている。
内視鏡検査を行う処置室の光量は、通常の室内と同程度に保たれている。一方、体内は照明光がない限り暗い状態である。光センサ16は可撓管15の内部に配置されているが、可撓管15が体内に挿入されているときでも光を受光することができる。そのため、光センサが光をより多く受光している部分が体外、少ない部分を体内として判別することが可能である。そしてプロセッサ2の制御部21は、光センサ16で得られた信号に基づき、体腔挿入部である境界位置にある光センサ16を特定することにより体内に挿入されている可撓管15の距離(長さ)であるZ座標を算出することができる。
また、可撓管15に接する図示しないマウスピース等にローラエンコーダを付け、可撓管15が体内に挿入されている距離分だけこのローラエンコーダが回転することを用いて、内視鏡1が体内に挿入された距離であるZ座標を取得することができる。マウスピース等のローラエンコーダは、可撓管15の進退に伴って回転し、体内に挿入された内視鏡1の先端部と、例えば口又は鼻等の管腔に連通する開口部との間の長さ、すなわち可撓管15の挿入距離を測定できる。ローラエンコーダは、プロセッサ2と電気的に接続しており、測定した距離をプロセッサ2に送る。またローラエンコーダの代わりに光学式エンコーダを用いても良い。
また、内視鏡1の挿入距離を測定する補助装置が被検体の入り口である体腔挿入部に装着された場合、内視鏡の通過距離を測定することにより、内視鏡1が体内に挿入された距離であるZ座標を取得することができる。補助装置は、例えば可撓管15に付けたリニアスケールのような磁場のスケールとマウスピースに付けたリニアヘッドで距離を測定することであっても良く、またはローラーを付けた内視鏡1のマウスピースであっても良い。なお、鼻または肛門等に内視鏡が挿入される場合、マウスピースと類似のローラーを付けた補助装置を利用しても良い。
さらにまた、内視鏡1の可撓管15に一定間隔で挿入距離を記録したチップを内蔵しても良い。マウスピース等が得た該チップで記録されたZ座標情報から、プロセッサ2は、内視鏡1が体内に挿入された距離であるZ座標を取得することができる。
図8は、体腔内のZ座標を示す説明図である。Z座標は、内視鏡1が体内に挿入された距離である。プロセッサ2の制御部21は、内視鏡画像の視線位置のパラメータを体腔内Z座標に基づき、体腔に沿った長さから体腔内Z座標から3次元画像座標(x、y、z)への変換処理を行う。視線位置のパラメータは、位置(x、y、z)と図示しない角度(θx、θy、θz)である。
続いて、図6に戻り、制御部21は、内視鏡画像から取得した内視鏡1の挿入距離(長さ)であるZ座標、内視鏡屈曲情報から得られる内視鏡体腔内位置、内視鏡視点方向に対応する仮想内視鏡画像を再構成する。具体的には、制御部21は、内視鏡1から取得した内視鏡画像の視線位置のパラメータを取得する。制御部21は、内視鏡画像の視線位置のパラメータを記述する図8の体腔内Z座標に基づき、体腔に沿った長さから体腔内Z座標から3次元画像座標(x、y、z)への変換処理を行う。
ただし、3次元画像の原点は被検体のどこか一定点に決めておく。視線位置のパラメータは、位置(x、y、z)と角度(θx、θy、θz)である。制御部21は、上述した仮想内視鏡画像の再構成処理で再構成した仮想内視鏡画像から、変換後の3次元画像座標、視線角度及び内視鏡1の挿入距離に対応する仮想内視鏡画像を再構成する。制御部21は、内視鏡1から取得した内視鏡画像を、内視鏡1の挿入距離であるZ座標に対応する仮想内視鏡画像に対応付け、表示装置3に出力する。表示装置3は、プロセッサ2から出力された内視鏡画像と、該内視鏡画像に対応付けた仮想内視鏡画像とを表示する。
図9は、内視鏡画像を仮想内視鏡画像に対応付けて出力する際の処理手順を示すフローチャートである。サーバ4の制御部41は、大容量記憶部47の医用画像DB471から、患者を予め撮影した3次元医用画像を取得する(ステップS401)。制御部41は、通信部43を介して、取得した3次元医用画像をプロセッサ2に送信する(ステップS402)。プロセッサ2の制御部21は、通信部26を介して、サーバ4から送信された3次元医用画像を受信する(ステップS201)。
制御部21は、内視鏡1の先端にある撮影素子から取り込まれた内視鏡画像を取得する(ステップS202)。制御部21は、内視鏡挿入距離測定手段で得られた信号に基づき、内視鏡1が体内に挿入された距離であるZ座標位置を取得する(ステップS203)。なお、Z座標位置の取得処理に関しては、上述した説明内容と重複しないように省略する。
制御部21は、受信した3次元医用画像に基づいて仮想内視鏡画像を再構成する(ステップS204)。具体的には、制御部21は、取得した3次元医用画像の被検体内の内腔で、後述する図18のように予め設定された視点から視線方向に視線ベクトルを放射線状に伸ばした複数の光線方向上のボクセルデータを、所定の投影面に投影した中心投影による画像を仮想内視鏡画像として再構成する。制御部21は、仮想内視鏡画像を内視鏡画像に対応付ける(ステップS205)。この際に、内視鏡の視点位置、角度は内視鏡のZ座標位置(挿入長さ)、屈曲具合から推定して仮想内視鏡画像を再構成するが、内視鏡画像との微妙な違いは以下で調整する。
観察対象の仮想内視鏡画像の視野及び視線方向は、内視鏡画像の視野及び視線方向と同一である方が好ましい。内視鏡の視野及び視線方向は、内視鏡画像の位置及び向きにより調整することができる。内視鏡1から取得された内視鏡画像の位置及び向きと、挿入距離に対応する仮想内視鏡画像の位置及び向きとが一致していない場合、制御部21は内視鏡画像に基づき、仮想内視鏡画像の位置及び向きを補正して仮想内視鏡画像を再構成する。
ステップS205においては内視鏡画像と仮想内視鏡画像の一致度を測定するにはAIによる手法を用いても良いが、内視鏡画像の陰影画像と仮想内視鏡画像の陰影画像の相関を取るような指標で一致度を測定し、一致度が最大になるように、内視鏡の視点位置、角度は内視鏡のZ座標位置(挿入長さ)、屈曲具合を微調整して仮想内視鏡画像を再構成し続ける。内視鏡画像と仮想内視鏡画像とが一致させる。内視鏡画像と仮想内視鏡画像が一致したら、制御部21は、該内視鏡画像に一致する仮想内視鏡画像を再構成し、仮想内視鏡画像から距離画像を取得する(ステップS206)。制御部21は、取得した距離画像情報より内視鏡画像の各画素の距離を求める。
制御部21は、内視鏡画像から画像測定で得られる特徴パラメータ量を距離画像情報により補正された特徴パラメータ量を取得する(求める)(ステップS207)。制御部21は、AIによる診断サポート情報を取得する(ステップS208)。ステップS208においては、上述した距離画像情報により補正された特徴パラメータ量情報からAIにより腫瘍候補を探し出しても良いし、内視鏡画像の各領域の特徴パラメータを測定し判定論理に基づき腫瘍候補を探し出しても良いし、内視鏡画像の各領域の特徴パラメータからAIにより、腫瘍候補を探し出しても良い。この腫瘍候補情報を画像診断サポート情報として提供することができる。結果的に、内視鏡画像と仮想内視鏡画像との一致させた距離画像情報を考慮した画像測定で得られる特徴パラメータ量情報より、より精度の高い画像診断サポート情報を提供することができる。
制御部21は、内視鏡1から取得した内視鏡画像に診断サポート情報を追加して表示装置3に出力する(ステップS209)。表示装置3は、プロセッサ2から出力された内視鏡画像と、診断サポート情報とを表示し(ステップS301)、処理を終了する。なお、この時に関連付けられた仮想内視鏡画像も表示しても良い。また腫瘍候補と思われる部分にはカラー表示や強調表示するとわかりやすい。
続いて、ステップS203~205における内視鏡1から取得された内視鏡画像に基づき、仮想内視鏡画像の位置及び向きを補正する処理を説明する。
具体的には、制御部21は、内視鏡1から取得された内視鏡先端部のZ座標位置、視点の位置、方向情報から、図8に示すように体腔に沿ってZ座標分だけ進めた位置を体内3次元座標として求める。被検体のある一定位置を原点として体内3次元座標を定める。この内視鏡先端部のZ座標位置を体内3次元画像に変換し、その体内3次元画像位置の仮想内視鏡画像と内視鏡画像とを一致させるようにする。仮想内視鏡画像と内視鏡画像の一致度を定量的に見るには、輝度情報から求める陰影画像情報の相関度を見て一致度の高さを判断しても良い。または内視鏡画像と内視鏡画像の類似度で一致度を判断しても良い。
なお、上述した処理方法に限るものではない。例えば、プロセッサ2の制御部21は、AIにより内視鏡画像と類似度の高い仮想内視鏡画像を検索することにより、仮想内視鏡画像の位置及び向きの調整を行っても良い。具体的には、制御部21は、DICOM形式の3次元画像データから仮想内視鏡画像を再構成する際に、上述した位置(x、y、z)と角度(θx、θy、θz)である6つの視線パラメータを変化させることで、前後移動または角度の調整により多数の異なる視線位置からの複数の仮想内視鏡画像を再構成する。制御部21は、再構成した複数の仮想内視鏡画像と内視鏡画像との類似度を比較する。ここで、両画像の類似度比較は、公知の画像処理により行われ、画素データレベルのマッチング、または、画像から抽出した特徴のレベルにおけるマッチングのいずれを用いても良い。制御部21は、仮想内視鏡画像と内視鏡画像と類似度の一番高い仮想内視鏡画像を抽出し、補正処理を完了する。
図10は、仮想内視鏡画像の位置及び向きを補正する際の処理手順を示すフローチャートである。なお、図9と重複する内容については同一の符号を付して説明を省略する。プロセッサ2の制御部21は、ステップS204を実行した後に、内視鏡1から取得された内視鏡画像に基づき、仮想内視鏡画像の位置及び向きを補正する(ステップS211)。その後、制御部21は、ステップS205を実行する。
続いて、患者の体内に挿入された内視鏡1の屈曲履歴情報に応じて、内視鏡1が体内に挿入された距離であるZ座標を補正する処理を説明する。例えば、患者の体内の観察対象が大腸であった場合、大腸は患者ごとに形状や配置が異なり、挿入部の形状に従い変形しうる臓器である。そのため、取得された挿入距離は、大腸における位置と湾曲形状等を含む挿入部の挿入状況によって、検出誤差が生じる可能性がある。プロセッサ2の制御部21は、患者の体内に挿入された内視鏡1の屈曲履歴情報を取得し、取得した屈曲履歴情報に応じて、内視鏡1の挿入状況を判別する。制御部21は、判別した挿入状況に基づき、内視鏡1が体内に挿入された距離であるZ座標を補正する。
図11は、屈曲履歴情報に応じた挿入距離を補正する際の処理手順を示すフローチャートである。なお、図10と重複する内容については同一の符号を付して説明を省略する。プロセッサ2の制御部21は、ステップS203を実行した後に、屈曲履歴情報を取得する(ステップS212)。例えば、内視鏡挿入形状検出装置を利用することにより、屈曲履歴情報を検出しても良い。
内視鏡挿入形状検出装置は、磁気コイルが内蔵された挿入形状検出専用内視鏡との組み合わせで、被検体の体内に挿入された内視鏡1の推定挿入形状画像を表示する装置である。例えば、日本国特開2019-37643号公報に開示されているように、内視鏡1の挿入部の内部に、該挿入部の長手方向に沿って所定の間隔で複数の磁気コイルが配置される。内視鏡挿入形状検出装置本体の内蔵アンテナは、磁気コイルから発生する磁気を受信する。内蔵アンテナから発生した交流磁界によって、挿入部に配置される位置検出用の各コイルに起電力が発生して誘導電流が流れる。コイルを流れる誘導電流に基づいて各コイルの位置が検出される。検出された各コイルの位置によって、屈曲履歴情報が検出される。
なお、内視鏡挿入形状検出装置のほか、屈曲検知センサを利用することにより、屈曲履歴情報を検出しても良い。屈曲検知センサは、接点部を有するフレキシブルな部材と、接点部と接し、接触位置に応じた信号を出力するフレキシブルな基板とを有する。具体的には、内視鏡1の挿入部の所定箇所が屈曲する(湾曲する)と、その屈曲の影響を受ける箇所に設けられたフレキシブルな支持部材および基板は、ともに変形して曲がる。屈曲検知センサでは、挿入部の屈曲に応じて、接点部と基板との接触位置が所定方向に沿ってシフトする。接触位置のシフトが生じるとその出力信号が変化することから、屈曲検知センサは、挿入部の屈曲履歴情報(湾曲情報)を検出することになる。
屈曲履歴情報とは、屈曲角度、屈曲方向等、屈曲に関する物理的パラメータまたは情報を示す。制御部21は、内視鏡1の挿入部に配置されたそれぞれの磁気コイルから取得した屈曲履歴情報に応じて、体腔の3次元画像情報から得られた体腔形状に屈曲形状を合わせて体腔内挿入距離であるZ座標を補正する(ステップS213)。具体的には、制御部21は、屈曲角度及び屈曲方向に従い、演算処理で挿入部形状(例えば、右へ30度曲がり等)を検出する。制御部21は、検出した挿入部形状に基づき、挿入距離であるZ座標を再計算する。例えば、途中で内視鏡が一回転している場合、回転している部分の円周長を挿入距離から減じれば良い。また例えば所定区間で複数回屈曲している場合、一ピクセルあたりの距離に屈曲部分のピクセル数を乗じて屈曲している部分の長さを求め、当該長さと当該所定区間の長さとの差分を求める。そして最終的に挿入距離から当該差分を減じる、また内視鏡挿入距離と体腔内挿入距離の違いも補正すれば良い。その後、制御部21は、ステップS205を実行する。
本実施形態によると、内視鏡1から取得された内視鏡画像と、内視鏡1の挿入距離であるZ座標に対応する仮想内視鏡画像とを対応付けて出力することにより、内視鏡画像と3次元医用画像に基づいて再構成された仮想内視鏡画像との位置関連を付けることが可能となる。
本実施形態によると、内視鏡1から取得された内視鏡画像に基づき、仮想内視鏡画像の位置及び向きを補正することにより、実際の内視鏡画像との類似度が高い仮想内視鏡画像を得ることが可能となる。
本実施形態によると、内視鏡1の屈曲履歴情報に応じて、内視鏡1が体内に挿入された距離であるZ座標を補正することにより、精度が高い挿入距離であるZ座標を取得することが可能となる。
本実施形態によると、X線CT画像の3次元データから再構成される仮想内視鏡画像と、実際の内視鏡画像とを一致させることにより、内視鏡画像に距離画像情報が付加でき、内視鏡画像から得られた特徴パラメータを距離情報で補正でき、より精度の高い画像診断サポート情報を提供できる。
(実施形態2)
実施形態2は、仮想内視鏡画像に基づいて視点から見えている内腔の各画素までの距離画像を再構成し、再構成した距離画像に基づき、内視鏡画像の各画素の画素値(データ)を補正する。または、各画素から得られた特徴パラメータを補正する。つまり、距離rだけ離れている画素の面積は1/r2分をかけることにより正しい画像測定特徴パラメータが得られる。また、プロセッサ2の制御部21は、距離画像情報により補正された内視鏡画像の特徴パラメータに基づき、診断サポート情報を表示装置3に出力する。なお、実施形態1と重複する内容については説明を省略する。
図12は、実施形態2のプロセッサ2の構成例を示すブロック図である。なお、図3と重複する内容については同一の符号を付して説明を省略する。大容量記憶部29には、診断サポート情報DB291が記憶されている。診断サポート情報DB291は、患者に対する診断サポート情報を記憶している。
図13は、診断サポート情報DB291のレコードレイアウトの一例を示す説明図である。診断サポート情報DB291は、管理ID列、患者ID列、診断内容列及び診断日時列を含む。管理ID列は、各診断サポート情報の管理データを識別するために、一意に特定される診断サポート情報の管理データのIDを記憶している。患者ID列は、患者を特定する患者IDを記憶している。診断内容列は、患者に対する診断の内容を記憶している。診断日時列は、患者に対する診断の日時情報を記憶している。なお、関連付けられた内視鏡画像、診断サポート情報が診断サポート情報DB291に記憶されても良い。
プロセッサ2の制御部21は、患者を予め撮影した3次元医用画像に基づいて再構成された仮想内視鏡画像から、内視鏡1が体内に挿入された距離であるZ座標に対応する仮想内視鏡画像を取得する。なお、挿入距離であるZ座標に対応する仮想内視鏡画像の取得処理に関しては、実施形態1と同様であるため、説明を省略する。制御部21は、視点位置及び視線方向により、挿入距離であるZ座標に対応する仮想内視鏡画像から、該仮想内視鏡画像で映っている各画素までの距離に基づき、距離画像を求める。なお、距離画像を求める処理に関しては後述する。
制御部21は、再構成した距離画像に基づき、内視鏡画像の各画素の画素値を補正する。内視鏡画像の各画像領域の画素の距離(遠近)により色度に相違が生じる。画素の距離が遠い場合、対応する画像領域は暗く見え、逆に、画素の距離が近い場合、対応する画像領域は明るく見える。プロセッサ2の制御部21は、視点位置及び視線方向により、距離画像で映っている各画素までの距離に基づき、対応する内視鏡画像の各画像領域の各画素の画素値を補正する。
距離画像より、内視鏡画像の各画素の距離を得て、各画素、各領域の特徴パラメータ値を距離に応じて補正を行う。どこか、基準となる距離Raにその各画素、各領域があったとして各画素、各領域の距離Rbで特徴パラメータの補正を行う。例えば、ある領域の面積Sbが距離Rbにあれば、Sb×(Rb/Ra)2と補正することになる。
以下では、発赤により赤い粘膜表面の画像領域の画素の画素値を補正する例を説明する。例えば、制御部21は、粘膜表面の画像領域の画素(R1,G1,B1)の距離が基準距離以上であると判定した場合(画素が遠い)、粘膜表面の赤色が暗く見えるため、該画素に対し、赤色が明るく見えるための画素値補正処理を行う。例えば、画素値R1を距離の2乗の比に応じて画素サイズが変わるので、画素値R1もその比で大きくすることにより、補正後の画素(R2,G1,B1)は赤く見える。
逆に、制御部21は、粘膜表面の画像領域の画素(R1,G1,B1)の距離が基準距離未満であると判定した場合(画素が近い)、画素値R1を距離の2乗の比に応じて画素サイズが変わるので画素値R1もその比で小さくすることにより、粘膜表面の赤色が暗く見えるための画素値補正処理を行う。
なお、上述した赤い粘膜表面の画像領域における画素値の補正処理に関しては、画素のRの比率を利用しても良い。例えば、制御部21は、粘膜表面の画像領域の画素(R3,G3,B3)の距離が基準距離2倍以上であり、且つ3倍以下であると判定した場合、R3/(R3+G3+B3)計算式でRの比率を算出する。制御部21は、粘膜表面の画像領域の画素(R3,G3,B3)の距離が基準距離3倍以上であると判定した場合、2R3/(R3+G3+B3)計算式でRの比率を算出する。制御部21は、算出したRの比率に基づき、粘膜表面の赤色が明るく見えるための画素値補正処理を行い、補正後の画素(R4,G4,B4)を得る。
制御部21は、画素値補正後の内視鏡画像の画像領域に基づき、該画像領域の特徴パラメータを抽出する。制御部21は、抽出した特徴パラメータに基づき、AIまたは判定木(decisiontree)などに基づき判定を行い、得られた診断サポート情報を表示装置3に出力する。特徴パラメータは、内視鏡画像上の各領域の画像幾何学的、画像値、またこれらから計算される特徴パラメータの数値であり、画像処理手法の適用により得られるものである。例えば、制御部21は胃の粘膜におけて、特定した色度となる特徴パラメータを抽出し、抽出した特徴パラメータが閾値以上であると判定した場合、潰瘍の性質等の診断サポート情報を出力しても良い。
なお、上述した処理に限るものではない。例えば、画素値補正後の内視鏡画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、診断サポート情報を出力しても良い。なお、画像認識モデルを用いて診断サポート情報を出力する処理に関しては、後述の実施形態3で説明する。
制御部21は、出力した診断サポート情報を大容量記憶部29の診断サポート情報DB291に記憶する。具体的には、制御部21は、管理IDを割り振って、患者IDおよび患者上の3次元的位置、またはZ座標に対応付け、診断内容及び診断日時および患者上の3次元的位置、または挿入距離であるZ座標を一つのレコードとして診断サポート情報DB291に記憶する。
図14は、距離画像を求める処理を説明する説明図である。距離画像は、視点から観察対象(例えば、大腸領域の内壁)までの直線距離をピクセル値とする2次元画像である。プロセッサ2の制御部21は、3次元医用画像に基づいて仮想内視鏡画像を再構成し、再構成した仮想内視鏡画像と内視鏡画像とを一致させる。制御部21は、内視鏡画像と仮想内視鏡画像とを一致させた視点位置及び視線方向に基づいて、再構成した仮想内視鏡画像の各画素に対応する3次元画像までの視点からの距離に基づき、距離画像を求める(生成する)。
図15は、画素値補正後の内視鏡画像に基づいて診断サポート情報を出力する際の処理手順を示すフローチャートである。なお、図9と重複する内容については同一の符号を付して説明を省略する。プロセッサ2の制御部21は、ステップS204で内視鏡1の挿入距離であるZ座標に対応する仮想内視鏡画像を取得した後に、図14のように、取得した仮想内視鏡画像の各画素に対応する3次元画像までの視点からの距離に基づき、距離画像を求める(ステップS221)。
制御部21は、視点位置及び視線方向により、距離画像で映っている各画素までの距離に基づき、対応する内視鏡画像の各画像領域または画素の特徴パラメータを補正する(ステップS222)。制御部21は、画素値補正後の内視鏡画像の画像領域に基づき、該画像領域の特徴パラメータを抽出する(ステップS223)。なお、特徴パラメータの抽出処理に関しては、例えば、上述した「発赤により粘膜表面が赤い」といった色調に関する所見を特徴パラメータ化する場合、内視鏡画像を構成するRGB各データを用いて、R/(R+G+B)を画素ごとに求め比率となる色度特徴パラメータを抽出しても良い。または、周波数成分抽出手段により抽出された所定の周波数成分に基づく位相情報を検出し、検出した位相情報に基づいて内視鏡画像の特徴パラメータを抽出しても良い。
制御部21は、抽出した特徴パラメータに基づき、観察対象に対する診断処理を行う(ステップS224)。例えば、制御部21は胃の粘膜におけて、抽出した各画素の色度と、色度の閾値とを比較し、各画素または一部の画素の色度が閾値以上であると判定した場合、所定の判定基準に応じて、診断処理を行っても良い。所定の判定基準は、例えば、画素の色度の値に応じた胃の潰瘍の分類情報であっても良い。
制御部21は、診断処理により得た診断サポート情報を表示装置3に出力する(ステップS225)。表示装置3は、プロセッサ2から出力された診断サポート情報を表示する(ステップS321)。プロセッサ2の制御部21は、出力した診断サポート情報を大容量記憶部29の診断サポート情報DB291に記憶し(ステップS226)、処理を終了する。
本実施形態によると、仮想内視鏡画像に基づいて距離画像を求め、求めた距離画像に基づき、内視鏡画像の各画素の特徴パラメータ値を補正することが可能となる。
本実施形態によると、画素値補正後の内視鏡画像に基づき、診断サポート情報を出力することが可能となる。
(実施形態3)
実施形態3は、距離画像に基づき、内視鏡画像の各画像領域に対して特徴パラメータの補正処理を行い、特徴パラメータ補正後の内視鏡画像を画像認識モデルに入力して認識結果を取得する形態に関する。なお、実施形態1~2と重複する内容については説明を省略する。なお、本実施形態では、特徴パラメータの補正処理に関しては、面積補正処理の例を説明する。
図16は、実施形態3のプロセッサ2の構成例を示すブロック図である。なお、図12と重複する内容については同一の符号を付して説明を省略する。大容量記憶部29には、画像認識モデル292が記憶されている。画像認識モデル292は、撮影画像に基づいて、被検体の体内の病変、組織等を認識する画像認識器であり、機械学習により生成された学習済みモデルである。なお、画像認識モデル292は、ネットワークを介して接続されたクラウドコンピューティングシステムに配置され、使用されても良い。
図17は、画像認識モデル292を用いて診断サポート情報を出力する処理を説明する説明図である。各画像領域の遠近により該画像領域の面積に相違が生じる。プロセッサ2の制御部21は、仮想内視鏡画像に基づいて求めた距離画像を用いて、内視鏡画像の各画像領域に対する面積補正処理を行う。なお、面積補正処理に関しては後述する。
制御部21は、面積補正後の内視鏡画像の画像領域を画像認識モデル292に入力した場合に診断サポート情報を出力する。なお、以下では、ディープラーニングにより構築された画像認識モデル292を用いて、大腸内のポリープを認識した認識結果を出力する例を説明する。ポリープは、大腸の粘膜の一部がイボ状に盛り上がり、大腸の空間部分に突出したものであり、大部分が良性の疾患で、今すぐ身体に害を及ぼすことがないが、徐々に大きくなれば出血等を起こす場合がある。
画像認識モデル292は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。画像認識モデル292は、面積補正後の内視鏡画像を入力とし、大腸内のポリープを予測した結果を出力とするニューラルネットワークを構築(生成)済みの抽出器である。ニューラルネットワークは、例えばCNN(ConvolutionalNeuralNetwork)であり、面積補正後の内視鏡画像の入力を受け付ける入力層と、大腸内の部位を予測した結果を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。
入力層は、内視鏡画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡画像の画像特徴パラメータを抽出する複数のニューロンを有し、抽出した画像特徴パラメータを出力層に受け渡す。例えば画像認識モデル292がCNNである場合を例にして説明する。中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、内視鏡画像の画素情報を圧縮しながら最終的に画像の特徴パラメータを抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、内視鏡画像が大腸内のポリープである確率を予測する。予測結果は、複数のニューロンを有する出力層に出力される。
なお、内視鏡画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴パラメータが抽出された後に、入力層に入力されても良い。
なお、CNNの代わりに、RCNN(RegionswithConvolutionalNeuralNetwork)、FastRCNN、Faster RCNNまたはSSD(SingleShotMultibookDetector)、YOLO(YouOnlyLookOnce)等の、任意の物体検出アルゴリズムを使用しても良い。
なお、上述した機械学習によりポリープを識別する診断処理に限るものではない。例えば、プロセッサ2の制御部21は、内視鏡画像から大腸内の色合いまたは襞の変化に基づき、A-KAZE(AcceleratedKAZE)、SIFT(ScaleInvariantFeatureTransform)等の局所特徴パラメータ抽出方法を用いてポリープを識別して、診断サポート情報を出力しても良い。
なお、上述した大腸内の内視鏡画像に対する面積補正処理の例を説明したが、これに限らず、他の部位(例えば、胃等)に対する面積補正処理を行っても良い。また、上述した特徴パラメータとして面積の例を説明したが、これに限らず、他の特徴パラメータに対して距離補正処理を行っても良い。
なお、本実施形態では、ポリープ抽出用の画像認識モデル292の例を説明するが、他の学習済みの画像認識モデルであっても良い。例えば、画像認識モデル292は、機械学習により生成された学習済みモデルであり、内視鏡画像の色度特徴パラメータを抽出することにより、被検体の体内の病変、組織等を認識する画像認識器であっても良い。この場合、実施形態2での画素値補正後の内視鏡画像を画像認識モデル292に入力した場合、診断サポート情報を出力することができる。
具体的には、プロセッサ2の制御部21は、学習済みの画像認識モデル292を用いて、画素値補正後の内視鏡画像を画像認識モデル292に入力し、病変または組織等(例えば、大腸のポリープ)を識別する識別結果を出力する。制御部21は、画像認識モデル292の出力層から出力した識別結果(例えば、大腸のポリープの確率値等)に基づき、診断サポート情報を出力する。例えば、大腸のポリープの確率値が所定閾値(例えば、0.90)以上である場合、制御部21は、該病変または組織がポリープであると判定しても良い。
以下では、図18及び図19に基づいて面積補正処理を説明する。図18は、距離補正して特徴パラメータを求める動作を説明する説明図である。図19は、面積補正を行う動作を説明する説明図である。
プロセッサ2の制御部21は、図18のように対応する仮想内視鏡画像から得られた距離画像に基づき、対応する内視鏡画像の各画像領域の距離R(例えば、r1またはr2等)を取得する。制御部21は、取得した各画像領域の距離と基準距離(例えば、20mm)とを比較する。制御部21は、比較した各領域の距離Rとの逆2乗比(R/20)2で補正を行う。
制御部21は、内視鏡画像の画像領域の距離が基準距離以上であると判定した場合(画素が遠い)、該画像領域を構成する画素数(ピクセル数)を各領域の距離Rとの逆2乗比(R/20)2で補正を行うことにより、該画像領域に対する拡大処理を行う。制御部21は、内視鏡画像の画像領域の距離が基準距離未満であると判定した場合(画素が近い)、該画像領域を構成する画素数を各領域の距離Rとの逆2乗比(R/20)2で補正を行い減らすことにより、該画像領域に対する縮小処理を行う。また各画像領域で各ピクセル間での距離に相違がある場合、基準距離に置いたとして補正を行う。
図19のように内視鏡画像に対応する仮想内視鏡画像から得られた距離画像情報に基づき各領域を距離の比率に基づいて各領域を拡縮処理する際には、例えば、最近傍補間法(ニアレストネイバー法、nearestneighborinterpolation)を利用しても良い。最近傍補間法は、拡大または縮小後の画素を拡縮率で除算し、その値を四捨五入して得られた座標の画素をそのまま使う線形補間法である。また、画像の拡縮処理の技術であるバイリニア補間法、バイキュービック補間法、及びLanczos(ランツォシュ)補間法等が利用されても良い。その後に、上述した処理によって、制御部21は面積補正後の内視鏡画像の画像領域を画像認識モデル292に入力する。
図20は、画像認識モデル292を用いて診断サポート情報を出力する際の処理手順を示すフローチャートである。なお、図15と重複する内容については同一の符号を付して説明を省略する。プロセッサ2の制御部21は、ステップS221で距離画像を求めた後に、求めた距離画像を用いて、内視鏡画像の各画像領域に対する面積補正処理を行う(ステップS231)。制御部21は、面積補正処理を行った内視鏡画像を画像認識モデル292に入力する(ステップS232)。なお、制御部21は実施の形態2で述べた輝度補正(画素値補正)後の内視鏡画像に対し面積補正処理を行った内視鏡画像を画像認識モデル292に入力しても良い。
制御部21は、画像認識モデル292を用いて、面積補正後の内視鏡画像に対する画像特徴パラメータを抽出することにより、病変(例えば、大腸ポリープ等)等を認識した認識結果(診断サポート情報)を取得する(ステップS233)。制御部21は、面積補正後の内視鏡画像と、面積補正後の内視鏡画像を用いて、学習済みの画像認識モデル292から出力した診断サポート情報とを重畳して表示用の画像を生成する(ステップS234)。
制御部21は、生成した表示用の画像を表示装置3に出力する(ステップS235)。表示装置3は、プロセッサ2から出力された表示用の画像を表示する(ステップS331)。プロセッサ2の制御部21は、出力した診断サポート情報を大容量記憶部29の診断サポート情報DB291に記憶し(ステップS236)、処理を終了する。
本実施形態によると、内視鏡画像の各画像領域に対して特徴パラメータ補正処理を行うことにより、正しい画像特徴パラメータを取得することが可能となる。
本実施形態によると、特徴パラメータ補正処理を行った内視鏡画像を学習済みの画像認識モデルに入力することにより、精度の良い認識結果を出力するため、信頼性の高い診断サポート情報を得ることが可能となる。
本実施形態によると、距離画像に基づいて、内視鏡画像の各領域の特徴パラメータを補正することにより、遠い病変部位(例えば、ポリープ)と近い病変部位両方に対し、同じ画像認識モデルを用いて精度良く判定することが可能となる。
(実施形態4)
図21は、上述した形態のプロセッサ2の動作を示す機能ブロック図である。制御部21が制御プログラム2Pを実行することにより、プロセッサ2は以下のように動作する。
内視鏡画像取得部20aは、内視鏡1から患者の内視鏡画像を取得する。仮想内視鏡画像取得部20bは、患者を予め撮影した3次元医用画像に基づいて再構成(生成)された仮想内視鏡画像を取得する。仮想内視鏡画像再構成部20cは、仮想内視鏡画像取得部20bが取得した仮想内視鏡画像と、内視鏡画像取得部20aが取得した内視鏡画像との一致度に基づき、該内視鏡画像に最も一致する補正後の仮想内視鏡画像を再構成(生成)する。
診断サポート情報出力部20dは、内視鏡画像取得部20aが取得した内視鏡画像を、仮想内視鏡画像再構成部20cが再構成した補正後の仮想内視鏡画像により得られる距離画像に内視鏡画像の各画素を対応させて、これに応じて補正した特徴パラメータに基づいた診断サポート情報を出力する。距離画像再構成部20eは、仮想内視鏡画像に基づいて距離画像を求める。第1補正部20fは、距離画像再構成部20eが求めた距離画像に基づき、対応する内視鏡画像の各画素の画素値を該距離画像から得られる距離に応じて各領域の画素を補正する。
第2補正部20gは、距離画像再構成部20eが求めた距離画像に基づき、内視鏡画像取得部20aが取得した内視鏡画像の各画像領域の特徴パラメータの補正処理を行う。屈曲履歴情報取得部20hは、患者の体内に挿入された内視鏡の屈曲履歴情報を取得する。Z座標補正部20iは、屈曲履歴情報取得部20hが取得した屈曲履歴情報に応じて内視鏡の挿入距離であるZ座標、仮想内視鏡の視点方向、視点位置を補正する。Z座標取得部20jは、患者の体内に挿入された内視鏡の挿入距離であるZ座標を測定する。
また、診断サポート情報出力部20dは、第1補正部20fまたは第2補正部20gが補正した内視鏡画像に基づき、腫瘍候補を含む診断サポート情報を出力する。更にまた、診断サポート情報出力部20dは、第1補正部20fまたは第2補正部20gが補正した内視鏡画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、認識結果を出力する。
本実施の形態4は以上の如きであり、その他は実施の形態1から3と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
(実施形態5)
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図22は、実施形態5に係る診断支援システムSの概要を示す模式図である。診断支援システムSは、内視鏡装置110及び、内視鏡装置110と通信可能に接続される情報処理装置6を含む。
内視鏡装置110は、内視鏡140の撮像素子1445(図32参照)によって撮影した画像(撮影画像)を内視鏡用プロセッサ120に伝送し、内視鏡用プロセッサ120によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像を生成する。内視鏡装置110は、生成した内視鏡画像を情報処理装置6に出力(送信)する。内視鏡装置110から送信された内視鏡画像を取得した情報処理装置6は、これら内視鏡画像に基づき、種々の情報処理を行い、診断支援に関する情報を出力する。
内視鏡装置110は、内視鏡用プロセッサ120と、内視鏡140と、表示装置50とを含む。表示装置50は、たとえば液晶表示装置、または、有機EL(ElectroLuminescence)表示装置である。
表示装置50はキャスター付きの収容棚116の上段に設置されている。内視鏡用プロセッサ120は、収容棚116の中段に収容されている。収容棚116は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚116は内視鏡用プロセッサ120に接続されたキーボード115を搭載する、引き出し式の棚を有する。
内視鏡用プロセッサ120は、略直方体形状であり、一面にタッチパネル125を備える。タッチパネル125の下部に、読取部128が配置されている。読取部128は、たとえばUSBコネクタ、SD(SecureDigital)カードスロット、またはCD-ROM(CompactDiscReadOnlyMemory)ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。
内視鏡140は、挿入部144、操作部143、ユニバーサルコード149およびスコープコネクタ148を有する。操作部143には、制御ボタン1431が設けられている。挿入部144は長尺であり、一端が折止部145を介して操作部143に接続されている。挿入部144は、操作部143側から順に軟性部1441、湾曲部1442および先端部1443を有する。湾曲部1442は、湾曲ノブ1433の操作に応じて湾曲する。挿入部144には、3軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ又は内視鏡挿入形状観測装置(コロナビ)等の物理検出装置が実装され、内視鏡140が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。
ユニバーサルコード149は長尺であり、第一端が操作部143に、第二端がスコープコネクタ148にそれぞれ接続されている。ユニバーサルコード149は、軟性である。スコープコネクタ148は略直方体形状である。スコープコネクタ148には、送気送水用のチューブを接続する送気送水口金136(図23参照)が設けられている。
図23は、診断支援システムSに含まれる内視鏡装置110の構成例を示すブロック図である。制御部121は、本実施の形態のプログラムを実行する演算制御装置である。制御部121には、一または複数のCPU(CentralProcessingUnit)、GPU(GraphicsProcessingUnit)又はマルチコアCPU等が使用される。制御部121は、バスを介して内視鏡用プロセッサ120を構成するハードウェア各部と接続されている。
主記憶装置122は、例えば、SRAM(StaticRandomAccessMemory)、DRAM(DynamicRandomAccessMemory)、フラッシュメモリ等の記憶装置である。主記憶装置122には、制御部121が行なう処理の途中で必要な情報および制御部121で実行中のプログラムが一時的に保存される。補助記憶装置123は、例えば、SRAM、フラッシュメモリまたはハードディスク等の記憶装置であり、主記憶装置122よりも大容量の記憶装置である。補助記憶装置123には、例えば、取得した撮影画像、生成した内視鏡画像が、中間データとして保存されるものであってもよい。
通信部124は、有線又は無線によりネットワークを介して情報処理装置6と通信するための通信モジュール又は通信インターフェイスであり、例えばwifi(登録商標)、Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、LTE等の広域無線通信モジュールである。タッチパネル125は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。通信部124は、CT装置、MRI装置(図26参照)又は、これら装置から出力されたデータを保存するストレージ装置(図示せず)と通信するものであってもよい。
表示装置I/F126は、内視鏡用プロセッサ120と表示装置50とを接続するインターフェイスである。入力装置I/F127は、内視鏡用プロセッサ120とキーボード115等の入力装置とを接続するインターフェイスである。
光源133は、たとえば白色LEC、キセノンランプ等の高輝度の白色光源である。光源133は、図示を省略するドライバを介してバスに接続されている。光源133の点灯、消灯および明るさの変更は、制御部121により制御される。光源133から照射した照明光は、光コネクタ1312に入射する。光コネクタ1312は、スコープコネクタ148と係合し、内視鏡140に照明光を供給する。
ポンプ134は、内視鏡140の送気・送水機能用の圧力を発生させる。ポンプ134は、図示を省略するドライバを介してバスに接続されている。ポンプ134のオン、オフおよび圧力の変更は、制御部121により制御される。ポンプ134は、送水タンク135を介して、スコープコネクタ148に設けられた送気送水口金136に接続される。
内視鏡用プロセッサ120に接続された内視鏡140の機能の概略を説明する。スコープコネクタ148、ユニバーサルコード149、操作部143および挿入部144の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源133から出射した照明光は、光コネクタ1312およびファイバーバンドルを介して、先端部1443に設けられた照明窓から放射される。照明光により照らされた範囲を、先端部1443に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ1311を介して内視鏡用プロセッサ120に撮影画像が伝送される。電気コネクタ1311及び光コネクタ1312により、内視鏡用コネクタ131が構成される。
内視鏡用プロセッサ120の制御部121は、主記憶装置122に記憶されているプログラムを実行することにより、画像処理部1211として機能する。画像処理部1211は、内視鏡140から出力された画像(撮影画像)をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。
図24は、診断支援システムSに含まれる情報処理装置6の構成例を示すブロック図である。情報処理装置6は、制御部62、通信部61、記憶部63及び入出力I/F64を含む。情報処理装置6は、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置6は、内視鏡用プロセッサ120からアクセス可能な外部ネットワーク上に位置するクラウドサーバとして設けられているものであってもよい。
制御部62は、一又は複数のCPU(CentralProcessingUnit)、MPU(Micro-ProcessingUnit)、GPU(GraphicsProcessingUnit)等の計時機能を備えた演算処理装置を有し、記憶部63に記憶されたプログラムPを読み出して実行することにより、情報処理装置6に係る種々の情報処理、制御処理等を行う。又は、制御部62は量子コンピュータ用チップで構成されており、情報処理装置6は量子コンピュータであってもよい。
記憶部63は、SRAM(StaticRandomAccessMemory)、DRAM(DynamicRandomAccessMemory)、フラッシュメモリ等の揮発性記憶領域及び、EEPROM又はハードディスク等の不揮発性記憶領域を含む。記憶部63には、プログラムP及び処理時に参照するデータがあらかじめ記憶してある。記憶部63に記憶されたプログラムPは、情報処理装置6が読み取り可能な記録媒体632から読み出されたプログラムPを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムPをダウンロードし、記憶部63に記憶させたものであってもよい。記憶部63には、後述する学習モデル9を構成する実体ファイル(ニューラルネットワーク(NN)のインスタンスファイル)が保存されている。これら実体ファイルは、プログラムPの一部位として構成されるものであってもよい。記憶部63には、後述する内視鏡画像DB631(DataBase)、学習モデル9が記憶されているものであってもよい。
通信部61は、有線又は無線により、内視鏡装置110と通信するための通信モジュール又は通信インターフェイスであり、例えばwifi(登録商標)、Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、LTE等の広域無線通信モジュールである。通信部61は、CT装置、MRI装置(図26参照)又は、これら装置から出力されたデータを保存するストレージ装置(図示せず)と通信するものであってもよい。
入出力I/F64は、例えば、USB又はDSUB等の通信規格に準拠したものであり、入出力I/F64に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力I/F64には、例えばディプレイ等の表示部7、キーボード等の入力部8が接続されており、制御部62は、入力部8から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部7に出力する。
図25は、内視鏡画像DB631のデータレイアウトを例示する説明図である。内視鏡画像DB631は、情報処理装置6の記憶部63に記憶されており、情報処理装置6に実装されているRDBMS(RelationalDataBaseManagementSystem)等のデータベース管理ソフトウェアにより構成される。又は、内視鏡画像DB631は、情報処理装置6と通信可能に接続されたストレージ装置等、情報処理装置6からアクセス可能な所定の記憶領域に記憶されているものであってもよい。又は、内視鏡画像DB631は、内視鏡装置110の主記憶装置122に記憶されているものであってもよい。すなわち、所定の記憶領域は、情報処理装置6の記憶部63、内視鏡装置110の主記憶装置122及び、情報処理装置6又は内視鏡装置110からアクセス可能なストレージ装置を含む。情報処理装置6は、内視鏡用プロセッサ120が出力した内視鏡画像、検査日時及び被検者の属性情報を取得し、検査結果DB631に登録するものであってもよい。又は、内視鏡用プロセッサ120から直接出力された内視鏡画像、検査日時及び被検者の属性情報が、検査結果DB631に直接的に登録されるものであってもよい。
内視鏡画像DB631は、例えば、被検者マスタテーブル及び画像テーブルを含み、被検者マスタテーブルと画像テーブルとは、両テーブルに共に含まれる項目(メタデータ)である被検者IDにより、関連付けが設定されている。
被検者マスタテーブルは、管理項目(メタデータ)として、例えば、被検者ID、性別、生年月日、年齢を含む。被検者IDの項目(フィールド)には、内視鏡検査を受けた被検者を一意に特定するためにID情報が格納される。性別及び生年月日の項目(フィールド)には、当該被検者IDの性別及び生年月日の生体属性が格納され、年齢の項目(フィールド)には、生年月日により算出される現時点における年齢が格納される。これら、性別、年齢は、被検者の生体情報として、被検者マスタテーブルにより管理される。
画像テーブルは、管理項目(メタデータ)として、例えば、被検者ID、検査日時、内視鏡画像、フレーム番号、S座標(挿入距離)、3次元医用画像、視点位置、視点方向、仮想内視鏡画像を含む。
被検者IDの項目(フィールド)には、被検者マスタテーブルに管理される被検者の生体属性と関連付けをするためのものであり、当該被検者夫々のIDの値が格納される。検査日時の項目(フィールド)には、当該被検者IDの被検者が内視鏡検査を受けた日時が格納される。内視鏡画像の項目(フィールド)には、当該被検者IDの内視鏡画像がオブジェクトデータとして格納される。内視鏡画像は、1フレームによる例えばjpeg形式の静止画又は、数フレームによる例えばavi形式の動画であってもよい。内視鏡画像の項目(フィールド)には、ファイルとして保存されている当該内視鏡画像の保存場所(ファイルパス)を示す情報が格納されるものであってもよい。
フレーム番号の項目(フィールド)には、内視鏡画像が動画の場合、当該動画のフレーム番号が格納される。動画のフレーム番号を格納することにより、内視鏡画像が動画であっても、静止画と同様に取り扱うことができ、後述する3次元医用画像又は仮想内視鏡画像の位置情報(体内座標系における座標)と関連付けることができる。
S座標(挿入距離)の項目(フィールド)には、同じレコードに格納される内視鏡画像の撮影時点における内視鏡140の挿入距離が、S座標の値として格納される。挿入距離(S座標)の導出等については、後述する。
3次元医用画像の項目(フィールド)には、CT装置(X線CT、X線コーンビームCT)又はMRI装置(MRI-CT)から出力されたデータに基づき生成される、例えばDICOM(DigitalImagingandCommunicationsinMedicine)形式の3次元医用画像が、オブジェクトデータとして格納される。又は、ファイルとして保存されている当該3次元医用画像の保存場所(ファイルパス)を示す情報が格納されるものであってもよい。
視点位置の項目(フィールド)には、内視鏡画像が撮影された時点における内視鏡140の体内における座標、すなわち3次元医用画像の座標系における座標が格納される。視点位置の導出等については、後述する。
視点方向の項目(フィールド)には、内視鏡画像が撮影された時点における内視鏡140の向き、すなわち3次元医用画像の座標系(体内座標系における座標)における回転角が格納される。視点方向の導出等については、後述する。
仮想内視鏡画像の項目(フィールド)には、3次元医用画像から生成された仮想内視鏡画像がオブジェクトデータとして格納される。ファイルとして保存されている当該仮想内視鏡画像の保存場所(ファイルパス)を示す情報が格納されるものであってもよい。仮想内視鏡画像は、内視鏡画像とのマッチング処理を行うために3次元医用画像から生成されるものであり、例えば、内視鏡画像に最も一致する仮想内視鏡画像が、当該内視鏡画像と同じレコードに登録される。仮想内視鏡画像の生成等については、後述する。
図26は、情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ120(内視鏡装置110)の制御部121は、主記憶装置122に記憶されているプログラムを実行することにより、画像処理部1211として機能する。情報処理装置6の制御部62は、記憶部63に記憶されているプログラムPを実行することにより、取得部621、視点位置導出部622、仮想内視鏡画像生成部623、一致度判定部624、DB登録部625として機能する。
内視鏡用プロセッサ120の画像処理部1211は、内視鏡から出力された画像(撮影画像)をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。画像処理部1211は、生成した内視鏡画像及び内視鏡画像の撮像時点に基づく検査日時を情報処理装置6に出力(送信)する。画像処理部1211は、更にキーボード115から入力された被検者IDを情報処理装置6に出力するものであってもよい。画像処理部1211は、内視鏡140の周辺環境を測定するため内視鏡140の挿入部144(可撓管)に配設されたセンサから出力される内視鏡140の挿入距離(S座標)に関する情報を、情報処理装置6に出力するものであってもよい。画像処理部1211は、センサから取得した内視鏡140の挿入距離に関する情報を、例えば、内視鏡画像に重畳して表示装置に表示させるものであってもよい。
内視鏡140が体内に挿入された距離であるS座標を取得するためのセンサは、例えば温度センサ、光センサ、圧力センサ、濡れセンサ(電極)、湿度センサを含む。例えば、当該センサが光センサである場合、光センサは挿入部144(可撓管)の内部に配置されているが、挿入部144(可撓管)が体内に挿入されているときでも光を受光することができる。そのため、光センサが光をより多く受光している部分が体外、少ない部分を体内として判別することが可能である。そして内視鏡用プロセッサ120の制御部121は、光センサで得られた信号に基づき、体腔挿入部位である境界位置にある光センサを特定することにより、体内に挿入されている挿入部144(可撓管)の距離(長さ)であるS座標を導出することができる。
挿入部144(可撓管)に接する図示しないマウスピース等にローラエンコーダを付け、挿入部144(可撓管)が体内に挿入されている距離分だけこのローラエンコーダが回転することを用いて、内視鏡140が体内に挿入された距離であるS座標を取得することができる。マウスピース等のローラエンコーダは、挿入部144(可撓管)の進退に伴って回転し、体内に挿入された内視鏡140の先端部1443と、例えば口又は鼻等の管腔に連通する開口部との間の長さ、すなわち挿入部144(可撓管)の挿入距離を測定できる。ローラエンコーダは、内視鏡用プロセッサ120と電気的に接続しており、測定した距離を内視鏡用プロセッサ120に送る。またローラエンコーダの代わりに光学式エンコーダを用いても良い。
また、内視鏡140の挿入距離を測定する補助装置が被検体の入り口である体腔挿入部位に装着された場合、内視鏡140の通過距離を測定することにより、内視鏡140が体内に挿入された距離であるS座標を取得することができる。補助装置は、例えば挿入部144(可撓管)に付けたリニアスケールのような磁場のスケールとマウスピースに付けたリニアヘッドで距離を測定することであっても良く、またはローラーを付けた内視鏡140のマウスピースであっても良い。なお、鼻または肛門等に内視鏡が挿入される場合、マウスピースと類似のローラーを付けた補助装置を利用しても良い。さらにまた、内視鏡140の挿入部144(可撓管)に一定間隔で挿入距離を記録したチップを内蔵しても良い。マウスピース等が得た該チップで記録されたS座標情報から、内視鏡用プロセッサ120は、内視鏡140が体内に挿入された距離であるS座標を取得することができる。
取得部621は、内視鏡用プロセッサ120が出力した被検者ID、検査日時、内視鏡画像及びS座標(挿入距離)を取得する。取得部621は、取得した被検者IDに基づき、通信可能に接続されたCT装置又はMRI装置から出力される当該被検者の3次元用医用画像を取得する。CT装置又はMRI装置等の他の検査装置から出力される3次元用医用画像が、例えば外部サーバ(図示せず)に既に保存されている場合、情報処理装置6は、当該外部サーバにアクセスし、内視鏡用プロセッサ120から出力された被検者IDに基づき、当該被検者の3次元用医用画像を取得するものであってもよい。
3次元医用画像は、例えばCT装置およびMRI装置等から出力された断層像データから構成されたボリュームデータにより表される画像、並びにMS(MultiSlice)CT装置およびX線フラットパネルを用いたX線コーンビームCT装置から出力されたボリュームデータにより表される画像である。X線CT装置又はコーンビームCT装置を用いた場合、例えばDECT撮影(DualEnergyCT)を行い、実効質量数(effective-Z)により3次元医用画像の各画素の組成(体組成)が分かる画像とするものであってもよい。MRI装置を用いた場合、脂肪又は乳酸等の3次元医用画像の各画素の組成(体組成)に関する情報を付与した画像とするものであってもよい。
取得部621は、取得したS座標を視点位置導出部622に出力する。視点位置導出部622は、取得したS座標に基づき、当該S座標に対応する3次元用医用画像の座標(体内座標系における座標)、すなわち内視鏡が撮像された時点における内視鏡140の先端部1443が位置する視点位置を導出する。図27は、内視鏡が挿入された距離(S座標の値)を示す説明図である。図示されるように3次元用医用画像により、内視鏡140により撮影された消化器官等は、3次元形状により表現される。当該消化器官等の内壁の内側には、空間が形成されており、当該空間は内視鏡が挿入される挿入経路となる。内視鏡140の挿入距離であるS座標は、当該挿入経路の内側(消化器官等の内壁の内側)であって、挿入されている経路の経路長が当該挿入距離に略等しくなる場所となるため、S座標に基づき、消化器官等の内壁の内側に位置する内視鏡140の先端部1443の座標を導出することができる。視点位置導出部622は、導出した視点位置に関する情報を仮想内視鏡画像生成部623に出力する。
取得部621は、取得した3次元医用画像を仮想内視鏡画像生成部623に出力する。仮想内視鏡画像生成部623は、取得した3次元医用画像及び、視点位置導出部622から取得した視点位置に基づき、仮想内視鏡画像を生成する。仮想内視鏡画像は、気管および気管支内又は腸管等の管状臓器を撮影したX線CTまたはMRIまたはX線コーンビームCTの3次元医用画像に基づいて生成(再構成)し、3次元用医用画像による器官内(体腔内)を仮想的内視鏡によって表した画像である。例えば、大腸に空気を入れた状態でCT撮影を行い、その撮影によって得た3次元用医用画像を大腸の内側からボリュームレンダリングすることによって、大腸の仮想内視鏡画像を生成(再構成)するものであってもよい。
仮想内視鏡画像生成部623は、取得した3次元医用画像から被検者内の臓器のボクセルデータを抽出する。臓器としては、例えば大腸、小腸、腎臓、気管支または血管等があるが、これに限らずその他の臓器でも良い。なお、本実施形態においては大腸のボクセルデータを抽出して取得するものとする。例えば、大腸領域を抽出する方法としては、具体的には、まず、3次元医用画像に基づいて体軸に垂直な断面(軸位断;axial)の軸位断画像を複数再構成し、その各軸位断画像に対して、公知の手法によりX線吸収係数に基づくX線CT値を閾値として体表面と体内の境界を求め、体表を基準に体外と体内領域を分離する処理を行う。例えば、再構成された軸位断画像に対してX線CT値による二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のCT値に対応する閾値(例えば、-600HU(HounsfieldUnit)以下)を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。仮想内視鏡画像生成部623は、視点位置と視線方向として設定される回転角に基づく視線ベクトルを中心として、放射線状に伸ばした複数の光線方向上のボクセルデータを、所定の投影面に投影した中心投影による画像を仮想内視鏡画像として再構成する。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。
仮想内視鏡画像生成部623は、例えば、内視鏡140の先端部1443の座標に相当する視点位置を起点に、視点方向、すなわち3次元用医用画像の座標系における回転角(Θx、Θy、Θz)を、例えば1°とする所定単位量ずつ変更させて、候補となる複数の仮想内視鏡画像を順次に生成する。すなわち、仮想内視鏡画像生成部623は、例えば、3次元医用画像にて特定される消化器官の内部となる視点位置から、視点方向として設定される複数の回転角により、当該消化器官の内壁による3次元形状を射影(投影)して、複数の仮想内視鏡画像を生成するものであってもよい。仮想内視鏡画像生成部623は、生成した複数の仮想内視鏡画像と、当該仮想内視鏡画像を生成する際に用いた視点方向(回転角)とを関連付けて、一致度判定部624に出力する。
取得部621は、取得した内視鏡画像を一致度判定部624に出力する。一致度判定部624は、取得した内視鏡画像と、仮想内視鏡画像生成部623から取得した複数の仮想内視鏡画像及び当該仮想内視鏡画像を生成する際に用いた視点方向(回転角)とに基づき、取得した内視鏡画像と、最も一致する仮想内視鏡画像及び、当該最も一致する仮想内視鏡画像を生成する際に用いた視点方向(回転角)を特定する。一致度判定部624は、取得した内視鏡画像と、複数の仮想内視鏡画像夫々とを比較することにより、内視鏡画像と仮想内視鏡画像との一致度を導出する。
一致度判定部624は、例えば、内視鏡画像の陰影画像と仮想内視鏡画像の陰影画像の相関を取るような指標で一致度を測定するものであってもよい。仮想内視鏡画像と内視鏡画像の一致度を定量的に見るには、輝度情報から求める陰影画像情報の相関度を見て一致度の高さを判断しても良い。または内視鏡画像と仮想内視鏡画像の類似度で一致度を判断しても良い。内視鏡画像と仮想内視鏡画像の一致度を測定するには、例えばVGG16モデル(caffemodel:VGG_ILSVRC_16_layers)にて実装したDCNN等のAI(一致度学習モデル)による手法を用いても良い。又は、一致度判定部624は、構成した複数の仮想内視鏡画像と内視鏡画像との類似度を比較するものであってもよい。両画像の類似度比較は、公知の画像処理により行われ、画素データレベルのマッチング、または、画像から抽出した特徴のレベルにおけるマッチングのいずれを用いても良い。一致度判定部624は、内視鏡画像と最も一致度が高いと特定した仮想内視鏡画及び、当該仮想内視鏡画を生成するために用いた視点方向(回転角)を、DB登録部625に出力する。
本実施形態おいて、一致度判定部624は、取得した内視鏡画像と、最も一致する仮想内視鏡画像を特定するとしたが、これに限定されない。一致度判定部624は、一致度が所定値以上となる仮想内視鏡画像を、取得した内視鏡画像と実質的に同一視できる仮想内視鏡画像として特定し、DB登録部625に出力するものであってもよい。一致度が所定値以上となる仮想内視鏡画像を特定することにより、候補として生成された全ての仮想内視鏡画像との全件比較を行うことを不要とし、情報処理装置6の計算負荷及び処理時間の低減を図ることができる。
一致度判定部624は、一致度が所定値以上とならない場合、視点位置導出部622から取得した視点位置を微修正した視点位置により、再度、複数の仮想内視鏡画像を再生成し、再生成した複数の仮想内視鏡画像と、内視鏡画像との一致度を導出し、最も一致度が高い仮想内視鏡画像を特定してもよい。この場合、一致度判定部624は、最も一致度が高い仮想内視鏡画像及び、当該仮想内視鏡画像を生成するために用いた微修正した視点位置と視点方向をDB登録部625に出力する。
取得部621は、取得した被検者ID、検査日時、内視鏡画像、3次元用医用画像をDB登録部625に出力する。内視鏡画像が動画の場合、取得部621は、当該内視鏡画像に合わせて、内視鏡画像のフレーム番号をDB登録部625に出力する。DB登録部625は、取得した被検者ID、検査日時、内視鏡画像(動画の場合は、フレーム番号を付与)、S座標、3次元用医用画像、視点位置導出部622から取得した視点位置、一致度判定部624から取得した仮想内視鏡画及び、視点方向(回転角)とを関連付けて、内視鏡画像DB631に登録することにより、これらデータを保存する。
本実施形態において、一連の処理における各機能部を、内視鏡用プロセッサ120の制御部121による機能部と、情報処理装置6の制御部62による機能部夫々とに分けて説明したが、これら機能部の分担は一例であり、これに限定されない。内視鏡用プロセッサ120の制御部121は、情報処理装置6の制御部62によって行われる全ての機能部として、機能するものであってもよい。すなわち、内視鏡用プロセッサ120が、実質的に情報処理装置6を含むものであってもよい。または、内視鏡用プロセッサ120の制御部121は、撮像素子1445が撮像した撮影画像を出力するのみであり、情報処理装置6の制御部62は、以降の処理を行う全ての機能部として機能するものであってもよい。または、内視鏡用プロセッサ120の制御部121と、情報処理装置6の制御部62とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
図28は、内視鏡画像と3次元医用画像との関連に関する説明図である。本図においては、3次元医用画像、仮想内視鏡画像及び内視鏡画像における関連性をオブジェクト指向的に表したものである。
上述のとおり、内視鏡画像DB631に登録されている3次元医用画像、仮想内視鏡画像及び内視鏡画像は、当該内視鏡画像の撮影時点における視点位置、視点方向に基づき関連付けがされている。視点位置は、3次元医用画像の座標系(体内座標系)における座標(x,y,z)に相当する。視点方向は、3次元医用画像の座標系(体内座標系)におけるx軸、y軸及びz軸における回転角(Θx,Θy,Θz)に相当する。
内視鏡画像の画素夫々は、仮想内視鏡画(当該内視鏡画像に最も一致する仮想内視鏡画)の画素夫々に対応している。仮想内視鏡画は、3次元医用画像を基に視点位置を起点とし、視点方向(回転角)により定義される視点ベクトルを用いたベクトル変換にて、射影(投影)して生成された画像であり、仮想内視鏡画の画素により、3次元医用画像の座標系(体内座標系)における座標が確定される。
上述のとおり、仮想内視鏡画の画素夫々は、内視鏡画像の画素夫々に対応しているため、仮想内視鏡画の画素に基づき、内視鏡画像の画素、すなわち内視鏡画像に含まれる体内部位の3次元医用画像の座標系(体内座標系)における座標を確定することができる。すなわち、仮想内視鏡画を中間媒体として、内視鏡画像の画素(体内部位)と、3次元医用画像の座標系(体内座標系)における座標とを連関させることができる。
3次元医用画像に、内視鏡画像の画素のカラー情報、narrowband画素情報を付加させて、当該3次元医用画像を内視鏡画像DB631に登録するものであってもよい。この差異、カラー情報等の内視鏡画像の画素情報を3次元医用画像に付加させる場合、撮影用光源1446による輝度補正を行うことが望ましい。上述のとおり、内視鏡画像の画素と視点位置(撮影用光源1446の地点)との距離は、3次元医用画像の座標系上にて導出される。従って、導出した当該距離を二乗したた逆数に基づき、内視鏡画像の画素情報に含まれる明度を補正するものであってもよい。3次元医用画像の座標系において同一の座標に位置する画素を含む内視鏡画像が複数ある場合、最も距離の近い内視鏡画像を優先し、当該距離に応じた重みをかけて荷重平均、又は単純平均するようにて3次元医用画像に付加させるものであってもよい。
3次元医用画像の撮像において、X線CT装置又はコーンビームCT装置を用いた場合、例えばDECT撮影(DualEnergyCT)を行い、実効質量数(effective-Z)により3次元医用画像の各画素の組成(体組成)が分かる画像とするものであってもよい。又、MRI装置を用いた場合、脂肪又は乳酸等の3次元医用画像の各画素の組成(体組成)に関する情報を付与した画像とするものであってもよい。このように3次元医用画像の各画素の組成に、実効質量数(effective-Z)、脂肪又は乳酸等の体組成に関する情報を付加することにより、これら付加された情報と、当該3次元医用画像の各画素により特定される座標に関連付けられた内視鏡画像とを連関させた診断支援情報を、医師等に提供することができる。
このように内視鏡画像DB631を構成し、登録される3次元医用画像に対し更に内視鏡画像の画素情報を付加することにより、CT装置又はMRI装置と、内視鏡装置110から出力される各種医療データを統合的に管理し、種々な観点から検索及び抽出し、抽出した3次元医用画像及び内視鏡画像等を関連付けて医師等に診断支援情報として提供することができる。
図29は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡用プロセッサ120から出力された検査日時、被検者ID、内視鏡画像及び、挿入距離に関する情報を取得する(S501)。制御部62が内視鏡用プロセッサ120から取得する内視鏡画像は、静止画又は動画であってもよい。制御部62は、内視鏡画像の取得に併せて、光センサ等から出力される内視鏡140の挿入距離に関する情報、検査日時(内視鏡画像の撮像日時)及び被検者ID等の被検者の属性情報を取得する。
情報処理装置6の制御部62は、CT装置又はMRI装置等の他の検査装置から出力される3次元用医用画像を取得する(S502)。3次元用医用画像の取得は、情報処理装置6がCT装置又はMRI装置等の他の検査装置と通信可能に接続することにより、取得するものであってもよい。または、CT装置又はMRI装置等の他の検査装置から出力される3次元用医用画像が、例えば外部サーバ(図示せず)に既に保存されている場合、情報処理装置6は、当該外部サーバにアクセスし、内視鏡用プロセッサ120から出力された被検者IDに基づき、当該被検者の3次元用医用画像を取得するものであってもよい。または、内視鏡用プロセッサ120が、CT装置又はMRI装置等の他の検査装置と通信可能に接続されており、情報処理装置6の制御部62は、内視鏡用プロセッサ120を介してCT装置又はMRI装置等から3次元用医用画像を取得するものであってもよい。
情報処理装置6の制御部62は、挿入距離(S座標)に基づき、視点位置を導出する(S503)。制御部62は、内視鏡用プロセッサ120を介して、例えば内視鏡140の挿入部144(可撓管)の内部に配置された光センサ等から挿入距離(S座標)に関する情報を取得し、取得した挿入距離(S座標)及び3次元用医用画像に基づき、内視鏡が挿入された消化器官等の内壁の内側に位置する内視鏡140の先端部1443の座標を導出する。当該座標は、所定の地点を原点として設定された3次元用医用画像の座標系(体内座標系)における座標である。
情報処理装置6の制御部62は、視点位置に基づき候補となる複数の仮想内視鏡画像を生成する(S504)。制御部62は、内視鏡140の先端部1443の座標に相当する視点位置を起点に、視点方向、すなわち3次元用医用画像の座標系における回転角(Θx,Θy,Θz)を、所定単位量ずつ変更させて、候補となる複数の仮想内視鏡画像を順次に生成する。例えば、所定単位量を10°とした場合、制御部62は、各軸の回転角に対し36個の分解能を有し、すなわち36の3乗(46656)枚の候補となる仮想内視鏡画像を生成するものであってもよい。
情報処理装置6の制御部62は、生成した複数の仮想内視鏡画像の内、内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する(S505)。制御部62は、例えば、内視鏡画像の陰影画像と仮想内視鏡画像の陰影画像の相関を取るような指標で一致度を測定するものであってもよい。制御部62は、最も一致度が高い仮想内視鏡画像と、当該仮想内視鏡画像を生成する際の視点方向(回転角度)とを特定する。
情報処理装置6の制御部62は、検査日時、被検者ID、内視鏡画像、挿入距離(S座標)、3次元用医用画像、視点位置、視点方向及び最も一致度が高い仮想内視鏡画像を関連付けて、内視鏡画像DB631に登録する(S506)。制御部62は、内視鏡用プロセッサ120から取得した検査日時、被検者ID、内視鏡画像、挿入距離(S座標)、CT装置等から取得した3次元用医用画像、視点位置、最も一致度が高い仮想内視鏡画像、当該仮想内視鏡画像を生成する際の視点方向(回転角)を関連付けて、内視鏡画像DB631に登録する。このように内視鏡画像DB631に各データを登録することにより、仮想内視鏡画像の座標系における座標を基に、仮想内視鏡画像と内視鏡画像とを連関させて登録することができる。
(実施形態6)
実施形態6の情報処理装置6は、内視鏡用プロセッサ120から取得した屈曲履歴により、視点位置を補正する点で実施形態5と異なる。図30は、実施形態6に係る情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。
内視鏡用プロセッサ120の制御部121は、体内に挿入された内視鏡140の屈曲履歴情報を取得し、取得した屈曲履歴情報に応じて、内視鏡140の挿入状況を判別する。内視鏡用プロセッサ120の制御部121は、例えば、内視鏡用プロセッサ120に接続される内視鏡挿入形状検出装置(図示せず)を利用することにより、屈曲履歴情報を検出しても良い。当該内視鏡挿入形状検出装置は、例えば、日本国特開2019-37643号公報に開示されているように、内視鏡140の挿入部144の内部に、該挿入部144の長手方向に沿って所定の間隔で複数の磁気コイルが配置される装置であってもよい。屈曲履歴情報とは、屈曲角度、屈曲方向等、屈曲に関する物理的パラメータまたは情報を示す。
情報処理装置6の取得部621は、実施形態5と同様に内視鏡画像等を内視鏡用プロセッサ120から取得し、更に屈曲履歴情報を取得する。取得部621は、取得した屈曲履歴情報を視点位置導出部622に出力する。
視点位置導出部622は、取得した屈曲履歴情報により挿入距離(S座標)を補正し、補正した挿入距離(S座標)に基づき実施形態5と同様に視点位置を導出する。視点位置導出部622は、屈曲角度及び屈曲方向に従い、演算処理で挿入部144形状(例えば、右へ30度曲がり等)を検出する。制御部121は、検出した挿入部144形状に基づき、挿入距離であるS座標を再計算(補正)する。以降、仮想内視鏡画像生成部623等の各機能部は、実施形態5と同様に処理を行い、DB登録部625は、実施形態5と同様に各データを内視鏡画像DB631に登録する。
情報処理装置6の視点位置導出部622は、内視鏡用プロセッサ120から取得した屈曲履歴により視点位置を補正するとしたが、これに限定されない。内視鏡用プロセッサ120の制御部121は、取得した屈曲履歴情報に基づき、挿入距離を補正し、補正した挿入距離を情報処理装置6に出力するものであってもよい。情報処理装置6の取得部621は、内視鏡用プロセッサ120の制御部121によって屈曲履歴情報に基づき補正された視点位置を取得し、以降の処理は実施形態5と同様に行うものであってもよい。
内視鏡画像と3次元医用画像とを関連付けるための位置情報は、屈曲履歴に関する情報、挿入距離に関する情報及び、3次元医用画像にて特定される内視鏡140の挿入経路の長さとに基づき、導出される。挿入距離に関する情報を、屈曲履歴に関する情報によって補正することにより、挿入距離(S座標)の精度を向上させることができる。従って、内視鏡画像が撮像された時点における3次元医用画像の座標系における内視鏡140の視点位置(座標)及び視点方向(回転角)を精度良く特定し、好適な仮想内視鏡画像を効率的に生成でき、内視鏡画像と3次元医用画像との関連付けにおける精度を更に向上させることができる。
内視鏡用プロセッサ120の制御部121は、例えば、内視鏡挿入形状観測装置(コロナビ)を用いて、当該内視鏡挿入形状観測装置から出力される内視鏡140の挿入形状に関する3次元情報を取得する。そして、情報処理装置6の制御部62(視点位置導出部622)は、取得した内視鏡140の挿入形状に関する3次元情報を、3次元医用画像に当てはめることにより、内視鏡140の体内における位置(視点位置)を導出するものであってもよい。内視鏡画像と3次元医用画像とを関連付けるための位置情報は、内視鏡140の形状に関する情報、屈曲履歴に関する情報、挿入距離に関する情報及び3次元医用画像に基づき、導出される。従って、内視鏡140の形状に基づき、内視鏡画像が撮像された時点における3次元医用画像の座標系における内視鏡140の位置(視点位置)及び回転角(視点方向)を特定することができ、内視鏡画像と3次元医用画像との関連付けにおける精度を更に向上させることができる。
図31は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡用プロセッサ120から出力された検査日時、被検者ID、内視鏡画像、挿入距離及び屈曲履歴に関する情報を取得する(S601)。情報処理装置6の制御部62は、実施形態5と同様に内視鏡画像等を内視鏡用プロセッサ120から取得し、更に例えば内視鏡挿入形状観測装置によって検出された屈曲履歴に関する情報を内視鏡用プロセッサ120を介して取得する。又は、情報処理装置6の制御部62は、内視鏡挿入形状観測装置から直接、屈曲履歴に関する情報を取得してもよい。
情報処理装置6の制御部62は、CT装置又はMRI装置等の他の検査装置から出力される3次元用医用画像を取得する(S602)。情報処理装置6の制御部62は、実施形態5の処理S502と同様に、S602の処理を行う。
情報処理装置6の制御部62は、内視鏡用プロセッサ120から出力された屈曲履歴に基づき挿入距離(S座標)を補正し、視点位置を導出する(S603)。制御部62は、屈曲履歴に含まれる屈曲角度及び屈曲方向に従い、演算処理で挿入部144形状(例えば、右へ30度曲がり等)を導出し、導出した挿入部144形状に基づき、挿入距離であるS座標を再計算(補正)する。制御部62は、補正した挿入距離(S座標)に基づき、実施形態5と同様に視点位置を導出する。
情報処理装置6の制御部62は、視点位置に基づき候補となる複数の仮想内視鏡画像を生成する(S604)。情報処理装置6の制御部62は、生成した複数の仮想内視鏡画像の内、内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する(S605)。情報処理装置6の制御部62は、検査日時、被検者ID、内視鏡画像、挿入距離(S座標)、3次元用医用画像、視点位置、視点方向及び最も一致度が高い仮想内視鏡画像を関連付けて、内視鏡画像DB631に登録する(S606)。情報処理装置6の制御部62は、実施形態5の処理S504、S505及びS506と同様に、S604、S605及びS606の処理を行う。
(実施形態7)
実施形態6の情報処理装置6は、複数の撮像素子1445を備える内視鏡が撮像した複数の内視鏡画像を内視鏡用プロセッサ120から取得する点で実施形態5と異なる。図32は、実施形態7に係る挿入部144の先端を模式的に示す斜視図である。図33は、実施形態7に係る挿入部144の先端を模式的に示す正面図である。内視鏡140の先端部1443には、複数の撮像素子1445及び撮影用光源1446が設けられ、これらにより撮像部1444が構成される。
複数の撮像素子1445は、先端部1443における筒体の外周面において周方向に沿って等配されている撮像素子1445(図面上、4つ)と、先端部1443における筒体の端面に設けられた撮像素子1445(図面上、1つ)とを含む。先端部1443における筒体の端面に設けられた撮像素子1445は、内視鏡140の挿入方向に対し、前方を撮像する。先端部1443における筒体の外周面に設けられた複数の撮像素子1445夫々は、内視鏡140の挿入方向に対し、側方を撮像する。すなわち、先端部1443における筒体の外周面に設けられた複数の撮像素子1445夫々は、内視鏡140の挿入方向に対し、先端部1443における筒体の端面に設けられた撮像素子1445が撮像する体内部位よりも、後方に位置する体内部位を撮像することができる。
複数の撮影用光源1446は、先端部1443における筒体の外周面に周方向に沿って等配されている撮影用光源1446(図面上、4つ)と、先端部1443における筒体の端面に設けられた撮影用光源1446(図面上、2つ)とを含む。すなわち、複数の撮影用光源1446夫々は、先端部1443における筒体の端面に設けられた撮像素子1445及び、先端部1443における筒体の外周面に設けられた複数の撮像素子1445に対応して設けられているため、これら複数の撮像素子1445が体内部位を撮像するにあたり、十分な光量を供給することができる。
このように複数の撮像素子1445を、先端部1443における筒体の外周面及び筒体の端面に設けることにより、単一の視点位置において、複数の異なる視点方向からの複数の内視鏡画像を取得することができる。
図34は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡用プロセッサ120から出力された検査日時、被検者ID、複数の内視鏡画像及び、挿入距離に関する情報を取得する(S701)。制御部62は、実施形態5と同様に検査日時、被検者ID、複数の内視鏡画像及び、挿入距離に関する情報を取得する。本実施形態においては、内視鏡140における挿入部144の先端部1443には、複数の撮像素子1445が設けられているため、同じ視点位置(内視鏡140の体内における位置)において、視点方向の異なる複数の内視鏡画像を、内視鏡用プロセッサ120は出力する。従って、情報処理装置6の制御部62は、同じ視点位置であって視点方向の異なる複数の内視鏡画像を、内視鏡用プロセッサ120から取得する。
同じ視点位置であって視点方向の異なる複数の内視鏡画像を取得することにより、内視鏡140における挿入部144の先端部1443よりも、当該挿入部144の挿入方向に対し後方に位置する体内部位を含む内視鏡画像を撮像することができる。従って、情報処理装置6の制御部62は、当該挿入部144の挿入方向に対し前方及び後方に位置する体内部位を夫々に含む複数の内視鏡画像を取得することができる。
情報処理装置6の制御部62は、CT装置又はMRI装置等の他の検査装置から出力される3次元用医用画像を取得する(S702)。情報処理装置6の制御部62は、挿入距離(S座標)に基づき、視点位置を導出する(S703)。情報処理装置6の制御部62は、実施形態5の処理S502及びS503と同様に、S702及びS703の処理を行う。
情報処理装置6の制御部62は、視点位置に基づき候補となる複数の仮想内視鏡画像を生成する(S704)。情報処理装置6の制御部62は、生成した複数の仮想内視鏡画像の内、複数の内視鏡画像夫々との一致度が最も高い仮想内視鏡画像夫々を特定する(S705)。情報処理装置6の制御部62は、実施形態5の処理S504及びS505と同様に、S704及びS705の処理を行う。本実施形態においては、情報処理装置6の制御部62は、内視鏡用プロセッサ120から、同じ視点位置であって視点方向の異なる複数の内視鏡画像を取得する。従って、制御部62は、取得した複数の内視鏡画像夫々に対し、視点位置に基づき視点方向(回転角度)を所定角度ずつ異ならせて生成した複数の仮想内視鏡画像と比較し、複数の内視鏡画像夫々と最も一致する(一致度が最も高い)、すなわち差分量が最も少ない仮想内視鏡画像夫々を特定する。制御部62は、取得した複数の内視鏡画像夫々に対し、一致度が最も高い仮想内視鏡画像と、当該仮想内視鏡画像を生成する際の視点方向(回転角度)とを特定する。
情報処理装置6の制御部62は、検査日時、被検者ID、複数の内視鏡画像、挿入距離(S座標)、3次元用医用画像、視点位置、複数の内視鏡画像夫々に対応する視点方向及び仮想内視鏡画像を関連付けて、内視鏡画像DB631に登録する(S706)。情報処理装置6の制御部62は、実施形態5の処理S506と同様に、S706の処理を行う。
本実施形態においては、同じ視点位置であって異なる視点方向となる複数の内視鏡画像が、内視鏡画像DB631に登録される。情報処理装置6の制御部62は、これら複数の内視鏡画像夫々と、当該内視鏡画像夫々と最も一致する仮想内視鏡画像夫々及び当該仮想内視鏡画像を生成するにあたり用いた視点方向夫々とを、関連付けて内視鏡画像DB631に登録する。内視鏡画像は、複数の撮像素子1445により撮像された複数の内視鏡画像を含むため、同一の撮像地点(視点位置)において撮影角度(視点方向)が異なる複数の内視鏡画像を取得することができる。当該撮影角度(視点方向)が異なる複数の内視鏡画像と、3次元医用画像とを、同一の撮像地点(視点位置)により関連づけて保存するため、これら画像群を医師等の内視鏡140の操作者に提供し、医師等に対する診断の支援を更に効率的に行うことができる。
(実施形態8)
実施形態6の情報処理装置6は、内視鏡画像DB631に登録された各種データを用い、内視鏡画像及び3次元医用画像を関連付けた画面(統合画像表示画面71)を表示することにより、医師等に対し診断支援情報を提供する。図35は、実施形態8に係る統合画像表示画面71の一態様(3次元用医用画像モード)を示す説明図である。図36は、統合画像表示画面71の一態様(内視鏡画像モード)を示す説明図である。
情報処理装置6の制御部62は、記憶部63に記憶されている内視鏡画像DB631を検索して、表示画面(統合画像表示画面71)を構成するための画面データを生成及び、表示部7に出力し、表示部7にて当該表示画面(統合画像表示画面71)を表示する。
統合画像表示画面71を表示するにあたり、情報処理装置6は、例えば、図35に示すような内視鏡画像選択画面70を表示し、内視鏡画像DB631を検索するための被検者ID等の検索キーとなる情報を受付ける。内視鏡画像選択画面70には、例えば、被検者ID及び当該被検者の内視鏡検査日時の入力を受付ける入力フィールドが、配置されている。情報処理装置6は、内視鏡画像選択画面70にて入力された被検者ID等に基づき、内視鏡画像DB631を検索し、検索結果のデータが含まれる統合画像表示画面71を、表示部7にて表示する。
統合画像表示画面71は、例えば、被検者ID等の書誌事項を表示する領域、3次元用医用画像を表示する領域、内視鏡画像を表示する領域、仮想内視鏡画像を表示する領域と内視鏡画像を撮像した視点位置等を表示する領域及び、内視鏡画像にて選択された体内部位(画素)の情報を表示する領域を含む。
被検者ID等の書誌事項を表示する領域には、内視鏡画像DB631を検索するために用いられた被検者ID、内視鏡検査日時、3次元用医用画像の生成日等、データ管理上の書誌事項が表示される。
3次元用医用画像を表示する領域には、3次元用医用画像にて表される消化器官等の体内部位が3次元オブジェクトとして表示されており、当該3次元オブジェクトのいずれかの部位をドラッグすることにより、3次元オブジェクトを回転させることができる。3次元用医用画像は、内視鏡画像において特定された病変の位置を例えばハイライトした状態で表示されるものであってもよい。
内視鏡画像を表示する領域には、例えば、3次元用医用画像上にてマウス等にて選択された位置に対応する内視鏡画像が、表示される。すなわち、マウス等にて選択された3次元用医用画像の位置は、当該3次元用医用画像の座標系の座標に対応する。従って、情報処理装置6は、当該座標に対応する視点位置の内視鏡画像、又は当該座標に対応する体内部位を含む内視鏡画像を、内視鏡画像DB631から検索し、内視鏡画像を表示する領域にて表示する。当該座標により、複数の内視鏡画像が内視鏡画像DB631において検索(抽出)された場合、内視鏡画像に含まれる病変の有無又は特徴量に基づき、いずれかの内視鏡画像を選択して表示し、他の内視鏡画像はサムネイル表示するものであってもよい。すなわち、内視鏡画像を表示する領域は、サムネイル表示フィールド713が配置されており、サムネイル表示フィールド713にて、他の内視鏡画像はサムネイル表示される。
仮想内視鏡画像を表示する領域には、内視鏡画像を表示する領域に表示されている内視鏡画像に対し、最も一致度が高い仮想内視鏡画像が、表示される。上述のとおり、内視鏡画像と当該内視鏡画像に最も一致度が高い仮想内視鏡画像とは、同じレコードに格納されているため、内視鏡画像DB631を用いることにより、当該仮想内視鏡画像を効率的に抽出することができる。
内視鏡画像を撮像した視点位置等を表示する領域には、内視鏡画像を表示する領域に表示されている内視鏡画像の撮像時点における、内視鏡140の体内における位置(視点位置)及び視点方向(回転角)が、表示される。すなわち、内視鏡画像を撮像した視点位置等を表示する領域には、視点位置フィールド711及び視点方向フィールド712が配置され、視点位置フィールド711には視点位置、視点方向フィールド712には視点方向が、表示される。
内視鏡画像を撮像した視点位置等を表示する領域は、任意の視点位置及び視点方向が入力される入力フィールド(視点位置フィールド711、視点方向フィールド712)として機能するものであってもよい。視点位置フィールド711入力された視点位置及び、視点方向フィールド712に入力された視点方向を用いて、内視鏡画像DB631を検索し、当該視点位置及び視点方向に対応する内視鏡画像を抽出し、内視鏡画像を表示する領域に表示するものであってもよい。
内視鏡画像にて選択された体内部位(画素)の情報を表示する領域には、内視鏡画像上にてマウス等により選択された体内部位(画素)の3次元用医用画像上の座標及び、当該体内部位(画素)と内視鏡140の先端部1443との距離が表示される。内視鏡画像と、当該内視鏡画像に最も一致度が高い仮想内視鏡画像とは、同じ体内部位の領域を示しているものであり、内視鏡画像の画素夫々と、仮想内視鏡画像の画素夫々とは、両画像における座標系において略一致する又は、同一視できることにより対応している。仮想内視鏡画像は3次元用医用画像を射影等することにより生成されているため、仮想内視鏡画像の画素夫々は、3次元用医用画像上の座標に対応している。従って、選択された内視鏡画像に含まれる体内部位(画素)に基づき、当該体内部位(画素)の3次元用医用画像の座標系における座標を特定することができる。上述のとおり、内視鏡140の先端部1443の位置である視点位置は、DB登録部625に既に登録されているので、内視鏡140の先端部1443と、選択された内視鏡画像に含まれる体内部位(画素)との距離は、当該体内部位(画素)の3次元用医用画像の座標系における座標と、視点位置に基づき、導出することができる。
内視鏡画像にて選択された体内部位(画素)の情報を表示する領域には、内視鏡画像にて選択された体内部位(画素)の実効質量数(effective-Z)又は、脂肪又は乳酸等の体組成に関する情報が表示されるものであってもよい。これら実効質量数等は、3次元用医用画像の各画素に付加された属性情報であるため、上述のとおり特定された3次元用医用画像の座標系における座標に基づき、3次元用医用画像の画素を特定し、当該画素に付加された実効質量数等を抽出し、表示することができる。
統合画像表示画面71には、表示の態様に関する入力を受付ける入力領域を含む入力領域には、例えば、表示モードを切り替える表示モード切替フィールド715と、表示オプションを設定する表示オプションフィールド714とが、配置されている。
表示モード切替フィールド715には、3次元用医用画像を主表示する3次元用医用画像モード又は、内視鏡画像を主表示する内視鏡画像モードを切り替えるためのラジオボタン等が含まれる。表示モード切替フィールド715における入力内容に応じて、統合画像表示画面71は、3次元用医用画像を主表示する3次元用医用画像モード(図35)と、内視鏡画像を主表示する内視鏡画像モード(図36)とを含む複数の表示モードを切り替え可能に構成されている。このように主表示される画像を簡易に切り替え可能とすることにより、医師等に診断支援情報を効率的に提供することができる。
表示オプションフィールド714には、指定した位置を視点位置とする画像を表示、又は指定した位置の体内部位を含む画像を表示する設定を切り替えるためのラジオボタン等が含まれる。表示モード切替フィールド715における入力内容に応じて、内視鏡画像を表示する領域に表示される内視鏡画像を検索するための検索条件を設定し、当該条件にあった内視鏡画像が、統合画像表示画面71にて表示される。上述のとおり、視点位置及び内視鏡画像に含まれる体内部位(画素)は、3次元用医用画像の座標系における座標にて特定されるため、情報処理装置6は、表示オプションフィールド714にて設定された検索条件を設定し、内視鏡画像DB631を検索することができる。
表示オプションフィールド714には、3次元用医用画像を半透明表示するためのラジオボタン等によるオプション設定が含まれるものであってもよい。3次元医用画像は、CT装置およびMRI装置等から出力されたスライスデータから、例えばボリュームデータとして構成される際、透過モードで生成(半透明処理)することにより半透明表示することができる。表示オプションとして半透明表示が設定されている場合、情報処理装置6は、半透明処理した3次元用医用画像を表示する。
図37は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、被検者IDを受け付ける(S801)。制御部62は、医師等により、内視鏡画像の選択画面上にて入力された被検者IDを受け付けることにより、被検者IDを取得する。内視鏡画像の選択画面にて、内視鏡検査の日時が選択される入力フィールドがある場合、制御部62は、選択された内視鏡検査の日時に関する情報を受付け、期間等、当該日時に関する情報を取得するものであってもよい。
情報処理装置6の制御部62は、取得した被検者IDに基づき、3次元用医用画像を検索し、取得する(S802)。制御部62は、取得した被検者IDを検索キーとして、内視鏡画像DB631を検索し、当該被検者IDの3次元用医用画像を抽出することにより、取得する。
情報処理装置6の制御部62は、取得した3次元用医用画像を表示する(S803)。制御部62は、取得した3次元用医用画像を統合画像表示画面71にて表示する。
情報処理装置6の制御部62は、3次元用医用画像における位置情報を受け付ける(S804)。制御部62は、医師等により、統合画像表示画面71にて、例えばマウスのクリック操作により選択された3次元用医用画像上の位置情報を受け付ける。
情報処理装置6の制御部62は、受付けた3次元用医用画像上の位置情報に基づき、3次元用医用画像上の座標を導出する(S805)。
情報処理装置6の制御部62は、導出した座標に基づき、表示する内視鏡画像を検索し、取得する(S806)。制御部62は、導出した座標を視点位置とし、当該視点位置を検索キーとして、内視鏡画像DB631を検索し、対応する内視鏡画像を抽出することにより、取得する。制御部62は、当該視点位置を検索キーとして内視鏡画像を検索するにあたり、当該視点位置の座標(導出した座標)を含む所定範囲にて検索するものあってもよい。視点位置の座標(導出した座標)を含む所定範囲にて検索することにより、当該座標に対し振れ幅を持たせて内視鏡画像を検索することができ、選択された3次元用医用画像上の位置の近傍にて撮像された単数又は複数の内視鏡画像群を効率的に検索することができる。制御部62は、抽出した内視鏡画像を統合画像表示画面71にて表示する。複数の内視鏡画像を抽出した場合、制御部62は、抽出した複数の内視鏡画像の内、病変の有無等に基づき決定される優先度が高い内視鏡画像を最大化又は最前面にて表示し、他の内視鏡画像は、最小化又は背面にて表示するものであってもよい。
情報処理装置6の制御部62は、表示した内視鏡画像に関する情報を表示する(S807)。制御部62は、表示した内視鏡画像に関する情報として、例えば、当該内視鏡画像に最も一致する仮想内視鏡画像又は、表示した内視鏡画像にて選択された体内部位(画素)に関する情報を表示する。内視鏡画像にて選択された体内部位(画素)に関する情報とは、例えば、当該体内部位(画素)の3次元用医用画像上における座標、内視鏡140の先端部1443から当該体内部位(画素)までの距離を含むものであってもよい。内視鏡画像にて選択された体内部位(画素)に関する情報は、3次元用医用画像の各画素(体内部位)の付加情報である実行質量数(effective-Z)又は体組成に関する情報を含むものであってもよい。
情報処理装置6の制御部62は、統合画像表示画面71にて選択される表示オプションを受付け、当該表示オプションの内容に応じた表示形態にて表示する(S808)。上述のとおり、統合画像表示画面71には、表示オプションの選択を受け付ける入力フィールドが配置されており、入力された表示オプションの内容に応じて、統合画像表示画面71の表示形態に変更する。
本実施形態によれば、内視鏡画像DB631において互いに関連付けられている登録されている内視鏡画像、3次元用医用画像及び仮想内視鏡画像を、統合画像表示画面71にて列挙して表示させることにより、医師等について、被検者に関する一群の医療データを統合化した診断支援情報を提供することができる。
本実施形態において、情報処理装置6は統合画像表示画面71を表示部7に表示するとしたが、これに限定されない。情報処理装置6は、内視鏡用プロセッサ120を介して内視鏡装置110の表示装置50に表示してもよい。又は、統合画像表示画面71の表示等に関する一連の処理又は機能部としての動作は、実施形態5と同様に内視鏡用プロセッサ120によるものであってもよい。又は、実施形態5と同様に情報処理装置6及び内視鏡用プロセッサ120が協働して、統合画像表示画面71の表示等に関する一連の処理又は機能部として動作するものであってもよい。
(実施形態9)
実施形態9の情報処理装置6は、内視鏡画像DB631に登録された各種データを用い、内視鏡画像DB631に登録された内視鏡画像に含まれる体内部位に関する病変の有無等の診断支援情報を出力する。
図38は、実施形態9に係る学習モデル9を用いて診断支援情報を出力する処理を説明する説明図である。情報処理装置6は、内視鏡画像を問題データとし、病変の有無、病変の症状の種類、病変の症状のステージ及び病変の場所等の少なくとも1つを含む診断支援情報を回答データとする訓練データに基づき学習することで、内視鏡画像を入力とし、病変の有無等を含む診断支援情報を出力とするニューラルネットワークを構築(生成)する。内視鏡画像には、例えば病変が疑われる体内部位が含まれる。病変の有無、症状の種類、症状のステージ及び、病変の場所は、内視鏡画像に含まれる体内部位に関する病変の有無又は確率値、症状の種類、症状のステージ及び、病変の場所に関する情報である。
学習モデル9に入力される内視鏡画像は、当該内視鏡画像に対応する仮想内視鏡画像(当該内視鏡画像に最も一致する仮想内視鏡画像)から導出された距離画像情報に基づき、特徴パラメータが補正された内視鏡画像であってもよい。当該距離画像情報に基づく特徴パラメータの補正については、後述する。
訓練データを用いて学習されたニューラルネットワーク(学習モデル9)は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。学習モデル9は、上述のごとく制御部62(CPU等)及び記憶部63を備える情報処理装置6にて用いられるものであり、このように演算処理能力を有する情報処理装置6にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置6の制御部62が、記憶部63に記憶された学習モデル9からの指令に従って、入力層に入力された内視鏡画像の特徴量を抽出する演算を行い、出力層から病変の有無等を含む診断支援情報を出力するように動作する。
入力層は、内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値及び距離情報を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、病変の有無及び症状のステージに関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変の有無及び症状のステージに関する情報を出力する。例えば学習モデル9がCNN(ConvolutionalNeuralNetwork)である場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピング(圧縮)するプーリング層とが交互に連結された構成を有し、内視鏡画像の画素情報を圧縮しながら最終的に内視鏡画像の特徴量を抽出する。出力層は、当該内視鏡画像に含まれる体内部位における病変の有無等のに関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量等に基づいて、病変の有無等のに関する情報を出力する。出力された病変の有無等のに関する情報は、内視鏡を操作する医師等により診断支援情報として用いられる情報である。
本実施形態では、学習モデル9に入力されるデータは、内視鏡画像であるとして説明しているがこれに限定されない。学習モデル9に入力されるデータは、内視鏡140の撮像素子1445が撮像した撮影画像(生画像)であってもよい。すなわち、学習モデル9は、撮影画像が入力されることにより、病変の有無等のに関する情報を出力するものであってもよい。
本実施形態では学習モデル9がCNN等のニューラルネットワーク(NN)であるとして説明するが、学習モデル9は、NNに限定されず、SVM(SupportVectorMachine)、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習モデル9であってもよい。又は、CNNの代わりに、RCNN(RegionswithConvolutionalNeuralNetwork)、FastRCNN、Faster RCNNまたはSSD(SingleShotMultibookDetector)、YOLO(YouOnlyLookOnce)等の、任意の物体検出アルゴリズムを使用しても良い。
情報処理装置6は、出力層から出力された値を、問題データ(内視鏡画像)に対し、ラベル付けされた情報(病変の有無、症状の種類及び症状のステージ)、すなわち正解値(回答データ)と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み(結合係数)、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置6は、誤差逆伝播法を用いて各種パラメータの最適化を行う。情報処理装置6は、訓練データに含まれる内視鏡画像について上記の処理を行い、学習モデル9を生成し、生成した学習モデル9を記憶部63に記憶する。
訓練データとして用いられる内視鏡画像(問題データ)と、これら情報に相関を有する病変の有無等に関する情報(回答データ)は、各医療機関において行われた内視鏡検査の結果データとして大量に保存されており、これら結果データを用いることにより、学習モデル9を学習するための訓練データを大量に生成することができる。
図39は、情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。情報処理装置6の制御部62は、記憶部63に記憶されているプログラムPを実行することにより、取得部621、距離画像情報導出部626、特徴パラメータ導出部627、特徴パラメータ補正部628。出力部629として機能する。また、制御部62は、記憶部63に記憶されているプログラムPを実行することにより、又は学習モデル9を構成する実体ファイルを読み出すことにより、学習モデル9として機能する。
取得部621は、例えば内視鏡画像選択画面70等によって、入力される被検者ID及び検査日時を受付け、被検者ID等を取得する。取得部621は、取得した被検者ID又は、被検者ID及び検査日時を検索キーとして内視鏡画像DB631を検索し、内視鏡画像及び当該内視鏡画像に最も一致する仮想内視鏡画像から成る複数のデータセットを取得する。
取得部621は、仮想内視鏡画像を距離画像情報導出部626に出力する。距離画像情報導出部626は、取得した仮想内視鏡画像に基づき、距離画像情報を導出する。距離画像情報は、仮想内視鏡画像において、仮想内視鏡画像における各画素同士の距離に関する情報である。各画素同士の距離とは、3次元医用画像の座標系(体内座標系)における距離を意味するものであり、例えば、仮想内視鏡画像に含まれる2つの体内部位における奥行きを加味した距離である。仮想内視鏡画像は、3次元医用画像を射影変換して2次元化した画像であり、仮想内視鏡画像における任意の地点は、3次元医用画像における地点に対応するものであり、これら地点は、体内部位における同一の位置を示す。当該仮想内視鏡画像における任意の地点は、画像における最小単位となる画素番号(ピクセル座標)であってもよく、又は、例えば所定の体内部位を特定する局所領域(複数の画素により構成される領域)の中央部とするものであってもよい。このように任意の地点を2つ定めることより、3次元医用画像の座標系における当該2つの地点間の距離を導出することができる。すなわち、距離画像情報における距離とは、仮想内視鏡画像の2点に対応する3次元医用画像の座標系の2点の距離に相当する。
3次元医用画像における2点は、仮想内視鏡画像における2点から特定される。特定された3次元医用画像における2点夫々の座標値に基づき、当該2点の距離及びベクトルを導出することができる。導出した3次元医用画像における2点の距離及びベクトルを、当該2点に対応する仮想内視鏡画像の2点の距離及びベクトルとして、仮想内視鏡画像に付与することにより、距離画像、すなわち仮想内視鏡画像において3次元医用画像の座標系における距離情報が付加された仮想内視鏡画像(距離画像)を生成することができる。距離画像情報導出部626は、各画素同士の距離に関する情報が付加された仮想内視鏡画像(距離画像)を、距離画像情報として出力するものであってもよい。
内視鏡画像は、当該内視鏡画像を撮像した内視鏡140の位置(視点位置)及び撮影方向(視点方向)に基づき、3次元医用画像から構成される仮想内視鏡画像に対応している。従って、内視鏡画像に対応する仮想内視鏡画像による距離画像情報は、当該内視鏡画像に対しても適用することができる。すなわち、内視鏡画像における2点間の距離は、当該内視鏡画像に対応する仮想内視鏡画像の2点間の距離(距離画像における距離であり、3次元医用画像の座標系の距離)に相当する。従って、距離画像に含まれる距離画像情報を内視鏡画像に適用することにより、当該内視鏡画像に含まれる体内部位間の距離、体内部位の大きさ等の距離情報を確定することができる。
取得部621は、内視鏡画像を特徴パラメータ導出部627に出力する。特徴パラメータ導出部627は、内視鏡画像に含まれる所定の体内部位の領域を、特徴パラメータとして導出する。例えば特徴パラメータ導出部627は、パターン認識又はエッジ検出等を用い、内視鏡画像に含まれる所定の体内部位の領域を、特徴パラメータとして導出するものであってもよい。又は、特徴パラメータ導出部627は、内視鏡画像から体内部位の色合い又は襞の変化に基づき、A-KAZE(AcceleratedKAZE)、SIFT(ScaleInvariantFeatureTransform)等の局所特徴パラメータ抽出方法を用いて、内視鏡画像に含まれる所定の体内部位の領域を、特徴パラメータとして導出するものであってもよい。
特徴パラメータ補正部628は、距離画像情報導出部626から出力された距離画像情報、特徴パラメータ導出部627から出力された特徴パラメータ、取得部621から出力された内視鏡画像を取得する。特徴パラメータ補正部628は、取得した距離画像情報、特徴パラメータ及び内視鏡画像に基づき、距離画像情報によって特徴パラメータが補正された内視鏡画像を生成し、学習モデル9に出力する。
特徴パラメータ補正部628による補正は、例えば、特徴パラメータとして特定された所定の体内部位の領域の面積を補正(面積補正処理)するものである。面積補正処理を行うにあたり、特徴パラメータ補正部628は、仮想内視鏡画像から得られた距離画像情報に基づき、対応する内視鏡画像の各画像領域の距離R(例えば、r1またはr2等)を取得する。特徴パラメータ補正部628は、取得した各画像領域の距離と基準距離(例えば、20mm)とを比較する。制御部121は、比較した各領域の距離Rとの逆2乗比(R/20)^2「^:べき乗」で補正を行う。特徴パラメータ補正部628は、内視鏡画像の画像領域の距離が基準距離以上であると判定した場合(画素が遠い)、該画像領域を構成する画素数(ピクセル数)を各領域の距離Rとの逆2乗比(R/20)^2で補正を行うことにより、該画像領域に対する拡大処理を行う。特徴パラメータ補正部628は、内視鏡画像の画像領域の距離が基準距離未満であると判定した場合(画素が近い)、該画像領域を構成する画素数を各領域の距離Rとの逆2乗比(R/20)^2で補正を行い減らすことにより、該画像領域に対する縮小処理を行う。また各画像領域で各ピクセル間での距離が相違する場合、基準距離に置いたとして補正を行う。又は、特徴パラメータ補正部628は、最近傍補間法、バイリニア補間法、バイキュービック補間法、又はLanczos(ランツォシュ)補間法等を用いて、面積補正処理を行うものであってもよい。特徴パラメータ補正部628は、これら種々の方法を用いて、内視鏡画像に対し面積補正処理を行い、補正された内視鏡画像を学習モデル9に出力する。
学習モデル9は、補正された内視鏡画像を取得し、内視鏡画像に含まれる体内部位における病変の有無等を含む診断支援情報を、出力部629に出力する。出力部629は、学習モデル9から病変の有無等を含む診断支援情報を取得する共に、特徴パラメータ補正部628又は取得部621から内視鏡画像、被検者ID等を取得する。出力部629は、特徴パラメータ補正部628から特徴パラメータが補正された内視鏡画像を取得するものであってもよい。出力部629は、内視鏡画像に基づき内視鏡画像DB631を検索し、当該内視鏡画像の視点位置等の関連する情報を取得するものであってもよい。
出力部629は、学習モデル9から取得した病変の有無等を含む診断支援情報と、当該診断支援情報の対象となる内視鏡画像とを関連付けて、表示部7に出力する。出力部629は、学習モデル9に入力した補正後の内視鏡画像及び、補正前の内視鏡画像の両画像を表示部7に出力するものであってもよい。出力部629は、診断支援情報と、当該診断支援情報の対象となる内視鏡画像と関連付けられた3次元医用画像とを関連付けて、表示部7に出力するものであってもよい。診断支援情報と3次元医用画像とを関連付けて、表示部7に出力するあたり、出力部629は、3次元医用画像における病変の位置を例えばハイライトした状態で表示部7にて表示されるように出力するものであってもよい。
出力部629は、学習モデル9から取得した病変の有無等を含む診断支援情報と、当該診断支援情報の対象となる内視鏡画像とを関連付けて、内視鏡画像DB631に登録するものであってもよい。出力部629は、学習モデル9に入力した補正後の内視鏡画像及び、補正前の内視鏡画像の両画像を内視鏡画像DB631に登録するものであってもよい。出力部629は、距離画像情報導出部626から距離画像情報(距離画像)を取得し、内視鏡画像とを関連付けて、内視鏡画像DB631に登録するものであってもよい。
図40は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、被検者IDを取得する(S901)。制御部62は、被検者IDに加えて、内視鏡検査の日時を特定するための期間等の検査日時情報を取得するものであってもよい。
情報処理装置6の制御部62は、被検者IDに基づき内視鏡画像DB631を検索し、内視鏡画像及び仮想内視鏡画像を含むデータセットを取得する(S902)。制御部62は、取得した被検者ID又は、被検者ID及び検査日時情報に基づき、内視鏡画像DB631を検索し、当該被検者ID等により抽出された内視鏡画像及び仮想内視鏡画像を取得する。
被検者ID等により抽出された内視鏡画像が複数個となる場合、当該内視鏡画像夫々に対応する仮想内視鏡画像(内視鏡画像と同じレコードに登録されている仮想内視鏡画像)も、複数となる。制御部62は、これら複数となる内視鏡画像及び仮想内視鏡画像を、複数のデータセット(内視鏡画像及び仮想内視鏡画像)として取得するものであってもよい。単一のデータセットには、単一の内視鏡画像及び仮想内視鏡画像が含まれるものとなり、制御部62は、取得したデータセットの個数に応じて、以下の処理を行うものであってもよい。
情報処理装置6の制御部62は、取得した仮想内視鏡画像等により距離画像情報を導出する(S903)。制御部62は、仮想内視鏡画像における各画素同士の距離に関する情報である距離画像情報を導出する。
情報処理装置6の制御部62は、内視鏡画像から特徴パラメータを導出する(S904)。情報処理装置6の制御部62は、例えば面積補正処理の対象となる内視鏡画像の領域等の特徴パラメータを導出する。
情報処理装置6の制御部62は、距離画像情報に基づき、特徴パラメータが補正された内視鏡画像を生成する(S905)。情報処理装置6の制御部62は、距離画像情報に基づき、例えば、特徴パラメータに対応する領域の面積を補正し、当該特徴パラメータが補正された内視鏡画像を生成する。
情報処理装置6の制御部62は、特徴パラメータが補正された内視鏡画像を学習モデル9に入力する(S906)。学習モデル9に入力する情報は、特徴パラメータが補正された内視鏡画像に加えて、特徴パラメータに対応する3次元医用画像の画素に付随されている実効質量数(effective-Z)及び体組成を含むものであってもよい。特徴パラメータは、内視鏡画像の領域、すなわち内視鏡画像に含まれる体内部位又は画素に対応しており、当該体内部位又は画素は、仮想内視鏡画像から生成された距離画像情報によって、3次元医用画像の座標及び画素に対応している。上述のとおり、3次元医用画像の画素には、実効質量数(effective-Z)、体組成、又は双方の情報が付随されているため、制御部62は、特徴パラメータが補正された内視鏡画像に基づき、3次元医用画像に付随している実効質量数(effective-Z)及び体組成を取得する。
学習モデル9は、特徴パラメータが補正された内視鏡画像、実効質量数(effective-Z)及び体組成が入力されることにより、当該内視鏡画像に含まれる病変に関する診断支援情報を出力するように学習されている。このように学習されている学習モデル9に、特徴パラメータが補正された内視鏡画像、実効質量数(effective-Z)及び体組成を入力することにより、更に精度の高い診断支援情報を取得することができる。
情報処理装置6の制御部62は、学習モデル9が出力した診断支援情報を取得する(S907)。情報処理装置6の制御部62は、取得した診断支援情報と内視鏡画像とを関連付けて出力する(S908)。制御部62は、取得した診断支援情報と、内視鏡画像、3次元用医用画像、仮想内視鏡画像及び視点位置等の内視鏡画像に関連する情報を表示部7に出力し、表示させるものであってもよい。更に制御部62は、取得した診断支援情報と内視鏡画像とを関連付けて、内視鏡画像DB631に登録するものであってもよい。
本実施形態において、学習モデル9を含む一連の処理における各機能部を、内視鏡用プロセッサ120の制御部121による機能部と、情報処理装置6の制御部62による機能部夫々とに分けて説明したが、これら機能部の分担は一例であり、これに限定されない。実施形態5と同様に、内視鏡用プロセッサ120の制御部121は、情報処理装置6の制御部62によって行われる全ての機能部として、機能するものであってもよい。または、内視鏡用プロセッサ120の制御部121と、情報処理装置6の制御部62とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
本実施形態によれば、内視鏡画像DB631に既に登録されている内視鏡画像及び仮想内視鏡画像を用いて当該内視鏡画像を補正し、補正した内視鏡画像を学習モデル9に入力する一連の処理を連続的に行うため、当該学習モデル9によって出力される病変の有無等を含む診断支援情報を効率的に取得することができる。学習モデル9によって出力される病変の有無等を含む診断支援情報は、当該診断支援情報の対象となる内視鏡画像DB631に登録されるため、学習モデル9によって出力された診断支援情報を効率的に再利用することができる。
本開示によれば、内視鏡画像と仮想内視鏡画像とを併用することにより、格段に精度の高い診断サポート情報が得られる。本開示によれば、内視鏡画像に一致した仮想内視鏡画像から得られる距離画像と内視鏡画像を合わせた画像特徴パラメータ(特徴量)から得られた診断サポート情報を診断に有効に活用することが可能となる。本開示によれば、内視鏡画像と3次元医用画像とを効率的に関連付けるプログラム等を提供することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。