JP2024028512A - プログラム、情報処理方法及び内視鏡システム - Google Patents

Abstract

【課題】複数の撮像部で撮像した撮像画像に基づき構成される画像を生成することができるプログラム等を提供する。【解決手段】プログラムは、コンピュータに、内視鏡の挿入部に設けられる筒状の先端部の端面及び周面に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、前記内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記内視鏡の挿入距離及び回転角度を取得し、取得した前記内視鏡の挿入距離及び回転角度を関連付けて前記合成画像を出力する処理を実行させる。また内視鏡展開図表示を行い、Ｘ線ＣＴの仮想内視鏡による展開図との比較表示、比較情報出力を行ことができる。【選択図】図１

Description

本技術は、プログラム、情報処理方法及び内視鏡システムに関する。

内視鏡は、被検者の体腔内に挿入することで所望の箇所の観察、処置を可能とする医療用機器であり、体腔内に挿入される挿入管の先端部に組み込まれた撮像部と、該撮像部の撮像視野を照明する照明装置とを備えている。特許文献１には、１８０°以上の広い角度範囲での照明を実現する照明装置を備え、広視野角での観察を可能とした内視鏡が開示されている。

特開２０１５－１６０２１号公報

しかしながら、文献１に記載の内視鏡装置においては、複数の撮像部で撮像した撮像画像に基づき構成される画像を生成する点が考慮されていないという問題点がある。また複数の撮像部で撮像した撮像画像を複数表示装置で表示する方法が無いという問題もある。またＸ線ＣＴの仮想内視鏡画像の展開図表示のような表示方法が内視鏡装置において存在しないという問題もある。

一つの側面では、複数の撮像部で撮像した撮像画像に基づき構成される画像を生成することができるプログラム等を提供することを目的とする。またＸ線ＣＴの仮想内視鏡画像の展開図表示と同じ展開図表示方法で表示しＸ線ＣＴの仮想内視鏡画像との対応を取りやすくすることを目的とする。

本開示の一態様におけるプログラムは、コンピュータに、内視鏡の挿入部に設けられる筒状の先端部の端面及び周面に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、前記内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記内視鏡の挿入距離及び回転角度を取得し、取得した前記内視鏡の挿入距離及び回転角度を関連付けて前記合成画像を出力する処理を実行させる。

本開示の一態様における情報処理方法は、内視鏡の挿入部に設けられる筒状の先端部の端面及び周面に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、前記内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記内視鏡の挿入距離及び回転角度を取得し、取得した前記内視鏡の挿入距離及び回転角度を関連付けて前記合成画像を出力する処理をコンピュータに実行させる。

本開示の一態様におけるプログラムは、コンピュータに、内視鏡の挿入部に設けられる先端部に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、生成した前記合成画像を出力し、前記合成画像を生成する処理は、複数の前記撮像部により、予め定められた基準物を撮像した基準画像を取得し、取得した前記基準画像に基づき画像合成パラメータを導出し、導出した前記画像合成パラメータを用いて前記合成画像を生成する処理を含む処理を実行させる。当該プログラムは、コンピュータに、内視鏡画像をＸ線ＣＴの仮想内視鏡画像による展開図表示に対応する内視鏡展開図を生成し、Ｘ線ＣＴの展開図表示と内視鏡展開図表示を比較できる処理を含む処理を実行させるものであってもよい。

本開示の一態様における情報処理方法は、内視鏡の挿入部に設けられる先端部に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、生成した前記合成画像を出力し、前記合成画像を生成する処理は、複数の前記撮像部により、予め定められた基準物を撮像した基準画像を取得し、取得した前記基準画像に基づき画像合成パラメータを導出し、導出した前記画像合成パラメータを用いて前記合成画像を生成する処理を含む処理をコンピュータに実行させる。当該情報処理方法は、コンピュータに、内視鏡画像をＸ線ＣＴの仮想内視鏡画像による展開図表示に対応する内視鏡展開図を生成し、Ｘ線ＣＴの展開図表示と内視鏡展開図表示を比較できる処理を含む処理を実行させるものであってもよい。

本開示の一態様における内視鏡システムは、内視鏡と、内視鏡によって撮像される内視鏡画像の処理を行う制御部とを含む内視鏡システムであって、内視鏡は、被検者の体内に挿入される挿入部と、前記挿入部の先端に位置する筒状の先端部に設けられている複数の撮像部とを備え、複数の前記撮像部は、前記先端部に対し全周方向となる前方視野及び後方視野を含む複数の内視鏡画像を撮像し、前記制御部は、複数の前記撮像部により前記被検者を撮像した内視鏡画像を取得し、複数の時点にて撮像された複数の前記内視鏡画像を合成し、前記先端部に対する後方視野を含めた合成画像を生成し、生成した前記合成画像を出力する。当該内視鏡システムは、内視鏡画像をＸ線ＣＴの仮想内視鏡画像による展開図表示に対応する内視鏡展開図を生成し、Ｘ線ＣＴの展開図表示と内視鏡展開図表示を比較できる情報を出力するものであってもよい。

本開示によれば、複数の撮像部で撮像した撮像画像に基づき構成される画像を生成するプログラム等を提供することができる。

実施形態１（内視鏡展開図）に係る内視鏡システムの概要を示す模式図である。 内視鏡システムに含まれる内視鏡装置の構成例を示すブロック図である。 内視鏡システムに含まれる情報処理装置の構成例を示すブロック図である。 挿入部の先端部（周面）を模式的に示す斜視図である。 挿入部の先端部（端面）を模式的に示す正面図である。 測定部を模式的に示す説明図である。 情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。 内視鏡が挿入された距離（Ｓ座標の値）を示す説明図である。 挿入部の先端部に設けられた撮像部による撮像を模式的に示す説明図である。 内視鏡展開図に関する説明図である。 制御部による処理手順の一例を示すフローチャートである。 実施形態２（チャネルの周囲に撮像部）に係る挿入部の先端部（端面）を模式的に示す正面図である。 挿入部の先端部（周面）を模式的に示す側面図である。 実施形態３（無線通信部／導波管）に係る挿入部の先端部（周面）を模式的に示す側面図である。 実施形態４（ステレオ視画像）に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。 挿入部の先端部に設けられた撮像部による撮像を模式的に示す説明図である。 全周方向となる合成画像と、ステレオ視画像との関連に関する説明図である。 制御部による処理手順の一例を示すフローチャートである。 実施形態５（画像合成パラメータ）に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。 内視鏡画像を連続した曲面に投影する曲面投影法を用いた幾何歪補正に関する説明図である。 合成画像を曲面（楕円球表示、円筒表示）に再投影して行う表示に関する説明図である。 制御部による処理手順の一例を示すフローチャートである。

（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１（内視鏡展開図）に係る診断支援システムの概要を示す模式図である。内視鏡システムＳは、内視鏡装置１０、及び内視鏡装置１０と通信可能に接続される情報処理装置６を含む。

内視鏡装置１０は、内視鏡４０の撮像部４４６によって撮影した画像（撮影画像）を内視鏡用プロセッサ２０に伝送し、内視鏡用プロセッサ２０によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像を生成する。内視鏡装置１０は、生成した内視鏡画像を情報処理装置６に出力（送信）する。内視鏡装置１０から送信された内視鏡画像を取得した情報処理装置６は、これら内視鏡画像に基づき、種々の情報処理を行い、診断支援に関する情報を出力する。

内視鏡装置１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。表示装置５０は、例えば液晶表示装置、又は、有機ＥＬ（Electro Luminescence）表示装置である。

表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。

内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、例えばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、又はＣＤ－ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。

内視鏡４０は、挿入部４４、操作部４３、ユニバーサルコード４９及びスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２及び先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。挿入部４４には、３軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ又は内視鏡挿入形状観測装置（コロナビ）等の物理検出装置が実装され、内視鏡４０が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。

ユニバーサルコード４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。ユニバーサルコード４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。

図２は、内視鏡システムに含まれる内視鏡装置の構成例を示すブロック図である。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。

主記憶装置２２は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報及び制御部２１で実行中のプログラムが一時的に保存される。補助記憶装置２３は、例えば、ＳＲＡＭ、フラッシュメモリ又はハードディスク等の記憶装置であり、主記憶装置２２よりも大容量の記憶装置である。補助記憶装置２３には、例えば、取得した撮影画像、生成した内視鏡画像が、中間データとして保存されるものであってもよい。

通信部２４は、有線又は無線によりネットワークを介して情報処理装置６と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ等の広域無線通信モジュールである。タッチパネル２５は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。

表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。

光源３３は、例えば白色ＬＥＤ、キセノンランプ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯及び明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、内視鏡４０に照明光を供給する。

ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフ及び圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。

内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ユニバーサルコード４９、操作部４３及び挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブ及び送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２及びファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。照明光により照らされた範囲を、先端部４４３に設けられた撮像部で撮影する。撮像部からケーブル束及び電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像が伝送される。

内視鏡用プロセッサ２０の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。画像処理部２１１は、内視鏡４０から出力された画像（撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。

図３は、内視鏡システムに含まれる情報処理装置６の構成例を示すブロック図である。情報処理装置６は、制御部６２、通信部６１、記憶部６３及び入出力Ｉ／Ｆ６４を含む。情報処理装置６は、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置６は、内視鏡用プロセッサ２０からアクセス可能な外部ネットワーク上に位置するクラウドサーバとして設けられているものであってもよい。

制御部６２は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の計時機能を備えた演算処理装置を有し、記憶部６３に記憶されたプログラムＰを読み出して実行することにより、情報処理装置６に係る種々の情報処理、制御処理等を行う。又は、制御部６２は量子コンピュータ用チップで構成されており、情報処理装置６は量子コンピュータであってもよい。

記憶部６３は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部６３には、プログラム及び処理時に参照するデータが予め記憶してある。記憶部６３に記憶されたプログラムは、情報処理装置６が読み取り可能な記録媒体６３０から読み出されたプログラムを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムをダウンロードし、記憶部６３に記憶させたものであってもよい。記憶部６３には、後述する学習モデル（病変学習モデル６３１、関心領域学習モデル６３２）を構成する実体ファイル（ニューラルネットワーク（ＮＮ）のインスタンスファイル）が保存されている。これら実体ファイルは、プログラムの一部位として構成されるものであってもよい。

通信部６１は、有線又は無線により、内視鏡装置１０と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ等の広域無線通信モジュールである。

入出力Ｉ／Ｆ６４は、例えば、ＵＳＢ又はＤＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ６４に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力Ｉ／Ｆ６４には、例えばディプレイ等の表示部７、キーボード等の入力部８が接続されており、制御部６２は、入力部８から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部７に出力する。

図４は、挿入部の先端部（周面４４５）を模式的に示す斜視図である。図５は、挿入部の先端部（端面４４４）を模式的に示す正面図である。内視鏡４０の先端部４４３には、複数の撮像部４４６及び撮影用光源４４７が設けられている。

複数の撮像部４４６は、先端部４４３における筒体の周面４４５において周方向に沿って等配されている撮像部４４６（図面上、４つ）と、先端部４４３における筒体の端面４４４に設けられた撮像部４４６（図面上、１つ）とを含む。撮像部４４６は、例えば、ＣＭＯＳ等の撮像素子、及び当該撮像素子を実装する基板により構成される。撮像素子を実装する基板（撮像部４４６）と、内視鏡用プロセッサ２０とは、例えば通信線及び電気コネクタ３１１を介して接続されている。

先端部４４３における筒体の端面４４４に設けられた撮像部４４６は、内視鏡４０の挿入方向に対し、前方を撮像する。先端部４４３における筒体の周面４４５に設けられた複数の撮像部４４６夫々は、内視鏡４０の挿入方向に対し、側方を撮像する。すなわち、先端部４４３における筒体の周面４４５に設けられた複数の撮像部４４６夫々は、内視鏡４０の挿入方向に対し、先端部４４３における筒体の端面４４４に設けられた撮像部４４６が撮像する体内部位よりも、後方に位置する体内部位を撮像することができる。本実施形態では、筒状を成す先端部４４３の周面に設けられる撮像部４４６は、４つとしており、それぞれの撮像部４４６は、円周角９０度ごとに等間隔で配置されるものとしているが、これに限定されない。筒状を成す先端部４４３の周面に設けられる撮像部４４６は、例えば３つであり、円周角１２０度ごとに等間隔で配置されるものであってもよい。

複数の撮影用光源４４７は、先端部４４３における筒体の周面４４５に周方向に沿って等配されている撮影用光源４４７（図面上、４つ）と、先端部４４３における筒体の端面４４４に設けられた撮影用光源４４７（図面上、２つ）とを含む。撮影用光源４４７は、先端部４４３に設けられた照明窓を介して、ファイバーバンドルによって導光される光源３３から出射した照明光によるものであってよく、又は、先端部４４３に設けられた白色ＬＥＤ等によるものであってもよい。先端部４４３に白色ＬＥＤを設けた場合、内視鏡装置に含まれる光源３３を不要とすることができる。複数の撮影用光源４４７夫々は、先端部４４３における筒体の端面４４４に設けられた撮像部４４６及び、先端部４４３における筒体の周面４４５に設けられた複数の撮像部４４６に対応して設けられているため、これら複数の撮像部４４６が体内部位を撮像するにあたり、十分な光量を供給することができる。

このように複数の撮像部４４６を、先端部４４３における筒体の周面４４５及び筒体の端面４４４に設けることにより、単一（同一）の視点位置において、複数の異なる視点方向からの複数の内視鏡画像を取得することができる。

図６は、測定部９（マウスピース、アタッチメント）を模式的に示す説明図である。測定部９は、例えば、口腔部に取り付けられたマウスピース、又は肛門部に取り付けられたアタッチメントとして構成され、内視鏡４０の挿入部４４が挿通されるための孔部が形成された環状部材である。

環状を成す測定部９には、周方向に沿って検知部９１が設けられている。検知部９１は、光学センサ、又は磁気センサによって構成される。内視鏡４０の挿入部４４には、当該検知部９１に対応する被検知体４４９が設けられている。

被検知体４４９は、内視鏡４０の挿入部４４の軸方向に沿って設けられる長尺体であり、光学的な反射部材又は磁性体等により構成され、光学センサ又は磁気センサ等によって構成される検知部９１により検知される。

内視鏡４０の挿入部４４が測定部９を通過して体内に挿通される際、測定部９は、当該挿入部４４の設けられている被検知体４４９を検知（検出）することにより内視鏡４０の挿入部４４の挿入距離、及び当該挿入部４４の回転角度を導出し、導出した挿入距離及び回転角度を内視鏡４０用プロセッサに出力する。すなわち、測定部９は、挿入距離測定部及び回転角度測定部として機能する。

内視鏡４０の挿入部４４は、体内に挿入される際、上部内視鏡撮影の場合は口腔部に取り付けられたマウスピース（測定部９）、下部内視鏡撮影の場合は肛門部に取り付けられたアタッチメント（測定部９）を通過して、体内に挿入される。従って、いずれの場合であっても、内視鏡４０の挿入部４４の挿入距離、及び当該挿入部４４の回転角度を好適に導出することができる。

本実施形態において、挿入部４４の回転角度の測定は、マウスピース又はアタッチメントにより構成される測定部９を用いるものとしたが、これに限定されない。内視鏡４０の操作部４３にジャイロスコープ又は加速度センサを設けて、当該操作部４３の回転量を測定し、測定した回転量に基づき、挿入部４４の回転角度を導出するものであってもよい。

図７は、情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ２０（内視鏡装置１０）の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムを実行することにより、取得部６２１、合成画像生成部６２２、展開図生成部６２３、病変領域特定部６２４（病変学習モデル６３１）、及び出力部６２５として機能する。

内視鏡用プロセッサ２０の画像処理部２１１は、内視鏡４０から出力（複数の撮像部４４６によって撮像）された画像（複数の撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、複数の内視鏡画像として出力する。画像処理部２１１は、生成した内視鏡画像及び内視鏡画像の撮像時点に基づく検査日時を情報処理装置６に出力（送信）する。画像処理部２１１は、更にキーボード１５から入力された被検者ＩＤを情報処理装置６に出力するものであってもよい。

内視鏡用プロセッサ２０（画像処理部２１１）は、内視鏡４０の周辺環境を測定するため内視鏡４０の挿入部４４（可撓管）に対応して設けられた測定部９（マウスピース、アタッチメント）等のセンサから出力される内視鏡４０の挿入距離（Ｓ座標）及び回転角度に関する情報を、情報処理装置６に出力する。画像処理部２１１は、測定部９から取得した内視鏡４０の挿入距離及び回転角度に関する情報を、例えば、内視鏡画像に重畳して表示装置５０に表示させるものであってもよい。

取得部６２１は、内視鏡用プロセッサ２０が出力した複数の内視鏡画像、Ｓ座標（挿入距離）、及び回転角度を取得する。図８は、内視鏡４０が挿入された距離（Ｓ座標の値）を示す説明図である。図示されるように内視鏡４０により撮影された消化器官等を３次元形状により表現した場合、当該消化器官等の内壁の内側には、空間が形成されており、当該空間は内視鏡４０が挿入される挿入経路となる。内視鏡４０（挿入部４４）の挿入距離であるＳ座標は、当該挿入経路の内側（消化器官等の内壁の内側）であって、挿入されている経路の経路長が当該挿入距離に略等しくなる場所となるため、Ｓ座標に基づき、消化器官等の内壁の内側に位置する内視鏡４０の先端部４４３の座標を導出することができる。

内視鏡４０（挿入部４４）の回転角度においては、被検者の体軸と平行となるようにＺ軸を定義した場合、Ｚ軸が上下方向を示し、Ｙ軸は前後方向を示し、Ｚ軸が左右方向を示すものとなり、当該回転角度は、これら軸を回転軸として定義されるものとなる。内視鏡画像の撮像が上部内視鏡撮影によって行われる場合の回転角度は、被検者の体軸に対し平行となる上下方向（Ｚ軸）を回転軸とした角度であり、下部内視鏡撮影によって行われる場合の回転角度は、被検者の体腔の長手方向に対し平行となる前後方向を回転軸とした角度である。

取得部６２１は、取得した複数の内視鏡画像、Ｓ座標（挿入距離）、及び回転角度を、合成画像生成部６２２に出力する。取得部６２１は、これらを合成画像生成部６２２に出力するにあたり、複数の内視鏡画像それぞれに対し、Ｓ座標（挿入距離）及び回転角度を関連付けて出力するものであってもよい。これら複数の内視鏡画像は、先端部４４３（端面４４４、周面４４５）に設けられた撮像部４４６により、同じ撮像時点にて撮像された内視鏡画像であり、取得部６２１は、これら複数の内視鏡画像それぞれに撮像時点（時刻情報）を関連付けて、合成画像生成部６２２に出力するものであってもよい。取得部６２１は、例えば内視鏡用プロセッサ２０から出力される被検者ＩＤに基づき、通信可能に接続されたＣＴ装置等（Ｘ線ＣＴ）から、当該被検者ＩＤの仮想内視鏡画像、及び当該仮想内視鏡画像の展開図を取得するものであってもよい。仮想内視鏡画像は、Ｘ線ＣＴ又はＭＲＩ又はＸ線コーンビームＣＴの３次元医用画像に基づいて生成（再構成）し、３次元用医用画像による器官内（体腔内）を仮想的内視鏡によって表した画像である。仮想内視鏡画像に基づき、縦軸を回転角度、横軸を挿入距離として展開することにより、展開図が生成される。当該展開図（仮想内視鏡画像の展開図）には、取得部６２１が取得した複数の内視鏡画像に対応する領域が含まれている。取得部６２１は、Ｘ線ＣＴから取得した仮想内視鏡画像の展開図を、出力部６２５に出力する。

合成画像生成部６２２は、取得した複数の内視鏡画像に基づき、挿入部４４の進行方向にて前方及び後方を視野に含め、先端部４４３に対し全周（３６０度）となる合成画像（３６０度ＦＯＶ画像）を生成する。図９は、挿入部４４の先端部４４３に設けられた撮像部４４６による撮像を模式的に示す説明図である。本実施形態において図示するとおり、先端部４４３（端面４４４、周面４４５）に設けられたそれぞれの撮像部４４６は、挿入部４４の進行方向にて前方、側方及び後方を視野に含むため、取得した複数の内視鏡画像に基づき、３６０度ＦＯＶ画像を効率的に合成することができる。特に周面４４５に設けられた撮像部４４６は、腫瘍に対し正面（上方）となる視野を含み、当該腫瘍の正面（上側）を含む撮像することができ、観察効率の向上、及びこのように撮像された内視鏡画像に基づくＡＩ等による診断支援情報の精度の向上を図ることができる。

合成画像生成部６２２は、複数の内視鏡画像を合成するにあたり、個々の内視鏡画像に対し、幾何学補正を行うものであってもよい。幾何学補正は、例えば、取得した内視鏡画像を、連続した曲面に投影する曲面投影（投影変換）を用いた球面補正である。又は、幾何学補正は、例えば、アフィン変換、擬似アフィン変換、２次等角変換、又は２次元射影変換等の画像処理アルゴリズムに基づき行うものであってってもよい。又は、幾何学補正は、撮像部４４６に含まれるレンズの仕様又は光学特性に基づき、多種多量な撮像物に対する光学シミュレーションを行い、その結果を人口知能により機械学習することにより撮像画像の位置に対応した辞書を生成し、当該辞書を用いて無収差に復元して補正するものであってもよい。幾何学補正を行うことにより、これら複数の内視鏡画像において重複する領域（重複領域）の抽出精度を向上させ、合成しやすい画像（繋ぎ合わせやすい座標系の画像）に補正することができる。

合成画像生成部６２２は、幾何学補正した複数の内視鏡画像において、重複領域（同じ観察物を撮像している領域）を重ね合わせることにより位置合わせして、合成画像を生成する。合成画像生成部６２２は、生成した合成画像に、当該合成画像の元となる複数の内視鏡画像を撮像した時点における内視鏡４０の挿入距離及び回転角度を関連付け、更に当該合成画像の元となる複数の内視鏡画像を撮像した時点（撮像時点）に関する時刻情報を関連付けるものであってもよい。合成画像生成部６２２は、生成した合成画像を展開図生成部６２３に出力する。

展開図生成部６２３は、取得した合成画像、及び当該合成画像に関連付けられている挿入距離及び回転角度に基づき、縦軸が回転角度（第２軸）、横軸が挿入距離（第１軸）となる内視鏡展開図を生成する。図１０は、内視鏡展開図に関する説明図である。本実施形態における図示のとおり、合成画像を内視鏡展開図に変換することにより、撮像された観察箇所に対する視認性を向上させることができる。展開図生成部６２３は、撮像時点が異なる複数の合成画像を取得した場合は、これら複数の合成画像に基づき展開した複数の内視鏡展開図を回転角度に基づき位置合わせし、撮像時点の経過順（挿入距離の順番）に従って並べて表示するものであってもよい。展開図生成部６２３は、生成した内視鏡展開図を病変領域特定部６２４及び出力部６２５に出力する。なお、内視鏡展開図は、縦軸が回転角度、横軸が挿入距離であるとしたが、横軸が回転角度、縦軸が挿入距離として表現（展開）されるものであってもよい。

病変領域特定部６２４は、内視鏡画像を入力された場合、腫瘍等の病変の領域を出力する病変学習モデル６３１を含む。病変領域特定部６２４は、取得した内視鏡展開図を病変学習モデル６３１に入力することにより、当該内視鏡展開図に、腫瘍等の病変が含まれているか否かを判定する。内視鏡展開図は複数の内視鏡画像によって合成された画像であるため、病変学習モデル６３１に内視鏡展開図を入力することにより、当該内視鏡展開図に腫瘍等の病変が含まれているか否か取得することができる。腫瘍等が含まれている場合、病変領域特定部６２４は、内視鏡展開図における当該腫瘍の領域（腫瘍領域）を内視鏡４０の挿入距離及び回転角度により特定し、当該腫瘍領域に関する情報を出力部６２５に出力する。

病変学習モデル６３１は、訓練データを用いて学習されたニューラルネットワークであり、は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。病変学習モデル６３１は、上述のごとく制御部６２（ＣＰＵ等）及び記憶部６３を備える情報処理装置６にて用いられるものであり、このように演算処理能力を有する情報処理装置６にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置６の制御部６２が、記憶部６３に記憶された病変学習モデル６３１からの指令に従って、入力層に入力された内視鏡画像の特徴量を抽出する演算を行い、出力層から病変の有無等を含む診断支援情報を出力するように動作する。

入力層は、内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値及び距離情報を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、病変の有無及び症状のステージに関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変の有無及び症状のステージに関する情報を出力する。例えば病変学習モデル６３１がＣＮＮ（Convolutional Neural Network）である場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピング（圧縮）するプーリング層とが交互に連結された構成を有し、内視鏡画像の画素情報を圧縮しながら最終的に内視鏡画像の特徴量を抽出する。出力層は、当該内視鏡画像に含まれる体内部位における病変の有無等に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量等に基づいて、病変の有無等に関する情報を出力する。出力された病変の有無等に関する情報は、内視鏡４０を操作する医師等により診断支援情報として用いられる情報である。

本実施形態では、病変学習モデル６３１に入力されるデータ又は合成されるデータ等の処理対象となるデータは、内視鏡画像であるとして説明しているがこれに限定されない。当該処理対象となるデータは、内視鏡４０の撮像部４４６が撮像した撮影画像（生画像）であってもよい。すなわち、病変学習モデル６３１は、撮影画像が入力されることにより、病変の有無等に関する情報を出力するものであってもよい。本実施形態では病変学習モデル６３１がＣＮＮ等のニューラルネットワーク（ＮＮ）であるとして説明するが、病変学習モデル６３１は、ＮＮに限定されず、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された病変学習モデル６３１であってもよい。又は、ＣＮＮの代わりに、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ又はＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用しても良い。

出力部６２５は、病変領域特定部６２４から取得した腫瘍領域に関する情報（挿入距離及び回転角度）と、展開図生成部６２３から取得した内視鏡展開図に基づき、内視鏡展開図に特定した腫瘍領域を囲む赤枠を重畳表示する等、強調表示させた内視鏡展開図を、表示部７に出力する。表示部７は、出力部６２５から出力されたデータに基づき、強調表示させた内視鏡展開図を自部に含まれる表示画面にて表示する。出力部６２５は、更に、展開図生成部６２３から取得した内視鏡展開図と、取得部を介してＸ線ＣＴから取得した仮想内視鏡画像の展開図とを並べて表示させるデータを生成し、当該データを表示部７に出力するものであってもよい。また、出力部６２５は、合成画像（３６０度ＦＯＶ画像）と、仮想内視鏡画像とを並べて表示させるデータを生成し、当該データを表示部７に出力するものであってもよい。上述のとおり、Ｘ線ＣＴから取得した仮想内視鏡画像の展開図は、展開図生成部６２３から取得した内視鏡展開図の元データである複数の内視鏡画像に対応する領域が含まれているため、これら展開図は、同一の観察領域を含むものとなる。従って、同一の観察箇所に対する内視鏡画像からの展開図（内視鏡展開図）と、Ｘ線ＣＴから取得した仮想内視鏡画像の展開図とを、横並びにして比較表示することにより、医師等に有効な診断支援情報を提供することができる。

内視鏡展開図と、仮想内視鏡画像の展開図とを、比較表示される表示形態は、これら展開図を並べて表示させる形態に限定されず、これら展開図を重ね合わせて表示する形態であってもよい。例えば、仮想内視鏡画像の展開図の上に、内視鏡展開図を重ね合わせて表示する場合、内視鏡展開図を半透明となるように変換し、挿入距離（Ｓ座標）及び回転角度を用いて位置合わせし、これら展開図を重ね合わせて表示するものであってもよい。同様に、合成画像（３６０度ＦＯＶ画像）と、仮想内視鏡画像とを重ね合わせて表示するものであってもよい。また、これら展開図を重ね合わせて表示するにあたり、病変領域特定部６２４によって病変領域が特定された展開図それぞれ（内視鏡展開図、仮想内視鏡画像の展開図）を、重ね合わせて表示するものであってもよい。合成画像（３６０度ＦＯＶ画像）及び仮想内視鏡画像についても、病変領域特定部６２４等と同様のＣＮＮ等により構成されるＡＩ（学習モデル）を用いて病変領域を特定し、赤枠等のアノテーション表示によって当該病変領域が特定された合成画像（３６０度ＦＯＶ画像）及び仮想内視鏡画像を重ね合わせて表示するものであってもよい。

本実施形態において、一連の処理における各機能部を、内視鏡用プロセッサ２０の制御部２１による機能部と、情報処理装置６の制御部６２による機能部夫々とに分けて説明したが、これら機能部の分担は一例であり、これに限定されない。内視鏡用プロセッサ２０の制御部２１は、情報処理装置６の制御部６２によって行われる全ての機能部として、機能するものであってもよい。すなわち、内視鏡用プロセッサ２０が、実質的に情報処理装置６を含むものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１は、撮像部４４６が撮像した撮影画像を出力するのみであり、情報処理装置６の制御部６２は、以降の処理を行う全ての機能部として機能するものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。

図１１は、制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。

情報処理装置６の制御部６２は、複数の撮像部４４６によって撮像された内視鏡画像を取得する（Ｓ１０１）。先端部４４３（端面４４４、周面４４５）に設けられたそれぞれの撮像部４４６は、挿入部４４の進行方向にて前方、側方及び後方を視野に含むものであり、情報処理装置６の制御部６２は、挿入部４４の進行方向にて前方、側方及び後方の視野方向にある観察箇所を撮像した複数の内視鏡画像を取得する。

情報処理装置６の制御部６２は、内視鏡４０の挿入距離及び回転角度を取得する（Ｓ１０２）。情報処理装置６の制御部６２は、例えばマウスピース又はアタッチメント等として構成される測定部９から出力される内視鏡４０の挿入距離及び回転角度を取得する。回転角度に関し、内視鏡画像の撮像が上部内視鏡撮影によって行われる場合は被検者の体軸に対し平行となる上下方向を回転軸とした角度であり、下部内視鏡撮影によって行われる場合は被検者の体軸に対し垂直となる前後方向を回転軸とした角度である。

情報処理装置６の制御部６２は、複数の内視鏡画像に対する幾何学補正を行う（Ｓ１０３）。情報処理装置６の制御部６２は、取得した複数の内視鏡画像それぞれに対し、幾何学補正を行うことにより、これら複数の内視鏡画像において重複する領域（重複領域）の抽出精度を向上させ、合成しやすい画像（繋ぎ合わせやすい座標系の画像）に補正する。幾何学補正は、例えば、取得した内視鏡画像を、連続した曲面に投影する曲面投影（投影変換）を用いた球面補正である。又は、幾何学補正は、例えば、アフィン変換、擬似アフィン変換、２次等角変換、又は２次元射影変換等の画像処理アルゴリズムに基づき行うものであってってもよい。又は、幾何学補正は、撮像部４４６に含まれるレンズの仕様又は光学特性に基づき、多種多量な撮像物に対する光学シミュレーションを行い、その結果を人口知能（ＡＩ）により機械学習することにより撮像画像の位置に対応した辞書（ルックアップテーブル）を生成し、当該辞書を用いて無収差に復元して補正するものであってもよい。

情報処理装置６の制御部６２は、補正した複数の内視鏡画像に基づき、合成画像を生成する（Ｓ１０４）。情報処理装置６の制御部６２は、幾何学補正した複数の内視鏡画像において、重複領域（同じ観察物を撮像している領域）を重ね合わせることにより位置合わせして、合成画像を生成する。複数の撮像部４４６は、挿入部４４の先端部４４３における端面４４４及び周面４４５に設けられており、周面４４５に設けられている撮像部４４６は、周方向に沿って等間隔で配置されている。端面４４４の撮像部４４６は、挿入部４４の進行方向にて前方を撮像し、周面４４５の撮像部４４６は、挿入部４４の進行方向に対し側方及び後方を撮像する。従って、これら複数の撮像部４４６によって撮像された複数の内視鏡画像を合成することにより、挿入部４４の進行方向にて前方及び後方を視野に含め、先端部４４３に対し全周（３６０度）となる合成画像（３６０度ＦＯＶ画像）を生成することができる。

情報処理装置６の制御部６２は、生成した合成画像に、当該合成画像の元となる複数の内視鏡画像を撮像した時点における内視鏡４０の挿入距離及び回転角度を関連付ける。情報処理装置６の制御部６２は、更に、生成した合成画像に、当該合成画像の元となる複数の内視鏡画像を撮像した時点（撮像時点）に関する時刻情報を関連付けるものであってもよい。

情報処理装置６の制御部６２は、合成画像から、内視鏡展開図を生成する（Ｓ１０５）。情報処理装置６の制御部６２は、合成画像及び、当該合成画像に関連付けられている挿入距離及び回転角度に基づき、縦軸が回転角度、横軸が挿入距離となる内視鏡展開図を生成する。情報処理装置６の制御部６２は、複数の合成画像に基づき、個々の合成画像から生成した内視鏡展開図を回転角度に基づき位置合わせし、挿入距離の順番（撮像時点の経過順）に従って並べて表示するものであってもよい。

情報処理装置６の制御部６２は、内視鏡展開図に基づき、病変領域を特定する（Ｓ１０６）。情報処理装置６の制御部６２は、例えば自装置の記憶部６３に記憶されている病変学習モデル６３１を用い、当該病変学習モデル６３１に内視鏡展開図を入力することにより、当該内視鏡展開図に腫瘍等の病変が含まれているかを判定し、腫瘍が含まれている場合、内視鏡展開図における当該腫瘍の領域（腫瘍領域）を内視鏡４０の挿入距離及び回転角度により特定する。

情報処理装置６の制御部６２は、病変領域が強調された内視鏡展開図を出力する（Ｓ１０７）。情報処理装置６の制御部６２は、腫瘍等の病変が含まれている場合、特定した腫瘍領域を囲む赤枠を内視鏡展開図に重畳表示する等、強調表示させた内視鏡展開図を表示部７に出力する。表示部７は、出力されたデータに基づき、強調表示させた内視鏡展開図を、自部に含まれる表示画面にて表示する。

本実施形態において、一連の処理は、情報処理装置６の制御部６２によって行われるとしたが、これに限定されない。これら一連の処理は、内視鏡用プロセッサ２０の制御部２１によって行われるものであってもよい。又は、これら一連の処理は、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とが、例えばプロセス間通信を行うことにより、協働して行うものであってもよい。

本実施形態によれば、内視鏡４０の挿入部４４に設けられる筒状の先端部４４３の端面４４４及び周面４４５には、複数の撮像部４４６が設けられているため、先端部４４３に対する前方視野及び後方視野が含まれる複数の内視鏡画像を、当該複数の撮像部４４６それぞれから、取得することができる。取得した複数の内視鏡画像に基づき、先端部４４３に対し前方視野及び後方視野を含めた全周方向の合成画像を効率的に生成することができる。合成画像は、先端部４４３の端面４４４及び、周面４４５に所定の円周角にて等配された複数の撮像部４４６によって撮像された複数の内視鏡画像を合成したものであるため、筒状を成す先端部４４３の周方向にて、全周にわたる視野を含む３６０度ＦＯＶ（Field of view）画像に相当する。

複数の撮像部４４６による内視鏡画像の撮像は、複数の時点にて行われる。この際、内視鏡画像が撮像された時点における内視鏡４０の挿入距離及び回転角度と、合成画像とを関連付けることにより、当該挿入距離及び回転角度に基づき、生成した合成画像の体内における位置（座標）を特定することができる。すなわち、撮像した内視鏡画像それぞれに対し、絶対座標を付与（関連付け）することにより、回転方向を合わせてこれら画像を比較（内視鏡画像比較）することができる。従って、複数の時点にて撮像された３６０度視野の内視鏡画像（３６０度ＦＯＶ画像）それぞれに対し、座標の再現性及び時間経過における比較（時間方向の比較）を効率的に行うことができる。

本実施形態によれば、内視鏡４０は、例えば、胃カメラ等の上部消化管内視鏡検査のための内視鏡４０と、大腸カメラ等の下部消化管内視鏡検査のための内視鏡４０とを含む。内視鏡画像の撮像が上部内視鏡撮影によって行われる場合の挿入距離は、被検者の口腔部に設けられた測定部９（マウスピース）から出力される挿入距離であり、下部内視鏡撮影によって行われる場合の挿入距離は、被検者の肛門部に設けられた測定部９（アタッチメント）から出力される挿入距離である。内視鏡画像の撮像が上部内視鏡撮影によって行われる場合の回転角度は、被検者の体軸に対し平行となる上下方向を回転軸とした角度であり、下部内視鏡撮影によって行われる場合の回転角度は、被検者の体腔の長手方向に対し平行となる前後方向を回転軸とした角度である。これら測定部９は、例えば、被検者の口腔部に取り付けられたマウスピース又は、被検者の肛門部に取り付けられたアタッチメントであり、挿入距離を測定する挿入距離測定部、及び回転角度を測定する回転角度測定部として機能する。従って、上部内視鏡撮影又は下部内視鏡撮影のいずれの場合であっても、挿入距離及び回転角度を適切に検出（測定）することができる。

本実施形態によれば、複数の時点にて撮像された内視鏡画像に基づき、複数の合成画像を生成することができる。生成した複数の合成画像は、異なる時点にて撮像されたものであり、当該時点に応じて、内視鏡４０の挿入距離及び回転角度は、異なるものとなる。このような複数の合成画像に基づき、内視鏡４０の挿入距離を横軸とし、回転角度を縦軸とした内視鏡展開図を生成することにより、視認性に優れた内視鏡展開図を効率的に生成することができる。複数の合成画像は、それぞれが撮像された時点（撮像時点）が異なるものであり、当該撮像時点における内視鏡４０の挿入距離及び回転角度は異なるものとなるが、撮像部４４６の視野角に応じて、これら複数の合成画像において、同一の観察箇所が重複して撮像される重複領域が存在する。そこで、当該重複領域を抽出し、抽出した重複領域を重ね合わせることにより、切れ目及び重複が軽減された内視鏡展開図を効率的に生成することができる。内視鏡展開図を用いることにより、合成された３６０度の内視鏡画像（３６０度ＦＯＶ画像）に対し、例えば腫瘍を上方から観察し、腫瘍等のヒダによる影について全て視認することができ、医師等の内視鏡４０の操作者に対し有効な診断支援情報を提供することができる。

本実施形態によれば、内視鏡画像を入力された場合、腫瘍等の病変の領域を出力する病変学習モデル６３１に、内視鏡展開図を入力することにより、当該内視鏡展開図に、腫瘍等の病変が含まれているか否かを判定する。腫瘍が含まれている場合、内視鏡展開図における当該腫瘍の領域（腫瘍領域）を内視鏡４０の挿入距離及び回転角度により特定し、例えば、特定した腫瘍領域を囲む赤枠を重畳表示する等、強調させて内視鏡展開図を出力するため、医師等の内視鏡４０の操作者に対し、有効な診断支援情報を提供することができる。

（実施形態２）
実施形態２の内視鏡４０は、先端部４４３の端面４４４に複数の撮像部４４６が設けられる点で実施形態１と異なる。図１２は、実施形態２（チャネル４４８の周囲に撮像部４４６）に係る挿入部４４の先端部４４３（端面４４４）を模式的に示す正面図である。図１３は、挿入部４４の先端部４４３（周面４４５）を模式的に示す側面図である。

実施形態２の内視鏡４０は、実施形態１の内視鏡４０と同様に、筒状を成す先端部４４３の端面４４４及び周面４４５に設けられる複数の撮像部４４６を備える。実施形態２の内視鏡４０の先端部４４３の端面４４４の中央部には、チャネル４４８（working channel）が設けられている。

チャネル４４８（working channel）は、鉗子等の処置具を挿入するための孔部であり、先端部４４３の端面４４４から操作部４３に向かって、挿入部４４の全体を貫通するように延設されている。端面４４４の中央部に設けられたチャネル４４８を中心として、当該端面４４４には、複数の撮像部４４６が設けられている。端面４４４に設けられた複数の撮像部４４６は、例えば４つであり、等間隔となるように同じ中心角（本実施形態においては９０度）にて配置されている。

先端部４４３の周面４４５に設けられる複数の撮像部４４６は、内視鏡４０の挿入部４４の挿入方向に対し、撮像部４４６の光軸の角度が９０度よりも大きくなるように傾けられて設けられている。内視鏡４０の挿入部４４の挿入方向は、当該挿入部４４の軸方向と平行な方向であり、挿入部４４が体内に挿入される際の進行方向（前方）に相当するものである。本実施形態における図示のとおり、周面４４５の撮像部４４６を後方に向けて傾けることにより、挿入部４４の挿入方向（軸方向）と、周面４４５の撮像部４４６の光軸とによる角度（α）は、９０度よりも大きく（α°＞９０°）なる。撮像部４４６の光軸の角度は、内視鏡４０の挿入部４４の挿入方向に対し、１８０度よりも小さいものとなり、すなわち角度範囲としては、（１８０°＞α°＞９０°）となる。

本実施形態によれば、先端部４４３の端面４４４の中央部に設けられたチャネル４４８の周囲には、先端部４４３に対し前方視野を撮像する複数の撮像部４４６が、例えば等間隔となるように設けられているため、先端部４４３、すなわち内視鏡４０の挿入部４４を細径化することができる。内視鏡４０の挿入部４４を体内に挿入する際の挿入方向に対し、先端部４４３の周面４４５に配置された撮像部４４６の光軸の角度は、９０度よりも大きいため、周面４４５の撮像部４４６の光軸は、挿入部４４の挿入方向に対し後方を向くものとなる。従って、周面４４５の撮像部４４６によって、より広い範囲となる後方視野を撮像することができる。

（実施形態３）
実施形態３の内視鏡４０は、無線通信を用いて、撮像部４４６から出力される撮像画像を伝送する点で実施形態１と異なる。図１４は、実施形態３（無線通信部４４８１／導波管）に係る挿入部４４の先端部４４３（周面４４５）を模式的に示す側面図である。

内視鏡４０の先端部４４３には、撮像部４４６とリード線等により接続され、撮像部４４６が出力する撮像画像を無線にて送信する無線通信部４４８１が設けられている。無線通信部４４８１は、例えばチャネル４４８の外周面に配置されており、撮像部４４６が出力した撮像画像を無線にて、内視鏡４０用プロセッサの通信部２４に送信する。この場合、内視鏡４０用プロセッサの通信部２４は、無線通信の受信部として機能する。

無線通信部４４８１は、チャネル４４８を導波管として用いて、チャネル４４８の内壁によって形成される空間に電波を放射して、撮像部４４６が出力する撮像画像を、操作部４３に設けられる無線通信の受信部に送信するものであってもよい。

本実施形態によれば、内視鏡４０に設けられる撮像部４４６から、内視鏡４０用プロセッサに設けられる制御部６２への内視鏡画像の出力は、内視鏡４０及び内視鏡４０用プロセッサ間の無線通信によって行われる。従って、内視鏡４０の挿入部４４の内部にて、撮像部４４６による撮像画像を送信するための配線を設けることを不要とし、内視鏡４０の挿入部４４を細径化することができる。更に、挿入部４４の全体において貫通する孔部により構成されるチャネル４４８（working channel）を、導波管として用いることにより、無線通信の電波を好適に伝搬させることができる。

（実施形態４）
実施形態４の内視鏡システムＳは、合成画像に基づきステレオ視画像を生成する点で実施形態１と異なる。図１５は、実施形態４（ステレオ視画像）に係る情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ２０（内視鏡装置１０）の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。情報処理装置６の制御部６２は、実施形態１と同様に、記憶部６３に記憶されているプログラムを実行することにより、取得部６２１、合成画像生成部６２２、出力部６２５として機能し、更にステレオ視画像生成部６２６及び関心領域特定部６２７（関心領域学習モデル６３２）として機能する。

取得部６２１は、実施形態１と同様に、内視鏡用プロセッサ２０が出力した複数の内視鏡画像、Ｓ座標（挿入距離）、及び回転角度を取得する。合成画像生成部６２２は、実施形態１と同様に、取得した複数の内視鏡画像に基づき、挿入部４４の進行方向にて前方及び後方を視野に含め、先端部４４３に対し全周（３６０度）となる合成画像（３６０度ＦＯＶ画像）を生成し、生成した合成画像をステレオ視画像生成部６２６に出力する。

ステレオ視画像生成部６２６は、取得した合成画像、及び当該合成画像に関連付けられている挿入距離及び回転角度に基づき、被検者の体内における同一の観察箇所に対し、異なる視野方向で撮像した複数の内視鏡４０を並べたステレオ視画像を生成する。ステレオ視画像生成部６２６は、撮像時点が異なる複数の合成画像それぞれを、各視野方向に応じた所定の視野角度にて分割し、分割した合成画像それぞれを、内視鏡４０の回転角度に基づき位置合わせを行い、内視鏡４０の挿入距離に応じて繋ぎ合わせる処理を行うことによりステレオ視画像を生成（再構成）する。

図１６は、挿入部４４の先端部４４３に設けられた撮像部４４６による撮像を模式的に示す説明図である。本実施形態における図示のとおり、内視鏡４０の挿入部４４が体内に所定の速度（挿入速度）で挿入されることにより、連続する複数の撮像時点において、腫瘍等の同一の観察箇所に対し、異なる視野方向にて、内視鏡画像を撮像することができる。

本実施形態における図示においては、周面４４５の撮像部４４６は、ｔ［ｘ］の撮像時点において腫瘍（観察箇所）を正面から撮像し、ｔ［ｘ］よりも以前となるｔ［ｘ－１］の撮像時点において腫瘍（観察箇所）を左側面（前方視野）から撮像し、ｔ［ｘ］よりも以降となるｔ［ｘ＋１］の撮像時点において腫瘍（観察箇所）を右側面（後方視野）から撮像する。このように同一の観察箇所（腫瘍）に対し、連続する複数の撮像時点において撮像した内視鏡画像に基づき、それぞれの撮像時点における合成画像（３６０度ＦＯＶ画像）を生成することができる。

図１７は、全周方向となる合成画像と、ステレオ視画像との関連に関する説明図である。合成画像（３６０度ＦＯＶ画像）は、筒状を成す先端部４４３の端面４４４及び周面４４５に設けられる複数の撮像部４４６により撮像された内視鏡画像を合成したものであるため、本実施形態における図示のとおり、筒体の内壁側にて形成される曲面座標系（筒状曲面座標系）にて示すことができる。

ステレオ視画像生成部６２６は、当該筒状曲面座標系において、合成画像を所定の視野角度で分割（輪切り）し、分割されたいずれかの合成画像（分割合成画像）のうち、対象となる観察箇所（腫瘍）が含まれる分割合成画像を抽出する。連続する複数の撮像時点における合成画像に対し、このような分割及び抽出処理を行うことにより、対象となる観察箇所（腫瘍）が含まれる分割合成画像が特定される。ステレオ視画像生成部６２６は、これら特定された分割合成画像を、先端部４４３の回転角度に基づき位置合わせし、更に撮像時点の順位に並べて繋ぎ合わせる（再構成）ことにより、ステレオ視画像を生成する。当該ステレオ視画像を生成することにより、同一の観察箇所（腫瘍）に対し異なる角度から観察することができる。

ステレオ視画像生成部６２６は、連続する複数の撮像時点における合成画像において、分割されたいずれかの合成画像（分割合成画像）のうち、同一の視野角度となる分割合成画像を抽出し、これら同一の視野角度となる分割合成画像を繋ぎ合わせる（再構成）ことにより、ステレオ視画像を生成するものであってもよい。当該同一とする視野角度を、例えば、周面４４５の撮像部４４６を基点にし、挿入部４４の挿入方向（軸方向）に対し９０度とした場合、観察箇所に対し正面（上方）から撮像した分割合成画像を繋ぎ合わせたステレオ視画像を生成することができる。ステレオ視画像生成部６２６は、生成したステレオ視画像を関心領域特定部６２７及び出力部６２５に出力する。

病変領域特定部６２４は、内視鏡画像を入力された場合、瘍、病変候補、処置具及びマーカー等の関心領域（ＲＯＩ：Region Of Interest）の有無等を含む診断支援情報を出力する関心領域学習モデル６３２を含む。関心領域特定部６２７は、取得したステレオ視画像を関心領域学習モデル６３２に入力することにより、当該内視鏡展開図に、関心領域が含まれているか否かを判定し、ステレオ視画像に腫瘍等の関心領域が含まれているか否か等を含む診断支援情報を出力部６２５に出力する。更に関心領域特定部６２７は、Ｘ線ＣＴの仮想内視鏡による展開図との比較表示、比較情報出力を行う。ステレオ視画像は複数の内視鏡画像によって合成された画像であるため、関心領域学習モデル６３２にステレオ視画像を入力することにより、当該ステレオ視画像に腫瘍等の関心領域が含まれているか否かを含む診断支援情報を取得することができる。関心領域学習モデル６３２は、実施形態１の病変学習モデル６３１と同様に例えばＣＮＮ等、訓練データを用いて学習されたニューラルネットワークにより構成される。

出力部６２５は、関心領域特定部６２７から取得した関心領域に関する診断支援情報と、ステレオ視画像生成部６２６から取得したステレオ視画像とに基づき、例えば、診断支援情報が重畳されたステレオ視画像を表示部７に出力する。表示部７は、出力部６２５から出力されたデータに基づき、診断支援情報が重畳されたステレオ視画像を、自部に含まれる表示画面にて表示する。

図１８は、制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。

情報処理装置６の制御部６２は、複数の撮像部４４６によって撮像された内視鏡画像を取得する（Ｓ４０１）。情報処理装置６の制御部６２は、内視鏡４０の挿入距離及び回転角度を取得する（Ｓ４０２）。情報処理装置６の制御部６２は、複数の内視鏡画像に対する幾何学補正を行う（Ｓ４０３）。情報処理装置６の制御部６２は、補正した複数の内視鏡画像に基づき、合成画像を生成する（Ｓ４０４）。情報処理装置６の制御部６２は、実施形態１の処理Ｓ１０１からＳ１０４の処理を同様に、Ｓ４０１からＳ４０４までの処理を行う。

情報処理装置６の制御部６２は、挿入距離及び回転角度が関連付けられた合成画像を視野方向毎に分割する（Ｓ４０５）。合成画像（３６０度ＦＯＶ画像）は、本実施形態における図示のとおり、筒体の内壁側にて形成される筒状の曲面座標系にて示すことができる。情報処理装置６の制御部６２は、当該筒状の曲面座標系において、合成画像を所定の視野角度で分割（輪切り）し、分割されたいずれかの合成画像（分割合成画像）のうち、対象となる観察箇所（腫瘍）が含まれる分割合成画像を抽出する。又は、情報処理装置６の制御部６２は、分割されたいずれかの合成画像（分割合成画像）のうち、同一の視野角度となる分割合成画像を抽出するものであってもよい。

情報処理装置６の制御部６２は、複数の分割した合成画像それぞれを繋げることにより、ステレオ視画像を生成する（Ｓ４０６）。連続する複数の撮像時点における合成画像に対し、このような分割及び抽出処理を行うことにより、対象となる観察箇所（腫瘍）が含まれる分割合成画像が特定される。情報処理装置６の制御部６２は、これら特定された複数の分割合成画像を、先端部４４３の回転角度に基づき位置合わせし、更に撮像時点の順位に並べて繋ぎ合わせる（再構成）ことにより、ステレオ視画像を生成する。

情報処理装置６の制御部６２は、ステレオ視画像に基づき、関心領域を特定する（Ｓ４０７）。情報処理装置６の制御部６２は、例えば自装置の記憶部６３に記憶されている関心領域学習モデル６３２を用い、当該関心領域学習モデル６３２にステレオ視画像を入力することにより、当該ステレオ視画像に瘍、病変候補、処置具及びマーカー等の関心領域が含まれているかを判定し、関心領域に関する情報（関心領域の有無等を含む診断支援情報）を出力する。

情報処理装置６の制御部６２は、関心領域に関する情報と共にステレオ視画像を出力する（Ｓ４０８）。情報処理装置６の制御部６２は、関心領域に関する情報（診断支援情報）と、ステレオ視画像とに基づき、例えば診断支援情報が重畳されたステレオ視画像を表示部７に出力する。表示部７は、出力されたデータに基づき、例えば診断支援情報が重畳されたステレオ視画像を自部に含まれる表示画面にて表示する。

本実施形態によれば、複数の時点にて撮像された内視鏡画像に基づき、複数の合成画像を生成することができる。生成した複数の合成画像は、異なる時点にて撮像されたものであり、当該時点に応じて、内視鏡４０の挿入距離及び回転角度は、異なるものとなる。これに対し、各視野方向によって分割した合成画像それぞれに対し、内視鏡４０の回転角度に基づき位置合わせすることにより、合成画像の撮像時点における内視鏡４０の回転角度の差異を吸収して、分割した合成画像（分割合成画像）それぞれを繋ぎ合わせることができる。更に、分割した合成画像（分割合成画像）それぞれを内視鏡４０の挿入距離（Ｓ座標）に応じて繋ぎ合わせることにより、これら分割した合成画像それぞれを、撮像時点の順番に基づき内視鏡４０の挿入方向に整合させて、繋ぎ合わせることができる。このような複数の合成画像に基づき、被検者の体内における同一の観察箇所に対し、異なる視野方向で撮像した複数の内視鏡４０を並べたステレオ視画像を生成することにより、立体的な確認（高さ方向の確認）等を容易に行え、視認性に優れたステレオ視画像を効率的に生成することができる。

本実施形態によれば、内視鏡画像を入力された場合、腫瘍、病変候補、処置具及びマーカー等の関心領域（ＲＯＩ：Region Of Interest）の有無等を含む診断支援情報を出力する関心領域学習モデル６３２に、ステレオ視画像を入力することにより、当該ステレオ視画像に腫瘍等の関心領域が含まれているか否かを含む診断支援情報を取得することができる。本実施形態によれば、内視鏡展開図表示又はステレオ視画像表示を行い、Ｘ線ＣＴの仮想内視鏡による展開図との比較表示、比較情報出力を行ことができる。

（実施形態５）
実施形態５の内視鏡システムＳは、基準画像に基づき導出した合成パラメータ（画像合成パラメータ）を用いて、合成画像を生成する点で実施形態１と異なる。図１９は、実施形態５（画像合成パラメータ）に係る情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ２０（内視鏡装置１０）の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。情報処理装置６の制御部６２は、実施形態１と同様に、記憶部６３に記憶されているプログラムを実行することにより、取得部６２１、合成画像生成部６２２、出力部６２５として機能し、更に合成パラメータ導出部６２８及び幾何歪補正部６２９として機能する。

取得部６２１は、実施形態１と同様に、内視鏡用プロセッサ２０が出力した複数の内視鏡画像、Ｓ座標（挿入距離）、及び回転角度を取得する。取得部６２１は、更に内視鏡用プロセッサ２０が出力した複数の基準画像を取得する。

内視鏡４０の操作部４３は、体内に挿入される際、すなわち体内における観察箇所を撮像した内視鏡画像を出力するよりも前に、測定部９としても機能するマウスピース又はアタッチメントを通過する。これらマウスピース及びアタッチメントには、格子状等の規則性を有する所定のパターン模様から成る基準物が設けられており、先端部４４３（端面４４４、周面４４５）に設けられたそれぞれの撮像部４４６は、マウスピース等を通過する際、当該基準物を撮像する。当該基準物が撮像された撮像画像（基準画像）それぞれは、内視鏡４０用プロセッサから、取得部６２１（情報処理装置６の制御部６２）に出力され、取得部６２１は当該基準画像を取得する。取得部６２１は、取得した基準画像を合成パラメータ導出部６２８に出力する。

合成パラメータ導出部６２８は、取得した基準画像に基づき、合成パラメータを導出する。情報処理装置６の記憶部６３には、規則性を有する所定のパターン模様から成る基準物の形状、寸法値、及び色彩等の基準物情報が記憶されている。合成パラメータ導出部６２８は、取得した基準画像それぞれに含まれる基準物と、記憶部６３に記憶されている基準物情報とを比較し、これら基準画像を合成した際の画像座標系（合成画像の座標系）において、当該合成画像に含まれる基準物が基準物情報と整合するように、合成パラメータを導出する。合成パラメータ導出部６２８は、導出した合成パラメータを合成画像生成部６２２に出力する。

取得部６２１は、取得した複数の内視鏡画像を、幾何歪補正部６２９に出力する。幾何歪補正部６２９は、取得した複数の内視鏡画像それぞれに対し、幾何学補正を行うことにより、これら複数の内視鏡画像において重複する領域（重複領域）の抽出精度を向上させ、合成しやすい画像（繋ぎ合わせやすい座標系の画像）に補正する。幾何学補正は、例えば、取得した内視鏡画像を、連続した曲面に投影する曲面投影（投影変換）を用いた球面補正、又はアフィン変換、擬似アフィン変換、２次等角変換、及び２次元射影変換等の画像処理アルゴリズムに基づき行うものであってもよい。又は、幾何学補正は、撮像部４４６に含まれるレンズの仕様又は光学特性に基づき、多種多量な撮像物に対する光学シミュレーションを行い、その結果を人口知能により機械学習することにより撮像画像の位置に対応した辞書を生成し、当該辞書を用いて無収差に復元して補正するものであってもよい。幾何歪補正部６２９は、幾何歪補正を施した複数の内視鏡画像を、合成画像生成部６２２に出力する。

合成画像生成部６２２は、幾何歪補正部６２９から取得した補正後の複数の内視鏡画像、及び合成パラメータ導出部６２８から取得した合成パラメータに基づき、合成画像を生成する。合成パラメータを用いることにより、合成画像の生成精度を向上させることができる。当該合成パラメータは、基準物を用いた実測値に基づき導出したパラメータであるため、内視鏡４０の先端部４４３に設けられた撮像部４４６の使用環境に即した合成処理を行うことができる。

図２０は、内視鏡画像を連続した曲面に投影する曲面投影法を用いた幾何歪補正に関する説明図である。合成画像生成部６２２は、幾何学補正した複数の内視鏡画像において、重複領域（同じ観察物を撮像している領域）を重ね合わせることにより位置合わせして、合成画像を生成する。合成画像生成部６２２は、複数の内視鏡画像において重複領域を抽出するにあたり、内視鏡画像における所定の画素単位にて区分化された領域同士にて、パターンマッチングを行うことにより当該重複領域を抽出するものであってもよい。幾何学補正を行うことにより、特に内視鏡画像の周縁部に対する球面補正を効率的におこなうことができる。当該周縁部は、他の内視鏡画像との間にて重複する領域（重複領域）となり、合成する際に重ね合わせる領域になるため、幾何学補正により、重ね合わせしやすい内視鏡画像に補正（変換）することができる。

挿入部４４（端面４４４及び周面４４５）に設けられた複数の撮像部４４６によって撮像された複数の内視鏡画像を合成することにより、挿入部４４の進行方向にて前方及び後方を視野に含め、先端部４４３に対し全周（３６０度）となる合成画像（３６０度ＦＯＶ画像）を生成することができる。合成画像生成部６２２は、生成した合成画像に、当該合成画像の元となる複数の内視鏡画像を撮像した時点における内視鏡４０の挿入距離及び回転角度を関連付ける。合成画像生成部６２２は、更に、生成した合成画像に、当該合成画像の元となる複数の内視鏡画像を撮像した時点（撮像時点）に関する時刻情報を関連付けるものであってもよい。合成画像生成部６２２は、生成した合成画像を実施形態１と同様に出力部６２５に出力する。出力部６２５は、取得した合成画像を、実施形態１と同様に表示部７に出力する。

図２１は、合成画像を曲面（楕円球表示、円筒表示）に再投影して行う表示に関する説明図である。出力部６２５は、合成画像を表示部７に出力する際、本実施形態における図示のように座標楕円球面、又は円筒形面の視野となるように投影変換した表示形態（楕円球表示、円筒表示）にて、表示部７に出力するものであってもよい。この場合、表示部７は、別個のディスプレイ装置又は、単一のディスプレイ装置における複数のウィンドウによる複数の表示画面を含み、楕円球表示又は円筒表示による表示形態にて出力された合成画像を、これら複数の表示画面にて分割して表示するものであってもよい。これら複数の表示画面において、中央に位置する表示画面には合成画像の中央部（前面画像）を表示し、左右に位置する表示画面には合成画像の左右側部を表示するものであってもよい。

図２２は、制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。

情報処理装置６の制御部６２は、複数の撮像部４４６によって撮像された基準画像を取得する（Ｓ５０１）。内視鏡４０の操作部４３は、体内に挿入される際、上部内視鏡撮影の場合は口腔部に取り付けられたマウスピース、下部内視鏡撮影の場合は肛門部に取り付けられたアタッチメントを通過して、体内に挿入される。これらマウスピース及びアタッチメントには、規則性を有する所定のパターン模様から成る基準物が設けられており、撮像部４４６それぞれは、マウスピース等を通過する際、当該基準物を撮像する。情報処理装置６の制御部６２は、基準物が撮像された撮像画像（基準画像）それぞれを、撮像部４４６それぞれから取得する。

情報処理装置６の制御部６２は、取得した基準画像に基づき、合成パラメータを導出する（Ｓ５０２）。情報処理装置６の記憶部６３には、規則性を有する所定のパターン模様から成る基準物の形状、寸法値、及び色彩等の基準物情報が記憶されている。情報処理装置６の制御部６２は、取得した基準画像それぞれに含まれる基準物と、記憶部６３に記憶されている基準物情報とを比較し、これら基準画像を合成した際の画像座標系（合成画像の座標系）において、基準画像に含まれる基準物が基準物情報と整合するように、合成パラメータを導出する。

情報処理装置６の制御部６２は、複数の撮像部４４６によって撮像された内視鏡画像を取得する（Ｓ５０３）。情報処理装置６の制御部６２は、内視鏡４０の挿入距離及び回転角度を取得する（Ｓ５０４）。情報処理装置６の制御部６２は、複数の内視鏡画像に対する幾何学補正を行う（Ｓ５０５）。情報処理装置６の制御部６２は、実施形態１の処理Ｓ１０１からＳ１０３と同様に、Ｓ５０３からＳ５０５の処理を行う。

情報処理装置６の制御部６２は、補正した複数の内視鏡画像に基づき、合成パラメータを用いて合成画像を生成する（Ｓ５０６）。情報処理装置６の制御部６２は、実施形態１の処理Ｓ１０４と同様に行うと共に、更に基準画像に基づき導出した合成パラメータを用いて合成画像を生成する。

情報処理装置６の制御部６２は、生成した合成画像を出力する（Ｓ５０７）。情報処理装置６の制御部６２は、生成した合成画像を出力するにあたり、座標楕円球面、又は円筒形面の視野となるように投影変換した表示形態（楕円球表示、円筒表示）にて、表示部７に出力するものであってもよい。この場合、表示部７は、別個のディスプレイ装置又は、単一のディスプレイ装置における複数のウィンドウによる複数の複数の表示画面を含み、楕円球表示又は円筒表示による表示形態にて出力された合成画像を、これら複数の表示画面にて、分割して表示するものであってもよい。これら複数の表示画面において、中央に位置する表示画面には合成画像の中央部（前面画像）を表示し、左右に位置する表示画面には合成画像の左右側部を表示するものであってもよい。

本実施形態によれば、合成画像を生成するにあたり、予め定められた基準物を複数の撮像部４４６によって撮像することにより、当該基準物を含む基準画像を取得する。これら複数の撮像部４４６によって撮像されたそれぞれの基準画像に基づき導出した画像合成パラメータを用いて、合成画像を生成するため、合成処理の精度を向上させることができる。基準画像は規則性を有する所定のパターン模様を含むため、当該パターン模様に基づき、効率的に画像合成パラメータを導出することができる。

本実施形態によれば、合成画像を生成する処理に含まれる幾何歪補正は、取得した内視鏡画像を連続した曲面に投影する曲面投影法を用いるため、特に内視鏡画像の周縁部に対する球面補正を行い、複数の内視鏡画像を合成する際に、これら内視鏡画像にて重複する領域の重ね合わせ（重複領域の位置合わせ）を、効率的におこなうことができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。

Ｓ 内視鏡システム
１０ 内視鏡装置
１５ キーボード
１６ 収容棚
２０ 内視鏡用プロセッサ
２１ 制御部
２１１ 画像処理部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ タッチパネル
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８ 読取部
３１ 内視鏡用コネクタ
３１１ 電気コネクタ
３１２ 光コネクタ
３３ 光源
３４ ポンプ
３５ 送水タンク
３６ 送気送水口金
４０ 内視鏡
４３ 操作部
４３１ 制御ボタン
４３３ 湾曲ノブ
４４ 挿入部
４４１ 軟性部
４４２ 湾曲部
４４３ 先端部
４４４ 端面
４４５ 周面
４４６ 撮像部
４４７ 撮影用光源
４４８ チャネル
４４８１ 無線通信部
４４９ 被検知体
４５ 折止部
４８ スコープコネクタ
４９ ユニバーサルコード
５０ 表示装置
６ 情報処理装置
６１ 通信部
６２ 制御部
６２１ 取得部
６２２ 合成画像生成部
６２３ 展開図生成部
６２４ 病変領域特定部
６２５ 出力部
６２６ ステレオ視画像生成部
６２７ 関心領域特定部
６２８ 合成パラメータ導出部
６２９ 幾何歪補正部
６３ 記憶部
６３０ 記録媒体
６３１ 病変学習モデル
６３２ 関心領域学習モデル
６４ 入出力Ｉ／Ｆ
７ 表示部
８ 入力部
９ 測定部
９１ 検知部

Claims (22)

1. コンピュータに、
   内視鏡の挿入部に設けられる筒状の先端部の端面及び周面に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、
   撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、
   前記内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記内視鏡の挿入距離及び回転角度を取得し、
   取得した前記内視鏡の挿入距離及び回転角度を関連付けて前記合成画像を出力する
   処理を実行させるプログラム。
2. 前記内視鏡の前記挿入部の挿入方向に対する、前記先端部の周面に配置された撮像部の光軸の角度は、９０度よりも大きい
   請求項１に記載のプログラム。
3. 前記被検者に対する内視鏡画像の撮像が上部内視鏡撮影によって行われる場合、前記内視鏡の挿入距離は、前記被検者の口腔部に設けられた測定部から出力される挿入距離であり、
   前記被検者に対する内視鏡画像の撮像が下部内視鏡撮影によって行われる場合、前記内視鏡の挿入距離は、前記被検者の肛門部に設けられた測定部から出力される挿入距離である
   請求項１又は請求項２に記載のプログラム。
4. 前記被検者に対する内視鏡画像の撮像が上部内視鏡撮影によって行われる場合、前記被検者の体内に挿入された前記内視鏡の回転角度は、前記被検者の体軸に対し平行となる上下方向を回転軸とした角度であり、
   前記被検者に対する内視鏡画像の撮像が下部内視鏡撮影によって行われる場合、前記被検者の体内に挿入された前記内視鏡の回転角度は、前記被検者の体腔の長手方向に対し平行となる前後方向を回転軸とした角度である
   請求項１から請求項３のいずれか１項に記載のプログラム。
5. 複数の時点にて撮像された前記内視鏡画像に基づき、複数の前記合成画像を生成し、
   複数の前記合成画像に基づき、前記内視鏡の挿入距離を第１軸とし、前記内視鏡の回転角度を第２軸とした内視鏡展開図を生成し、
   生成した前記内視鏡展開図を出力する
   請求項１から請求項４のいずれか１項に記載のプログラム。
6. 複数の前記合成画像から前記内視鏡展開図を生成する処理は、
   複数の前記合成画像において重複する重複領域を抽出し、
   前記重複領域を重ね合わせて前記内視鏡展開図を生成する処理を含む
   請求項５に記載のプログラム。
7. 前記内視鏡展開図において腫瘍と判定される腫瘍領域を、前記内視鏡の挿入距離及び回転角度により特定し、
   特定した前記腫瘍領域を強調させて前記内視鏡展開図を出力する、又は対応する領域のＸ線ＣＴによる仮想内視鏡画像の展開図と比較表示する
   請求項５又は請求項６に記載のプログラム。
8. 複数の時点にて撮像された前記内視鏡画像に基づき、複数の前記合成画像を生成し、
   複数の前記合成画像に基づき、前記被検者の体内における同一の観察箇所に対し、異なる視野方向で撮像した複数の前記内視鏡画像を並べたステレオ視画像を生成し、
   生成した前記ステレオ視画像を出力する
   請求項１から請求項７のいずれか１項に記載のプログラム。
9. 複数の前記内視鏡画像を合成して前記ステレオ視画像を生成する処理は、
   複数の前記合成画像それぞれを各視野方向によって分割し、
   分割した前記合成画像それぞれを、前記内視鏡の回転角度に基づき位置合わせして、前記内視鏡の挿入距離に応じて繋ぎ合わせる処理を含む
   請求項８に記載のプログラム。
10. 前記ステレオ視画像に含まれる関心領域を抽出し、
    抽出した前記関心領域に基づき、診断支援情報を出力する
    請求項８又は請求項９に記載のプログラム。
11. 内視鏡の挿入部に設けられる筒状の先端部の端面及び周面に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、
    撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、
    前記内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記内視鏡の挿入距離及び回転角度を取得し、
    取得した前記内視鏡の挿入距離及び回転角度を関連付けて前記合成画像を出力する
    処理をコンピュータに実行させる情報処理方法。
12. コンピュータに、
    内視鏡の挿入部に設けられる先端部に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、
    撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、
    生成した前記合成画像を出力し、
    前記合成画像を生成する処理は、
    複数の前記撮像部により、予め定められた基準物を撮像した基準画像を取得し、
    取得した前記基準画像に基づき画像合成パラメータを導出し、
    導出した前記画像合成パラメータを用いて前記合成画像を生成する処理を含む
    処理を実行させるプログラム。
13. 前記基準画像は規則性を有する所定のパターン模様を含む
    請求項１２に記載のプログラム。
14. 前記合成画像を生成する処理は、
    取得した前記内視鏡画像を幾何歪補正し、
    前記幾何歪補正した複数の内視鏡画像を合成する処理を含む
    請求項１２又は請求項１３に記載のプログラム。
15. 前記幾何歪補正は、取得した前記内視鏡画像を連続した曲面に投影する曲面投影法を用いて行われる
    請求項１４に記載のプログラム。
16. 内視鏡の挿入部に設けられる先端部に配置された複数の撮像部により被検者を撮像した内視鏡画像を取得し、
    撮像された複数の前記内視鏡画像に基づき、前記先端部に対し前方視野及び後方視野を含めた全周方向となるように合成した合成画像を生成し、
    生成した前記合成画像を出力し、
    前記合成画像を生成する処理は、
    複数の前記撮像部により、予め定められた基準物を撮像した基準画像を取得し、
    取得した前記基準画像に基づき画像合成パラメータを導出し、
    導出した前記画像合成パラメータを用いて前記合成画像を生成する処理を含む
    処理をコンピュータに実行させる情報処理方法。
17. 内視鏡と、内視鏡によって撮像される内視鏡画像の処理を行う制御部とを含む内視鏡システムであって、
    内視鏡は、
    被検者の体内に挿入される挿入部と、
    前記挿入部の先端に位置する筒状の先端部に設けられている複数の撮像部とを備え、
    複数の前記撮像部は、前記先端部に対し全周方向となる前方視野及び後方視野を含む複数の内視鏡画像を撮像し、
    前記制御部は、
    複数の前記撮像部により前記被検者を撮像した内視鏡画像を取得し、
    複数の時点にて撮像された複数の前記内視鏡画像を合成し、前記先端部に対する後方視野を含めた合成画像を生成し、
    生成した前記合成画像を出力する
    内視鏡システム。
18. 前記先端部の端面の中央部には、チャネルが設けられており、
    前記端面において、前記チャネルの周囲には、前記撮像部が設けられている
    請求項１７に記載の内視鏡システム。
19. 前記内視鏡は、無線通信部を含み、
    前記制御部は、前記無線通信部を介して、前記撮像部から出力される内視鏡画像を取得する
    請求項１７又は請求項１８に記載の内視鏡システム。
20. 前記制御部により行われる前記合成画像を生成する処理は、取得した前記内視鏡画像を連続した曲面に投影する曲面投影法を用いて行われる幾何歪補正を含み、
    前記制御部により行われる前記合成画像を出力する処理は、前記幾何歪補正して合成した合成画像を、曲面又は平面に再投影して表示する表示部に出力する処理を含む
    請求項１７から請求項１９のいずれか１項に記載の内視鏡システム。
21. 前記制御部により行われる前記合成画像を出力する処理は、前記先端部に対し全周方向となる前方視野及び後方視野を含めた合成画像を、複数の表示画面を含む前記表示部に出力する処理を含む
    請求項２０に記載の内視鏡システム。
22. 前記制御部により行われる前記合成画像を出力する処理は、複数の前記表示画面において中央に位置する表示画面に、合成画像の中央部を表示させる処理を含む
    請求項２１に記載の内視鏡システム。

Images