JP7456663B2 - 情報処理装置、方法及びプログラム - Google Patents

Description

本発明は、内視鏡挿入支援装置、方法及びプログラムに関し、特に、内視鏡の挿入支援を行うための内視鏡挿入支援装置、方法及びプログラムに関する。

大腸や小腸等の体内の検査をするために内視鏡による挿入観察が一般的となっている。その際、内視鏡の挿入部が体内でどのような形状になっているかを操作者（医師）が把握することが求められている。

そこで、特許文献１には、内視鏡挿入形状を解析する解析装置に関する技術が開示されている。当該解析装置は、内視鏡挿入形状観測装置から挿入形状データを取得し、取得した挿入形状データから内視鏡の挿入部の形状を検出する。そして、当該解析装置は、検出した形状のうち、特定位置または特定部分を解析して求め、解析結果に基づき、内視鏡の挿入部の静的形状をパターン分類する。その後、当該解析装置は、分類したパターンを画面に表示する。

特開２００７－０５４４０１号公報

ここで、現状の内視鏡検査は、操作に熟練した医師が行う必要があり、内視鏡の操作の難易度が高いという課題がある。つまり、内視鏡の操作を行う操作者に対する挿入支援を行う仕組みが求められている。尚、上述した特許文献１にかかる技術には、挿入支援に改善の余地がある。

本開示は、このような問題点を解決するためになされたものであり、内視鏡の操作者に対して内視鏡の挿入状況を容易に把握させることにより、効果的な挿入支援を行うための内視鏡挿入支援装置、方法及びプログラムを提供することを目的とする。

本開示の第１の態様にかかる内視鏡挿入支援装置は、
管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得部と、
前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定部と、
前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力部と、
を備える。

本開示の第２の態様にかかる内視鏡挿入支援方法は、
コンピュータが、
管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得し、
前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定し、
前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する。

本開示の第３の態様にかかる内視鏡挿入支援プログラムは、
管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得処理と、
前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定処理と、
前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力処理と、
をコンピュータに実行させる。

本開示により、内視鏡の操作者に対して内視鏡の挿入状況を容易に把握させることにより、効果的な挿入支援を行うための内視鏡挿入支援装置、方法及びプログラムを提供することができる。

本実施形態１にかかる内視鏡挿入支援装置の構成を示すブロック図である。 本実施形態１にかかる内視鏡挿入支援方法の流れを示すフローチャートである。 本実施形態２にかかる内視鏡挿入支援システムの全体構成を示すブロック図である。 本実施形態２にかかる内視鏡挿入支援装置の構成を示すブロック図である。 本実施形態２にかかる形状データの例を示す図である。 本実施形態２にかかる内視鏡画像の例を示す図である。 本実施形態２にかかる形状カテゴリの時系列遷移の表示情報の例を示す図である。 本実施形態２にかかる内視鏡挿入支援方法の流れを示すフローチャートである。 本実施形態３にかかる内視鏡挿入支援装置の構成を示すブロック図である。 本実施形態３にかかる比較処理の流れを示すフローチャートである。 本実施形態３にかかる形状カテゴリの時系列遷移の比較結果の例を示す図である。 本実施形態４にかかる内視鏡挿入支援装置の構成を示すブロック図である。 本実施形態４にかかる検索処理の流れを示すフローチャートである。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

＜実施形態１＞
図１は、本実施形態１にかかる内視鏡挿入支援装置１００の構成を示すブロック図である。内視鏡挿入支援装置１００は、内視鏡を用いて被検者（被検体）における体内（被検体内）の検査を行う検査者（医師）に対して、内視鏡を挿入する操作を支援するための情報処理装置である。内視鏡挿入支援装置１００は、取得部１１０と、推定部１２０と、出力部１３０とを備える。

取得部１１０は、体腔（管腔）内に挿入された内視鏡の挿入形状を特定するための形状データを取得する。ここで、形状データとは、内視鏡が体腔内に挿入された際における内視鏡に含まれるファイバケーブルの形状を特定する情報であり、例えば、三次元の位置座標や形状を二次元で表現した画像データ等である。また、取得部１１０は、例えば、特許文献１に示すような内視鏡挿入形状観測装置の形状処理装置により生成された挿入形状データを形状データとして入力を受け付けてもよい。

推定部１２０は、形状データから、挿入形状における複数の形状カテゴリのいずれかを推定する。ここで、形状カテゴリとは、挿入形状の特徴が類似する複数の形状をグループ化したパターンを定義したものである。形状カテゴリは少なくとも２以上定義され、推定部１２０は、取得部１１０により取得された形状データを複数の形状カテゴリのいずれかに分類することにより、推定を行う。尚、推定部１２０は、複数の形状データのそれぞれに対して形状カテゴリのラベルが付された学習用データにより学習された学習済みモデルを用いて、推定を行っても良い。

出力部１３０は、推定された形状カテゴリにおける時系列に沿った表示情報を出力する。つまり、出力部１３０は、内視鏡の挿入状況に応じて順次、推定された複数の形状カテゴリについて、時系列に沿った形式で可視化した表示情報を生成し、出力する。

図２は、本実施形態１にかかる内視鏡挿入支援方法の流れを示すフローチャートである。まず、取得部１１０は、体腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する（Ｓ１１）。次に、推定部１２０は、形状データから、挿入形状における複数の形状カテゴリのいずれかを推定する（Ｓ１２）。そして、出力部１３０は、推定された形状カテゴリにおける時系列に沿った表示情報を出力する（Ｓ１３）。

このように本実施形態では、取得した形状データを挿入形状の特徴を示す所定の形状カテゴリに分類（推定）し、順次、取得及び推定された形状カテゴリを時系列に沿った形式で示す表示情報として出力して、内視鏡の操作者に提示する。そのため、内視鏡の操作者は、内視鏡の挿入状況を容易に把握することができる。よって本実施形態により、内視鏡の効果的な挿入支援を行うことができる。

尚、内視鏡挿入支援装置１００は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる内視鏡挿入支援方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部１１０、推定部１２０及び出力部１３０の機能を実現する。

または、取得部１１０、推定部１２０及び出力部１３０は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。

また、内視鏡挿入支援装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、内視鏡挿入支援装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

＜実施形態２＞
本実施形態２は、上述した実施形態１の具体的な実施例である。図３は、本実施形態２にかかる内視鏡挿入支援システム２０００の全体構成を示すブロック図である。内視鏡挿入支援システム２０００は、医師Ｕ１が被検者Ｕ２に対して電子内視鏡１１を用いた検査を行う際に、医師Ｕ１による電子内視鏡１１の挿入支援を行うシステムである。内視鏡挿入支援システム２０００は、内視鏡装置１０と、内視鏡挿入形状観測装置２０と、内視鏡挿入支援装置３０と、表示装置４１と、スピーカ４２と、入力装置４３とを備える。

内視鏡装置１０は、本体とケーブルで接続された電子内視鏡１１を備える。電子内視鏡１１は、被検者Ｕ２の体腔内に挿入される部分である挿入部１１ａを含む。挿入部１１ａは、先端部及び先端部と接続されたファイバーケーブル及びライトガイドケーブルを備える。挿入部１１ａの末端は基端部や上記ケーブルを介して本体と接続されている。先端部は、電子撮像素子、観察光の照射部、湾曲部等を備える。電子撮像素子は、電子内視鏡１１のカメラに相当し、例えばＣＣＤ（Charge Coupled Device）である。照射部は、ライトガイドケーブルからの観察光を照射する。湾曲部は、基端部の操作部からの制御信号に応じて先端部を湾曲させる。

ファイバーケーブル及びライトガイドケーブルは、内視鏡装置１０の本体とも接続される。ファイバーケーブルは、内視鏡装置１０の本体との間で各種信号を送受信し、特に、電子撮像素子による撮影画像（内視鏡画像）を内視鏡装置１０の本体へ伝送する。内視鏡装置１０の本体は、内視鏡画像を内視鏡挿入支援装置３０へ出力する。また、ライトガイドケーブルは、内視鏡装置１０の光源からの光を照射部へ導く。

ここで、挿入部１１ａには、複数の箇所にソースコイル（不図示）が設けられている。ソースコイルは例えば、所定間隔で配置されている。ソースコイルは内視鏡挿入形状観測装置２０からの駆動信号により磁界を発生させる。そのため、電子内視鏡１１は、挿入部１１ａの複数の個所に形状を特定するための磁気コイルが内蔵されたものであればよい。尚、内視鏡装置１０及び電子内視鏡１１のその他の構成は、公知のものを用いることができるため、他の構成の図示及び説明を省略する。または、磁気コイルとして（内視鏡に内蔵されたものではなく）コイルが内蔵された器具を内視鏡に挿入した状態で使用することもできる。

内視鏡挿入形状観測装置２０は、センスコイルユニット２１と形状処理装置２２とを少なくとも備える。センスコイルユニット２１は、電子内視鏡１１の挿入部１１ａ内に設けられた複数のソースコイルから発生された磁界を検出するユニットである。

形状処理装置２２は、電子内視鏡１１に対して駆動信号を出力する。また、被検者Ｕ２が磁気コイルを装着している場合、形状処理装置２２は、当該磁気コイルに対しても駆動信号を出力するものとする。この場合、センスコイルユニット２１は、被検者Ｕ２に装着された磁気コイルから発生された磁界をさらに検出する。

形状処理装置２２は、センスコイルユニット２１により検出された磁界に基づいて、挿入部１１ａの三次元形状を求める。例えば、形状処理装置２２は、検出された磁界に基づいて各ソースコイルの三次元座標を算出し、三次元座標の集合を形状データとする。または、形状処理装置２２は、算出した三次元座標を二次元に投影した画像データを生成し、当該画像データを形状データとする。

さらに、被検者Ｕ２が磁気コイルを装着している場合、形状処理装置２２は、検出された磁界に基づいて、被検者Ｕ２の体位を求めてもよい。具体的には、形状処理装置２２は、被検者Ｕ２に装着された磁気コイルについての上記ソースコイルとの相対的な位置を示す三次元座標を算出し、当該三次元座標を体位データとする。

形状処理装置２２は、形状データ及び体位データを内視鏡挿入支援装置３０へ出力する。尚、内視鏡挿入形状観測装置２０のその他の構成は、公知のものを用いることができるため、他の構成の図示及び説明を省略する。例えば、内視鏡装置１０及び内視鏡挿入形状観測装置２０は、上述した特許文献１に記載にものを用いても良い。

内視鏡挿入支援装置３０は、内視鏡装置１０、内視鏡挿入形状観測装置２０、表示装置４１、スピーカ４２及び入力装置４３と接続される。内視鏡挿入支援装置３０は、上述した内視鏡挿入支援装置１００の一例である。内視鏡挿入支援装置３０は、内視鏡装置１０から内視鏡画像を取得し、内視鏡挿入形状観測装置２０から形状データ及び体位データを取得する。

内視鏡挿入支援装置３０は、取得した形状データ、内視鏡画像及び体位データに基づいて電子内視鏡１１の挿入部１１ａの挿入形状の形状カテゴリを推定し、推定された形状カテゴリを時刻情報と共に記録する。そして、内視鏡挿入支援装置３０は、記録された形状カテゴリを時系列に沿った形式で表示するための表示情報を生成し、表示装置４１へ出力する。また、内視鏡挿入支援装置３０は、推定された形状カテゴリに対応する音声をスピーカ４２へ出力する。

表示装置４１は、内視鏡挿入支援装置３０から受け付けた表示情報を画面に表示する。スピーカ４２は、内視鏡挿入支援装置３０から受け付けた音声を出力する。入力装置４３は、医師Ｕ１等の検査者（操作者）又は検査補助者からの入力操作を受け付け、入力操作に応じた制御信号を内視鏡挿入支援装置３０へ出力する。入力装置４３は、例えば、マウス、キーボード等である。尚、表示装置４１がタッチパネルである場合、表示装置４１と入力装置４３とは一体となる。尚、表示装置４１、スピーカ４２及び入力装置４３の一部又は全部は、内視鏡挿入支援装置３０に内蔵されていてもよい。

図４は、本実施形態２にかかる内視鏡挿入支援装置３０の構成を示すブロック図である。内視鏡挿入支援装置３０は、記憶装置３１と、メモリ３２と、ＩＦ（Interface）部３３と、制御部３４とを備える。記憶装置３１は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶装置３１は、形状カテゴリ推定モデル３１１と、履歴情報３１２と、内視鏡挿入支援プログラム３１３とを記憶する。

形状カテゴリ推定モデル３１１は、形状データ（又は形状データが正規化されたデータ）から形状カテゴリを推定するロジックが実装されたプログラムモジュール又はモデル式である。形状カテゴリ推定モデル３１１は、形状データである三次元座標の集合又は画像データを入力とし、当該形状データが示す挿入部１１ａの形状が該当する可能性の高い形状カテゴリを推定し、推定結果として形状カテゴリを出力するモデルである。尚、形状カテゴリ推定モデル３１１は、複数の形状データのそれぞれに対して、形状カテゴリのラベルが付された学習用データより予め学習された学習済みモデルといえる。

ここで、形状カテゴリには、例えば、「直線」、「カーブ小」、「カーブ大」、「腹部張出」等が挙げられるが、これらに限定されない。また、形状カテゴリは、挿入部１１ａの形状のみを示すのではなく、体腔の状態（臓器の形状）を含めたものとする。例えば、挿入部１１ａの先端部の湾曲部が管腔のひだにひっかかった状態か、ひだにひっかけ損なった状態かで形状カテゴリを異なるものとしてもよい。つまり、形状カテゴリは、挿入部１１ａの形状を示すと共に、検査対象の臓器の形状を考慮して分類されたものであってもよい。その場合、形状カテゴリ推定モデル３１１は、入力として、後述する電子内視鏡１１の動作内容をさらに受け付けるものとする。

履歴情報３１２は、形状カテゴリ３１２１と、時刻情報３１２２と、付加情報３１２３とが対応付けられた情報である。尚、履歴情報３１２に付加情報３１２３は必須ではない。形状カテゴリ３１２１は、上述した各カテゴリを示す情報、例えば、識別情報や文字列等である。時刻情報３１２２は、形状データが取得された時刻や形状カテゴリが推定された時刻等である。付加情報３１２３は、推定された形状カテゴリについての付加情報である。付加情報３１２３は、例えば、体腔内の部位、医師Ｕ１が発した音声等である。履歴情報３１２により、後述する形状カテゴリ間の時系列に沿った遷移情報を効率的に生成できる。

内視鏡挿入支援プログラム３１３は、本実施形態にかかる内視鏡挿入支援方法の処理が実装されたコンピュータプログラムである。

メモリ３２は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部３４の動作時に一時的に情報を保持するための記憶領域である。ＩＦ部３３は、内視鏡挿入支援装置３０の外部との入出力を行うインタフェースである。例えば、ＩＦ部３３は、入力装置４３を介して、ユーザの操作を受け付け、受け付けた操作内容を制御部３４へ出力する。また、ＩＦ部３３は、内視鏡装置１０から内視鏡画像等を受け付け、内視鏡挿入形状観測装置２０から形状データ及び体位データを受け付け、受け付けた内視鏡画像等、形状データ及び体位データをメモリ３２に格納し、制御部３４へ通知する。また、ＩＦ部３３は、制御部３４からの指示に応じて、表示装置４１又はスピーカ４２へ出力を行う。

制御部３４は、内視鏡挿入支援装置３０の各構成を制御するプロセッサつまり制御装置である。制御部３４は、記憶装置３１から内視鏡挿入支援プログラム３１３をメモリ３２へ読み込ませ、内視鏡挿入支援プログラム３１３を実行する。これにより、制御部３４は、取得部３４１、推定部３４２、記録部３４３、出力部３４４及び登録部３４５の機能を実現する。

取得部３４１は、上述した取得部１１０の一例である。取得部３４１は、内視鏡装置１０からＩＦ部３３を介して内視鏡画像を取得し、内視鏡挿入形状観測装置２０からＩＦ部３３を介して形状データ及び体位データを取得する。図５は、本実施形態２にかかる形状データ３１４（画像データ）の例を示す図である。図６は、本実施形態２にかかる内視鏡画像３１５の例を示す図である。

推定部３４２は、上述した推定部１２０の一例である。推定部３４２は、体内挿入検出部３４２１、動作推定部３４２２、正規化部３４２３及び形状カテゴリ推定部３４２４を含む。体内挿入検出部３４２１は、取得部３４１により取得された内視鏡画像を認識して、電子内視鏡１１が被検者Ｕ２の体内（例えば、口、鼻又は肛門等）に挿入されたか否かを判定する。つまり、体内挿入検出部３４２１は、内視鏡画像を用いて、電子内視鏡１１が体内に挿入されたことを検出する。ここで、体内挿入検出部３４２１は、内視鏡画像を画像認識することにより口、鼻又は肛門であるか否かを判定してもよい。そして、体内挿入検出部３４２１は、検出された旨を正規化部３４２３、形状カテゴリ推定部３４２４及び記録部３４３へ通知する。

動作推定部３４２２は、内視鏡画像の変化と形状データとに基づき体腔内における電子内視鏡１１の動作内容を推定し、推定した動作内容を形状カテゴリ推定部３４２４へ通知する。ここで、電子内視鏡１１の動作内容とは、湾曲部が曲がって管腔のひだにひっかかった状態等を含む。例えば、通常、電子内視鏡１１が体腔内を前後へ動けば、内視鏡画像も変化する。この場合、形状データは変化するが、形状カテゴリは変化しない場合がある。しかし、湾曲部が管腔のひだにひっかかった状態とひだにひっかけ損なった状態とでは形状データが近いが、体腔の状態（臓器の形状）としては大きく異なるといえる。そこで、この場合、形状カテゴリを分けるものとする。そして、湾曲部が管腔のひだにひっかかった場合、挿入部１１ａの先端部の位置は変化するが、先端部のカメラの周辺の様子は変化しない。つまり、内視鏡画像はあまり変化しないといえる。一方、湾曲部がひだにひっかけ損なった場合、先端部の位置が変化すると共に、カメラと膜との距離が離れるため、内視鏡画像も変化するといえる。そのため、動作推定部３４２２は、内視鏡画像の変化と形状データの変化の両方を加味して電子内視鏡１１の動作内容や臓器の形状を推定することが望ましい。これにより、推定精度が向上し、挿入支援をより効果的に行うことができる。

正規化部３４２３は、体内挿入検出部３４２１から検出された旨を受信することに応じて、取得部３４１により取得された現時点で最新の形状データが検査開始地点であることを特定する。具体的には、正規化部３４２３は、現時点で最新の形状データの三次元座標集合のうち先端部の三次元座標を検査開始地点（原点）として特定する。そして、正規化部３４２３は、取得部３４１により以後に取得された形状データの各三次元座標を、検査開始地点を原点とした座標系に変換して正規化を行う。そして、正規化部３４２３は、正規化後の形状データを形状カテゴリ推定部３４２４へ出力する。これにより、正規化の精度が向上する。

また、正規化部３４２３は、取得部３４１により取得された体位データ（三次元座標）に基づき形状データを正規化し、正規化後の形状データを形状カテゴリ推定部３４２４へ出力してもよい。これにより、正規化の精度がさらに向上する。

形状カテゴリ推定部３４２４は、体内挿入検出部３４２１から検出された旨を受信したことに応じて、形状カテゴリの推定処理を開始する。具体的には、形状カテゴリ推定部３４２４は、正規化部３４２３から受け付けた正規化後の形状データを、形状カテゴリ推定モデル３１１に入力し、推定結果である形状カテゴリを出力として取得する。つまり、形状カテゴリ推定部３４２４は、上述した学習済みモデルを用いて、取得部３４１により取得された形状データから複数の形状カテゴリのいずれかを推定する。これにより、蓄積された学習用データを用いて継続的に学習を続けることで推定の精度を向上させることができる。そして、形状カテゴリ推定部３４２４は、受け付けた形状カテゴリを記録部３４３へ出力する。さらに、形状カテゴリ推定部３４２４は、動作推定部３４２２から受け付けた動作内容を形状データと共に、形状カテゴリ推定モデル３１１に入力し、推定結果である形状カテゴリを出力として取得してもよい。これにより、入力データの種類が増加するため推定精度がさらに向上し得る。

尚、推定部３４２は正規化部３４２３を有さなくても良い。その場合、形状カテゴリ推定部３４２４は、取得部３４１により取得された形状データをそのまま形状カテゴリ推定モデル３１１に入力する。

記録部３４３は、内視鏡画像に基づき検査開始時点を特定し、検査開始時点に基づき、推定された形状カテゴリの時系列に沿った遷移情報を履歴情報３１２として記憶装置３１に記録する。具体的には、記録部３４３は、体内挿入検出部３４２１から検出された旨を受信することに応じて、現時点を検査開始時点として特定する。そして、記録部３４３は、検査開始時点以降に形状カテゴリ３１２１を推定部３４２から受け付ける度に、現在時刻を時刻情報３１２２として対応付けて履歴情報３１２として記憶装置３１に格納する。すなわち、記録部３４３は、体内挿入検出部３４２１から検出された旨を受信したことに応じて、形状カテゴリの記録処理を開始する。各形状カテゴリには時刻情報が対応付けられているため、履歴情報３１２は、形状カテゴリの時系列に沿った遷移情報ということができる。

出力部３４４は、上述した出力部１３０の一例である。出力部３４４は、記憶装置３１から履歴情報３１２を一レコードずつ読み出して、時系列に沿って複数の推定された形状カテゴリの間の遷移を示す表示情報を生成する。そして、出力部３４４は、生成した表示情報をＩＦ部３３を介して表示装置４１へ出力する。ここで、表示情報は、例えば、二次元グラフで表現されたものとし、一方の軸を時間、他方の軸を形状カテゴリとしてもよい。つまり、出力部３４４は、読み出した形状カテゴリ３１２１及び対応付けられた時刻情報３１２２に対応するグラフ上の箇所にプロットする。そして、出力部３４４は、隣接する時刻情報におけるプロット同士を線でつなぐように描画する。これにより、時系列に沿った形状カテゴリの遷移が表現され、検査者等にとって容易に形状カテゴリの遷移を把握させることができる。尚、表示情報は二次元グラフに限定されず、三次元グラフ、その他、形状カテゴリの間の遷移が時系列に沿って開始かされた情報であればよい。

さらに、形状カテゴリは多段階に細分化されていてもよい。例えば、特定の形状カテゴリには複数の形状サブカテゴリが属しているものとする。この場合、形状カテゴリ推定モデル３１１は、形状カテゴリに加えて、形状サブカテゴリまで推定するものとする。そして、記録部３４３は、履歴情報３１２に、同一の形状データに対して推定された形状カテゴリ３１２１と形状サブカテゴリとを対応付けて記憶装置３１に格納する。その後、出力部３４４は、読み出した履歴情報３１２のレコードにおける形状サブカテゴリ及び対応付けられた時刻情報３１２２に対応するグラフ上の箇所にプロットする。そして、出力部３４４は、同一の形状カテゴリ内であっても異なる形状サブカテゴリ間の遷移を線でつなぐように描画する。これにより、さらに正確な遷移を容易に把握できる。

図７は、本実施形態２にかかる形状カテゴリの時系列遷移の表示情報３１６の例を示す図である。ここでは、横軸を形状カテゴリ、縦軸を時間情報とした二次元グラフの例を示している。そして、形状カテゴリＣ１「直線」、形状カテゴリＣ２「カーブ小」、形状カテゴリＣ３「カーブ大」、形状カテゴリＣ４「腹部張出」を例示している。さらに、形状カテゴリＣ１内に３つの形状サブカテゴリＣ１１からＣ１３、形状カテゴリＣ２内に２つの形状サブカテゴリＣ２１からＣ２２、形状カテゴリＣ３内に３つの形状サブカテゴリＣ３１からＣ３３、形状カテゴリＣ４内に１つの形状サブカテゴリＣ４１がさらに分類されていることを示す。また、図７では、形状カテゴリＣ１と形状カテゴリＣ２の間の遷移（形状カテゴリの変化）等を視認することができる。さらに、形状カテゴリＣ１内であっても、形状サブカテゴリＣ１１とＣ１２の間の遷移を視認できる。尚、横軸の数値は、形状サブカテゴリの番号としてもよい。

図４に戻り説明を続ける。また、出力部３４４は、推定された形状カテゴリに対応する音声を出力してもよい。その場合、記憶装置３１は、各形状カテゴリに対応する音声データを予め記憶しているものとする。そして、出力部３４４は、記憶装置３１から履歴情報３１２を読み出す際に、併せて、形状カテゴリ３１２１に対応する音声データを読み出す。そして、出力部３４４は、読み出した音声データをＩＦ部３３を介してスピーカ４２へ出力する。これにより、検査者は、表示装置４１に視線を向けなくとも、現在の電子内視鏡１１の形状カテゴリを把握できるため、より効果的に挿入支援を行うことができる。

登録部３４５は、入力装置４３及びＩＦ部３３を介して、推定された形状カテゴリについての付加情報の入力を受け付け、形状カテゴリ３１２１に付加情報３１２３をさらに対応付けて履歴情報３１２として記憶装置３１に登録する。そのため、登録部３４５は、登録済みの履歴情報３１２を更新してもよい。これにより、出力部３４４が履歴情報３１２を読み出す際に、形状カテゴリ３１２１と併せて付加情報３１２３も読み出され、表示情報に含めて表示させることができる。

尚、推定部３４２は、推定された形状カテゴリから体内の箇所を特定し、出力部３４４は、特定された箇所をさらに出力してもよい。例えば、検査対象が大腸の場合、体内の箇所としてＳ状結腸、下行結腸、横行結腸、上行結腸等がある。その場合、形状カテゴリの遷移の組合せに対して体内の箇所をラベル付けした学習用データを作成し、当該学習用データを用いて、体内箇所推定モデルを学習する。これにより、推定部３４２は、任意のタイミングで体内箇所推定モデルに履歴情報３１２の形状カテゴリの遷移の組合せを入力し、推定された体内の箇所を出力として得ることができる。そのため、検査後に、検査結果を検証する際に活用できる。または、推定部３４２は、検査中に都度、検査開始時点からの直前までの推定結果（形状カテゴリの遷移の組合せ）を体内箇所推定モデルに入力することで、体内箇所の推定値を得ることができる。よって、出力部３４４が推定された体内箇所を出力することで、リアルタイムに現在、電子内視鏡１１の先端部が存在する体内の箇所を把握でき、より効果的に挿入支援を行うことができる。

図８は、本実施形態２にかかる内視鏡挿入支援方法の流れを示すフローチャートである。まず、取得部３４１は、内視鏡挿入形状観測装置２０から形状データを取得する（Ｓ２０１）。取得部３４１は、取得した形状データを正規化部３４２３及び動作推定部３４２２へ出力する。また、取得部３４１は、内視鏡装置１０から内視鏡画像を取得する（Ｓ２０２）。取得部３４１は、取得した内視鏡画像を体内挿入検出部３４２１及び動作推定部３４２２へ出力する。また、取得部３４１は、内視鏡挿入形状観測装置２０から体位データを取得する（Ｓ２０３）。取得部３４１は、取得した体位データを正規化部３４２３へ出力する。

ステップＳ２０１及びＳ２０２の後、動作推定部３４２２は、取得部３４１から受け付けた形状データ及び内視鏡画像の変化に基づいて、電子内視鏡１１の動作内容を推定する（Ｓ２０４）。そして、動作推定部３４２２は、推定した動作内容を形状カテゴリ推定部３４２４へ通知する。

また、ステップＳ２０２の後、体内挿入検出部３４２１は、取得部３４１から受け付けた内視鏡画像に基づいて、電子内視鏡１１が被検者Ｕ２の体内に挿入されたことを検出する（Ｓ２０５）。検出された場合、体内挿入検出部３４２１は、検出された旨を正規化部３４２３、形状カテゴリ推定部３４２４及び記録部３４３へ通知する。

ステップＳ２０１、Ｓ２０３及びＳ２０５の後、正規化部３４２３は、体内挿入検出部３４２１からの体内挿入が検出された旨の通知に応じて、現時点で最新の形状データを検査開始地点として特定する。また、正規化部３４２３は、取得部３４１により取得された体位データと検査開始地点とに基づいて、以降、受け付けた形状データの正規化を行う（Ｓ２０６）。そして、正規化部３４２３は、正規化後の形状データを形状カテゴリ推定部３４２４へ出力する。

ステップＳ２０４、Ｓ２０５及びＳ２０６の後、形状カテゴリ推定部３４２４は、体内挿入検出部３４２１からの体内挿入が検出された旨の通知に応じて、形状カテゴリの推定を開始する。具体的には、形状カテゴリ推定部３４２４は、形状カテゴリ推定部３４２４から受け付けた正規化後の形状データと、動作推定部３４２２から受け付けた電子内視鏡１１の動作内容から、形状カテゴリを推定する（Ｓ２０７）。すなわち、形状カテゴリ推定部３４２４は、正規化後の形状データ及び動作内容を形状カテゴリ推定モデル３１１に入力し、推定結果として形状カテゴリを取得する。そして、形状カテゴリ推定部３４２４は、取得した形状カテゴリを記録部３４３へ出力する。

ステップＳ２０５及びＳ２０７の後、記録部３４３は、体内挿入検出部３４２１からの体内挿入が検出された旨の通知に応じて、現時点を検査開始時点として特定し、形状カテゴリの履歴情報への記録を開始する。具体的には、記録部３４３は、形状カテゴリ推定部３４２４から受け付けた形状カテゴリ３１２１に、現在時刻を時刻情報３１２２として対応付けて履歴情報３１２として記憶装置３１に記録（格納）する（Ｓ２０８）。

ステップＳ２０８の後、出力部３４４は、記憶装置３１から履歴情報３１２を一レコードずつ読み出して、時系列に沿って複数の推定された形状カテゴリの間の遷移を示す表示情報を生成する（Ｓ２０９）。そして、出力部３４４は、生成した表示情報を表示装置４１の画面へ出力する（Ｓ２１０）。また、ステップＳ２０８の後、出力部３４４は、推定された形状カテゴリに対応する音声をスピーカ４２へ出力する（Ｓ２１１）。

ステップＳ２１０及びＳ２１１の後、ステップＳ２０１、Ｓ２０２及びＳ２０３へ戻り、以降を繰り返す。尚、当該内視鏡挿入支援方法は、所定のタイミングで終了できる。例えば、体内挿入検出部３４２１において電子内視鏡１１が体内から抜き出されたことを検出した場合に、処理を終了してもよい。

このように、本実施形態にかかる推定部３４２は、内視鏡画像をさらに用いて複数の形状カテゴリのいずれかを推定することにより、形状データのみで形状カテゴリを推定する場合と比べて、推定精度が向上する。また、電子内視鏡１１の動作内容や被検者Ｕ２の体位データを用いて推定することで、推定精度をさらに向上できる。また、推定された形状カテゴリを履歴情報３１２として記録することで、検査中のみならず、検査後の分析等に有効活用できる。また、形状カテゴリの間の時系列遷移を画面に表示することで、検査中の電子内視鏡１１の状態や体腔の状況を、医師等が容易に把握できる。そのため、内視鏡の挿入支援をより効果的に実現できる。

＜実施形態３＞
本実施形態３は、上述した実施形態２の改良例である。本実施形態３にかかる内視鏡挿入支援システムは、上述した内視鏡挿入支援システム２０００と比べて、内視鏡挿入支援装置３０が内視鏡挿入支援装置３０ａに置き換わったものである。そのため、図示を省略し、以下では変更部分を中心に説明を行う。

図９は、本実施形態３にかかる内視鏡挿入支援装置３０ａの構成を示すブロック図である。内視鏡挿入支援装置３０ａは、上述した内視鏡挿入支援装置３０と比べて、内視鏡挿入支援プログラム３１３が内視鏡挿入支援プログラム３１３ａに置き換わり、比較部３４６が追加されたものである。尚、内視鏡挿入支援装置３０ａは、制御部３４のうち、少なくとも取得部３４１、形状カテゴリ推定部３４２４、記録部３４３、出力部３４４及び比較部３４６を含むものであればよく、他の構成は含まなくても良い。内視鏡挿入支援プログラム３１３ａは、本実施形態にかかる内視鏡挿入支援方法における比較処理が実装されたコンピュータプログラムである。

比較部３４６は、２以上の履歴情報３１２の比較結果を出力する。これにより、医師等が過去の内視鏡の挿入履歴を容易に比較でき、より効率的に分析を行うことができる。また、比較結果を視認することで内視鏡の挿入操作の技術を効率的に向上できる。尚、比較部３４６による出力は、出力部３４４を用いた出力であるものとする。つまり、比較部３４６は、２以上の履歴情報３１２の比較処理を行い、比較結果を出力部３４４へ出力し、出力部３４４は、表示装置４１又はスピーカ４２へ比較結果を出力することを示す。

さらに、比較部３４６は、履歴情報３１２のうち比較元に対する比較先における評価を行い、当該評価の結果を比較結果として出力するとよい。例えば、比較元として熟練した医師による履歴情報を用い、比較先として比較的経験の浅い医師による履歴情報を用いることで、内視鏡の挿入操作の客観的な評価を得ることができる。これにより、医師等は自身の内視鏡の挿入操作の課題を客観的に把握でき、内視鏡の挿入操作の技術をより短期間で向上できる。

また、比較部３４６は、比較結果が、特定の形状カテゴリにおける継続時間が所定時間以上である場合、警告として出力するとよい。これにより、医師等が比較先の内視鏡の挿入操作における課題となり得る箇所を容易に把握することができる。

図１０は、本実施形態３にかかる比較処理の流れを示すフローチャートである。まず、比較部３４６は、入力装置４３及びＩＦ部３３を介して、比較元の形状カテゴリの遷移情報の指定を受け付ける（Ｓ３１）。例えば、入力装置４３は、医師等の操作に応じて、熟練した医師による過去の内視鏡検査に対応する日時（検査時間帯）の入力を受け付ける。そして、入力装置４３は、受け付けた日時情報を内視鏡挿入支援装置３０ａへ送信する。内視鏡挿入支援装置３０ａの比較部３４６は、受信した日時情報が示す時間帯に含まれる時刻情報３１２２に対応付けられた形状カテゴリ３１２１の集合を記憶装置３１から取得し、比較元としてメモリ３２に保持する。

次に、比較部３４６は、入力装置４３及びＩＦ部３３を介して、比較先の形状カテゴリの遷移情報の指定を受け付ける（Ｓ３２）。例えば、入力装置４３は、医師等の操作に応じて、比較的経験の浅い医師による過去の内視鏡検査に対応する日時（検査時間帯）の入力を受け付ける。以降、ステップＳ３１と同様に処理され、内視鏡挿入支援装置３０ａの比較部３４６は、記憶装置３１から取得した履歴情報を、比較先としてメモリ３２に保持する。

続いて、比較部３４６は、比較元と比較先との比較結果を生成する（Ｓ３３）。例えば、比較部３４６は、比較元と比較先との間で、検査開始時点からの相対的な経過時刻が対応する形状カテゴリ同士を比較し、差分の有無を時系列で算出する。または、比較部３４６は、比較元の遷移情報と比較先の遷移情報とを検査開始時点を揃えて、二次元グラフで描画するように比較結果を生成する。また、比較部３４６は、比較元に対する比較先における評価を行っても良い。例えば、比較部３４６は、比較元を基準として比較先の優劣を判定し、判定結果を評価結果としてもよい。例えば、比較部３４６は、比較元における特定の形状カテゴリの継続時間が所定時間より長い場合に、その時間帯について評価を低く判定してもよい。または、比較部３４６は、評価を行うか否かにかかわらず、比較元又は比較先において特定の形状カテゴリの継続時間が所定時間より長い場合に、その時間帯について警告出力をさせてもよい。

その後、比較部３４６は、ＩＦ部３３を介して、比較結果を表示装置４１の画面に出力する（Ｓ３４）。図１１は、本実施形態３にかかる形状カテゴリの時系列遷移の比較結果３１６ａの例を示す図である。ここでは、比較元の遷移情報と比較先の遷移情報とを検査開始時点を揃えて重ね合わせた例を示す。

このように、本実施形態により、実施形態２において蓄積された履歴情報３１２を有効活用し、内視鏡の挿入技術の向上をより促進させることができる。

尚、履歴情報３１２に医師ＩＤが対応付けられている場合には、入力装置４３は、医師ＩＤを受け付け、比較部３４６は、医師ＩＤにより履歴情報３１２を検索して、比較元及び比較先を取得してもよい。

＜実施形態４＞
本実施形態４は、上述した実施形態２の改良例である。本実施形態４にかかる内視鏡挿入支援システムは、上述した内視鏡挿入支援システム２０００と比べて、内視鏡挿入支援装置３０が内視鏡挿入支援装置３０ｂに置き換わったものである。そのため、図示を省略し、以下では変更部分を中心に説明を行う。

図１２は、本実施形態４にかかる内視鏡挿入支援装置３０ｂの構成を示すブロック図である。内視鏡挿入支援装置３０ｂは、上述した内視鏡挿入支援装置３０ａと比べて、履歴情報３１２が履歴情報３１２ａに置き換わり、内視鏡挿入支援プログラム３１３ａが内視鏡挿入支援プログラム３１３ｂに置き換わり、検索部３４７が追加されたものである。また、履歴情報３１２ａには、医療情報３１２４が追加されている。尚、内視鏡挿入支援装置３０ｂは、制御部３４のうち、少なくとも取得部３４１、形状カテゴリ推定部３４２４、記録部３４３、出力部３４４及び検索部３４７を含むものであればよく、他の構成は含まなくても良い。内視鏡挿入支援プログラム３１３ｂは、本実施形態にかかる内視鏡挿入支援方法における検索処理が実装されたコンピュータプログラムである。

検索部３４７は、推定された形状カテゴリの時系列に沿った遷移を示す遷移情報に基づき履歴情報３１２を検索し、検索結果を出力する。これにより、特定の遷移情報と同様の過去の履歴情報を閲覧することができる。よって、遷移情報以外に付加情報等の差異などを確認し、検討を促進できる。尚、検索部３４７による出力は、出力部３４４を用いた出力であるものとする。つまり、検索部３４７は、遷移情報を検索条件として履歴情報３１２の検索を行い、検索結果を出力部３４４へ出力し、出力部３４４は、表示装置４１又はスピーカ４２へ検索結果を出力することを示す。

また、履歴情報３１２ａは、形状カテゴリ３１２１、時刻情報３１２２及び付加情報３１２３にさらに医療情報３１２４が対応付けられている。ここで、医療情報３１２４は、被検者における身体情報、病歴、診察履歴等を示す情報である。そのため、検索部３４７は、医療情報３１２４に基づいて履歴情報３１２を検索し、検索結果を出力するとよい。これにより、検査を行う前に、今回の被検者の医療情報と近い被検者における過去の履歴情報を取得し、確認できる。そのため、身体情報や病歴が似た患者に対してより適切な操作による内視鏡の挿入を支援できる。

図１３は、本実施形態４にかかる検索処理の流れを示すフローチャートである。まず、検索部３４７は、遷移情報の検索条件を受け付ける（Ｓ４１）。例えば、入力装置４３は、医師等の操作に応じて、過去の内視鏡検査に対応する日時（検査時間帯）又は医療情報の入力を受け付ける。そして、入力装置４３は、受け付けた日時情報又は医療情報を内視鏡挿入支援装置３０ｂへ送信する。内視鏡挿入支援装置３０ｂの検索部３４７は、受信した日時情報又は医療情報を検索条件としてメモリ３２に保持する。

次に、検索部３４７は、検索条件に基づき履歴情報３１２を検索する（Ｓ４２）。例えば検索条件が日時情報の場合、検索部３４７は、日時情報が示す時間帯に含まれる時刻情報３１２２に対応付けられた形状カテゴリ３１２１の集合を記憶装置３１から取得する。また、例えば検索条件が医療情報の場合、検索部３４７は、医療情報３１２４に対応付けられた形状カテゴリ３１２１の集合を記憶装置３１から取得する。

そして、検索部３４７は、検索結果に基づく表示情報を生成する（Ｓ４３）。例えば、検索部３４７は、検索結果である遷移情報について、上述したステップＳ２０９と同様に、表示情報として生成する。

その後、検索部３４７は、ＩＦ部３３を介して、生成した表示情報を表示装置４１の画面に出力する（Ｓ４４）。

このように、本実施形態によっても、実施形態２において蓄積された履歴情報３１２を有効活用し、内視鏡の挿入技術の向上をより促進させることができる。

＜その他の実施形態＞
尚、上述した各実施形態は、大腸、小腸、胃又は気管支（肺）等における体腔に対する内視鏡による検査に適用できる。

尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記Ａ１）
管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得部と、
前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定部と、
前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力部と、
を備える内視鏡挿入支援装置。
（付記Ａ２）
前記出力部は、前記時系列に沿って複数の前記推定された形状カテゴリの間の遷移を示す前記表示情報を出力する
付記Ａ１に記載の内視鏡挿入支援装置。
（付記Ａ３）
前記出力部は、前記推定された形状カテゴリに対応する音声をさらに出力する
付記Ａ１又はＡ２に記載の内視鏡挿入支援装置。
（付記Ａ４）
前記取得部は、前記内視鏡により撮影された内視鏡画像をさらに取得し、
前記推定部は、前記内視鏡画像をさらに用いて前記複数の形状カテゴリのいずれかを推定する
付記Ａ１乃至Ａ３のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ａ５）
前記推定部は、
前記内視鏡画像の変化と前記形状データとに基づき管腔内における前記内視鏡の動作内容を推定し、
前記内視鏡の動作内容をさらに加味して前記複数の形状カテゴリのいずれかを推定する
付記Ａ４に記載の内視鏡挿入支援装置。
（付記Ａ６）
前記推定部は、
前記内視鏡画像に基づき検査開始地点を特定し、
前記検査開始地点に基づき前記形状データを正規化し、
前記正規化後の形状データに対して前記複数の形状カテゴリのいずれかを推定する
付記Ａ４又はＡ５に記載の内視鏡挿入支援装置。
（付記Ａ７）
前記内視鏡画像に基づき検査開始時点を特定し、前記検査開始時点に基づき、前記推定された形状カテゴリの時系列に沿った遷移情報を記録する記録部をさらに備える
付記Ａ４乃至Ａ６のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ａ８）
前記推定部は、
被検者から検出された体位に基づき前記形状データを正規化し、前記正規化後の形状データに対して前記複数の形状カテゴリのいずれかを推定する
付記Ａ１乃至Ａ７のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ａ９）
前記推定された形状カテゴリについての付加情報の入力を受け付け、当該形状カテゴリと当該付加情報とを対応付けて登録する登録部をさらに備える
付記Ａ１乃至Ａ８のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ａ１０）
前記推定された形状カテゴリと時刻情報とを対応付けた履歴情報を記憶する記憶部をさらに備える
付記Ａ１乃至Ａ９のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ａ１１）
２以上の前記履歴情報の比較結果を出力する比較部をさらに備える
付記Ａ１０に記載の内視鏡挿入支援装置。
（付記Ａ１２）
前記比較部は、
前記履歴情報のうち比較元に対する比較先における評価を行い、
当該評価の結果を前記比較結果として出力する
付記Ａ１１に記載の内視鏡挿入支援装置。
（付記Ａ１３）
前記比較部は、
前記比較結果が、特定の前記形状カテゴリにおける継続時間が所定時間以上である場合、警告として出力する
付記Ａ１１又はＡ１２に記載の内視鏡挿入支援装置。
（付記Ａ１４）
前記推定された形状カテゴリの時系列に沿った遷移を示す遷移情報に基づき前記履歴情報を検索し、検索結果を出力する検索部をさらに備える
付記Ａ１０乃至Ａ１３のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ａ１５）
前記履歴情報は、被検者の医療情報がさらに対応付けられており、
前記検索部は、前記医療情報に基づいて前記履歴情報を検索し、前記検索結果を出力する
付記Ａ１４に記載の内視鏡挿入支援装置。
（付記Ａ１６）
前記推定部は、前記推定された形状カテゴリから体内の箇所を特定し、
前記出力部は、前記特定された箇所をさらに出力する
付記Ａ１乃至Ａ１５のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ａ１７）
前記推定部は、
複数の形状データのそれぞれに対して前記形状カテゴリのラベルが付された学習用データより学習された学習済みモデルを用いて、前記取得された形状データから前記複数の形状カテゴリのいずれかを推定する
付記Ａ１乃至Ａ１６のいずれか１項に記載の内視鏡挿入支援装置。
（付記Ｂ１）
コンピュータが、
管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得し、
前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定し、
前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する、
内視鏡挿入支援方法。
（付記Ｃ１）
管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得処理と、
前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定処理と、
前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力処理と、
をコンピュータに実行させる内視鏡挿入支援プログラム。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０２０年４月９日に出願された日本出願特願２０２０－０７０３７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 内視鏡挿入支援装置
１１０ 取得部
１２０ 推定部
１３０ 出力部
２０００ 内視鏡挿入支援システム
１０ 内視鏡装置
１１ 電子内視鏡
１１ａ 挿入部
２０ 内視鏡挿入形状観測装置
２１ センスコイルユニット
２２ 形状処理装置
３０ 内視鏡挿入支援装置
３０ａ 内視鏡挿入支援装置
３０ｂ 内視鏡挿入支援装置
３１ 記憶装置
３１１ 形状カテゴリ推定モデル
３１２ 履歴情報
３１２ａ 履歴情報
３１２１ 形状カテゴリ
３１２２ 時刻情報
３１２３ 付加情報
３１２４ 医療情報
３１３ 内視鏡挿入支援プログラム
３１３ａ 内視鏡挿入支援プログラム
３１３ｂ 内視鏡挿入支援プログラム
３１４ 形状データ
３１５ 内視鏡画像
３１６ 表示情報
３１６ａ 比較結果
３２ メモリ
３３ ＩＦ部
３４ 制御部
３４１ 取得部
３４２ 推定部
３４２１ 体内挿入検出部
３４２２ 動作推定部
３４２３ 正規化部
３４２４ 形状カテゴリ推定部
３４３ 記録部
３４４ 出力部
３４５ 登録部
３４６ 比較部
３４７ 検索部
４１ 表示装置
４２ スピーカ
４３ 入力装置
Ｕ１ 医師
Ｕ２ 被検者
Ｃ１ 形状カテゴリ
Ｃ１１ 形状サブカテゴリ
Ｃ１２ 形状サブカテゴリ
Ｃ１３ 形状サブカテゴリ
Ｃ２ 形状カテゴリ
Ｃ２１ 形状サブカテゴリ
Ｃ２２ 形状サブカテゴリ
Ｃ３ 形状カテゴリ
Ｃ３１ 形状サブカテゴリ
Ｃ３２ 形状サブカテゴリ
Ｃ３３ 形状サブカテゴリ
Ｃ４ 形状カテゴリ
Ｃ４１ 形状サブカテゴリ

Claims (8)

1. 管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得手段と、
   前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定手段と、
   前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力手段と、
   を備え、
   前記出力手段は、前記推定された形状カテゴリに対応する音声をさらに出力する
   情報処理装置。
2. 管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得手段と、
   前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定手段と、
   前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力手段と、
   を備え、
   前記取得手段は、前記内視鏡により撮影された内視鏡画像をさらに取得し、
   前記推定手段は、前記内視鏡画像をさらに用いて前記複数の形状カテゴリのいずれかを推定する
   情報処理装置。
3. 前記推定手段は、
   前記内視鏡画像の変化と前記形状データとに基づき前記管腔内における前記内視鏡の動作内容を推定し、
   前記内視鏡の動作内容をさらに加味して前記複数の形状カテゴリのいずれかを推定する
   請求項２に記載の情報処理装置。
4. 管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得手段と、
   前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定手段と、
   前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力手段と、
   前記推定された形状カテゴリと時刻情報とを対応付けた履歴情報を記憶する記憶手段と、
   ２以上の前記履歴情報の比較結果を出力する比較手段と
   を備える情報処理装置。
5. 前記推定された形状カテゴリの時系列に沿った遷移を示す遷移情報に基づき前記履歴情報を検索し、検索結果を出力する検索手段をさらに備える
   請求項４に記載の情報処理装置。
6. 前記出力手段は、前記時系列に沿って複数の前記推定された形状カテゴリの間の遷移を示す前記表示情報を出力する
   請求項１乃至５のいずれか１項に記載の情報処理装置。
7. コンピュータが、
   管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得することと、
   前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定することと、
   前記推定された形状カテゴリにおける時系列に沿った表示情報を出力することと
   を含み、
   前記出力することは、前記推定された形状カテゴリに対応する音声をさらに出力する
   情報処理方法。
8. 管腔内に挿入された内視鏡の挿入形状を特定するための形状データを取得する取得処理と、
   前記形状データから前記挿入形状における複数の形状カテゴリのいずれかを推定する推定処理と、
   前記推定された形状カテゴリにおける時系列に沿った表示情報を出力する出力処理と、
   をコンピュータに実行させるプログラムであって、
   前記出力処理は、前記推定された形状カテゴリに対応する音声をさらに出力する
   プログラム。

Images