JP2024031468A - 画像処理装置及びその作動方法並びに内視鏡システム - Google Patents

Abstract

【課題】医用画像に含まれる観察対象に応じて、観察支援のための情報を出力することができる画像処理装置及びその作動方法並びに内視鏡システムを提供する。【解決手段】画像処理装置に備えられるプロセッサが、医用画像を取得し、医用画像を観察対象識別アルゴリズムに入力することにより、観察支援対象部位又は観察支援対象外であることを示す観察対象識別情報を出力し、観察対象識別情報に基づいて複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択し、特定観察支援アルゴリズムに医用画像を入力することにより、観察支援情報を出力し、観察支援情報を報知する制御を行う。【選択図】図５

Description

本発明は、観察支援を行う画像処理装置及びその作動方法並びに内視鏡システムに関する。

特許文献１では、観察ポイントのガイド表示を行う内視鏡画像処理システムについて開示されており、「出力処理モジュール２４は、ＡＩ処理モジュール２２により取得された領域指定データにより指定される画像領域Ｂ１０が観察ポイントに相当する場合に、次のようにガイド表示を行う。即ち、出力処理モジュール２４は、照準表示Ｆ１、Ｆ２及びＦ３を内視鏡映像に重畳表示し、所定位置に示される照準表示Ｆ２の枠内で当該画像領域Ｂ１０が所定の大きさになったタイミングでその内視鏡画像を静止画像Ｇ４とし、その静止画像Ｇ４を回転及び縮小させながらフレームアウトする演出を行う。」と記載されている。

また、特許文献２では、次に実行すべき行動を操作支援情報として生成し、表示する操作支援装置について開示されており、「操作支援装置２０は、内視鏡画像にインジケータを配置することによって、操作支援情報を表示することができる。」と記載されている。

特開２０２１－４８９２７号公報 特開２０２１－６１９１１号公報

内視鏡検査においては、観察部位によって医用画像に写る観察対象の構造が大きく異なることがある。このため、内部構造が大きく異なる複数の部位にわたって内視鏡検査を行う場合、医用画像の入力に対して、内視鏡先端部の位置情報、進むべきルート等の操作支援情報を出力する学習済みモデルが１種類であると、それぞれの観察部位に適した観察支援のための情報を出力するには不十分である場合がある。

また、内視鏡検査においては、検査のための観察に適さない医用画像が取得されるシーンがある。通常の観察において医用画像を取得するシーンだけでなく、このような観察に適さない医用画像が取得されるシーンにおいても、術者であるユーザーに報知を行うことが望ましい。

本発明は、医用画像に含まれる観察対象に応じて、観察支援のための情報を出力することができる画像処理装置及びその作動方法並びに内視鏡システムを提供することを目的とする。

本発明の画像処理装置は、プロセッサを備え、プロセッサは、医用画像を取得し、医用画像を観察対象識別アルゴリズムに入力することにより、医用画像に含まれる観察支援対象部位又は医用画像が観察支援対象外であることを示す観察対象識別情報を出力し、観察対象識別情報に基づいて複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択し、特定観察支援アルゴリズムに医用画像を入力することにより、観察支援情報を出力し、観察支援情報を報知する制御を行う。

観察支援対象部位は、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道であることが好ましい。

観察支援情報の報知は、観察支援情報を表示するガイド画像及び／又は観察支援情報を報知する音声によって行われることが好ましい。

観察支援情報は、内視鏡の位置が適切又は不適切であることを示す内視鏡位置判定情報、内視鏡の操作方法を示す内視鏡操作情報、被検者の体位の変更若しくは確認を促す被検者体位情報及び／又は観察支援を停止することを示す観察支援停止情報であることが好ましい。

内視鏡操作情報は、内視鏡の先端部の移動方向及び／又は移動量であり、移動方向は、右方向、左方向、上方向、下方向、奥方向、手前方向、右旋回又は左旋回であることが好ましい。

プロセッサは、内視鏡操作情報として、内視鏡操作支援図をガイド画像に表示する制御を行うことが好ましい。

プロセッサは、内視鏡位置判定情報に基づいて、内視鏡操作情報の表示を切り替える制御を行うことが好ましい。

特定観察支援アルゴリズムは、操作支援アルゴリズムを含み、プロセッサは、操作支援アルゴリズムに、医用画像を入力することにより、内視鏡操作情報又は観察支援停止情報を出力することが好ましい。

プロセッサは、操作支援アルゴリズムに最新の医用画像を入力することが好ましい。

操作支援アルゴリズムは、内視鏡操作情報及び／又は被検者体位情報を出力する学習済みモデルであることが好ましい。

特定観察支援アルゴリズムは、位置判定アルゴリズム及び操作支援アルゴリズムを含み、位置判定アルゴリズムは、医用画像を入力されることにより、内視鏡位置判定情報を出力する学習済みモデルであり、操作支援アルゴリズムは、医用画像を入力されることにより、内視鏡操作情報及び／又は被検者体位情報を出力する学習済みモデルであることが好ましい。

プロセッサは、位置判定アルゴリズム及び操作支援アルゴリズムに、最新の医用画像をそれぞれ入力することが好ましい。

観察対象識別アルゴリズムは、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道が観察対象に含まれる医用画像を含む学習用画像を用いて学習された学習済みモデルであることが好ましい。

プロセッサは、観察支援情報の報知の有無を切り替える制御を行うことが好ましい。

プロセッサは、観察対象識別アルゴリズムが出力する観察支援対象部位が鼻腔である場合、操作支援アルゴリズムに医用画像を入力することにより、医用画像に含まれる、内視鏡の挿入に適した領域である上ルート挿入領域及び／又は下ルート挿入領域を示す挿入領域情報を出力し、挿入領域情報に基づいて、上ルート挿入領域及び／又は下ルート挿入領域の、面積、幅及び／又は中心位置の座標情報である挿入ルート情報を算出し、挿入ルート情報を観察支援情報としてガイド画像に表示する制御を行うことが好ましい。

プロセッサは、挿入ルート情報に基づき、上ルート挿入領域又は下ルート挿入領域の表示態様を異ならせてガイド画像に表示する制御を行うことが好ましい。

プロセッサは、観察対象識別アルゴリズムが出力する観察支援対象部位が鼻腔である場合、操作支援アルゴリズムに医用画像を入力することにより、医用画像に含まれる、内視鏡の挿入に適した領域である上ルート挿入領域及び／又は下ルート挿入領域を示す挿入領域情報を出力し、挿入領域情報に基づいて、上ルート挿入領域及び／又は下ルート挿入領域の、面積、幅及び／又は中心位置の座標情報である挿入ルート情報を算出し、挿入ルート情報を用いて内視鏡操作情報を出力することが好ましい。

プロセッサは、観察対象識別アルゴリズムが出力する観察支援対象部位が上咽頭である場合、操作支援アルゴリズムに医用画像を入力することにより、適切位置であること又は右不適切位置、左不適切位置、上不適切位置、下不適切位置、奥不適切位置若しくは手前不適切位置である不適切方向位置であることを示す上咽頭位置情報を出力し、上咽頭位置情報に基づいて内視鏡操作情報を出力することが好ましい。

操作支援アルゴリズムは、上咽頭位置情報が対応付けられた医用画像を含む学習用画像を用いて学習された学習済みモデルであることが好ましい。

プロセッサは、観察対象識別アルゴリズムが出力する観察支援対象部位が中咽頭であり、かつ、医用画像を入力された位置判定アルゴリズムが内視鏡位置判定情報として不適切と出力する場合、操作支援アルゴリズムに医用画像を入力することにより、医用画像に含まれる、声門の領域及び／又は喉頭蓋の領域を示す中咽頭領域情報を出力し、中咽頭領域情報に基づき、声門の領域及び喉頭蓋の領域の面積、幅及び／又は中心位置の座標情報である中咽頭領域演算情報を算出し、中咽頭領域演算情報を用いて内視鏡操作情報を出力することが好ましい。

位置判定アルゴリズムは、医用画像と、内視鏡位置判定情報とが対応付けられた学習用画像を用いて学習された学習済みモデルであることが好ましい。

プロセッサは、観察対象識別アルゴリズムが出力する観察支援対象部位が下咽頭であり、かつ、医用画像を入力された位置判定アルゴリズムが内視鏡位置判定情報として不適切と出力する場合、操作支援アルゴリズムに医用画像を入力することにより、医用画像に含まれる、声門の領域及び／又は声帯ヒダの領域を示す下咽頭領域情報を出力し、下咽頭領域情報に基づき、声門の領域の面積、幅及び／又は中心位置の座標情報、並びに、声帯ヒダの領域の長さである下咽頭領域演算情報を算出し、下咽頭領域演算情報を用いて内視鏡操作情報を出力することが好ましい。

位置判定アルゴリズムは、医用画像と、内視鏡位置判定情報とが対応付けられた学習用画像を用いて学習された学習済みモデルである学習済みモデルであることが好ましい。

プロセッサは、観察対象識別アルゴリズムが出力する観察支援対象部位が食道又は気管である場合、操作支援アルゴリズムに医用画像を入力することにより、内視鏡の引き抜きを指示する内視鏡操作情報を出力することが好ましい。

プロセッサは、観察対象識別アルゴリズムが観察対象識別情報として観察支援対象外と出力する場合、操作支援アルゴリズムに医用画像を入力することにより、観察支援停止情報を出力することが好ましい。

観察対象識別アルゴリズムは、食物若しくは唾液である異物、ブレ、ボケ又はハレーションを含む医用画像が入力された場合、観察対象識別情報として観察支援対象外と出力するように学習された学習済みモデルであることが好ましい。

本発明の画像処理装置の作動方法は、医用画像を取得するステップと、医用画像を観察対象識別アルゴリズムに入力することにより、医用画像に含まれる観察支援対象部位又は医用画像が観察支援対象外であることを示す観察対象識別情報を出力するステップと、観察対象識別情報に基づいて複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択するステップと、特定観察支援アルゴリズムに医用画像を入力することにより、観察支援情報を出力するステップと、観察支援情報を報知する制御を行うステップと、を有する。

本発明の内視鏡システムは、上記の画像処理装置と、照明光を発する光源装置と、医用画像を撮影する内視鏡と、を備える。

本発明によれば、医用画像に含まれる観察対象に応じて、観察支援のための情報を出力することができる。

画像処理装置の機能を示すブロック図である。 内視鏡システムの概略図である。 観察支援情報生成部の機能を示すブロック図である。 最新の医用画像を入力とする観察支援情報の出力について示す説明図である。 中咽頭画像を入力とする場合の「適切」の内視鏡位置判定情報を示すガイド画像の例を示す画像図である。 中咽頭画像を入力とする場合の「不適切」の内視鏡位置判定情報を示すガイド画像の例を示す画像図である。 観察支援停止情報を示すガイド画像の例を示す画像図である。 嚥下について示す説明図である。 適切な観察位置について示す説明図である。 内視鏡を食道に誤挿入した場合について示す説明図である。 内視鏡を気管に誤挿入した場合について示す説明図である。 被検者の側面から見た内視鏡の挿入ルートについて示す説明図である。 被検者の正面から見た内視鏡の挿入ルートについて示す説明図である。 上ルート画像の例を示す画像図である。 下ルート画像の例を示す画像図である。 前鼻画像の例を示す画像図である。 上ルート挿入領域の例を示す画像図である。 上ルート画像を入力とする場合に、挿入ルートガイドマーク及び画像中心ガイドマークを表示するガイド画像の例を示す画像図である。 上ルート画像を入力とする場合の上方向の操作指示をガイド矢印で行うガイド画像の例を示す画像図である。 上ルート画像を入力とする場合の上方向の操作指示をアイコンで行うガイド画像の例を示す画像図である。 上ルート画像を入力とする場合の左下方向の操作指示をアイコンで行うガイド画像の例を示す画像図である。 上ルート画像を入力とする場合の左下方向の操作指示を内視鏡操作支援図で行うガイド画像の例を示す画像図である。 上ルート画像を入力とする場合の左旋回の操作指示を内視鏡操作支援図で行うガイド画像の例を示す画像図である。 下ルート挿入領域の例を示す画像図である。 上ルート挿入領域及び下ルート挿入領域の検出がなされた例を示す画像図である。 上ルート挿入領域及び下ルート挿入領域の検出がなされた場合の、挿入ルートガイドマーク及び画像中心ガイドマークを表示するガイド画像の例を示す画像図である。 上ルート挿入領域及び下ルート挿入領域の検出がなされた場合の操作指示を行うガイド画像の例を示す画像図である。 上咽頭、中咽頭及び下咽頭の高さについて示す説明図である。 適切な観察位置における上咽頭画像の例を示す画像図である。 適切な観察位置における上咽頭画像を入力とする場合のガイド画像の例を示す画像図である。 不適切な観察位置における上咽頭画像の例を示す画像図である。 上咽頭画像を入力とする場合の手前方向の操作指示をアイコンで行うガイド画像の例を示す画像図である。 上咽頭画像を入力とする場合の手前方向の操作指示を内視鏡操作支援図で行うガイド画像の例を示す画像図である。 適切な観察位置における中咽頭画像の例を示す画像図である。 不適切な観察位置における中咽頭画像の例を示す画像図である。 適切な観察位置における中咽頭画像を入力とする場合のガイド画像の例を示す画像図である。 声門の領域及び喉頭蓋の領域を検出した中咽頭画像の例を示す画像図である。 中咽頭画像を入力とする場合の手前方向の操作指示をアイコンで行うガイド画像の例を示す画像図である。 中咽頭画像を入力とする場合の被検者体位情報を示すガイド画像の例を示す画像図である。 適切な観察位置における下咽頭画像の例を示す画像図である。 不適切な観察位置における下咽頭画像の例を示す画像図である。 適切な観察位置における下咽頭画像を入力とする場合のガイド画像の例を示す画像図である。 声門の領域及び声帯ヒダの領域を検出した下咽頭画像の例を示す画像図である。 下咽頭画像を入力とする場合の手前方向の操作指示をアイコンで行うガイド画像の例を示す画像図である。 食道画像の例を示す画像図である。 気管画像の例を示す画像図である。 食道画像を入力とする場合の手前方向の操作指示をアイコンで行うガイド画像の例を示す画像図である 警告表示を行うガイド画像の例を示す画像図である。 画像処理装置の作動方法を示すフローチャートである。

画像処理装置１０は、図１に示すように、医用画像を撮影して画像処理装置１０に送信するモダリティ２０又は医用画像が保存されているデータベース１１から医用画像を受信する。画像処理装置１０、モダリティ２０及びデータベース１１は、有線又はネットワークを介した無線で相互に通信可能に接続されている。ネットワークは、インターネット、LAN（Local Area Network）等である。

画像処理装置１０は、ユーザーインターフェース１２と有線又は無線で接続される。ユーザーインターフェース１２は、キーボード、マウス、マイク、フットスイッチ、タッチパッド、タブレット、タッチペン等のユーザーからの機能設定の入力操作を受け付ける入力装置である。また、ユーザーインターフェース１２は、画像処理装置１０から報知指示を受信してユーザーに報知を行う、ディスプレイ、ヘッドマウントディスプレイ、スピーカー等の出力装置である。なお、ユーザーインターフェース１２は、画像処理装置１０及び後述するプロセッサ装置２３の両方に接続されてよい。すなわち、ユーザーインターフェース１２は、画像処理装置１０又はプロセッサ装置２３への入力指示を受け付ける機能及び画像処理装置１０又はプロセッサ装置２３から出力指示を行う機能を有する入出力装置である。

図１に示すように、画像処理装置１０は、画像取得部３０、観察対象識別部４０、観察支援アルゴリズム選択部５０、観察支援情報生成部６０及び報知制御部７０を有する。画像処理装置１０は、医用画像を受信し、ほぼリアルタイムに、医用画像に対する画像処理を行って観察支援情報を出力し、ユーザーインターフェース１２に送信する。詳しくは後述するが、画像処理装置１０は医用画像に含まれる観察対象の部位を識別して、また、医用画像が観察支援対象外であることを識別して観察対象識別情報を出力し、観察対象識別情報に応じて観察支援アルゴリズムを選択し、医用画像を観察支援アルゴリズムに入力して観察支援情報を出力し、ユーザーインターフェース１２を介して観察支援情報を医師等のユーザーに報知する制御を行う。

画像処理装置１０は、プロセッサを備えるコンピュータである。プロセッサによって構成される制御部（図示しない）が、画像処理装置１０に備えられるプログラム格納メモリ（図示しない）に組み込まれた各種処理又は制御等に関するプログラムを動作することによって、画像処理装置１０では、画像取得部３０、観察対象識別部４０、観察支援アルゴリズム選択部５０、観察支援情報生成部６０及び報知制御部７０の機能が実現する。

本実施形態において、画像処理装置１０は、モダリティ２０を内視鏡システム２１とし、内視鏡画像である医用画像の画像処理を行う用途に好適である。内視鏡システム２１は、ユーザーが被検者の生体内に内視鏡を挿入し、照明光で照明されることで観察可能となる観察対象を撮影することによって内視鏡画像を得る。撮影された内視鏡画像は、画像処理装置１０に送信される。ユーザーとは、内視鏡を操作する医師であり、術者とも呼ぶ。

図２に示すように、内視鏡システム２１は、内視鏡２２、プロセッサ装置２３及び光源装置２４を有する。内視鏡２２は、光源装置２４と光学的に接続され、かつ、プロセッサ装置２３と電気的に接続される。これらの接続は有線に限られず、無線であってもよい。なお、内視鏡システム２１には、内視鏡２２、プロセッサ装置２３及び光源装置２４に加えて、画像処理装置１０が備えられるようにしてもよい。

内視鏡２２は、被検者の体内に挿入される挿入部２２ａ、挿入部２２ａの基端部分に設けられた操作部２２ｂ、挿入部２２ａの先端側に設けられた湾曲部２２ｃ及び先端部２２ｄを有する。湾曲部２２ｃは、操作部２２ｂのアングルノブ２２ｅを操作することにより湾曲動作する。先端部２２ｄは、湾曲部２２ｃの湾曲動作によって所望の方向に向けられる。

先端部２２ｄは、光源装置２４から発生する照明光を観察対象に向けて照射し、かつ、観察対象からの反射光を受光して観察対象を撮影する。操作部２２ｂには、アングルノブ２２ｅ及び静止画取得指示スイッチ２２ｆが設けられている。静止画取得指示スイッチ２２ｆは、観察対象の静止画の取得指示に用いる。内視鏡２２は、先端部２２ｄに撮像センサを備えたビデオ軟性内視鏡の他、ズーム機構が設けられた内視鏡でもよく、挿入部２２ａの径が細いファイバースコープに撮像センサを接続した内視鏡であってもよく、硬性内視鏡に外付けの撮像センサを接続した内視鏡であってもよい。

内視鏡を被検者に挿入するルートとしては、鼻から鼻腔、上咽頭を通過して中咽頭、下咽頭、食道、胃、十二指腸へと挿入する経鼻的な挿入、口から口腔を通過して中咽頭、下咽頭、食道、胃、十二指腸、小腸へと挿入する経口的な挿入、あるいは肛門から直腸、結腸、小腸へと挿入される下部挿入がある。本実施形態における画像処理装置１０は、内視鏡システム２１が備える内視鏡２２が経鼻的に被検者に挿入される軟性内視鏡である場合に特に好適である。なお、本明細書では、被検者とは、内視鏡２２を挿入される対象のことを指す。観察対象とは、内視鏡２２の画角に含まれ、医用画像に写る被写体のことを指す。

なお、静止画取得指示スイッチ２２ｆ以外の操作機器を用いることによって静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置２３にユーザーインターフェース１２としてフットスイッチ、フットペダル、タッチパネル、ジェスチャー入力装置、視線入力装置等を接続し、ユーザーインターフェース１２に対してユーザーから特定の操作がなされた場合に静止画取得指示を行うようにしてもよい。また、ユーザーインターフェース１２としてのマイクを介してプロセッサ装置２３に入力される特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。

プロセッサ装置２３は、光源装置２４に対する照明光の点消灯の制御、内視鏡２２に対する操作の制御、内視鏡２２による撮影の制御、内視鏡２２が撮影した内視鏡画像に対する補正処理、強調処理等の画像処理の制御及び画像処理装置１０への内視鏡画像の送信の制御を行う。

光源装置２４は、光源部及び光源制御部を備える。光源部は、照明光を発光する。光源制御部は、光源部の動作を制御する。光源部は、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ、ハロゲンランプ等の光源であり、観察対象を照明する照明光を発光する。なお、光源部は、内視鏡２２に内蔵させてもよい。光源制御部は、光源部を構成する各光源の点灯、消灯及び発光量を制御する。

内視鏡２２の先端部２２ｄには、照明光学系及び撮像光学系が設けられる。光源部が発光した照明光は、先端部２２ｄから照明光学系の照明レンズを介して出射される。撮像光学系は、対物レンズ及び撮像センサを有している。照明光が照射された観察対象からの反射光は、対物レンズを介して撮像センサに入射する。これにより、撮像センサに観察対象の像が結像され、撮像センサから画像信号が出力される。なお、撮像センサは、先端部２２ｄに備えられてもよく、ファイバースコープである内視鏡２２に接続されるものでもよく、硬性内視鏡である内視鏡２２に外付けされるものでもよい。

撮像センサは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge-Coupled Device）センサ等である。プロセッサ装置２３は、撮像センサが出力した画像信号に基づき、医用画像を生成する。プロセッサ装置２３が生成した医用画像は、画像処理装置１０の画像取得部３０に出力される。内視鏡システム２１から画像処理装置１０に送信される医用画像は、内視鏡検査中に撮影される時系列的に連続した一連の動画像である。なお、内視鏡システム２１からデータベース１１に医用画像を送信して保存し、データベース１１から画像処理装置１０に医用画像を送信するようにしてもよい。

データベース１１は、内視鏡画像等の医用画像を保存するストレージ、ファイルサーバ、クラウドストレージ等である。データベース１１は、病院情報システム（いわゆるＨＩＳ（Hospital Information Systems））、ＰＡＣＳ（Picture Archiving and Communication Systems）等の、画像処理装置１０と直接的又は間接的に連携するシステムの一部であってもよい。

以下、画像処理装置１０が、医用画像に対する画像処理を行って観察支援情報を出力し、ユーザーインターフェース１２を介してユーザーに報知を行う流れについて説明する。画像取得部３０は、モダリティ２０である内視鏡システム２１又はデータベース１１から医用画像を受信することによって医用画像を取得する。画像取得部３０は、医用画像を観察対象識別部４０に送信する。

観察対象識別部４０は、医用画像を観察対象識別部４０が備える観察対象識別アルゴリズムに入力し、観察対象識別情報を出力する。観察対象識別アルゴリズムは、医用画像に含まれる観察対象の部位である観察支援対象部位を識別し、観察支援対象部位を示す観察対象識別情報を出力する。また、観察対象識別部４０は、医用画像が観察支援対象外であることを識別した場合、「観察支援対象外」の観察対象識別情報を出力する。なお、本明細において、各種情報を出力するとは、各種情報を生成することを含む。

観察支援対象部位は、観察対象となる被検者の体の解剖学的部位の一部分である。観察支援対象部位は、具体的には、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管、主気管支、葉気管支、区間気管支、亜区間気管支、口腔、食道、胃、十二指腸、空腸、回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等である。上咽頭は鼻咽腔とも呼ばれる。観察対象識別アルゴリズムは、医用画像に含まれる観察対象が観察支援対象部位のいずれかであることを識別した場合、その観察支援対象部位を観察対象識別情報として出力する。

本実施形態においては、観察支援対象部位として、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道と出力することが好ましい。この場合、これらの部位以外の部位が観察対象である医用画像の入力に対して、観察対象識別アルゴリズムは「観察支援対象外」と出力する。このように観察支援対象部位を限られた部位とする場合において、観察対象識別アルゴリズムは、医用画像に含まれる観察対象が上咽頭であると識別した場合、観察対象識別情報として「上咽頭」と出力し、医用画像に含まれる観察対象が下行結腸であると識別した場合、観察対象識別情報として「観察支援対象外」と出力する。

なお、喉頭は、観察対象が中咽頭又は下咽頭である医用画像に含まれる（後述する図３４、図４０等参照）。観察対象識別アルゴリズムが「喉頭」を識別した場合、「中咽頭」又は「下咽頭」と出力されるようにしてもよい。また、観察対象識別アルゴリズムが気管、主気管支、葉気管支、区間気管支又は亜区間気管支を識別した場合、「気管」と出力するようにしてもよい。さらに、後述のように、観察支援対象部位として鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道として観察対象識別部４０に出力される部位を、これらの部位のうち、さらに限られた範囲に狭めるようにしてもよい。

観察対象識別アルゴリズムは、医用画像に含まれる観察対象が観察支援対象部位でないと識別した場合、観察対象識別情報として観察支援対象外と出力する。観察対象識別アルゴリズムが観察支援対象外と出力する医用画像は、観察支援対象部位以外の部位が観察対象である医用画像に加えて、観察対象に食物、唾液等の異物が含まれる医用画像、観察対象がブレている医用画像、観察対象がボケている医用画像、観察対象にハレーションが含まれる医用画像等である。観察対象識別アルゴリズムは、このような観察に適さない医用画像の入力に対して「観察支援対象外」と出力する。なお、異物としての食物は、残留食物又は検査用の嚥下食である。異物としての唾液は、梨状陥凹等の解剖学的部位に貯留した唾液である。

観察対象識別アルゴリズム並びに後述する位置判定アルゴリズム及び操作支援アルゴリズムは、機械学習であってもよく、パターンマッチングによって医用画像を識別するアルゴリズムであってもよい。機械学習は、決定木、サポートベクトルマシン、ランダムフォレスト、回帰分析、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層学習、深層強化学習、ニューラルネットワーク、畳み込みニューラルネットワーク、敵対的生成ネットワーク等である。

本実施形態では、画像処理装置１０が有する機械学習としての観察対象識別アルゴリズム並びに後述する位置判定アルゴリズム及び操作支援アルゴリズムが、畳み込みニューラルネットワークである場合に好適である。また、後述する位置判定アルゴリズム及び操作支援アルゴリズムの一部分を畳み込みニューラルネットワークとしてもよい。本明細書では、観察対象識別アルゴリズム及び後述する観察支援アルゴリズムが機械学習である場合、学習前の観察対象識別アルゴリズム又は観察支援アルゴリズムを学習モデルと呼び、学習後の観察対象識別アルゴリズム又は観察支援アルゴリズムを学習済みモデルと呼ぶ。

学習モデルを学習させるための画像データを学習用画像と呼ぶ。学習用画像は、教師データとも呼ばれる。学習用画像には、観察支援対象部位の正解画像、後述する観察対象が「適切」な観察位置である正解画像、観察対象に含まれる特定の領域がクラス分けされた正解画像等の正解画像が含まれる。

観察対象識別アルゴリズムは、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道が観察対象に含まれる医用画像を含む学習用画像を用いて学習された学習済みモデルであることが好ましい。例えば、ＶＧＧ１６、ＶＧＧ１９等のＶＧＧＮｅｔ、ＲｅｓＮｅｔ等の畳み込みニューラルネットワークが好適である。

観察対象識別アルゴリズムとして教師あり学習又は半教師あり学習を適用する場合、正解画像は、医師が観察に適していると判断した鼻腔、上咽頭、中咽頭又は下咽頭が写る医用画像である。また、観察支援対象外の正解画像は、被検者の体外において撮影された画像、医師によって観察対象に食物、唾液等の異物が含まれると判断された画像、医師又は既存のボケブレ判定を行う装置によってボケブレ判定が行われ、観察対象にボケ又はブレが含まれると判定された画像、観察対象に近接しすぎたために観察支援対象の識別に必要な特徴的な構造が映っていない画像、観察対象が暗すぎて判別できない画像、観察対象にハレーションが多く含まれる画像等である。ハレーションとは、観察対象からの照明光の反射光など強い光が撮像センサに入射することで画像が白飛びして観察に適さない領域である。また、医師又は既存の装置により、被検者が嚥下や咳など特定の動作をしている最中と判定がなされた医用画像を観察支援対象外の正解画像としてもよい。また、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道以外の部位が観察対象である医用画像を、観察支援対象外の正解画像に含めるようにしてもよい。

観察支援アルゴリズム選択部５０は、観察対象識別情報に基づいて複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択する。観察支援アルゴリズム選択部５０は、いずれの特定観察支援アルゴリズムを選択したかを示す情報である特定観察支援アルゴリズム選択情報を、観察支援情報生成部６０に送信する。観察支援アルゴリズムは、観察支援情報生成部６０が医用画像を入力することにより、後述する観察支援情報を出力するアルゴリズムである。

観察支援アルゴリズムには、鼻腔観察支援アルゴリズム、上咽頭観察支援アルゴリズム、中咽頭観察支援アルゴリズム、下咽頭観察支援アルゴリズム、誤挿入観察支援アルゴリズム及び観察支援対象外観察支援アルゴリズムが含まれる。観察支援アルゴリズム選択部５０は、これらの観察支援アルゴリズムのうち、１つの観察支援アルゴリズムを特定観察支援アルゴリズムとして選択する。

観察支援アルゴリズム選択部５０が、観察対象識別情報に基づいていずれの観察支援アルゴリズムを特定観察支援アルゴリズムとして選択するかは、予め設定されていることが好ましい。具体的には、観察支援対象部位又は観察支援対象外であることを示す観察対象識別情報と、観察支援アルゴリズムとが対応付けられて記憶されており、観察支援アルゴリズム選択部５０は、この対応付けに基づいて特定観察支援アルゴリズムを選択する。例えば、観察対象識別情報としての観察支援対象部位が「鼻腔」である場合、観察支援アルゴリズム選択部５０は、特定観察支援アルゴリズムとして鼻腔観察支援アルゴリズムを選択し、鼻腔観察支援アルゴリズムを用いることを指示する情報を特定観察支援アルゴリズム選択情報として観察支援情報生成部６０に送信する。

また、「観察支援対象外」の観察対象識別情報が出力される場合、観察支援アルゴリズム選択部５０は、特定観察支援アルゴリズムとして観察支援対象外観察支援アルゴリズムを選択し、観察支援対象外観察支援アルゴリズムを用いることを指示する情報を特定観察支援アルゴリズム選択情報として観察支援情報生成部６０に送信する。

観察支援アルゴリズムは、観察支援情報生成部６０に含まれる。図３に示すように、観察支援情報生成部６０は、鼻腔観察支援情報生成部６０ａ、上咽頭観察支援情報生成部６０ｂ、中咽頭観察支援情報生成部６０ｃ、下咽頭観察支援情報生成部６０ｄ、誤挿入観察支援情報生成部６０ｅ及び観察支援対象外観察支援情報生成部６０ｆを備える。

鼻腔観察支援情報生成部６０ａは、鼻腔観察支援アルゴリズムを備える。上咽頭観察支援情報生成部６０ｂは、上咽頭観察支援アルゴリズムを備える。中咽頭観察支援情報生成部６０ｃは、中咽頭観察支援アルゴリズムを備える。下咽頭観察支援情報生成部６０ｄは、下咽頭観察支援アルゴリズムを備える。誤挿入観察支援情報生成部６０ｅは、誤挿入観察支援アルゴリズムを備える。観察支援対象外観察支援情報生成部６０ｆは、観察支援対象外観察支援アルゴリズムを備える。

なお、観察支援対象部位に消化管を含む場合は、例えば、観察支援情報生成部６０に胃用観察支援情報生成部等を設け、観察支援アルゴリズムとして、胃観察支援アルゴリズムを備えるようにしてもよい。この場合、観察支援アルゴリズム選択部５０は、特定観察支援アルゴリズムとして胃観察支援アルゴリズムを選択できる。

観察支援情報生成部６０は、特定観察支援アルゴリズムとして選択された観察支援アルゴリズムに医用画像を入力し、観察支援情報を出力する。観察支援情報は、ユーザーである術者に対するモダリティ２０の操作指示のための情報、観察支援が停止されていることを示す情報、被検者に対する指示のための情報等である。

具体的には、内視鏡２２の先端部２２ｄの位置が適切又は不適切であることを示す内視鏡位置判定情報、内視鏡２２の操作方法を示す内視鏡操作情報、被検者の体位の変更又は確認を促す被検者体位情報、観察支援の停止を示す観察支援停止情報等である。観察支援情報には、後述する挿入領域情報、挿入ルート情報、上咽頭位置情報、中咽頭領域情報、中咽頭領域演算情報、下咽頭領域情報及び下咽頭領域演算情報が含まれる。それぞれの観察支援情報の詳細な内容については後述する。観察支援情報生成部６０は、出力された観察支援情報を報知制御部７０に送信する。

観察支援情報生成部６０には、観察対象識別部４０に送信した医用画像と同じ医用画像を送信してもよく、観察対象識別部４０に入力した医用画像とは異なる医用画像を送信してもよい。観察支援情報生成部６０に、観察対象識別部４０に送信した医用画像とは異なる医用画像を送信する場合、観察支援アルゴリズムには、最新の医用画像を入力する。この場合について、図４を用いて説明する。

画像取得部３０は、図４において時間を示す矢印の方向の時系列順に、時刻Ｔ（－１）で医用画像３１、時刻Ｔ（０）で医用画像３２、時刻Ｔ（１）で医用画像３３を取得するとする。時刻Ｔ（－１）では医用画像３１が、時刻Ｔ（０）においては医用画像３２が、時刻Ｔ（１）においては医用画像３３が最新の医用画像である。

時刻Ｔ（０）において、医用画像３２が観察対象識別部４０に送信され、観察対象識別アルゴリズムに入力される。観察対象識別アルゴリズムが出力した観察対象識別情報４１は、観察支援アルゴリズム選択部５０に送信され、観察支援アルゴリズム選択部５０は、観察対象識別情報に基づいて特定観察支援アルゴリズム選択情報５１を観察支援情報生成部６０に送信する。この時点において、時刻Ｔ（０）から時刻Ｔ（１）に時間が経過し、医用画像３３が取得されているとする。この場合、観察支援情報生成部６０は、最新の医用画像である医用画像３３を特定観察支援アルゴリズムに入力する。特定観察支援アルゴリズムが出力した観察支援情報６１は、報知制御部７０に送信される。

このように、最新の医用画像を観察支援アルゴリズムに入力することによってほぼリアルタイムに観察支援情報の報知を行うことができる。また、後述する位置判定アルゴリズム及び操作支援アルゴリズムには、それぞれ最も新しく取得された医用画像（最新の医用画像）を入力するようにしてもよい。内視鏡検査中においては、医用画像が非常に短時間の間に連続的に取得されるため、位置判定アルゴリズムが「適切」又は「不適切」と判定した医用画像と、操作支援の対象となる医用画像とでは、被検者が嚥下、咳等の特定の動作をしている場合等の特殊な場合を除き、通常、含まれる観察対象が大きく変化しないためである。

報知制御部７０は、観察支援情報を報知する制御を行う。観察支援情報は、ディスプレイに表示するガイド画像又はスピーカーから発せられる音声として、ユーザーインターフェース１２を介してユーザーに報知される。ガイド画像を表示する場合、報知制御部７０が観察支援情報を用いてガイド画像を生成し、ディスプレイに表示する制御を行う。また、観察支援情報を用いて音声指示情報を生成し、スピーカーから観察支援情報を音声として報知する制御を行う。なお、報知の方法として、ガイド画像の表示と、音声指示情報とを組み合わせてもよい。報知の方法はこれに限られない。

具体例として、ガイド画像に内視鏡２２の先端部２２ｄの位置が適切又は不適切であることを示す内視鏡位置判定情報を表示する例について、図５、図６及び図７を用いて説明する。

この例において、観察対象識別アルゴリズムが、観察支援対象部位として「中咽頭」と出力しているとする。この場合、観察支援アルゴリズム選択部５０は、特定観察支援アルゴリズムとして、中咽頭観察支援アルゴリズムを選択する。中咽頭観察支援アルゴリズムは、観察対象が中咽頭である医用画像（以下、中咽頭画像と呼ぶ。）の画像処理を行い、観察支援情報として、内視鏡２２の先端部２２ｄの位置が「適切」又は「不適切」の内視鏡位置判定情報を出力する。中咽頭観察支援アルゴリズムが「適切」の内視鏡位置判定情報を出力した場合、報知制御部７０は、図５に示すガイド画像７１を生成し、ディスプレイに表示する。

報知制御部７０は、観察支援アルゴリズムに入力した医用画像若しくは最新の医用画像に観察支援情報を重畳すること、又はこれらの医用画像と観察支援情報とを並列表示することによってガイド画像７１を生成する。図５に示すガイド画像７１の例では、医用画像７２及び観察支援情報表示欄７３が設けられている。図５に示す例では、「適切」の内視鏡位置判定情報を示すメッセージが観察支援情報表示欄７３に表示されている。

図５に例示するガイド画像７１に表示されている医用画像７２（中咽頭画像）には、舌根部Ｒｌ、喉頭蓋Ｅｇ、声門裂Ｒｇ、声帯ヒダＶｏｆ、梨状陥凹Ｐｓ、咽頭後壁Ｐｗ等の中咽頭における解剖学的構造が含まれる。「適切」と出力される中咽頭画像がどのような医用画像であるかについての詳細は後述する。

一方、中咽頭観察支援アルゴリズムが、内視鏡２２の先端部２２ｄの位置が不適切であることを示す「不適切」の内視鏡位置判定情報を出力した場合、報知制御部７０は、図６に示すガイド画像７１を生成し、ディスプレイに表示する。観察支援情報表示欄７３が設けられる。図６に示すガイド画像７１の例では、「不適切」の内視鏡位置判定情報を示すメッセージが、観察支援情報表示欄７３に表示されている。なお、図６に示すガイド画像７１の医用画像７２（中咽頭画像）は、喉頭に接近し過ぎている画像であるため、「不適切」と判定されている。

なお、報知制御部７０は、中咽頭観察支援アルゴリズムが「適切」あるいは「不適切」の内視鏡位置判定情報を出力した場合、音声指示情報として「適切な位置です」、「不適切な位置です」といった音声メッセージや、「適切」「不適切」それぞれに紐づけられた警報音等をスピーカーから発する制御を行ってもよい。また、このような音声メッセージを、図６に示すガイド画像７１と同時に発するようにしてもよい。あるいは、中咽頭観察支援アルゴリズムが出力する内視鏡位置判定情報の「適切」「不適切」いずれかに対してのみ、音声メッセージを発さないように予め設定してもよい。

以下、観察対象識別アルゴリズムが、「観察支援対象外」の観察対象識別情報を出力した場合の観察支援情報の報知について説明する。この場合、観察支援アルゴリズム選択部５０は、特定観察支援アルゴリズムとして、観察支援対象外観察支援アルゴリズムを選択する。観察支援対象外観察支援アルゴリズムは、「観察支援対象外」と識別された医用画像（観察支援対象外画像）の画像処理を行い、観察支援情報として、観察支援を停止すること示す観察支援停止情報を出力する。

この場合、報知制御部７０は、図７に示すガイド画像７１を生成する。図７に示すガイド画像７１の例では、観察支援（Computer Aided Diagnosis/Detection, ＣＡＤ）を停止していることを示す「ＣＡＤ ＯＦＦ」の観察支援停止情報を示すメッセージが、観察支援情報表示欄７３に表示されている。なお、図７に例示するガイド画像７１は、医用画像７２がブレている画像であるため、観察対象識別アルゴリズムによって「観察支援対象外」と出力され、また、観察支援対象外観察支援アルゴリズムによって観察支援停止情報が出力された結果として報知制御部７０が生成したガイド画像である。

上記構成により、モダリティ２０又はデータベース１１から送信される医用画像に含まれる観察対象の部位に応じて、観察支援情報を出力することができる。また、観察に適さない医用画像を観察支援対象外と識別し、このような医用画像が取得されるシーンに応じた特定観察支援アルゴリズムを選択した上で観察支援情報を出力することができる。

また、本実施形態においては、観察対象識別アルゴリズムが、観察支援対象部位として、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道を識別することができる。この構成は、複数の観察部位において内視鏡２２を適切な位置に保持した上で観察を行う必要がある嚥下内視鏡検査に特に好適である。

嚥下内視鏡検査は、嚥下障害の評価方法（嚥下機能評価検査）に用いられる手法のひとつである。嚥下とは、図８に示すような、食物や飲物を口に入れ、咀嚼し、飲み込み、食道へ送り込む一連の動作のことである。図８に示す正常な嚥下運動の例では、図８（Ａ）に示す、食物Ｆを主に舌Ｔоの運動により口腔から咽頭へ運ぶ「口腔期」、次いで、図８（Ｂ）に示す、食物Ｆを嚥下反射により咽頭から食道Ｅｓへ運ぶ「咽頭期」、次いで、図８（Ｃ）に示す、食物Ｆを食道の蠕動運動により食道Ｅｓから胃へ運ぶ「食道期」に遷移する。嚥下の際は、食物Ｆを食道Ｅｓへ向かわせて気管Ｔｒへ流入させないため、気管Ｔｒに蓋をする役割を担う喉頭蓋Ｅｇが、反射運動により気管Ｔｒの入り口（声門Ｖｃ）を閉鎖する。また、口腔の天井である軟口蓋Ｓｐも後方へ移動して口腔と鼻腔の通路を閉鎖し、食道Ｆが鼻腔へ侵入しないようにする。

高齢や神経系の疾患等に伴い、食物や飲物がうまく飲み込めなくなる状態のことを嚥下障害という。嚥下内視鏡検査では、嚥下障害の発生の有無、また、嚥下障害の原因について調べるため、複数の観察位置から嚥下の状態を観察することが推奨されている。複数の観察位置とは、図９（Ａ）、図９（Ｂ）及び図９（Ｃ）に示すような、上咽頭、中咽頭及び下咽頭を観察するための、３か所の内視鏡２２の位置である。内視鏡２２を経鼻的に挿入し、上咽頭、中咽頭、下咽頭の順に観察する場合は、図９（Ａ）、図９（Ｂ）、図９（Ｃ）の順に先端部２２ｄを移動させることになる。上咽頭の観察位置は図９（Ａ）のような位置である。中咽頭の観察位置は図９（Ｂ）のような位置である。下咽頭の観察位置は図９（Ｃ）のような位置である。

適切な診断のためには、図９（Ａ）、図９（Ｂ）及び図９（Ｃ）に示すような、嚥下に関わる部位ごとに先端部２２ｄを配置する必要がある。教科書、ガイドライン等には、このような部位ごとに異なる適切な配置位置が示されている。しかし、その位置に先端部２２ｄを配置するための適切な内視鏡２２の操作の手順は医師の経験に依存するものであり、また、被検体によっても適切な内視鏡２２の操作方法は異なる。このため、適切な観察位置に内視鏡２２を配置すること、また適切な観察位置へのアプローチは、熟練者以外には困難である。

本実施形態により、上咽頭、中咽頭又は下咽頭を観察するための位置に、先端部２２ｄが適切に配置されているかどうかの判断に関する支援、加えて、それぞれの適切な観察位置に移動させるための内視鏡２２の操作に関する支援を、部位ごとに自動的に行うことができる。このため、嚥下内視鏡検査に関して経験の少ない医師でも、指針に沿って観察を行えるように観察支援することができる。

このように、嚥下内視鏡検査では、ユーザーが観察したい部位によって、現在位置が適切な位置かどうかの判断結果、また、適切な位置への内視鏡２２の操作ガイドの内容は異なることから、本実施形態のように部位ごとに異なる観察支援アルゴリズムが選択されることが好ましい。嚥下内視鏡検査において１つの観察支援アルゴリズムを用いた場合、中咽頭の観察には適切な位置が写る医用画像であっても、下咽頭の観察には声門が遠すぎるため不適切と判定されてしまう問題が想定される。同様に、下咽頭の観察には適切な位置が写る医用画像であっても、中咽頭の観察には声門が近すぎるため不適切と判定されてしまうことが想定される。本実施形態では、観察対象を識別した上で複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択するため、１つの観察支援アルゴリズムを用いた場合における判定結果の矛盾を防ぐことができる。

また、観察対象を識別した上で特定観察支援アルゴリズムを選択する構成により、中咽頭と下咽頭のいずれの観察を目的としているかによって、声門を近景観察する方向（奥方向）に向かって内視鏡２２を進める方向へのガイドと、声門を遠景観察する方向（手前方向）に向かって内視鏡２２を手前に引く方向へのガイドとのいずれのガイドを実行するかを自動的に切り替えることができる。本実施形態により、ユーザーの観察目的に応じた最も適切な観察支援を行うことができる。

さらに、上咽頭、中咽頭又は下咽頭の観察のため先端部２２ｄを適用な位置に微調整する期間に加えて、内視鏡２２を前鼻孔から上咽頭に移動させるまでの先端部２２ｄが鼻腔にある期間において、最も適切な観察支援アルゴリズムへの自動切り替えを行うことができる。

加えて、図１０及び図１１に示すように、内視鏡２２を誤って食道Ｅｓ（図１０）又は気管Ｔｒ（図１１）まで挿入してしまった場合は、内視鏡２２を直ちに手前に引いて咽頭まで戻す必要がある。このような場合においても、最も適切な観察支援アルゴリズムに自動的に切り替え、内視鏡２２の引き抜きを行うための観察支援を行うことができる。

観察支援対象部位を識別する観察対象識別アルゴリズムは、医師が観察に適していると判断した鼻腔、上咽頭、中咽頭又は下咽頭が写る医用画像を正解画像として学習された学習済みモデルであることが好ましい。また、このような学習済みモデルを生成する場合、経鼻的に内視鏡２２が挿入される順に、鼻腔、上咽頭、中咽頭、下咽頭と、観察対象が切り替わる一連の動画像を学習用画像として用いることがさらに好ましい。また、下咽頭、中咽頭、上咽頭、鼻腔と、内視鏡２２が抜去される順に観察対象が切り替わる一連の動画像が学習用画像に含まれることがさらに好ましい。さらに、口腔、中咽頭、下咽頭と、経口的に内視鏡２２が挿入される順に観察対象が切り替わる一連の動画像が学習用画像に含まれることがさらに好ましい。このように、内視鏡２２の挿入又は抜去において通過する部位の順番について時系列的に重みづけがされている学習用画像を用いて学習済みモデルを生成することで、観察対象識別アルゴリズムの観察支援対象部位の識別の精度を向上させることができる。

観察支援アルゴリズムが出力する観察支援情報の例について、以下、説明する。観察支援情報には、内視鏡位置判定情報、内視鏡操作情報、被検者体位情報及び観察支援停止情報が含まれる。

内視鏡位置判定情報は、内視鏡２２の先端部２２ｄの位置が「適切」又は「不適切」であることを示す情報である。内視鏡位置判定情報は、観察支援アルゴリズムのうち、後述する中咽頭位置判定アルゴリズム及び下咽頭位置判定アルゴリズムが出力する情報である。中咽頭及び下咽頭における内視鏡位置判定情報の報知の具体例については後述する。

内視鏡操作情報は、内視鏡の操作方法を示す情報である。具体的には、内視鏡２２の先端部２２ｄの移動方向及び／又は移動量を示す情報である。先端部２２ｄの移動方向には、右方向、左方向、上方向、下方向、奥方向、手前方向、右旋回又は左旋回が含まれる。内視鏡操作情報を出力する観察支援アルゴリズムは、後述する鼻腔操作支援アルゴリズム、上咽頭操作支援アルゴリズム、中咽頭操作支援アルゴリズム、下咽頭操作支援アルゴリズム及び誤挿入操作支援アルゴリズムである。鼻腔、上咽頭、中咽頭、下咽頭、食道及び気管における内視鏡操作情報の報知の具体例については後述する。

被検者体位情報は、観察に適した医用画像を得るために推奨される被検者の体位の変更又は確認を、ユーザーに対して促す情報である。具体的には、頭頚部の屈曲（前屈）、伸展（後屈）又は回旋の角度、体幹に対する顎の角度、体幹の向き等の被検者の体位、あるいは姿勢を変える事について指示し、又はこれらの確認を促す情報である。被検者体位情報を出力する観察支援アルゴリズムは、後述する中咽頭操作支援アルゴリズム及び下咽頭操作支援アルゴリズムである。内視鏡検査では、術者による内視鏡２２の操作のみでは適切な観察位置に先端部２２ｄを保持できないことがある。このため、被検者体位情報を報知することにより、医師が被検者の姿勢を適切にすること、又は被検者自身が姿勢を適切にすることを促し、先端部２２ｄを適切な観察位置に移動することを支援できる。

観察支援停止情報は、観察支援を停止することを示す情報である。観察支援停止情報を出力する観察支援アルゴリズムは、後述する観察支援対象外操作支援アルゴリズムである。観察支援停止情報の報知としては、ガイド画像において「ＣＡＤ ＯＦＦ」等の観察支援停止情報を示すメッセージを表示する（図７参照）。また、内視鏡位置判定情報、内視鏡操作情報、被検者体位情報等の観察支援情報の報知の停止によって報知を行う。

以下、医用画像から識別された観察支援対象部位が鼻腔、上咽頭、中咽頭、下咽頭、食道又は気管の場合、加えて、医用画像が観察支援対象外と識別された場合について、用いられる観察支援アルゴリズム、観察支援アルゴリズムが出力する観察支援情報及び観察支援情報の報知の方法について、それぞれ具体例を挙げながら説明する。

まず、観察支援アルゴリズムについて説明する。観察支援アルゴリズムには、位置判定アルゴリズム及び操作支援アルゴリズムが含まれるが、観察対象識別情報に応じて選択された特定観察支援アルゴリズムによって、用いるアルゴリズムを切り替える。具体的には、観察対象識別情報が「鼻腔」、「上咽頭」、「食道」、「気管」又は「観察支援対象外」と出力された場合、観察支援アルゴリズムとして操作支援アルゴリズムを用いる。一方、観察対象識別情報が「中咽頭」又は「下咽頭」と出力された場合、観察支援アルゴリズムとして、位置判定アルゴリズム及び操作支援アルゴリズムを用いる。以下、部位ごとに具体的に説明する。

観察支援対象部位が鼻腔の場合、鼻腔観察支援情報生成部６０ａが備える鼻腔観察支援アルゴリズムが、特定観察支援アルゴリズムとして選択される。鼻腔観察支援アルゴリズムは、操作支援アルゴリズムである。観察支援対象部位が鼻腔の場合に用いる操作支援アルゴリズムを、鼻腔操作支援アルゴリズムと呼ぶ。

観察支援対象部位が上咽頭の場合、上咽頭観察支援情報生成部６０ｂが備える上咽頭観察支援アルゴリズムが、特定観察支援アルゴリズムとして選択される。上咽頭観察支援アルゴリズムは、操作支援アルゴリズムである。観察支援対象部位が上咽頭の場合に用いる操作支援アルゴリズムを、上咽頭操作支援アルゴリズムと呼ぶ。

観察支援対象部位が中咽頭の場合、中咽頭観察支援情報生成部６０ｃが備える中咽頭観察支援アルゴリズムが、特定観察支援アルゴリズムとして選択される。中咽頭観察支援アルゴリズムは、位置判定アルゴリズム及び操作支援アルゴリズムの組み合わせで構成される。観察支援対象部位が中咽頭の場合に用いる位置判定アルゴリズムを、中咽頭位置判定アルゴリズムと呼ぶ。観察支援対象部位が中咽頭の場合に用いる操作支援アルゴリズムを、中咽頭操作支援アルゴリズムと呼ぶ。

観察支援対象部位が下咽頭の場合、下咽頭観察支援情報生成部６０ｄが備える下咽頭観察支援アルゴリズムが、特定観察支援アルゴリズムとして選択される。下咽頭観察支援アルゴリズムは、位置判定アルゴリズム及び操作支援アルゴリズムの組み合わせで構成される。観察支援対象部位が中咽頭の場合に用いる位置判定アルゴリズムを、下咽頭位置判定アルゴリズムと呼ぶ。観察支援対象部位が中咽頭の場合に用いる操作支援アルゴリズムを、下咽頭操作支援アルゴリズムと呼ぶ。

観察支援対象部位が食道又は気管の場合、誤挿入観察支援情報生成部６０ｅが備える誤挿入観察支援アルゴリズムが、特定観察支援アルゴリズムとして選択される。誤挿入観察支援アルゴリズムは、操作支援アルゴリズムである。観察支援対象部位が気管又は食道の場合に用いる操作支援アルゴリズムを、誤挿入操作支援アルゴリズムと呼ぶ。

医用画像が観察支援対象外と識別された場合、観察支援対象外観察支援情報生成部６０ｆが備える観察支援対象外観察支援アルゴリズムが、特定観察支援アルゴリズムとして選択される。観察支援対象外観察支援アルゴリズムは、操作支援アルゴリズムである。医用画像が観察支援対象外と識別された場合に用いる操作支援アルゴリズムを、観察支援対象外操作支援アルゴリズムと呼ぶ。

以下、鼻腔操作支援アルゴリズムが出力する観察支援情報及び観察支援情報の報知について説明する。鼻腔操作支援アルゴリズムは、前鼻孔から上咽頭に至るまでの、内視鏡２２の適切な挿入ルートを示すことで観察支援を行うための操作支援アルゴリズムである。

経鼻的な内視鏡２２の挿入ルートには２つあり、一方は、図１２に示すように、前鼻孔から、総鼻道のうち中鼻甲介Ｍｔ、鼻中隔Ｎｓ及び下鼻甲介Ｉｔに囲まれた領域を通って後鼻孔に至る上ルート９０である。もう一方は、図１２に示すように、前鼻孔から、総鼻道のうち下鼻甲介Ｉｔ、鼻中隔Ｎｓ及び鼻腔底Ｎｆに囲まれた領域を通って後鼻孔に至る下ルート９１である。

ヒトの顔面Ｆａを正面から見た場合の上ルートにおいて内視鏡２２を挿入する領域は、図１３に示すような、中鼻甲介Ｍｔ、鼻中隔Ｎｓ及び下鼻甲介Ｉｔに囲まれた領域９０ａである。下ルートにおいて内視鏡２２を挿入する領域は、図１３に示すような、下鼻甲介Ｉｔ、鼻中隔Ｎｓ及び鼻腔底Ｎｆに囲まれた領域９１ａである。図１３では、内視鏡２２が通過する可能性がある「鼻腔」とする領域をドット模様で示している。鼻腔には、総鼻道並びに総鼻道と連続する内視鏡２２の挿入には適さない上鼻道、中鼻道及び下鼻道を含む。

上ルートを通過中に撮影される医用画像（以下、上ルート画像１００と呼ぶ。）の例を、図１４に示す。また、下ルートを通過中に撮影される医用画像（以下、下ルート画像１１０と呼ぶ。）の例を、図１５に示す。さらに、後述する上ルート挿入領域及び下ルート挿入領域の両方が観察対象に含まれる医用画像（以下、前鼻画像１２０と呼ぶ。）の例を図１６に示す。前鼻画像は、鼻腔の領域の中でも、前鼻孔に近い位置で撮影された医用画像である。

なお、図１４、図１５及び図１６は、被検者の左の鼻腔を撮影した医用画像の例であり、紙面の上側が被検者の頭側、紙面の下側が被検者の尾側、紙面の右側が被検者の左側、紙面の左側が被検者の右側を示している。学習済みモデルとしての観察対象識別アルゴリズムは、図１４に示すような上ルート画像１００、図１５に示すような下ルート画像１１０及び図１６に示すような前鼻画像１２０を、「鼻腔」の学習用画像として用いて学習されている。また、右の鼻腔と左の鼻腔のそれぞれについて上ルート及び下ルートを通過中に撮影された医用画像（上ルート画像及び／又は下ルート画像）を用いることにより、学習済みモデルとしての観察対象識別アルゴリズムの学習がなされている。

以下、上ルート画像が鼻腔操作支援アルゴリズムに入力された場合について説明する。鼻腔操作支援アルゴリズムは、図１４に示すような上ルート画像が入力された場合、まず、図１７に示すような、中鼻甲介Ｍｔ、鼻中隔Ｎｓ及び下鼻甲介Ｉｔに囲まれた、内視鏡２２の挿入に適した領域である上ルート挿入領域９２を、挿入領域情報として出力する。

上ルート挿入領域を出力する鼻腔操作支援アルゴリズムは、医用画像に対するセグメンテーションを行い、上ルート挿入領域を出力する学習済みモデルであることが好ましい。上ルート挿入領域を出力する学習済みモデルは、予め医師によって上ルート挿入領域がクラス分けされた正解画像を含む学習用画像を用いて学習を行うことによって生成されることが好ましい。このような学習済みモデルの生成に適用する学習モデルとしては、ＰＳＰｎｅｔ（Pyramid Scene Parsing Network）を適用することが好ましく、また、ＳＰＰｎｅｔ（Spatial Pyramid Pooling Network）等、他のセグメンテーションに好適である学習モデルを用いてもよい。なお、鼻腔操作支援アルゴリズムは、教師なし学習を適用した学習モデルを学習することによって生成された学習済みモデルでもよい。

次に、鼻腔操作支援アルゴリズムは、上ルート挿入領域を示す挿入領域情報を用いて、挿入ルート情報を出力する。挿入ルート情報とは、内視鏡２２の挿入部２２ａをスムーズに体内に挿入していくために用いる情報である。具体的には、挿入ルート情報は、上ルート画像が鼻腔操作支援アルゴリズムに入力される場合、上ルート挿入領域の中心位置の座標情報である。また、上ルート挿入領域の面積又は幅としてもよい。

上ルート挿入領域の中心位置の座標は、上ルート挿入領域の重心又は幾何中心である。上ルート挿入領域の幾何中心は、例えば、上ルート挿入領域の周縁を構成するピクセルから任意の数点の座標を取り、一般的な多角形の幾何中心の算出方法によって求められる。例えば、上ルート挿入領域のピクセル数をｋ個とし、上ルート挿入領域のうち、任意の点を原点として、ｉ番目のピクセルの座標を（x_i, y_i）とする場合、各座標の総和をピクセル数kで割った値を幾何中心とする。すなわち、（上ルート挿入領域の幾何中心のx座標）= Σ（x_i）／k、（上ルート挿入領域の幾何中心のy座標）= Σ（y_i）／kとして算出することができる。上ルート挿入領域の中心位置の座標情報を求める方法は、これに限られない。例えば、上ルート挿入領域を矩形で囲む処理を行い、その矩形の中心位置の座標としてもよい。上ルート挿入領域を構成するピクセルから任意の２点の座標を取り、その２点間の距離のうち、最も長いものの中点を中心位置の座標としてもよい。

上ルート挿入領域の面積は、セグメンテーションによって上ルート挿入領域にクラス分けされた領域の面積を算出する方法によって算出される。上ルート挿入領域の幅とは、上ルート挿入領域を構成するピクセルから任意の２点の座標を取り、その２点間の距離のうち、最も長いものを指す。

以下、観察支援情報の報知を行う例について説明する。まず、挿入ルート情報を上ルート挿入領域の中心位置の座標とする例について説明する。鼻腔操作支援アルゴリズムは、図１７に示すような上ルート挿入領域９２を出力し、次いで、上ルート挿入領域９２の中心位置の座標を挿入ルート情報として出力し、報知制御部７０に送信する。報知制御部７０は、図１８に示すようなガイド画像７１を生成し、ディスプレイに表示する制御を行う。

図１８に示すガイド画像７１の例では、上ルート挿入領域９２の中心位置の座標を示す挿入ルートガイドマーク９４と、上ルート画像１００の中心位置を示す画像中心ガイドマーク９５（十字のマーク）と、画像中心ガイドマーク９５を視認しやすくするガイド枠９６と、が表示されている。この場合、挿入ルートガイドマーク９４の位置を、画像中心ガイドマーク９５に合わせるような内視鏡２２の操作をユーザーが行うことによって、先端部２２ｄを理想的な挿入位置とすることができる。

上ルートにおける理想的な挿入位置とは、上ルート挿入領域の中心位置が医用画像の中心位置付近となり、上ルート挿入領域の幅が医用画像の上下方向に伸びるように配置される位置である。具体的には、リアルタイムに観察される医用画像において、中鼻甲介Ｍｔ及び鼻中隔Ｎｓが医用画像の左右に、下鼻甲介Ｉｔが医用画像の下となる先端部２２ｄの位置が、理想的な挿入位置である。

内視鏡２２の先端部２２ｄが、挿入ルートガイドマーク９４と画像中心ガイドマーク９５とが重なる理想的な挿入位置に配置された場合は、ユーザーが、先端部２２ｄを鼻腔の奥側に向かって進める（先端部２２ｄを押し込む）ことにより、スムーズに先端部２２ｄを挿入することができる。このため、図１８に示すような、挿入ルートガイドマーク９４と、画像中心ガイドマーク９５とが表示されるガイド画像７１を表示することにより、ユーザーがスムーズに先端部２２ｄを挿入するための観察支援を行うことができる。結果として、内視鏡２２の挿入に伴う被検者の苦痛を軽減することができる。

なお、図１８では、上ルート挿入領域９２を描写しているが、上ルート挿入領域９２は、ガイド画像７１に表示してもしなくてもよい。また、画像中心ガイドマーク９５は、ガイド画像７１の固定の位置に表示される。また、この場合、報知制御部７０は、鼻腔操作支援アルゴリズムから送信される挿入ルート情報を、観察支援情報として報知を行っている。ガイド画像７１には、挿入領域情報として、上ルート挿入領域の他に、後述する下ルート挿入領域、声門の領域、喉頭蓋の領域及び声門ヒダの領域を表示するようにしてもよい。また、後述する報知表示切り替えボタン又は操作部２２ｂの操作により、ガイド画像７１における挿入領域情報の、表示と非表示とを切り替えられるようにしてもよい。

鼻腔操作支援アルゴリズムは、上ルート挿入領域の中心位置の座標である挿入ルート情報を用いることにより、内視鏡操作情報を生成し、内視鏡操作情報を観察支援情報として報知するようにしてもよい。この場合、鼻腔操作支援アルゴリズムは、先端部２２ｄを移動させるための移動方向及び移動量を示すベクトルを内視鏡操作情報として出力する。ベクトルとしての内視鏡操作情報は、上ルート挿入領域９２の中心位置の座標から上ルート画像１００の中心位置の座標までの方向と距離である。ベクトルの算出は、上ルート挿入領域９２の中心位置の座標の情報と、上ルート画像１００の中心位置の座標の情報との差分を算出することで行われる。鼻腔操作支援アルゴリズムが出力した内視鏡操作情報は、報知制御部７０に送信される。

この場合、報知制御部７０は、図１９に示すようなガイド画像７１を生成し、ディスプレイに表示する制御を行う。図１９に示すガイド画像７１の例では、画像中心ガイドマーク９５と、ガイド枠９６と、ガイド矢印１０２ａとが表示されている。ガイド矢印１０２は、内視鏡操作情報に基づいて生成される、画像中心ガイドマーク９５（上ルート挿入領域の中心位置の座標）から画像中心ガイドマーク９５（上ルート画像の中心位置の座標）までの、先端部２２ｄを移動させるための移動方向及び移動量を示す矢印型の表示である。ガイド矢印１０２を、図１９に示すガイド画像７１よりも、大きく又は小さく表示することにより、先端部２２ｄの移動量が大きい又は小さいことを示してもよい。例えば、ガイド矢印１０２の長さで移動量の大きさを示すことができる。図１９に示すようなガイド画像７１を表示することで、ガイド矢印により、先端部２２ｄの移動方向と移動量をユーザーに示すことができる。

鼻腔操作支援アルゴリズムが出力した内視鏡操作情報を報知する他の例について説明する。例えば、図１４に示すような上ルート画像を鼻腔操作支援アルゴリズムに入力した場合、報知制御部７０は、図２０に示すようなガイド画像７１を生成する。図２０に示すガイド画像７１の例では、上ルート画像１００の周囲に、ガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが表示されている。ガイド画像７１では、理想的な挿入ルートに応じて、例えば、それぞれのガイド方向表示アイコンの表示態様を異ならせることで先端部２２ｄの移動方向を示す。具体的には、内視鏡操作情報として、先端部２２ｄの移動方向が「上方向」と出力された場合、図２０に示す例のように、ガイド方向表示アイコン１０１ｄと、ガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃの色を異ならせて表示する。なお、図２０に示す例では、斜線の有無によってガイド方向表示アイコンの色が異なることを示し、上方向に内視鏡２２を操作することを示している。

また、内視鏡操作情報として、先端部２２ｄの移動方向として「左下方向」とする場合、図２１に示すガイド画像７１の例のように、左方向のガイド方向表示アイコン１０１ｂ及び下方向のガイド方向表示アイコン１０１ｃと、右方向のガイド方向表示アイコン１０１ｂ及び上方向のガイド方向表示アイコン１０１ｄと、の色をそれぞれ異ならせて表示する。ガイド方向表示アイコンの表示態様はこれに限られない。

また、内視鏡操作情報として、先端部２２ｄを湾曲移動させるためのアングルノブ２２ｅの操作を示す内視鏡操作支援図をガイド画像７１に表示してもよい。図２２に示すガイド画像７１では、先端部２２ｄの移動方向として「左下方向」に進むためのアングルノブ２２ｅの操作を示す内視鏡操作支援図１０３ａが表示されている。なお、図２２に示す内視鏡操作支援図１０３ａでは、湾曲部２２ｃを左右方向に湾曲させるための外側のレバー１０３ｂと、湾曲部２２ｃを上下方向に湾曲させるための内側のレバー１０３ｃとを反時計回りに回転させる操作指示の例を示している。

また、図２３に示すガイド画像７１では、先端部２２ｄの移動方向として「左旋回」するためのアングルノブ２２ｅの操作を示す内視鏡操作支援図１０３ａが表示されている。図２３に示すガイド画像７１における内視鏡操作支援図１０３ａでは、術者から見て左側にアングルノブ２２ｅが配置されるように描いた図である。なお、ガイド方向表示アイコン、矢印表示、ガイド矢印、内視鏡操作支援図を組み合わせてガイド画像に表示するようにしてもよい。上記構成により、鼻腔における理想的な内視鏡の挿入ルートをユーザーに対して自動的に報知することができる。なお、内視鏡２２の移動方向や移動量に関して、音声によって報知を行うようにしてもよい。

以下、挿入ルート情報を上ルート挿入領域の面積又は幅とする場合の観察支援情報の報知の例について説明する。この場合、鼻腔操作支援アルゴリズムが出力する挿入ルート情報に応じて、上ルート挿入領域の表示態様を変更するようにしてもよい。例えば、上ルート挿入領域の面積に対して、挿入領域表示用第１閾値と、挿入領域表示用第１閾値より小さい挿入領域表示用第２閾値とを設ける。ガイド画像７１の上ルート挿入領域の表示態様としては（例えば、図１８における上ルート挿入領域９２の表示態様）、上ルート挿入領域の面積が、挿入領域表示用第１閾値より大きければ青、挿入領域表示用第１閾値以下であり、挿入領域表示用第２閾値より大きければ黄色、挿入領域表示用第２閾値以下であれば赤、と表示する。すなわち、上ルート挿入領域の面積が大きい順に、青、黄色、赤、と表示を切り替える。なお、挿入領域表示用第１閾値及び挿入領域表示用第２閾値は任意の値に設定できる。また、上ルート挿入領域表示の表示態様はこれに限られない。さらに、上ルート挿入領域の幅に対して、挿入領域表示用第１閾値及び挿入領域表示用第２閾値を設定してもよい。この場合、報知制御部７０は、鼻腔操作支援アルゴリズムから送信される挿入ルート情報を観察支援情報として報知を行っている。

内視鏡２２の挿入中に取得される上ルート画像の中には、鼻腔操作支援アルゴリズムが上ルート挿入領域を出力することができない画像が含まれることがある。例えば、理想的な挿入位置から大きくずれているため、リアルタイムに取得される上ルート画像に、上ルート挿入領域が映らない、又は映っていても上ルート挿入領域が小さすぎる場合がある。このような、上ルート挿入領域が映らない上ルート画像、又は上ルート挿入領域が小さすぎる上ルート画像と、理想的な挿入位置までの先端部２２ｄの移動方向又は移動量（すなわち、内視鏡操作情報）とが対応付けられた学習用画像を用いて、鼻腔操作支援アルゴリズムを学習済みモデルとしてもよい。この場合、上ルート挿入領域が映らない上ルート画像、又は上ルート挿入領域が小さすぎる上ルート画像が入力された鼻腔操作支援アルゴリズムは、内視鏡操作情報を出力する。

なお、上ルート挿入領域を出力する鼻腔操作支援アルゴリズムを、第１鼻腔操作支援アルゴリズムとし、さらに、上ルート挿入領域が映らない上ルート画像、又は上ルート挿入領域が小さすぎる上ルート画像を入力することにより、内視鏡操作情報を出力する鼻腔操作支援アルゴリズムを、第２鼻腔操作支援アルゴリズムとしてもよい。第１鼻腔操作支援アルゴリズム及び／又は第２鼻腔操作支援アルゴリズムに、最新の医用画像を入力するようにしてもよい。

また、学習モデルとしての鼻腔操作支援アルゴリズムの学習において、鼻腔操作支援アルゴリズムに入力された上ルート画像のオリエンテーション（上下左右方向）が予め判別された学習用画像を用いることが好ましい。また、鼻腔操作支援アルゴリズムの学習において、パラメータの更新は、オリエンテーションを考慮してなされることが好ましい。また、学習用画像と理想的な挿入位置との対応付けを行う場合、対応付けは、オリエンテーションを考慮してなされることが好ましい。後述する下ルート画像及び前鼻画像についても同様である。

上記構成により、経鼻的な内視鏡の挿入に不慣れな術者に対して、内視鏡の挿入がしやすいルートを選択できていることの確認を促すことができる。また、被検者の鼻腔の内部構造によって、上ルート挿入領域には個人差がある。上記構成により、上ルート挿入領域が小さい被検者である場合に、術者に内視鏡の挿入に関する注意を促し、内視鏡の挿入に伴う被検者の痛みを軽減する挿入ルートの選択を促すことができる。

以下、下ルート画像が鼻腔操作支援アルゴリズムに入力された場合について説明する。鼻腔操作支援アルゴリズムは、図１５に示すような下ルート画像が入力された場合、まず、図２４に示すような、下鼻甲介Ｉｔ、鼻中隔Ｎｓ及び鼻腔底Ｎｆに囲まれた、内視鏡２２の挿入に適した領域である下ルート挿入領域９３を、挿入領域情報として出力する。下ルート挿入領域９３は、上ルート挿入領域（図１７参照）と同様に、セグメンテーションを行う学習済みモデルとしての鼻腔操作支援アルゴリズムによってクラス分けされる領域である。

次に、鼻腔操作支援アルゴリズムは、下ルート挿入領域を示す挿入領域情報を用いて、挿入ルート情報を出力する。挿入ルート情報は、下ルート画像が鼻腔操作支援アルゴリズムに入力される場合、下ルート挿入領域の中心位置の座標情報である。また、下ルート挿入領域の面積又は幅としてもよい。下ルート挿入領域の中心位置の座標は、下ルート挿入領域の重心又は幾何中心である。下ルート挿入領域の中心位置の算出方法は、上ルート挿入領域の中心位置の算出方法と同様であるため省略する。また、下ルート挿入領域の面積又は幅の算出方法についても、上ルート挿入領域の中心位置の算出方法と同様であるため省略する。

下ルート画像が鼻腔操作支援アルゴリズムに入力された場合の、観察支援情報の報知の方法は、上ルート画像が鼻腔操作支援アルゴリズムに入力された場合と同様であるため、詳しい例は省略する。簡単に説明すると、挿入ルート情報を下ルート挿入領域の中心位置の座標とする場合、挿入ルート情報を観察支援情報として、図１８に示すような、挿入ルートガイドマーク９４及び画像中心ガイドマーク９５が表示されるガイド画像７１を表示する制御が行われる。

なお、下ルートにおける理想的な挿入位置とは、下ルート挿入領域の中心位置が医用画像の中心位置付近となり、下ルート挿入領域の幅が医用画像の上下方向に伸びるように配置される位置である。具体的には、リアルタイムに観察される医用画像において、下鼻甲介Ｉｔ及び鼻中隔Ｎｓが医用画像の左右に、鼻腔底Ｎｆが医用画像の下となる先端部２２ｄの位置が、理想的な挿入位置である。

また、挿入ルート情報を下ルート挿入領域の中心位置の座標とする場合、鼻腔操作支援アルゴリズムが挿入ルート情報を用いることによって内視鏡操作情報を出力してもよい。内視鏡操作情報は、図１９に示すような、画像中心ガイドマーク９５及びガイド矢印１０２ａが表示されるガイド画像７１、図２０に示すような、ガイド方向表示アイコンが表示されるガイド画像７１、又は図２１及び図２２に示すような、内視鏡操作支援図が表示されるガイド画像７１として報知される。内視鏡操作情報の出力方法は、上ルート画像が鼻腔操作支援アルゴリズムに入力された場合と同様である。

挿入ルート情報を下ルート挿入領域の面積又は幅とする場合、また、下ルート挿入領域が映らない下ルート画像又は下ルート挿入領域が小さすぎる下ルート画像が鼻腔操作支援アルゴリズムに入力された場合の観察支援情報の出力及び報知の方法も、上ルート画像が鼻腔操作支援アルゴリズムに入力された場合と同様である。

以下、前鼻画像が鼻腔操作支援アルゴリズムに入力された場合について説明する。鼻腔操作支援アルゴリズムは、図１６に示すような前鼻画像１２０が入力された場合、まず、図２５に示すような、内視鏡２２の挿入に適した中鼻甲介Ｍｔ、鼻中隔Ｎｓ及び下鼻甲介Ｉｔに囲まれた上ルート挿入領域９２、並びに、下鼻甲介Ｉｔ、鼻中隔Ｎｓ及び鼻腔底Ｎｆに囲まれた下ルート挿入領域９３を、挿入領域情報として出力する。なお、図２５に示す前鼻画像１２０の例では、鼻腔側壁Ｎｗと反対側（つまり鼻中隔Ｎｓ側）の、総鼻道につながる領域（図１３参照）が上ルート挿入領域９２として検出されている。すなわち、鼻腔操作支援アルゴリズムは、前鼻画像１２０の入力により、上ルート及び下ルートの両方について、内視鏡２２の挿入に適した領域を出力する。この場合、上ルート挿入領域９２及び下ルート挿入領域９３は、セグメンテーションの結果としてそれぞれ異なるクラスにクラス分けされる。

次に、鼻腔操作支援アルゴリズムは、入力された前鼻画像においてクラス分けがされた挿入領域情報（上ルート挿入領域及び下ルート挿入領域）を用いて、上ルート挿入領域及び下ルート挿入領域のそれぞれについて挿入ルート情報を出力する。挿入ルート情報の出力方法については、上ルート画像１００又は下ルート画像１１０を用いる場合と同様であるため省略する。

次に、鼻腔操作支援アルゴリズムは、上ルート挿入領域及び下ルート挿入領域について、それぞれの挿入ルート情報を出力する。さらに、挿入ルート情報を用いて内視鏡操作情報を出力する。挿入ルート情報及び内視鏡操作情報の出力方法及びその好ましい実施態様については、上ルート画像又は下ルート画像を用いた挿入ルート情報及び内視鏡操作情報の出力方法と同様であるため省略する。

前鼻画像を鼻腔操作支援アルゴリズムに入力した場合の、観察支援情報の報知の例について説明する。挿入ルート情報を観察支援情報として報知する場合、報知制御部７０は、図２６に例示するようなガイド画像７１を生成する。図２６に示すガイド画像７１の例では、上ルート挿入領域９２の中心位置の座標を示す挿入ルートガイドマーク９４ａ、下ルート挿入領域９２の中心位置の座標を示す挿入ルートガイドマーク９４ｂ、前鼻画像１２０の中心位置を示す画像中心ガイドマーク９５及びガイド枠９６と、が表示されている。この場合、挿入ルートガイドマーク９４ａ又は挿入ルートガイドマーク９４ｂの位置を、画像中心ガイドマーク９５に合わせるような内視鏡２２の操作をユーザーが行うことによって、先端部２２ｄを理想的な挿入位置とすることができる。

また、内視鏡操作情報を観察支援情報として報知する場合、報知制御部７０は、図２７に例示するようなガイド画像７１を生成する。図２７に示すガイド画像７１の例では、前鼻画像１２０に、検出された上ルート挿入領域９２及び下ルート挿入領域９３が重畳表示されている。また、前鼻画像１２０の外側に、上ルート用操作表示欄１２１及び下ルート用操作表示欄１２２が表示されている。図２７に示す例では、上ルート用操作表示欄１２１に、上ルート挿入領域９２に対する内視鏡操作情報として「左下方向」の先端部２２ｄの移動方向が表示されている。また、下ルート用操作表示欄１２２には、下ルート挿入領域９３に対する内視鏡操作情報として「右上方向」の先端部２２ｄの移動方向がそれぞれ表示されている。

また、この場合、鼻腔操作支援アルゴリズムが出力する挿入ルート情報に応じて、上ルート挿入領域及び下ルート挿入領域の表示態様を変更するようにしてもよい。具体的には、上ルート挿入領域の面積に対して、挿入領域表示用第１閾値及び挿入領域表示用第２閾値を設け、上ルート挿入領域の面積が大きい順に、青、黄色、赤、と表示を切り替える。また、同様に、下ルート挿入領域の面積に対して、挿入領域表示用第１閾値及び挿入領域表示用第２閾値を設け、上ルート挿入領域の面積が大きい順に、青、黄色、赤、と表示を切り替える。図２７に示す例では、下ルート挿入領域９３と、上ルート挿入領域９２との表示色が異なることを、異なるハッチング（斜線）を付することで表している。上記構成により、経鼻的な内視鏡の挿入に不慣れな術者に対して、内視鏡の挿入がしやすい挿入ルートの選択を促すことができる。

以下、上咽頭操作支援アルゴリズムが出力する観察支援情報及び観察支援情報の報知について説明する。上咽頭操作支援アルゴリズムは、上咽頭において先端部２２ｄが適切な観察位置にあるか否かを示し、さらに、先端部２２ｄが適切な観察位置となるような内視鏡２２の操作について示すことで操作支援を行うための操作支援アルゴリズムである。

上咽頭は、後鼻孔及び咽頭円蓋Ｆｐから口蓋垂根部までの領域である。高さとしては、図２８に示すように、上咽頭Ｅｐは頭蓋底から硬口蓋と軟口蓋Ｓｐの移行部まで、中咽頭Ｍｐは硬口蓋と軟口蓋Ｓｐの移行部から喉頭蓋谷Ｅｖ底部まで、下咽頭Ｈｐは喉頭蓋谷Ｅｖ底部から輪状軟骨Ｃｃ下縁までである。なお、喉頭Ｌａは、喉頭蓋Ｅｇ舌面から輪状軟骨Ｃｃ下縁の高さにあり、喉頭蓋Ｅｇ、甲状軟骨Ｔｃ及び左右の披裂軟骨で囲まれる、斜線で示す領域である。内視鏡２２で喉頭を観察した場合には、図２８では点線で示す声門Ｖｃが認められる。

観察対象が上咽頭である医用画像（以下、上咽頭画像と呼ぶ。）の例を図２９に示す。図２９に示す例は、適切な観察位置に先端部２２ｄを配置した上咽頭画像１３０の例である（図９（Ａ）参照）。上咽頭における適切な観察位置とは、上咽頭の後壁Ｐｗｅ、左右の側壁Ｌｗ、下壁である鼻腔底Ｎｆ及び軟口蓋Ｓｐが観察できる位置である。なお、鼻腔底Ｎｆと軟口蓋Ｓｐは連続しており、内視鏡２２の挿入時又は抜去時において、手前側（鼻腔側）に鼻腔底Ｎｆ、奥側（咽頭側）に軟口蓋Ｓｐが観察される。この位置では、発声時及び嚥下時の軟口蓋の動きを観察できるため、発声時及び嚥下時の鼻咽腔閉鎖機能について評価を行うことができる。なお、図２９に示す上咽頭画像１３０の例のオリエンテーションは、紙面の上側が頭側、紙面の下側が尾側、紙面の手前側が腹側、紙面の奥側が背側である。

学習済みモデルとしての観察対象識別アルゴリズムは、図２９に示すような上咽頭画像を、「上咽頭」の学習用画像として用いて学習されている。

以下、上咽頭画像が上咽頭操作支援アルゴリズムに入力された場合について説明する。まず、上咽頭操作支援アルゴリズムは、図２９に示すような上咽頭画像が入力された場合、先端部２２ｄの位置が、適切位置にあること又は「右不適切位置」、「左不適切位置」、「上不適切位置」、「下不適切位置」、「奥不適切位置」、「手前不適切位置」等の不適切方向位置にあることを示す上咽頭位置情報を出力する。

「右不適切位置」とは、先端部２２ｄの位置が右に寄りすぎている上咽頭位置情報のことを指す。同様に、先端部２２ｄの位置が左に寄りすぎている場合は「左不適切位置」、上に寄りすぎている場合は「上不適切位置」、下に寄りすぎている場合は「下不適切位置」、奥側（咽頭側）に寄りすぎている場合は「奥不適切位置」、手前側（鼻腔側）に寄りすぎている場合は「手前不適切位置」の上咽頭位置情報が出力される。不適切方向位置はこれに限られず、上咽頭操作支援アルゴリズムは、「左下不適切位置」、「右上奥不適切位置」等の多分類の上咽頭位置情報を出力する。また、上咽頭操作支援アルゴリズムは、「左不適切位置」及び「奥不適切位置」の上咽頭位置情報を出力するように、複数の上咽頭位置情報を出力してもよい。

上咽頭位置情報を出力する上咽頭操作支援アルゴリズムは、上咽頭位置情報が対応付けられた上咽頭画像を含む学習用画像を用いて学習された学習済みモデルであることが好ましい。学習済みモデルとしての上咽頭操作支援アルゴリズムの生成に用いる学習モデルとしては、ＶＧＧ１６、ＶＧＧ１９等のＶＧＧＮｅｔ、ＲｅｓＮｅｔ等の畳み込みニューラルネットワークが好適である。なお、上咽頭操作支援アルゴリズムは、学習用画像とのパターンマッチングによって上咽頭位置情報を出力するアルゴリズムであってもよい。

次に、上咽頭操作支援アルゴリズムは、上咽頭位置情報に基づいて内視鏡操作情報を出力する。上咽頭位置情報が「適切位置にある」である場合、上咽頭操作支援アルゴリズムは、「内視鏡２２を静止させる」内視鏡操作情報を出力する。一方、「不適切方向位置にある」場合、上咽頭操作支援アルゴリズムは、不適切方向位置が示す不適切方向とは逆方向に先端部２２ｄを移動させる先端部２２ｄの移動方向を内視鏡操作情報として出力する。

上咽頭操作支援アルゴリズムが出力した内視鏡操作情報の報知の例について説明する。例えば、図２９に示すような上咽頭画像１３０を上咽頭操作支援アルゴリズムに入力する場合、報知制御部７０は、図３０に示すようなガイド画像７１を生成する。図３０に示すガイド画像７１の例では、上咽頭画像１３０と異なる位置に観察支援情報表示欄７３が設けられ、観察支援情報表示欄７３には、「適切：静止」のメッセージが表示されている。この場合、上咽頭位置情報としては「適切位置にある」と出力されている。

なお、メッセージではなく、先端部２２ｄを停止させることを指示する「適切位置にある」ことを示すマークを表示するようにしてもよい。例えば、「適切位置にある」場合は、上咽頭画像１３０の周囲に緑色の枠を表示する。このようなガイド画像７１を表示することにより、術者は、先端部２２ｄが適切な観察位置にあることを確認することができる。また、「適切位置にある」の上咽頭位置情報が出力される場合、報知制御部７０は、「適切な位置です。静止してください。」の音声メッセージをスピーカーから発生させてもよい。

以下、「不適切方向位置にある」場合の内視鏡操作情報の報知の例について説明する。例えば、図３１に示すような上咽頭画像１３０を上咽頭操作支援アルゴリズムに入力する。図３１に示す上咽頭画像１３０は、上咽頭の後壁Ｐｗｅが大きく写りこみ、上咽頭画像１３０の左側に側壁Ｌｗ、下側に軟口蓋Ｓｐが僅かに見切れ、向かって右側の（つまり被検者の左側の）側壁は見えていない、先端部２２ｄが奥側に寄りすぎている「奥不適切位置」の上咽頭画像である。このような場合、先端部２２ｄを手前側に引き抜く操作が必要である。図３１に例示する上咽頭画像が上咽頭操作支援アルゴリズムに入力された場合、上咽頭位置情報としては「奥不適切位置」と出力される。

この場合、報知制御部７０は、図３２に示すようなガイド画像７１を生成する。図３２に示すガイド画像７１の例では、上咽頭画像１３０の周囲に、上下左右方向を示すガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが表示されている。また、奥方向を示すガイド方向表示アイコン１０１ｅ及び手前方向を示すガイド方向表示アイコン１０１ｆが上咽頭画像１３０に重畳表示されている。さらに、ガイド画像７１には、左旋回を示すガイド方向表示アイコン１０１ｇ及び右旋回を示すガイド方向表示アイコン１０１ｈが表示されている。図３２に例示するガイド画像７１では、手前方向を示すガイド方向表示アイコン１０１ｆと、その他のガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｇ、１０１ｈとの表示態様（色）が異なることを、斜線の有無で示し、手前方向に内視鏡２２を操作することを示している。

なお、ガイド方向表示アイコンの表示態様はこれに限られない。例えば、上方向、下方向、左方向、右方向、奥方向、手間方向、右旋回、左旋回ガイド方向表示アイコンは、そのすべてガイド画像に表示してもよく、その一部をガイド画像表示するようにしてもよい。また、ガイド画像７１には、「奥に寄りすぎ：内視鏡を引く」のようなメッセージを表示させてもよい。

また、内視鏡操作情報として、図３３のような、内視鏡２２を手前方向に引き抜くための操作を示す内視鏡操作支援図１０３ａをガイド画像７１に表示してもよい。また、音声指示情報として、「内視鏡を引いてください」の音声メッセージをスピーカーから発するようにしてもよい。

上記構成により、不慣れな術者に対して、内視鏡が上咽頭の適切な観察位置にあるかどうかを示し、また、内視鏡が不適切な観察位置にある場合には、内視鏡の操作について示すことで、上咽頭の観察支援を行うことができる。その結果として、被検者への負担を減らすことができる。

以下、中咽頭位置判定アルゴリズムの機能、中咽頭操作支援アルゴリズムが出力する観察支援情報及び観察支援情報の報知について説明する。中咽頭位置判定アルゴリズムは、中咽頭において先端部２２ｄが適切な観察位置にあるか否かを示す、声門遠景観察用の位置判定アルゴリズムである。中咽頭操作支援アルゴリズムは、中咽頭位置判定アルゴリズムの出力結果に基づいて、先端部２２ｄが適切な観察位置となるような内視鏡２２の操作について示すことで操作支援を行う操作支援アルゴリズムである。

中咽頭画像の例を図３４に示す。図３４は、図５で例示したガイド画像７１に表示される医用画像７２の例である。図３４に示す中咽頭画像１４０は、適切な観察位置に先端部２２ｄを配置した医用画像である。中咽頭における適切な観察位置とは、咽頭後壁Ｐｗ、舌根部Ｒｌ、喉頭の全体が観察できる位置である。喉頭の具体的な構成としては、声門裂Ｒｇ、声帯ヒダＶｏｆ、前庭ヒダＶｅｆ（仮声帯とも呼ばれる）、喉頭蓋Ｅｇ、梨状陥凹Ｐｓ等が観察できる。声門裂Ｒｇとは、左右の声帯ヒダＶｏｆの間の空間のことである。なお、さらに近景観察を行う場合、前庭ヒダＶｅｆの外側に後述する披裂喉頭蓋ヒダＡｆ、楔状結節Ｃｕｔ、小角結節Ｃｏｔがはっきりと観察できる。この位置では、呼吸時、発声時及び嚥下時の咽頭壁の運動の左右差等の遠景観察を行い、異常の有無について評価を行うことができる。また、下咽頭における観察とも共通するが、唾液、残留食物等の貯留の有無について評価を行うことができる。

一方、図３５に示す中咽頭画像１４０は、先端部２２ｄの位置が不適切である医用画像である。図３５は、図６で例示したガイド画像７１に表示される医用画像７２の例である。図３５に示す中咽頭画像１４０は、喉頭に接近し過ぎている画像である。喉頭に接近し過ぎているかどうかの判定は、中咽頭操作支援アルゴリズムが行う。

図３４及び図３５に示す中咽頭画像１４０の例のオリエンテーションは、紙面の上側が背側、紙面の下側が腹側、紙面の手前側が頭側、紙面の奥側が尾側である。学習済みモデルとしての観察対象識別アルゴリズムは、図３４及び図３５に示すような中咽頭画像を「中咽頭」の学習用画像として用いることによって学習されている。

以下、中咽頭画像が中咽頭観察支援アルゴリズム（中咽頭位置判定アルゴリズム及び中咽頭操作支援アルゴリズム）に入力された場合に、観察支援情報を出力する処理の流れについて説明する。まず、図３４又は図３５に示すような中咽頭画像が入力された中咽頭位置判定アルゴリズムが、先端部２２ｄの位置について「適切」又は「不適切」であることを示す内視鏡位置判定情報を出力する。

図３４に示すような中咽頭画像が入力された場合、中咽頭位置判定アルゴリズムは、内視鏡位置判定情報として、先端部２２ｄの位置が「適切」であると出力する。一方、図３５に示すような中咽頭画像が入力された場合、中咽頭位置判定アルゴリズムは、内視鏡位置判定情報として、先端部２２ｄの位置が「不適切」であると出力する。

内視鏡位置判定情報を出力する中咽頭位置判定アルゴリズムは、「適切」又は「不適切」である内視鏡位置判定情報が対応付けられた中咽頭画像を含む学習用画像を用いて学習された学習済みモデルであることが好ましい。学習モデルに教師あり学習又は半教師あり学習を適用する場合、図３４に示すような中咽頭画像を、「適切」の正解画像としてもよい。学習済みモデルとしての中咽頭操作支援アルゴリズムの生成に用いる学習モデルとしては、ＶＧＧ１６、ＶＧＧ１９等のＶＧＧＮｅｔ、ＲｅｓＮｅｔ等の畳み込みニューラルネットワークが好適である。なお、中咽頭操作支援アルゴリズムは、学習用画像とのパターンマッチングによって内視鏡位置判定情報を出力するアルゴリズムであってもよい。

次に、中咽頭操作支援アルゴリズムは、内視鏡位置判定情報に基づいて内視鏡操作情報を出力する。内視鏡位置判定情報が「適切」である場合、中咽頭操作支援アルゴリズムは、「内視鏡２２を静止させる」内視鏡操作情報を出力する。この場合、報知制御部７０は、図３６に示すようなガイド画像７１を生成する。図３６に示すガイド画像７１の例では、中咽頭画像１４０と異なる位置に観察支援情報表示欄７３が設けられ、観察支援情報表示欄７３には、適切な観察位置であることを示す「適切：静止」のメッセージが表示されている。なお、メッセージではなく、先端部２２ｄを静止させることを指示する「適切」を示すマークを表示するようにしてもよい。例えば、「適切」である場合は、中咽頭画像１４０の周囲に緑色の枠を表示する。この場合、報知制御部７０は、「不適切」である場合にはガイド画像７１の「適切」を示すマークを非表示とし、ガイド方向表示アイコン等を表示するように、内視鏡操作情報の表示を切り替える制御を行う。

また、「適切」の内視鏡位置判定情報が出力される場合、報知制御部７０は、「適切な位置です。静止してください。」の音声メッセージをスピーカーから発生させてもよい。このようなガイド画像又は音声による報知を行うことにより、術者は、先端部２２ｄが、中咽頭の適切な観察位置にあることを確認することができる。

以下、内視鏡位置判定情報が「不適切」である場合の、中咽頭操作支援アルゴリズムによる内視鏡操作情報の出力方法と、内視鏡操作情報の報知の例について説明する。中咽頭操作支援アルゴリズムには、最新の医用画像を入力することが好ましい（図４参照）。なお、中咽頭操作支援アルゴリズムに、中咽頭位置判定アルゴリズムに入力した医用画像と同じ医用画像を入力してもよい。

中咽頭操作支援アルゴリズムは、まず、中咽頭領域情報を出力する。具体的には、図３５に示すような中咽頭画像１４０が入力された中咽頭操作支援アルゴリズムは、図３７に示すように、声門の領域１４１及び喉頭蓋の領域１４２を、中咽頭領域情報として出力する。声門の領域とは、図３７に示すように、呼吸時の声門裂Ｒｇの領域でもよく、また、発声時の声門裂Ｒｇの領域でもよく、左右の声門ヒダＶｏｆと声門裂Ｒｇからなる領域でもよく、声門裂Ｒｇを含まない左右の声門ヒダＶｏｆである領域であってもよい。

中咽頭領域情報を出力する中咽頭操作支援アルゴリズムは、医用画像に対するセグメンテーションによって声門及び喉頭蓋の領域をそれぞれ出力する学習済みモデルであることが好ましい。学習済みモデルは、予め医師によって声門及び喉頭蓋の領域がそれぞれクラス分けされた中咽頭画像を正解画像である学習用画像として学習を行うことによって生成される。このような学習済みモデルの生成に適用する学習モデルとしては、ＰＳＰｎｅｔを適用することが好ましく、また、ＳＰＰｎｅｔ、Ｓｅｇｎｅｔ等、その他のセグメンテーションに好適である学習モデルを用いてもよい。なお、中咽頭操作支援アルゴリズムは、教師なし学習を適用した学習モデルを学習することによって生成された学習済みモデルであってもよい。

次に、中咽頭操作支援アルゴリズムは、中咽頭領域情報を用いて、中咽頭領域演算情報を出力する。中咽頭領域演算情報とは、先端部２２ｄの位置が、適切な観察位置となるような内視鏡操作情報を出力するために用いる情報である。適切な観察位置は、学習用画像として用いられる場合の「適切」な中咽頭画像に付される情報である。

中咽頭領域演算情報は、声門の領域及び喉頭蓋の領域の、面積、幅及び／又は中心位置の座標情報である。声門及び喉頭蓋の領域の面積は、セグメンテーションによってこれらの領域にそれぞれクラス分けされた領域の面積を算出する方法によって算出される。声門の領域の幅又は喉頭蓋の領域の幅とは、声門又は喉頭蓋の領域を構成するピクセルのうちの任意の２点間の距離のことを指す。声門の領域の幅は、左右の声門ヒダＶｏｆの間の距離でもよく、声門裂Ｒｇの領域のうち最も背側にある点と、最も腹側にある点との距離でもよい。声門の領域及び喉頭蓋の領域の中心位置の座標情報とは、これらの領域の重心又は幾何中心である。声門の領域及び喉頭蓋の領域の中心位置の算出方法は、鼻腔の上ルート画像における上ルート挿入領域の中心位置の算出方法と同様であるため省略する。

中咽頭操作支援アルゴリズムは、中咽頭領域演算情報を用いて、内視鏡操作情報を出力する。具体的には、声門又は喉頭蓋の領域の面積に対して、声門遠景観察用第１閾値を設け、声門又は喉頭蓋の領域の面積が声門遠景観察用第１閾値より大きければ、先端部２２ｄの移動方向として「手前方向」の内視鏡操作指示情報を出力する。また、声門又は喉頭蓋の領域の面積に対して、声門遠景観察用第２閾値を設け、声門又は喉頭蓋の領域の面積が声門遠景観察用第２閾値未満であれば、先端部２２ｄの移動方向として「奥方向」の内視鏡操作指示情報を出力する。声門遠景観察用第１閾値及び声門遠景観察用第２閾値は、任意に設定できる値であり、声門の領域及び喉頭蓋の領域の面積に対してそれぞれ設定される値でもよく、どちらか一方に与えられる値でもよい。なお、声門又は喉頭蓋の領域の面積に代えて、声門又は喉頭蓋の領域の幅を用いてもよく、これらの組み合わせに基づいて内視鏡操作情報を出力するようにしてもよい。

また、中咽頭操作支援アルゴリズムに入力された中咽頭画像を用いて出力された声門の領域及び喉頭蓋の領域の中心位置と、先端部２２ｄの位置が「適切」である中咽頭画像における声門の領域及び喉頭蓋の領域の中心位置とを比較し、その差分に基づいて内視鏡操作情報を出力してもよい。この場合、例えば、「不適切」である中咽頭画像の声門及び喉頭蓋の領域の中心位置と、「適切」である中咽頭画像における声門及び喉頭蓋の領域の中心位置との差分を、内視鏡２２の先端部２２ｄの移動方向及び移動量を示すベクトルとして算出し、内視鏡操作情報とすることができる。

また、中咽頭操作支援アルゴリズムに入力された中咽頭画像を用いて出力された声門の領域の中心位置と喉頭蓋の領域の中心位置とを結んで現在位置ベクトルを生成し、さらに、先端部２２ｄの位置が「適切」である中咽頭画像における声門の領域の中心位置と喉頭蓋の領域の中心位置とを結んで適切位置ベクトルを生成し、現在位置ベクトルと、適切位置ベクトルとの差分に基づいて、先端部２２ｄの移動方向、移動距離及び回転角度を内視鏡操作指示情報として出力してもよい。

以下、内視鏡位置判定情報が「不適切」である場合の、内視鏡操作情報の報知の例について説明する。例えば、図３５に示すような中咽頭画像１４０が入力された中咽頭操作支援アルゴリズムが、先端部２２ｄの移動方向として「奥方向」の内視鏡操作指示情報を出力するとする。

この場合、報知制御部７０は、図３８に示すようなガイド画像７１を生成する。図３８に示すガイド画像７１の例では、中咽頭画像１４０の周囲に、上、下、左、右方向を示すガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが表示されている。また、奥方向、手前方向を示すガイド方向表示アイコン１０１ｅ、１０１ｆが中咽頭画像１４０に重畳表示されている。図３８に例示するガイド画像７１では、手前方向を示すガイド方向表示アイコン１０１ｆと、その他のガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅとの表示態様（色）が異なることを、斜線の有無で示し、手前方向に内視鏡２２を操作することを示している。なお、ガイド方向表示アイコンの表示態様はこれに限られない。例えば、ガイド画像７１には、図３２に示すような、左旋回を示すガイド方向表示アイコン１０１ｇ及び右旋回を示すガイド方向表示アイコン１０１ｈを表示してもよい。

また、ガイド画像７１には、内視鏡操作情報として、先端部２２ｄを湾曲移動させるためのアングルノブ２２ｅの操作又は内視鏡２２の引き抜き又は挿入方向を示す内視鏡操作支援図をガイド画像７１に表示してもよい（図３３等参照）。上咽頭画像１３０の例と同様であるため図示は省略する。上記構成により、不慣れな術者に対して、内視鏡が中咽頭の適切な観察位置にあるかどうかを示し、また、内視鏡が不適切な観察位置にある場合には、内視鏡の操作について示すことで、中咽頭の観察支援を行うことができる。その結果として、被検者への負担を減らすことができる。

また、中咽頭操作支援アルゴリズムは、中咽頭領域演算情報を用いて被検者体位情報を出力する。例えば、図３５に示すような中咽頭画像１４０が入力された場合、中咽頭操作支援アルゴリズムは、「頭が前屈。頭部が伸展していないか確認する。」の被検者体位情報を出力する。この場合、報知制御部７０は、図３９に示すようなガイド画像７１を生成する。図３９に示すガイド画像７１の例では、被検者の体位変更を促す「被検者の体位：頭部伸展位に注意」のメッセージが、観察支援情報表示欄７３に表示されている。また、音声指示情報として、「頭が前屈している可能性があります。頭部伸展位に注意してください。」の音声メッセージをスピーカーから発してもよい。

被検者体位情報を出力する中咽頭操作支援アルゴリズムは、図３５に示すような中咽頭画像１４０に、「頭部が前屈」等の被検者の姿勢に関する情報が付された学習用画像を用いて学習されている学習済みモデルであることが好ましい。なお、内視鏡操作情報を出力する中咽頭操作支援アルゴリズムと、被検者体位情報を出力する中咽頭操作支援アルゴリズムとは、同一の学習済みモデルであってもよく、異なる学習済みモデルであってもよい。これらが異なる学習済みモデルである場合、内視鏡操作情報を出力する第１中咽頭操作支援アルゴリズムと、被検者体位情報を出力する第２中咽頭操作支援アルゴリズムを備え、第１中咽頭操作支援アルゴリズム及び第２中咽頭操作支援アルゴリズムにそれぞれ最新の中咽頭画像を入力する。

以下、下咽頭位置判定アルゴリズムの機能、下咽頭操作支援アルゴリズムが出力する観察支援情報及び観察支援情報の報知について説明する。下咽頭位置判定アルゴリズムは、下咽頭において先端部２２ｄが適切な観察位置にあるか否かを示す、声門近景観察用の位置判定アルゴリズムである。下咽頭操作支援アルゴリズムは、下咽頭位置判定アルゴリズムの出力結果に基づいて、先端部２２ｄが適切な観察位置となるような内視鏡２２の操作について示すことで操作支援を行う操作支援アルゴリズムである。

観察対象が下咽頭である医用画像（以下、下咽頭画像と呼ぶ。）の例を図４０に示す。図４０に示す下咽頭画像１５０は、適切な観察位置に先端部２２ｄを配置した下咽頭画像である。下咽頭における適切な観察位置とは、披裂部の全体が観察できる位置である。具体的には、声門裂Ｒｇ、左右の声帯ヒダＶｏｆ、左右の前庭ヒダＶｅｆ、左右の披裂喉頭蓋ヒダＡｆ、左右の楔状結節Ｃｕｔ、左右の小角結節Ｃｏｔ、左右の梨状陥凹Ｐｓ等がはっきりと観察できる位置である。また、この位置では下咽頭画像の上下に咽頭後壁Ｐｗ及び喉頭蓋Ｅｇの気管面が観察される。この位置では、呼吸時、発声時及び嚥下時の披裂部の近景観察を行い、披裂部の運動、器質的異常の有無、唾液、残留食物等の貯留の有無等について評価を行うことができる。

一方、図４１に示す下咽頭画像１５０は、先端部２２ｄの位置が不適切である下咽頭画像１５０の例である。図４１に示す下咽頭画像１５０は、声門裂Ｒｇ、左右の声門ヒダＶｏｆ等の全体が認められない、披裂部の全体がはっきり観察できない画像である。図４０及び図４１に示す中咽頭画像１４０の例のオリエンテーションは、紙面の上側が背側、紙面の下側が腹側、紙面の手前側が頭側、紙面の奥側が尾側である。

学習済みモデルとしての観察対象識別アルゴリズムは、図４０及び図４１に示すような下咽頭画像を「下咽頭」の学習用画像として用いることによって学習されている。

以下、下咽頭画像が下咽頭観察支援アルゴリズム（下咽頭位置判定アルゴリズム及び下咽頭操作支援アルゴリズム）に入力された場合に、観察支援情報を出力する処理の流れについて説明する。まず、図４０及び図４１に示すような下咽頭画像が入力された下咽頭位置判定アルゴリズムが、先端部２２ｄの位置について「適切」又は「不適切」であることを示す内視鏡位置判定情報を出力する。

図４０に示すような下咽頭画像が入力された場合、下咽頭位置判定アルゴリズムは、内視鏡位置判定情報として、先端部２２ｄの位置が「適切」であると出力する。一方、図４１に示すような下咽頭画像が入力された場合、下咽頭位置判定アルゴリズムは、内視鏡位置判定情報として、先端部２２ｄの位置が「不適切」であると出力する。

内視鏡位置判定情報を出力する下咽頭位置判定アルゴリズムは、「適切」又は「不適切」である内視鏡位置判定情報が対応付けられた下咽頭画像を含む学習用画像を用いて学習された学習済みモデルであることが好ましい。学習モデルに教師あり学習又は半教師あり学習を適用する場合、図４０に示すような下咽頭画像を、「適切」の正解画像としてもよい。学習済みモデルとしての下咽頭操作支援アルゴリズムの生成に用いる学習モデルとしては、ＶＧＧ１６、ＶＧＧ１９等のＶＧＧＮｅｔ、ＲｅｓＮｅｔ等の畳み込みニューラルネットワークが好適である。なお、下咽頭操作支援アルゴリズムは、学習用画像とのパターンマッチングによって内視鏡位置判定情報を出力するアルゴリズムであってもよい。

次に、下咽頭操作支援アルゴリズムは、内視鏡位置判定情報に基づいて内視鏡操作情報を出力する。内視鏡位置判定情報が「適切」である場合、下咽頭操作支援アルゴリズムは、「内視鏡２２を静止させる」内視鏡操作情報を出力する。この場合、報知制御部７０は、図４２に示すようなガイド画像７１を生成する。図４２に示すガイド画像７１の例では、下咽頭画像１５０と異なる位置に設けられる観察支援情報表示欄７３に、適切な観察位置であることを示す「適切：静止」のメッセージが表示されている。なお、メッセージではなく、先端部２２ｄを静止させることを指示する「適切」を示すマークを表示するようにしてもよい。例えば、「適切」である場合は、下咽頭画像１５０の周囲に緑色の枠を表示する。

また、「適切」の内視鏡位置判定情報が出力される場合、報知制御部７０は、「適切な位置です。静止してください。」の音声メッセージをスピーカーから発生させてもよい。このようなガイド画像又は音声による報知を行うことにより、術者は、先端部２２ｄが下咽頭の適切な観察位置にあることを確認することができる。

以下、内視鏡位置判定情報が「不適切」である場合の、下咽頭操作支援アルゴリズムによる内視鏡操作情報の出力方法と、内視鏡操作情報の報知の例について説明する。下咽頭操作支援アルゴリズムには、最新の医用画像を入力することが好ましい（図４参照）。なお、下咽頭操作支援アルゴリズムに、下咽頭位置判定アルゴリズムに入力した医用画像と同じ医用画像を入力してもよい。

下咽頭操作支援アルゴリズムは、まず、下咽頭領域情報を出力する。図４１に示すような下咽頭画像１５０が入力された下咽頭操作支援アルゴリズムは、図４３に示すように、声門の領域１５１及び左右の声帯ヒダの領域１５２ａ、１５２ｂを、下咽頭領域情報として出力する。下咽頭操作支援アルゴリズムに検出される声門の領域１５１は、中咽頭の場合と同様に、図４３に示す例に限られない。

下咽頭領域情報を出力する下咽頭操作支援アルゴリズムは、医用画像に対するセグメンテーションによって声門及び声帯ヒダの領域をそれぞれ出力する学習済みモデルであることが好ましい。学習済みモデルは、予め医師によって声門及び声帯ヒダの領域がそれぞれクラス分けされた下咽頭画像を正解画像である学習用画像として学習を行うことによって生成される。なお、左右の声帯ヒダの領域は、左右がそれぞれ異なるクラスに分類されてもよく、同じクラスに分類されてもよい。

このような学習済みモデルの生成に適用する学習モデルとしては、ＰＳＰｎｅｔを適用することが好ましく、また、ＳＰＰｎｅｔ、Ｓｅｇｎｅｔ等、その他のセグメンテーションに好適である学習モデルを用いてもよい。なお、下咽頭操作支援アルゴリズムは、教師なし学習を適用した学習モデルを学習することによって生成された学習済みモデルであってもよい。

次に、下咽頭操作支援アルゴリズムは、下咽頭領域情報を用いて、下咽頭領域演算情報を出力する。下咽頭領域演算情報とは、先端部２２ｄの位置が、適切な観察位置となるような内視鏡操作情報を出力するために用いる情報である。適切な観察位置は、学習用画像として用いられる場合の「適切」な下咽頭画像に付される情報である。

下咽頭領域演算情報は、声門の領域の、面積、幅及び／又は中心位置の座標情報並びに及び声帯ヒダの長さである。声門の領域の面積は、セグメンテーションによってこれらの領域にそれぞれクラス分けされた領域の面積を算出する方法によって算出される。声門の領域の幅とは、声門の領域を構成するピクセルに含まれる任意の２点間の距離のことを指し、中咽頭における声門の領域の幅と同様に、左右の声門ヒダＶｏｆの間の距離に限られない。

声帯ヒダの領域の長さとは、声帯ヒダの領域を構成するピクセルに含まれる任意の２点間の距離うち、最大のものである。例えば、背側（食道側）の声帯ヒダの末端と、腹側（喉頭蓋側）の声帯ヒダの末端との距離（長さ）である。また、声帯ヒダの領域の長さは、左右の声帯ヒダの領域の長さについて算出し、どちらか一方の声帯ヒダの領域の長さを下咽頭領域演算情報として出力するようにしてもよく、両側の声帯ヒダの領域の長さを下咽頭領域演算情報として出力してもよい。

声門の領域の中心位置の座標情報とは、これらの領域の重心又は幾何中心である。声門の領域の中心位置の算出方法は、鼻腔の上ルート画像における上ルート挿入領域の中心位置の算出方法と同様であるため省略する。

下咽頭操作支援アルゴリズムは、下咽頭領域演算情報を用いて、内視鏡操作情報を出力する。具体的には、声門の領域の面積に対して、声門近景観察用第１閾値を設け、声門の領域の面積が声門近景観察用第１閾値より大きければ、先端部２２ｄの移動方向として「手前方向」の内視鏡操作指示情報を出力する。また、声門の領域の面積に対して、声門近景観察用第２閾値を設け、声門の領域の面積が声門近景観察用第２閾値未満であれば、先端部２２ｄの移動方向として「奥方向」の内視鏡操作指示情報を出力する。声門近景観察用第１閾値及び声門近景観察用第２閾値は、任意に設定できる値であり、声門の領域及び声帯ヒダの領域の面積に対してそれぞれ設定される値でもよく、どちらか一方に与えられる値でもよい。なお、声門の領域の面積に代えて、声門の領域の幅を用いてもよく、これらの組み合わせに基づいて内視鏡操作情報を出力するようにしてもよい。

また、声帯ヒダの長さに対して、声門近景観察用第１閾値及び声門近景観察用第２閾値のような閾値を設け、声帯ヒダの長さに応じて内視鏡操作指示情報を出力するようにしてもよい。

また、下咽頭操作支援アルゴリズムに入力された下咽頭画像を用いて出力された声門の領域の中心位置と、先端部２２ｄの位置が「適切」である下咽頭画像における声門の領域の中心位置とを比較し、その差分に基づいて内視鏡操作情報を出力してもよい。この場合、例えば、「不適切」である下咽頭画像の声門の領域の中心位置と、「適切」である下咽頭画像における声門の領域の中心位置との差分を、内視鏡２２の先端部２２ｄの移動方向、移動量及び回転角度を示すベクトルとして算出し、内視鏡操作情報とすることができる。

以下、内視鏡位置判定情報が「不適切」である場合の、内視鏡操作情報の報知の例について説明する。例えば、図４１に示すような下咽頭画像１５０が入力された下咽頭操作支援アルゴリズムが、先端部２２ｄの移動方向として「奥方向」の内視鏡操作指示情報を出力するとする。

この場合、報知制御部７０は、図４４に示すようなガイド画像７１を生成する。図４４に示すガイド画像７１の例では、下咽頭画像１５０の周囲に、上、下、左、右方向を示すガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが表示されている。また、奥方向、手前方向を示すガイド方向表示アイコン１０１ｅ、１０１ｆが下咽頭画像１５０に重畳表示されている。図４４に例示するガイド画像７１では、手前方向を示すガイド方向表示アイコン１０１ｆと、その他のガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅとの表示態様（色）が異なることを、斜線の有無で示し、手前方向に内視鏡２２を操作することを示している。なお、ガイド方向表示アイコンの表示態様はこれに限られない。例えば、ガイド画像７１には、図３２に示すような、左旋回を示すガイド方向表示アイコン１０１ｇ及び右旋回を示すガイド方向表示アイコン１０１ｈを表示してもよい。

また、ガイド画像７１には、内視鏡操作情報として、先端部２２ｄを湾曲移動させるためのアングルノブ２２ｅの操作又は内視鏡２２の引き抜き又は挿入方向を示す内視鏡操作支援図をガイド画像７１に表示してもよい（図３３等参照）。上記構成により、不慣れな術者に対して、内視鏡が下咽頭の適切な観察位置にあるかどうかを示し、また、内視鏡が不適切な観察位置にある場合には、内視鏡の操作について示すことで、下咽頭の観察支援を行うことができる。その結果として、被検者への負担を減らすことができる。

また、下咽頭操作支援アルゴリズムは被検者体位情報を出力する。被検者体位情報の報知の方法は、中咽頭の例において被検者体位情報を報知する方法と同様であるため説明を省略する。下咽頭操作支援アルゴリズムは、下咽頭画像１５０に被検者の姿勢に関する情報が付された学習用画像を用いて学習されている学習済みモデルであることが好ましい。なお、内視鏡操作情報を出力する下咽頭操作支援アルゴリズムと、被検者体位情報を出力する下咽頭操作支援アルゴリズムとは、同一の学習済みモデルであってもよく、異なる学習済みモデルであってもよい。これらが異なる学習済みモデルである場合、内視鏡操作情報を出力する第１下咽頭操作支援アルゴリズムと、被検者体位情報を出力する第２下咽頭操作支援アルゴリズムを備え、第１下咽頭操作支援アルゴリズム及び第２下咽頭操作支援アルゴリズムにそれぞれ最新の下咽頭画像を入力する。

以下、誤挿入操作支援アルゴリズムが出力する観察支援情報及び観察支援情報の報知について説明する。誤挿入操作支援アルゴリズムは、内視鏡２２を誤って食道又は気管まで挿入してしまった場合に（図１０及び図１１参照）、内視鏡２２を引き抜く操作指示を行うことで操作支援を行うための操作支援アルゴリズムである。

内視鏡２２を図１０に示す位置まで誤って挿入した場合の、観察対象が食道である医用画像（食道画像１６０）の例を図４５に示す。また、内視鏡２２を図１１に示す位置まで誤って挿入した場合の、観察対象が気管である医用画像（気管画像１７０）の例を図４６に示す。学習済みモデルとしての観察対象識別アルゴリズムは、図４５に示すような食道画像を「食道」の学習用画像として、また、図４６に示すような気管画像を「気管」の学習用画像として用いることによって学習されている。

誤挿入操作支援アルゴリズムは、図４５に示すような食道画像又は図４６に示すような気管画像が入力された場合、内視鏡の引き抜きを指示する内視鏡操作情報を出力する。

この場合の内視鏡操作情報の報知の例について説明する。例えば、図４５に示すような食道画像が誤挿入操作支援アルゴリズムに入力された場合、報知制御部７０は、図４７に示すようなガイド画像７１を生成する。図４７に示すガイド画像７１の例では、食道画像１６０の周囲に、上、下、左、右方向を示すガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが表示されている。また、奥方向、手前方向を示すガイド方向表示アイコン１０１ｅ、１０１ｆが中咽頭画像１４０に重畳表示されている。図４７に例示するガイド画像７１では、手前方向を示すガイド方向表示アイコン１０１ｆと、その他のガイド方向表示アイコン１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅとの表示態様（色）が異なることを斜線の有無で示し、手前方向に内視鏡２２を操作することを示している。なお、ガイド方向表示アイコンの表示態様はこれに限られない。

また、図４８に示すガイド画像７１の例のように、食道画像１６０の周囲に警告表示欄１６１を設け、先端部２２ｄが食道に至っているため、内視鏡２２の引き抜きを促す報知を行ってもよい。図４８に示す例では、「食道：内視鏡を引き抜いてください」のメッセージが表示されている。また、報知制御部７０は、誤挿入操作支援アルゴリズムが内視鏡の引き抜きを指示する内視鏡操作情報を出力した場合、音声指示情報として「内視鏡を引き抜いてください」と音声メッセージをスピーカーから発する制御を行ってもよい。上記構成により、画像処理装置１０が内視鏡を直ちに引き抜く必要がある部位を認識した場合に、内視鏡の引き抜きを術者に促すことができる。

以下、観察支援対象外操作支援アルゴリズムが出力する観察支援情報の報知について説明する。嚥下内視鏡検査の際は、観察支援対象部位が識別された後に、食物や唾液などの異物の流入や、嚥下動作や咳などによる咽頭部の収縮動作により、観察支援対象部位の識別が不可能な状態になることがある。観察支援対象外観察支援アルゴリズムは、このような場合に対して、観察支援停止情報を出力する。

観察支援停止情報が出力された場合、報知制御部７０は、直前までガイド画像に表示されていた内視鏡操作情報を一時的に非表示とする。例えば、直前まで表示されていたガイド方向表示アイコンを非表示とする。また、ガイド方向表示アイコンの表示態様を全て同じものとして、操作指示が停止したことを示してもよい。また、ガイド画像に「ＣＡＤ ＯＦＦ」のメッセージを表示し、操作支援が一時停止していることを術者に知らせる表示を行うようにしてもよい（図７参照）。

なお、鼻腔と上咽頭、上咽頭と中咽頭及び中咽頭と下咽頭の境界領域を観察対象とする医用画像が観察対象識別アルゴリズムに入力された場合、「観察支援対象外」と出力するようにしてもよい。境界領域は観察支援対象外とし、特定観察支援アルゴリズムとして中咽頭観察支援アルゴリズム又は下咽頭観察支援アルゴリズムが選択される範囲を狭めることによって、画像処理に矛盾を生じさせる処理の実行を防ぎ、また、術者を惑わせる観察支援を行ってしまうことを防ぐことができる。

また、観察支援情報の報知の有無を切り替えられることが好ましい。例えば、ガイド方向表示アイコンが表示されているガイド画像が表示されている場合に、内視鏡２２の操作部２２ｂ、フットスイッチ等を操作することによって、報知切替指示を報知制御部７０に送信し、ガイド画像のガイド方向表示アイコンを非表示させるようにしてもよい。また、ガイド画像のガイド方向表示アイコンが非表示である場合に、内視鏡２２の操作部２２ｂ、フットスイッチ等を再び操作することによって、ガイド方向表示アイコンを再び表示させるようにしてもよい。さらに、ガイド画像上のＧＵＩ（Graphical User Interface）として報知表示切り替えボタンを設け、観察支援情報の報知の有無の切り替えを行うようにしてもよい。このような観察支援情報の報知の有無を切り替える構成により、術者が報知を必要とする場合にのみ報知を行うことができる。

本実施形態の画像処理装置１０における作動方法の一連の流れについて、図４９のフローチャートを用いて説明する。まず、画像取得部３０がモダリティ２０又はデータベース１１から医用画像を取得する（ステップＳＴ１０１）。次に、観察対象識別部４０が、医用画像を観察対象識別アルゴリズムに入力することにより、観察対象識別情報を出力する（ステップＳＴ１０２）。次に、観察支援アルゴリズム選択部５０が、観察対象識別情報に基づいて複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択する（ステップＳＴ１０３）。次に、観察支援情報生成部６０が、医用画像を特定観察支援アルゴリズムに入力することにより、観察支援情報を出力する（ステップＳＴ１０４）。最終的に、報知制御部７０が、ガイド画像、音声指示情報等を生成するといった、観察支援情報を報知する制御を行う（ステップＳＴ１０５）。観察支援情報は、ディスプレイ、スピーカー等ユーザーインターフェースを介して報知される。

上記実施形態において、画像処理装置１０は、画像取得部３０、観察対象識別部４０、観察支援アルゴリズム選択部５０、観察支援情報生成部６０及び報知制御部７０といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

１０ 画像処理装置
１１ データベース
１２ ユーザーインターフェース
２０ モダリティ
２１ 内視鏡システム
２２ 内視鏡
２２ａ 挿入部
２２ｂ 操作部
２２ｃ 湾曲部
２２ｄ 先端部
２２ｅ アングルノブ
２２ｆ 静止画取得指示スイッチ
２３ プロセッサ装置
２４ 光源装置
３０ 画像取得部
３１、３２、３３、７２ 医用画像
４０ 観察対象識別部
４１ 観察対象識別情報
５０ 観察支援アルゴリズム選択部
５１ 特定観察支援アルゴリズム選択情報
６０ 観察支援情報生成部
６０ａ 鼻腔観察支援情報生成部
６０ｂ 上咽頭観察支援情報生成部
６０ｃ 中咽頭観察支援情報生成部
６０ｄ 下咽頭観察支援情報生成部
６０ｅ 誤挿入観察支援情報生成部
６０ｆ 観察支援対象外観察支援情報生成部
６１ 観察支援情報
７０ 報知制御部
７１ ガイド画像
７３ 観察支援情報表示欄
９０ 上ルート
９０ａ 上ルートの領域
９１ 下ルート
９１ａ 下ルートの領域
９２ 上ルート挿入領域
９３ 下ルート挿入領域
９４、９４ａ、９４ｂ 挿入ルートガイドマーク
９５ 画像中心ガイドマーク
９６ ガイド枠
１００ 上ルート画像
１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｆ、１０１ｇ、１０１ｈ ガイド方向表示アイコン
１０２ ガイド矢印
１０３ａ 内視鏡操作支援図
１０３ｂ、１０３ｃ レバー
１１０ 下ルート画像
１２０ 前鼻画像
１２１ 上ルート用操作表示欄
１２２ 下ルート用操作表示欄
１３０ 上咽頭画像
１４０ 中咽頭画像
１４１、１５１ 声門の領域
１４２ 喉頭蓋の領域
１５０ 下咽頭画像
１５２ａ、１５２ｂ 声帯ヒダの領域
１６０ 食道画像
１６１ 警告表示欄
１７０ 気管画像
Ａｆ 披裂喉頭蓋ヒダ
Ｃｃ 輪状軟骨
Ｃｏｔ 小角結節
Ｃｕｔ 楔状結節
Ｅｇ 喉頭蓋
Ｅｐ 上咽頭
Ｅｓ 食道
Ｅｖ 喉頭蓋谷
Ｆ 食物
Ｆａ 顔面
Ｆｐ 咽頭円蓋
Ｈｐ 下咽頭
Ｉｔ 下鼻甲介
Ｌａ 喉頭
Ｌｗ 側壁
Ｍｐ 中咽頭
Ｍｔ 中鼻甲介
Ｎｆ 鼻腔底
Ｎｓ 鼻中隔
Ｎｗ 鼻腔側壁
Ｐｓ 梨状陥凹
Ｐｗ 咽頭後壁
Ｐｗｅ 上咽頭の後壁
Ｒｇ 声門裂
Ｒｌ 舌根部
Ｓｐ 軟口蓋
Ｔｃ 甲状軟骨
Ｔｒ 気管
Ｔо 舌
Ｖｃ 声門
Ｖｅｆ 前庭ヒダ
Ｖｏｆ 声帯ヒダ

Claims (28)

1. プロセッサを備え、
   前記プロセッサは、
   医用画像を取得し、
   前記医用画像を観察対象識別アルゴリズムに入力することにより、前記医用画像に含まれる観察支援対象部位又は前記医用画像が観察支援対象外であることを示す観察対象識別情報を出力し、
   前記観察対象識別情報に基づいて複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択し、
   前記特定観察支援アルゴリズムに前記医用画像を入力することにより、観察支援情報を出力し、
   前記観察支援情報を報知する制御を行う画像処理装置。
2. 前記観察支援対象部位は、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道である請求項１に記載の画像処理装置。
3. 前記観察支援情報の報知は、前記観察支援情報を表示するガイド画像及び／又は前記観察支援情報を報知する音声によって行われる請求項１又は２に記載の画像処理装置。
4. 前記観察支援情報は、内視鏡の位置が適切又は不適切であることを示す内視鏡位置判定情報、前記内視鏡の操作方法を示す内視鏡操作情報、被検者の体位の変更若しくは確認を促す被検者体位情報及び／又は観察支援を停止することを示す観察支援停止情報である請求項３に記載の画像処理装置。
5. 前記内視鏡操作情報は、前記内視鏡の先端部の移動方向及び／又は移動量であり、
   前記移動方向は、右方向、左方向、上方向、下方向、奥方向、手前方向、右旋回又は左旋回である請求項４に記載の画像処理装置。
6. 前記プロセッサは、前記内視鏡操作情報として、内視鏡操作支援図を前記ガイド画像に表示する制御を行う請求項５に記載の画像処理装置。
7. 前記プロセッサは、内視鏡位置判定情報に基づいて、前記内視鏡操作情報の表示を切り替える制御を行う請求項４に記載の画像処理装置。
8. 前記特定観察支援アルゴリズムは、操作支援アルゴリズムを含み、
   前記プロセッサは、
   前記操作支援アルゴリズムに前記医用画像を入力することにより、前記内視鏡操作情報又は前記観察支援停止情報を出力する請求項４に記載の画像処理装置。
9. 前記プロセッサは、
   前記操作支援アルゴリズムに最新の前記医用画像を入力する請求項８に記載の画像処理装置。
10. 前記操作支援アルゴリズムは、前記内視鏡操作情報及び／又は前記被検者体位情報を出力する学習済みモデルである請求項９に記載の画像処理装置。
11. 前記特定観察支援アルゴリズムは、位置判定アルゴリズム及び操作支援アルゴリズムを含み、
    前記位置判定アルゴリズムは、前記医用画像を入力されることにより、前記内視鏡位置判定情報を出力する学習済みモデルであり、
    前記操作支援アルゴリズムは、前記医用画像を入力されることにより、前記内視鏡操作情報及び／又は前記被検者体位情報を出力する学習済みモデルである請求項４に記載の画像処理装置。
12. 前記プロセッサは、前記位置判定アルゴリズム及び前記操作支援アルゴリズムに、最新の前記医用画像をそれぞれ入力する請求項１１に記載の画像処理装置。
13. 前記観察対象識別アルゴリズムは、鼻腔、上咽頭、中咽頭、下咽頭、喉頭、気管又は食道が観察対象に含まれる前記医用画像を含む学習用画像を用いて学習された学習済みモデルである請求項１に記載の画像処理装置。
14. 前記プロセッサは、
    前記観察支援情報の報知の有無を切り替える制御を行う請求項１に記載の画像処理装置。
15. 前記プロセッサは、
    前記観察対象識別アルゴリズムが出力する前記観察支援対象部位が鼻腔である場合、
    前記操作支援アルゴリズムに前記医用画像を入力することにより、前記医用画像に含まれる、前記内視鏡の挿入に適した領域である上ルート挿入領域及び／又は下ルート挿入領域を示す挿入領域情報を出力し、
    前記挿入領域情報に基づいて、前記上ルート挿入領域及び／又は前記下ルート挿入領域の、面積、幅及び／又は中心位置の座標情報である挿入ルート情報を算出し、
    前記挿入ルート情報を前記観察支援情報として前記ガイド画像に表示する制御を行う請求項３に記載の画像処理装置。
16. 前記プロセッサは、
    前記挿入ルート情報に基づき、前記上ルート挿入領域又は前記下ルート挿入領域の表示態様を異ならせて前記ガイド画像に表示する制御を行う請求項１５に記載の画像処理装置。
17. 前記プロセッサは、
    前記観察対象識別アルゴリズムが出力する前記観察支援対象部位が鼻腔である場合、
    前記操作支援アルゴリズムに前記医用画像を入力することにより、前記医用画像に含まれる、前記内視鏡の挿入に適した領域である上ルート挿入領域及び／又は下ルート挿入領域を示す挿入領域情報を出力し、
    前記挿入領域情報に基づいて、前記上ルート挿入領域及び／又は前記下ルート挿入領域の、面積、幅及び／又は中心位置の座標情報である挿入ルート情報を算出し、
    前記挿入ルート情報を用いて前記内視鏡操作情報を出力する請求項１０に記載の画像処理装置。
18. 前記プロセッサは、
    前記観察対象識別アルゴリズムが出力する前記観察支援対象部位が上咽頭である場合、
    前記操作支援アルゴリズムに前記医用画像を入力することにより、適切位置であること又は右不適切位置、左不適切位置、上不適切位置、下不適切位置、奥不適切位置若しくは手前不適切位置である不適切方向位置であることを示す上咽頭位置情報を出力し、
    前記上咽頭位置情報に基づいて前記内視鏡操作情報を出力する請求項１０に記載の画像処理装置。
19. 前記操作支援アルゴリズムは、前記上咽頭位置情報が対応付けられた前記医用画像を含む学習用画像を用いて学習された学習済みモデルである請求項１８に記載の画像処理装置。
20. 前記プロセッサは、
    前記観察対象識別アルゴリズムが出力する前記観察支援対象部位が中咽頭であり、かつ、前記医用画像を入力された前記位置判定アルゴリズムが前記内視鏡位置判定情報として不適切と出力する場合、
    前記操作支援アルゴリズムに前記医用画像を入力することにより、前記医用画像に含まれる、声門の領域及び／又は喉頭蓋の領域を示す中咽頭領域情報を出力し、
    前記中咽頭領域情報に基づき、前記声門の領域及び前記喉頭蓋の領域の面積、幅及び／又は中心位置の座標情報である中咽頭領域演算情報を算出し、
    前記中咽頭領域演算情報を用いて前記内視鏡操作情報を出力する請求項１１に記載の画像処理装置。
21. 前記位置判定アルゴリズムは、前記医用画像と、前記内視鏡位置判定情報とが対応付けられた学習用画像を用いて学習された学習済みモデルである請求項２０に記載の画像処理装置。
22. 前記プロセッサは、
    前記観察対象識別アルゴリズムが出力する前記観察支援対象部位が下咽頭であり、かつ、前記医用画像を入力された前記位置判定アルゴリズムが前記内視鏡位置判定情報として不適切と出力する場合、
    前記操作支援アルゴリズムに前記医用画像を入力することにより、前記医用画像に含まれる、声門の領域及び／又は声帯ヒダの領域を示す下咽頭領域情報を出力し、
    前記下咽頭領域情報に基づき、前記声門の領域の面積、幅及び／又は中心位置の座標情報並びに前記声帯ヒダの領域の長さである下咽頭領域演算情報を算出し、
    前記下咽頭領域演算情報を用いて前記内視鏡操作情報を出力する請求項１１に記載の画像処理装置。
23. 前記位置判定アルゴリズムは、前記医用画像と、前記内視鏡位置判定情報とが対応付けられた学習用画像を用いて学習された学習済みモデルである学習済みモデルである請求項２２に記載の画像処理装置。
24. 前記プロセッサは、
    前記観察対象識別アルゴリズムが出力する前記観察支援対象部位が食道又は気管である場合、
    前記操作支援アルゴリズムに前記医用画像を入力することにより、前記内視鏡の引き抜きを指示する前記内視鏡操作情報を出力する請求項１０に記載の画像処理装置。
25. 前記プロセッサは、
    前記観察対象識別アルゴリズムが前記観察対象識別情報として観察支援対象外と出力する場合、
    前記操作支援アルゴリズムに前記医用画像を入力することにより、前記観察支援停止情報を出力する請求項８に記載の画像処理装置。
26. 前記観察対象識別アルゴリズムは、食物若しくは唾液である異物、ブレ、ボケ又はハレーションを含む前記医用画像が入力された場合、前記観察対象識別情報として観察支援対象外と出力するように学習された学習済みモデルである請求項２５に記載の画像処理装置。
27. 医用画像を取得するステップと、
    前記医用画像を観察対象識別アルゴリズムに入力することにより、前記医用画像に含まれる観察支援対象部位又は前記医用画像が観察支援対象外であることを示す観察対象識別情報を出力するステップと、
    前記観察対象識別情報に基づいて複数の観察支援アルゴリズムから１つの特定観察支援アルゴリズムを選択するステップと、
    前記特定観察支援アルゴリズムに前記医用画像を入力することにより、観察支援情報を出力するステップと、
    前記観察支援情報を報知する制御を行うステップと、を有する画像処理装置の作動方法。
28. 請求項１に記載の画像処理装置と、
    照明光を発する光源装置と、
    前記医用画像を撮影する内視鏡と、を備える内視鏡システム。

Images