JP7158596B2 - 超音波内視鏡システムおよび超音波内視鏡システムの作動方法 - Google Patents

Description

本発明は、超音波を用いて、被検体の体内の観察対象部位の状態を観察する超音波内視鏡システムおよび超音波内視鏡システムの作動方法に関する。

超音波内視鏡システムは、経消化管による膵臓又は胆嚢等の観察を主な目的として、内視鏡観察部および超音波観察部を先端に有する超音波内視鏡を被検体の消化管内へ挿入し、消化管内の内視鏡画像、および消化管壁の外側にある部位の超音波画像を撮像する。

超音波内視鏡システムでは、超音波内視鏡の先端に有する照明部から消化管内の観察対象隣接部位に照明光を照射し、その反射光を超音波内視鏡の先端に有する撮像部によって受信し、反射光の撮像信号から内視鏡画像が生成される。また、超音波内視鏡の先端に有する複数の超音波振動子により、消化管壁の外側にある臓器等の観察対象部位に超音波を送受信し、超音波の受信信号から超音波画像が生成される。

内視鏡画像を観察する場合、超音波内視鏡を被検体の消化管内に挿入すると、例えば食道の内壁が見えてきて、さらに超音波内視鏡の先端部を押し進めると、胃の内壁が見えてくるというように、術者（超音波内視鏡システムのユーザ）は、今現在、超音波内視鏡の先端部が被検体の消化器内のどの位置にあって、どの方向を向いていて、どの部位を観察しているのかが比較的分かりやすい。

これに対し、超音波画像に不慣れな術者は、超音波画像に何が表示されているのか、例えば膵臓なのか胆嚢なのか、あるいは血管なのか胆管なのか膵管なのか等が非常に分かりづらいという問題がある。また、超音波画像に不慣れな術者は、超音波画像の観察中に、今現在、超音波内視鏡の先端部がどの位置にあって、どの方向を向いていて、どの部位を観察しているのかが分からなくなり、被検体の体内において迷うという問題がある。

ここで、本発明に関連性のある先行技術文献として、特許文献１～４がある。

特許文献１には、被検体内の診断部位の画像中の目的部位を大まかに抽出し、ニューラルネットワークを用いて目的部位を認識するための大局情報を予測し、大局情報を用いて目的部位の輪郭を認識し、原画像と共にその認識結果を表示することが記載されている。

特許文献２には、コイルからの電気信号に基づいて、超音波内視鏡の先端部の位置・配向データを生成し、この位置・配向データから、超音波内視鏡の挿入形状を示すための挿入形状データを生成し、被検者の臓器群等の組織構造の３次元生体組織モデルデータと組み合わせることによりガイド画像を生成し、超音波画像とガイド画像とを合成した合成画像の映像信号を生成してモニタに表示することが記載されている。
また、特許文献２には、立体ガイド画像及び断面ガイド画像が画面の左側の領域に配置され、超音波画像が画面の右側の領域に配置されつつ表示されることが記載されている。
さらに、特許文献２には、超音波画像の表示レンジを拡大または縮小するためのボタンが記載されている。

特許文献３には、表示装置の画面内に被検体の超音波断層像とその光学的画像とを一箇所に隣接表示し、両画像を同時に観察しうるようにすることが記載されている。

特許文献４には、超音波画像と、模式図とが同一画面に表示され、模式図が、シェーマ図もしくは人体の実際の光学画像であり、模式図において、超音波内視鏡の走査面と挿入形状をあわせて表示することが記載されている。
また、特許文献４には、コイルを用いて検出された超音波内視鏡の位置及び方向の信号から、超音波内視鏡の走査位置の領域を検出して超音波走査領域データを出力し、部位名記憶部から超音波走査領域データに対応した部位名データを読み出し、超音波画像上に部位名を重畳して表示することが記載されている。

特開平０６－２３３７６１号公報 特開２０１０－０６９０１８号公報 特開平０２－０４５０４５号公報 特開２００４－１１３６２９号公報

本発明の第１の目的は、上記従来技術の問題を解消し、超音波画像に不慣れな術者であっても、超音波内視鏡の先端部の位置さらには方向を確実に把握することができる超音波内視鏡システムおよび超音波内視鏡システムの作動方法を提供することにある。
本発明の第２の目的は、上記第１の目的に加え、超音波画像に不慣れな術者であっても、被検体の体内において迷うことなく、現在の観察対象部位から次の観察対象部位へ超音波内視鏡の先端部を正しく移動させることができる超音波内視鏡システムおよび超音波内視鏡システムの作動方法を提供することにある。

上記目的を達成するために、本発明は、超音波振動子を先端に有する超音波内視鏡と、
超音波振動子により超音波を送受信させ、超音波の受信信号から診断用超音波画像を生成する超音波観測装置と、
被検体の体腔内における超音波内視鏡の先端部の位置と観察対象部位の観察順序に基づくラベル番号とを対応付けて、学習用超音波画像と学習用超音波画像の撮像時の超音波内視鏡の先端部の位置に対応するラベル番号との関係を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、診断用超音波画像から、診断用超音波画像の撮像時の超音波内視鏡の先端部の位置に対応するラベル番号を認識する超音波画像認識部と、
超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置をモニタに表示させる表示制御部と、を備える、超音波内視鏡システムを提供する。

ここで、表示制御部は、認識されたラベル番号に対応する観察対象部位の名称を文字情報としてモニタに表示させることが好ましい。

また、表示制御部は、認識されたラベル番号に対応する超音波内視鏡の先端部の位置が画像情報として重ねて表示された解剖学シェーマ図をモニタに表示させることが好ましい。

また、超音波画像認識部は、超音波内視鏡の先端部の位置および向きとラベル番号とを対応付けて、学習用超音波画像と学習用超音波画像の撮像時の超音波内視鏡の先端部の位置および向きに対応するラベル番号との関係を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、診断用超音波画像から、診断用超音波画像の撮像時の超音波内視鏡の先端部の位置および向きに対応するラベル番号を認識し、
表示制御部は、超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置および向きをモニタに表示させることが好ましい。

また、表示制御部は、認識されたラベル番号に対応する観察対象部位の名称を文字情報としてモニタに表示させることが好ましい。

また、表示制御部は、認識されたラベル番号に対応する超音波内視鏡の先端部の位置および向きが画像情報として重ねて表示された解剖学シェーマ図をモニタに表示させることが好ましい。

さらに、１のラベル番号に対応する観察対象部位から、観察順序が１のラベル番号の次のラベル番号に対応する観察対象部位へ超音波内視鏡の先端部を移動させるための操作手順を記憶する操作手順記憶部を備え、
表示制御部は、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位へ超音波内視鏡の先端部を移動させるための操作手順を操作手順記憶部から取得し、取得された操作手順をモニタに表示させることが好ましい。

表示制御部は、さらに、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の名称を文字情報としてモニタに表示させることが好ましい。

また、表示制御部は、操作手順を文字情報としてモニタに表示させることが好ましい。

また、操作手順は、超音波内視鏡の先端部を移動させる際に描出される１以上の臓器の名称を含むことが好ましい。

また、表示制御部は、操作手順が画像情報として重ねて表示された解剖学シェーマ図をモニタに表示させることが好ましい。

また、表示制御部は、解剖学シェーマ図上において、超音波内視鏡の先端部を移動させる際に描出される１以上の臓器の領域を着色し、領域が着色された解剖学シェーマ図をモニタに表示させることが好ましい。

また、表示制御部は、解剖学シェーマ図上において、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域と、超音波内視鏡の先端部を移動させる際に描出される１以上の臓器の領域とを異なる色に着色し、領域が異なる色に着色された解剖学シェーマ図をモニタに表示させることが好ましい。

さらに、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位へ超音波内視鏡の先端部が移動された場合に、警告を発する警告発生部を備えることが好ましい。

また、警告発生部は、警告を音声情報として発するか、もしくは、警告として、文字情報および音声情報の両方を同時に発するのが好ましい。

また、表示制御部は、超音波内視鏡の先端部が各々のラベル番号に対応する観察対象部位に到達する毎に、到達した観察対象部位に対応するラベル番号にチェックマークを付与し、チェックマークが付与されたラベル番号を文字情報としてモニタに表示させることが好ましい。

また、表示制御部は、超音波内視鏡の先端部が各々のラベル番号に対応する観察対象部位に到達する毎に、解剖学シェーマ図上において、到達した観察対象部位の領域を着色し、到達した観察対象部位の領域が着色された解剖学シェーマ図をモニタに表示させることが好ましい。

また、表示制御部は、解剖学シェーマ図上において、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域を強調し、観察対象部位の領域が強調された解剖学シェーマ図をモニタに表示させることが好ましい。

また、表示制御部は、解剖学シェーマ図上において、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域を、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位の領域とは異なる色に着色し、観察対象部位の領域が着色された解剖学シェーマ図をモニタに表示させることが好ましい。

また、表示制御部は、観察対象部位の観察順序に基づいて超音波内視鏡の先端部が理想的に移動された場合の移動ルート、および、実際の操作に基づいて超音波内視鏡の先端部が実際に移動された場合の移動ルートを画像情報として解剖学シェーマ図上に並べてモニタに表示させることが好ましい。

さらに、観察対象部位の観察順序に基づいて超音波内視鏡の先端部が理想的に移動された場合の移動ルートを予め登録する移動ルート登録部を備えることが好ましい。

また、超音波画像認識部は、超音波観測装置に内蔵されていることが好ましい。

超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、照明部から照射される照明光の反射光を撮像部によって受信させ、反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
超音波画像認識部は、内視鏡プロセッサに内蔵されていることが好ましい。

超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、照明部から照射される照明光の反射光を撮像部によって受信させ、反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
超音波画像認識部は、超音波観測装置および内視鏡プロセッサの外部に設けられていることが好ましい。

また、本発明は、超音波画像認識部が、被検体の体腔内における超音波内視鏡の先端部の位置と観察対象部位の観察順序に基づくラベル番号とを対応付けて、学習用超音波画像と学習用超音波画像の撮像時の超音波内視鏡の先端部の位置に対応するラベル番号との関係を複数の学習用超音波画像について予め学習しておくステップと、
超音波観測装置が、超音波内視鏡の先端に有する超音波振動子により超音波を送受信させ、超音波の受信信号から診断用超音波画像を生成するステップと、
超音波画像認識部が、学習結果に基づいて、診断用超音波画像から、診断用超音波画像の撮像時の超音波内視鏡の先端部の位置に対応するラベル番号を認識するステップと、
表示制御部が、超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置をモニタに表示させるステップと、を含む、超音波内視鏡システムの作動方法を提供する。

ここで、超音波内視鏡の先端部の位置および向きとラベル番号とを対応付けて、学習用超音波画像と学習用超音波画像の撮像時の超音波内視鏡の先端部の位置および向きに対応するラベル番号との関係を複数の学習用超音波画像について予め学習しておき、
学習結果に基づいて、診断用超音波画像から、診断用超音波画像の撮像時の超音波内視鏡の先端部の位置および向きに対応するラベル番号を認識し、
超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置および向きをモニタに表示させることが好ましい。

さらに、操作手順記憶部が、１のラベル番号に対応する観察対象部位から、観察順序が１のラベル番号の次のラベル番号に対応する観察対象部位へ超音波内視鏡の先端部を移動させるための操作手順を記憶するステップを含み、
認識されたラベル番号を現在のラベル番号として、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位へ超音波内視鏡の先端部を移動させるための操作手順を操作手順記憶部から取得し、
取得された操作手順をモニタに表示させることが好ましい。

また、超音波画像認識部、表示制御部および警告発生部は、ハードウェア、または、プログラムを実行するプロセッサであることが好ましく、操作手順記憶部および移動ルート登録部は、ハードウェア、または、メモリであるのが好ましい。

本発明においては、超音波内視鏡の先端部の位置さらには向きがモニタに表示される。これにより、本発明によれば、たとえ超音波画像に不慣れな術者であっても、今現在、超音波内視鏡の先端部がどの位置にあって、どの方向を向いていて、どの部位を観察しているのかを確実に把握することができる。
また、本発明においては、超音波内視鏡の先端部を移動させるための操作手順をモニタに表示させることができる。これにより、本発明によれば、たとえ超音波画像に不慣れな術者であっても、被検体の体内において迷うことなく、現在の観察対象部位から次の観察対象部位へ超音波内視鏡の先端部を正しく移動させることができる。

本発明の一実施形態に係る超音波内視鏡システムの概略構成を示す図である。 超音波内視鏡の挿入部の先端部及びその周辺を示す平面図である。 超音波内視鏡の挿入部の先端部を図２に図示のＩ－Ｉ断面にて切断したときの断面を示す図である。 内視鏡画像認識部の構成を表す一実施形態のブロック図である。 超音波観測装置の構成を示すブロック図である。 超音波画像認識部の構成を表す一実施形態のブロック図である。 超音波内視鏡システムを用いた診断処理の流れを示す図である。 診断処理中の診断ステップの手順を示す図である。 内視鏡画像、超音波画像および解剖学シェーマ図を表す一実施形態の概念図である。 チェックマークが付与されたラベル番号を表す一実施形態の概念図である。 超音波画像認識部が超音波観測装置に内蔵されている場合の超音波内視鏡システムの構成を表す一実施形態のブロック図である。 超音波画像認識部が内視鏡プロセッサに内蔵されている場合の超音波内視鏡システムの構成を表す一実施形態のブロック図である。 超音波画像認識部が超音波観測装置および内視鏡プロセッサの外部に設けられている場合の超音波内視鏡システムの構成を表す一実施形態のブロック図である。

本発明の一実施形態（本実施形態）に係る超音波内視鏡システムについて、添付の図面に示す好適な実施形態を参照しながら、以下に詳細に説明する。
なお、本実施形態は、本発明の代表的な実施態様であるが、あくまでも一例に過ぎず、本発明を限定するものではない。

＜＜超音波内視鏡システムの概要＞＞
本実施形態に係る超音波内視鏡システム１０について、図１を参照しながら、その概要を説明する。図１は、超音波内視鏡システム１０の概略構成を示す図である。

超音波内視鏡システム１０は、超音波を用いて、被検体である患者の体内の観察対象部位の状態を観察（以下、超音波診断ともいう）するために用いられる。ここで、観察対象部位は、患者の体表側からは検査が困難な部位であり、例えば膵臓又は胆嚢等である。超音波内視鏡システム１０を用いることにより、患者の体腔である食道、胃、十二指腸、小腸、及び大腸等の消化管を経由して、観察対象部位の状態及び異常の有無を超音波診断することが可能である。

超音波内視鏡システム１０は、超音波画像および内視鏡画像を取得するものであり、図１に示すように、超音波内視鏡１２と、超音波観測装置１４と、内視鏡プロセッサ１６と、光源装置１８と、モニタ２０と、送水タンク２１ａと、吸引ポンプ２１ｂと、操作卓１００と、を有する。

超音波内視鏡１２は、患者の体腔内に挿入される挿入部２２と、医師又は技師等の術者（ユーザ）によって操作される操作部２４と、挿入部２２の先端部４０に取り付けられた超音波振動子ユニット４６（図２および図３を参照）と、を備える。超音波内視鏡１２は、超音波観察部３６として、超音波振動子ユニット４６が備える複数の超音波振動子４８を先端に有する（図２および図３参照）。また、超音波内視鏡１２は、内視鏡観察部３８として、照明窓８８等を含む照明部と、観察窓８２、対物レンズ８４および固体撮像素子８６等を含む撮像部と、を先端に有する（図２および図３参照）。術者は、超音波内視鏡１２の機能によって、内視鏡画像および超音波画像を取得する。

ここで、「内視鏡画像」は、患者の体腔内壁を光学的手法によって撮影することで得られる画像である。また、「超音波画像」は、患者の体腔内から観察対象部位に向かって送信された超音波の反射波（エコー）を受信し、その受信信号を画像化することで得られる画像である。
なお、超音波内視鏡１２については、後の項で詳しく説明する。

超音波観測装置１４は、ユニバーサルコード２６及びその端部に設けられた超音波用コネクタ３２ａを介して超音波内視鏡１２に接続される。超音波観測装置１４は、超音波内視鏡１２の超音波振動子ユニット４６を制御して超音波を送信させる。また、超音波観測装置１４は、送信された超音波の反射波（エコー）を超音波振動子ユニット４６が受信したときの受信信号を画像化して超音波画像を生成する。言い換えると、超音波観測装置１４は、超音波振動子ユニット４６が備える複数の超音波振動子４８により超音波を送受信させ、超音波の受信信号から診断用超音波画像（以下、単に超音波画像ともいう）を生成する。
なお、超音波観測装置１４については、後の項で詳しく説明する。

内視鏡プロセッサ１６は、ユニバーサルコード２６及びその端部に設けられた内視鏡用コネクタ３２ｂを介して超音波内視鏡１２に接続される。内視鏡プロセッサ１６は、超音波内視鏡１２（詳しくは、後述する固体撮像素子８６）によって撮像された観察対象隣接部位の画像データを取得し、取得した画像データに対して所定の画像処理を施して内視鏡画像を生成する。言い換えると、内視鏡プロセッサ１６は、超音波内視鏡１２の先端に有する照明部から照射される照明光の反射光を、同じく超音波内視鏡１２の先端に有する撮像部によって受信させ、反射光の撮像信号から診断用内視鏡画像（以下、単に内視鏡画像ともいう）を生成する。
ここで、「観察対象隣接部位」とは、患者の体腔内壁のうち、観察対象部位と隣り合う位置にある部分である。

なお、本実施形態では、超音波観測装置１４及び内視鏡プロセッサ１６が、別々に設けられた２台の装置（コンピュータ）によって構成されている。ただし、これに限定されるものではなく、１台の装置によって超音波観測装置１４及び内視鏡プロセッサ１６の双方が構成されてもよい。

光源装置１８は、ユニバーサルコード２６及びその端部に設けられた光源用コネクタ３２ｃを介して超音波内視鏡１２に接続される。光源装置１８は、超音波内視鏡１２を用いて観察対象隣接部位を撮像する際に、赤光、緑光及び青光の３原色光からなる白色光又は特定波長光を照射する。光源装置１８が照射した光は、ユニバーサルコード２６に内包されたライトガイド（不図示）を通じて超音波内視鏡１２内を伝搬し、超音波内視鏡１２（詳しくは、後述する照明窓８８）から出射される。これにより、観察対象隣接部位が光源装置１８からの光によって照らされる。

モニタ２０は、超音波観測装置１４及び内視鏡プロセッサ１６に接続されており、超音波観測装置１４により生成された超音波画像、内視鏡プロセッサ１６により生成された内視鏡画像の他、解剖学シェーマ図等を表示する。
超音波画像及び内視鏡画像の表示方式としては、１の画像を他の画像のうちの１つに切り替えてモニタ２０に表示する方式でもよく、２以上の画像を同時に並べて表示する方式でもよい。
なお、本実施形態では、一台のモニタ２０に超音波画像及び内視鏡画像を表示するが、超音波画像表示用のモニタと、内視鏡画像表示用のモニタと、解剖学シェーマ図用のモニタと、が別々に設けられてもよい。また、モニタ２０以外の表示形態、例えば、術者が携帯する端末のディスプレイに表示する形態にて超音波画像及び内視鏡画像を表示してもよい。

操作卓１００は、術者（ユーザ）から入力される指示を取得する指示取得部の一例であり、超音波診断に際して術者が必要な情報を入力したり、超音波観測装置１４に対して超音波診断の開始指示を行ったりするためなどに設けられた装置である。操作卓１００は、例えば、キーボード、マウス、トラックボール、タッチパッド及びタッチパネル等によって構成されている。操作卓１００が操作されると、その操作内容に応じて超音波観測装置１４のＣＰＵ（制御回路）１５２（図５参照）が装置各部（例えば、後述の受信回路１４２及び送信回路１４４）を制御する。

具体的に説明すると、術者は、超音波診断を開始する前段階で、検査情報（例えば、年月日及びオーダ番号等を含む検査オーダ情報、及び、患者ＩＤ及び患者名等を含む患者情報）を操作卓１００にて入力する。検査情報の入力完了後、術者が操作卓１００を通じて超音波診断の開始を指示すると、超音波観測装置１４のＣＰＵ１５２が、入力された検査情報に基づいて超音波診断が実施されるように超音波観測装置１４各部を制御する。

また、術者は、超音波診断の実施に際して、各種の制御パラメータを操作卓１００にて設定することが可能である。制御パラメータとしては、例えば、ライブモード及びフリーズモードの選択結果、表示深さ（深度）の設定値、及び、超音波画像生成モードの選択結果等が挙げられる。
ここで、「ライブモード」は、所定のフレームレートにて得られる超音波画像（動画像）を逐次表示（リアルタイム表示）するモードである。「フリーズモード」は、過去に生成された超音波画像（動画像）の１フレームの画像（静止画像）を、後述のシネメモリ１５０から読み出して表示するモードである。

本実施形態において選択可能な超音波画像生成モードは、複数存在し、具体的には、Ｂ（Ｂｒｉｇｈｔｎｅｓｓ）モード、ＣＦ（Ｃｏｌｏｒ Ｆｌｏｗ）モード及びＰＷ（Ｐｕｌｓｅ Ｗａｖｅ）モードである。Ｂモードは、超音波エコーの振幅を輝度に変換して断層画像を表示するモードである。ＣＦモードは、平均血流速度、フロー変動、フロー信号の強さ又はフローパワー等を様々な色にマッピングしてＢモード画像に重ねて表示するモードである。ＰＷモードは、パルス波の送受信に基づいて検出される超音波エコー源の速度（例えば、血流の速度）を表示するモードである。
なお、上述した超音波画像生成モードは、あくまでも一例であり、上述した３種類のモード以外のモード、例えば、Ａ（Ａｍｐｌｉｔｕｄｅ）モード、Ｍ（Ｍｏｔｉｏｎ）モード及び造影モード等が更に含まれてもよい。

＜＜超音波内視鏡１２の構成＞＞
次に、超音波内視鏡１２の構成について、既出の図１、および図２、図３および図５を参照しながら説明する。図２は、超音波内視鏡１２の挿入部２２の先端部及びその周辺を拡大して示した平面図である。図３は、超音波内視鏡１２の挿入部２２の先端部４０を図２に図示のＩ－Ｉ断面にて切断したときの断面を示す断面図である。図５は、超音波観測装置１４の構成を示すブロック図である。

超音波内視鏡１２は、前述したように挿入部２２及び操作部２４を有する。挿入部２２は、図１に示すように先端側（自由端側）から順に、先端部４０、湾曲部４２及び軟性部４３を備える。先端部４０には、図２に示すように超音波観察部３６及び内視鏡観察部３８が設けられている。超音波観察部３６には、図３に示すように、複数の超音波振動子４８を備える超音波振動子ユニット４６が配置されている。

また、図２に示すように先端部４０には処置具導出口４４が設けられている。処置具導出口４４は、鉗子、穿刺針、若しくは高周波メス等の処置具（不図示）の出口となる。また、処置具導出口４４は、血液及び体内汚物等の吸引物を吸引する際の吸引口にもなる。

湾曲部４２は、先端部４０よりも基端側（超音波振動子ユニット４６が設けられている側とは反対側）に連設された部分であり、湾曲自在である。軟性部４３は、湾曲部４２と操作部２４との間を連結している部分であり、可撓性を有し、細長く延びた状態で設けられている。

挿入部２２及び操作部２４の各々の内部には、送気送水用の管路及び吸引用の管路が、それぞれ複数形成されている。さらに、挿入部２２及び操作部２４の各々の内部には、一端が処置具導出口４４に通じる処置具チャンネル４５が形成されている。

次に、超音波内視鏡１２の構成要素のうち、超音波観察部３６、内視鏡観察部３８、送水タンク２１ａ及び吸引ポンプ２１ｂ、並びに操作部２４に関して詳しく説明する。

（超音波観察部３６）
超音波観察部３６は、超音波画像を取得するために設けられた部分であり、挿入部２２の先端部４０において先端側に配置されている。超音波観察部３６は、図３に示すように超音波振動子ユニット４６と、複数の同軸ケーブル５６と、ＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）６０とを備える。

超音波振動子ユニット４６は、超音波探触子（プローブ）に相当し、患者の体腔内において、後述する複数の超音波振動子４８が配列された超音波振動子アレイ５０を用いて超音波を送信し、且つ、観察対象部位にて反射した超音波の反射波（エコー）を受信して受信信号を出力する。本実施形態に係る超音波振動子ユニット４６は、コンベックス型であり、放射状（円弧状）に超音波を送信する。ただし、超音波振動子ユニット４６の種類（型式）については特にこれに限定されるものではなく、超音波を送受信できるものであれば他の種類でもよく、例えば、ラジアル型、リニア型等であってもよい。

超音波振動子ユニット４６は、図３に示すようにバッキング材層５４と、超音波振動子アレイ５０と、音響整合層７４と、音響レンズ７６とを積層させることで構成されている。

超音波振動子アレイ５０は、一次元アレイ状に配列された複数の超音波振動子４８（超音波トランスデューサ）からなる。より詳しく説明すると、超音波振動子アレイ５０は、Ｎ個（例えばＮ＝１２８）の超音波振動子４８が先端部４０の軸線方向（挿入部２２の長手軸方向）に沿って凸湾曲状に等間隔で配列されることで構成されている。なお、超音波振動子アレイ５０は、複数の超音波振動子４８を二次元アレイ状に配置して構成されたものであってもよい。

Ｎ個の超音波振動子４８の各々は、圧電素子（圧電体）の両面に電極を配置することで構成されている。圧電素子としては、チタン酸バリウム（BaTiO₃）、チタン酸ジルコン酸鉛（PZT）、ニオブ酸カリウム（KNｂO₃）等が用いられる。
電極は、複数の超音波振動子４８の各々に対して個別に設けられた個別電極（不図示）と、複数の超音波振動子４８に共通の振動子グランド（不図示）とからなる。また、電極は、同軸ケーブル５６及びＦＰＣ６０を介して超音波観測装置１４と電気的に接続される。

各超音波振動子４８には、パルス状の駆動電圧が、入力信号（送信信号）として超音波観測装置１４から同軸ケーブル５６を通じて供給される。この駆動電圧が超音波振動子４８の電極に印加されると、圧電素子が伸縮して超音波振動子４８が駆動（振動）する。この結果、超音波振動子４８からパルス状の超音波が出力される。このとき、超音波振動子４８から出力される超音波の振幅は、その超音波振動子４８が超音波を出力した際の強度（出力強度）に応じた大きさとなっている。ここで、出力強度は、超音波振動子４８から出力された超音波の音圧の大きさとして定義される。

また、各超音波振動子４８は、超音波の反射波（エコー）を受信すると、これに伴って振動（駆動）し、各超音波振動子４８の圧電素子が電気信号を発生する。この電気信号は、超音波の受信信号として各超音波振動子４８から超音波観測装置１４に向けて出力される。このとき、超音波振動子４８から出力される電気信号の大きさ（電圧値）は、その超音波振動子４８が超音波を受信した際の受信感度に応じた大きさとなっている。ここで、受信感度は、超音波振動子４８が送信する超音波の振幅に対する、その超音波振動子４８が超音波を受信して出力した電気信号の振幅の比として定義される。

本実施形態では、Ｎ個の超音波振動子４８をマルチプレクサ１４０（図５参照）などの電子スイッチで順次駆動させることで、超音波振動子アレイ５０が配された曲面に沿った走査範囲、例えば曲面の曲率中心から数十ｍｍ程度の範囲で超音波が走査される。より詳しく説明すると、超音波画像としてＢモード画像（断層画像）を取得する場合には、マルチプレクサ１４０の開口チャンネル選択により、Ｎ個の超音波振動子４８のうち、連続して並ぶｍ個（例えば、ｍ＝Ｎ／２）の超音波振動子４８（以下では、駆動対象振動子と言う）に駆動電圧が供給される。これにより、ｍ個の駆動対象振動子が駆動され、開口チャンネルの各駆動対象振動子から超音波が出力される。ｍ個の駆動対象振動子から出力された超音波は、直後に合成され、その合成波（超音波ビーム）が観察対象部位に向けて送信される。その後、ｍ個の駆動対象振動子の各々は、観察対象部位にて反射された超音波（エコー）を受信し、その時点での受信感度に応じた電気信号（受信信号）を出力する。

そして、上記一連の工程（すなわち、駆動電圧の供給、超音波の送受信、及び電気信号の出力）は、Ｎ個の超音波振動子４８における駆動対象振動子の位置を１つずつ（１個の超音波振動子４８ずつ）ずらして繰り返し行われる。具体的に説明すると、上記一連の工程は、Ｎ個の超音波振動子４８のうち、一方の端に位置する超音波振動子４８を中心とする、その両側のｍ個の駆動対象振動子から開始される。そして、上記一連の工程は、マルチプレクサ１４０による開口チャンネルの切り替えによって駆動対象振動子の位置がずれる度に繰り返される。最終的に、上記一連の工程は、Ｎ個の超音波振動子４８のうち、他端に位置する超音波振動子４８を中心とする、その両側のｍ個の駆動対象振動子に至るまで、計Ｎ回繰り返して実施される。

バッキング材層５４は、超音波振動子アレイ５０の各超音波振動子４８を裏面側から支持する。また、バッキング材層５４は、超音波振動子４８から発せられた超音波、若しくは観察対象部位にて反射された超音波（エコー）のうち、バッキング材層５４側に伝播した超音波を減衰させる機能を有する。なお、バッキング材は、硬質ゴム等の剛性を有する材料からなり、超音波減衰材（フェライト及びセラミックス等）が必要に応じて添加されている。

音響整合層７４は、超音波振動子アレイ５０の上に重ねられており、患者の人体と超音波振動子４８との間の音響インピーダンス整合をとるために設けられている。音響整合層７４が設けられていることにより、超音波の透過率を高めることが可能となる。音響整合層７４の材料としては、音響インピーダンスの値が超音波振動子４８の圧電素子に比して、より患者の人体のものの値に近い様々な有機材料を用いることができる。音響整合層７４の材料としては、具体的にはエポキシ系樹脂、シリコンゴム、ポリイミド及びポリエチレン等が挙げられる。

音響整合層７４上に重ねられた音響レンズ７６は、超音波振動子アレイ５０から発せられる超音波を観察対象部位に向けて収束させるためのものである。なお、音響レンズ７６は、例えば、シリコン系樹脂（ミラブル型シリコンゴム（ＨＴＶゴム）、液状シリコンゴム（ＲＴＶゴム）等）、ブタジエン系樹脂、及びポリウレタン系樹脂等からなり、必要に応じて酸化チタン、アルミナ若しくはシリカ等の粉末が混合される。

ＦＰＣ６０は、各超音波振動子４８が備える電極と電気的に接続される。複数の同軸ケーブル５６の各々は、その一端にてＦＰＣ６０に配線されている。そして、超音波内視鏡１２が超音波用コネクタ３２ａを介して超音波観測装置１４に接続されると、複数の同軸ケーブル５６の各々は、その他端（ＦＰＣ６０側とは反対側）にて超音波観測装置１４と電気的に接続される。

（内視鏡観察部３８）
内視鏡観察部３８は、内視鏡画像を取得するために設けられた部分であり、挿入部２２の先端部４０において超音波観察部３６よりも基端側に配置されている。内視鏡観察部３８は、図２および図３に示すように観察窓８２、対物レンズ８４、固体撮像素子８６、照明窓８８、洗浄ノズル９０及び配線ケーブル９２等によって構成されている。

観察窓８２は、挿入部２２の先端部４０において軸線方向（挿入部２２の長手軸方向）に対して斜めに傾けられた状態で取り付けられている。観察対象隣接部位にて反射されて観察窓８２から入射された光は、対物レンズ８４で固体撮像素子８６の撮像面に結像される。

固体撮像素子８６は、観察窓８２及び対物レンズ８４を透過して撮像面に結像された観察対象隣接部位の反射光を光電変換して、撮像信号を出力する。固体撮像素子８６としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）、及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭｅｔａｌＯｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補形金属酸化膜半導体）等が利用可能である。固体撮像素子８６で出力された撮像画像信号は、挿入部２２から操作部２４まで延設された配線ケーブル９２を経由して、ユニバーサルコード２６により内視鏡プロセッサ１６に伝送される。

照明窓８８は、観察窓８２の両脇位置に設けられている。照明窓８８には、ライトガイド（不図示）の出射端が接続されている。ライトガイドは、挿入部２２から操作部２４まで延設され、その入射端は、ユニバーサルコード２６を介して接続された光源装置１８に接続されている。光源装置１８で発せられた照明光は、ライトガイドを伝わり、照明窓８８から観察対象隣接部位に向けて照射される。

洗浄ノズル９０は、観察窓８２及び照明窓８８の表面を洗浄するために挿入部２２の先端部４０に形成された噴出孔であり、洗浄ノズル９０からは、空気又は洗浄用液体が観察窓８２及び照明窓８８に向けて噴出される。なお、本実施形態において、洗浄ノズル９０から噴出される洗浄用液体は、水、特に脱気水である。ただし、洗浄用液体については、特に限定されるものではなく、他の液体、例えば、通常の水（脱気されていない水）であってもよい。

（送水タンク２１ａ及び吸引ポンプ２１ｂ）
送水タンク２１ａは、脱気水を貯留するタンクであり、送気送水用チューブ３４ａにより光源用コネクタ３２ｃに接続されている。なお、脱気水は、洗浄ノズル９０から噴出される洗浄用液体として用いられる。

吸引ポンプ２１ｂは、処置具導出口４４を通じて体腔内の吸引物（洗浄用に供給された脱気水を含む）を吸引する。吸引ポンプ２１ｂは、吸引用チューブ３４ｂにより光源用コネクタ３２ｃに接続されている。なお、超音波内視鏡システム１０は、所定の送気先に空気を送気する送気ポンプなどを備えていてもよい。

挿入部２２及び操作部２４内には、処置具チャンネル４５と送気送水管路（不図示）が設けられている。

処置具チャンネル４５は、操作部２４に設けられた処置具挿入口３０と処置具導出口４４との間を連絡している。また、処置具チャンネル４５は、操作部２４に設けられた吸引ボタン２８ｂに接続している。吸引ボタン２８ｂは、処置具チャンネル４５のほかに、吸引ポンプ２１ｂに接続されている。
送気送水管路は、その一端側で洗浄ノズル９０に通じており、他端側では、操作部２４に設けられた送気送水ボタン２８ａに接続している。送気送水ボタン２８ａは、送気送水管路のほかに、送水タンク２１ａに接続されている。

（操作部２４）
操作部２４は、超音波診断の開始時、診断中及び診断終了時等において術者によって操作される部分であり、その一端にはユニバーサルコード２６の一端が接続されている。また、操作部２４は、図１に示すように、送気送水ボタン２８ａ、吸引ボタン２８ｂ、一対のアングルノブ２９、並びに処置具挿入口（鉗子口）３０を有する。

一対のアングルノブ２９の各々を回動すると、湾曲部４２が遠隔的に操作されて湾曲変形する。この変形操作により、超音波観察部３６及び内視鏡観察部３８が設けられた挿入部２２の先端部４０を所望の方向に向けることが可能となる。
処置具挿入口３０は、鉗子等の処置具（不図示）を挿通するために形成された孔であり、処置具チャンネル４５を介して処置具導出口４４と連絡している。処置具挿入口３０に挿入された処置具は、処置具チャンネル４５を通過した後に処置具導出口４４から体腔内に導入される。

送気送水ボタン２８ａ及び吸引ボタン２８ｂは、２段切り替え式の押しボタンであり、挿入部２２及び操作部２４の各々の内部に設けられた管路の開閉を切り替えるために操作される。

＜＜内視鏡プロセッサ１６の概略構成＞＞
ここでは、内視鏡プロセッサ１６の詳細構成の説明は省略するが、内視鏡プロセッサ１６は、内視鏡画像を撮像する従来公知の一般的な構成要素に加えて、内視鏡画像認識部１７０を備えている。

内視鏡画像認識部１７０は、学習用内視鏡画像と、学習用内視鏡画像に表示されている病変領域と、の関係を複数の学習用内視鏡画像について予め学習しておき、学習結果に基づいて、内視鏡プロセッサ１６によって生成された診断用内視鏡画像から、この診断用内視鏡画像に表示されている病変領域を認識する。
学習用内視鏡画像は、内視鏡画像認識部１７０が、内視鏡画像と、内視鏡画像に表示されている病変領域と、の関係を学習するための既存の内視鏡画像であり、例えば過去に撮影された各種の内視鏡画像を利用することができる。

内視鏡画像認識部１７０は、図４に示すように、病変領域検出部１０２と、位置情報取得部１０４と、選択部１０６と、病変領域検出制御部１０８と、を備えている。

病変領域検出部１０２は、学習結果に基づいて、診断用内視鏡画像から病変領域を検出する。病変領域検出部１０２は、体腔内の複数の位置にそれぞれ対応した複数の検出部を備えている。ここでは、一例として、図４に示すように、第１～第１１検出部１０２Ａ～１０２Ｋを備えている。第１検出部１０２Ａは直腸に、第２検出部１０２ＢはＳ字結腸に、第３検出部１０２Ｃは下行結腸に、第４検出部１０２Ｄは横行結腸に、第５検出部１０２Ｅは上行結腸に、第６検出部１０２Ｆは盲腸に、第７検出部１０２Ｇは回腸に、第８検出部１０２Ｈは空腸に、第９検出部１０２Ｉは十二指腸に、第１０検出部１０２Ｊは胃に、第１１検出部１０２Ｋは食道に、それぞれ対応している。

第１～第１１検出部１０２Ａ～１０２Ｋは、それぞれ学習済みモデルである。この複数の学習済みモデルは、それぞれ異なる学習用内視鏡画像からなるデータセットを用いて学習したモデルである。詳しくは、複数の学習済みモデルは、それぞれ体腔内の異なる位置を撮影した学習用内視鏡画像からなるデータセットを用いて、学習用内視鏡画像と、学習用内視鏡画像に表示されている病変領域と、の関係を予め学習したモデルである。

すなわち、第１検出部１０２Ａは直腸の学習用内視鏡画像からなるデータセット、第２検出部１０２ＢはＳ字結腸の学習用内視鏡画像からなるデータセット、第３検出部１０２Ｃは下行結腸の学習用内視鏡画像からなるデータセット、第４検出部１０２Ｄは横行結腸の学習用内視鏡画像からなるデータセット、第５検出部１０２Ｅは上行結腸の学習用内視鏡画像からなるデータセット、第６検出部１０２Ｆは盲腸の学習用内視鏡画像からなるデータセット、第７検出部１０２Ｇは回腸の学習用内視鏡画像からなるデータセット、第８検出部１０２Ｈは空腸の学習用内視鏡画像からなるデータセット、第９検出部１０２Ｉは十二指腸の学習用内視鏡画像からなるデータセット、第１０検出部１０２Ｊは胃の学習用内視鏡画像からなるデータセット、第１１検出部１０２Ｋは食道の学習用内視鏡画像からなるデータセットを用いて学習したモデルである。

学習方法は、複数の学習用内視鏡画像から、内視鏡画像と、病変領域と、の関係を学習し、学習済みモデルを生成することができるものであれば特に限定されない。
学習方法としては、例えば人工知能（AI：Artificial Intelligence）の技術の１つである機械学習（マシンラーニング）の一例としての、階層構造型のニューラルネットワークを用いるディープラーニング（深層学習）等を利用することができる。
なお、ディープラーニング以外の機械学習を利用してもよいし、機械学習以外の人工知能の技術を利用してもよいし、人工知能の技術以外の学習方法を利用してもよい。

また、学習用内視鏡画像だけを使用して学習済みモデルを生成してもよい。この場合、学習済みモデルは更新されず、常に同じ学習済みモデルを使用することができる。
あるいは、学習用内視鏡画像に加えて、診断用内視鏡画像を使用して学習済みモデルを生成するように構成してもよい。この場合、診断用内視鏡画像と、この診断用内視鏡画像に表示されている病変領域と、の関係を学習して学習済みモデルが随時更新される。

続いて、位置情報取得部１０４は、内視鏡画像の体腔内の位置の情報を取得する。ここでは、医師等の術者が操作卓１００を用いて位置の情報を入力する。位置情報取得部１０４は、操作卓１００から入力された位置の情報を取得する。

画像の体腔内の位置の情報として、直腸、Ｓ字結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、空腸、十二指腸、胃、及び食道等の情報が入力される。これらの位置候補を選択可能にモニタ２０に表示し、医師等の術者が操作卓１００を用いて選択するように構成してもよい。

続いて、選択部１０６は、病変領域検出部１０２から、位置情報取得部１０４が取得した位置の情報に対応した検出部を選択する。即ち、選択部１０６は、位置の情報が直腸の場合は第１検出部１０２Ａを、Ｓ字結腸の場合は第２検出部１０２Ｂを、下行結腸の場合は第３検出部１０２Ｃを、横行結腸の場合は第４検出部１０２Ｄを、上行結腸の場合は第５検出部１０２Ｅを、盲腸の場合は第６検出部１０２Ｆを、回腸の場合は第７検出部１０２Ｇを、空腸の場合は第８検出部１０２Ｈを、十二指腸の場合は第９検出部１０２Ｉを、胃の場合は第１０検出部１０２Ｊを、食道の場合は第１１検出部１０２Ｋを選択する。

続いて、病変領域検出制御部１０８は、選択部１０６が選択した検出部によって、内視鏡画像から病変領域を検出させる。ここでの病変領域とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変領域としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕又はＥＳＤ（Endoscopic Submucosal Dissection）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等を例示することができる。

＜＜超音波観測装置１４の構成＞＞
超音波観測装置１４は、超音波振動子ユニット４６に超音波を送受信させ、且つ、超音波受信時に超音波振動子４８（詳しくは駆動対象素子）が出力した受信信号を画像化して超音波画像を生成する。また、超音波観測装置１４は、生成した超音波画像に加え、内視鏡プロセッサ１６から転送される内視鏡画像、および解剖学シェーマ図等をモニタ２０に表示する。

超音波観測装置１４は、図５に示すように、マルチプレクサ１４０、受信回路１４２、送信回路１４４、Ａ／Ｄコンバータ１４６、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１４８、シネメモリ１５０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５２、ＤＳＣ（Ｄｉｇｉｔａｌ Ｓｃａｎ Ｃｏｎｖｅｒｔｅｒ）１５４、超音波画像認識部１６８、操作手順記憶部１７４、警告発生部１７６、移動ルート登録部１７８、及び表示制御部１７２を有する。

受信回路１４２及び送信回路１４４は、超音波内視鏡１２の超音波振動子アレイ５０と電気的に接続する。マルチプレクサ１４０は、Ｎ個の超音波振動子４８の中から最大ｍ個の駆動対象振動子を選択し、そのチャンネルを開口させる。
送信回路１４４は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、パルサー（パルス発生回路１５８）、及びＳＷ（スイッチ）等からなり、ＭＵＸ（マルチプレクサ１４０）に接続される。なお、ＦＰＧＡの代わりにＡＳＩＣ（特定用途向け集積回路）を用いても良い。

送信回路１４４は、超音波振動子ユニット４６から超音波を送信するために、ＣＰＵ１５２から送られてくる制御信号に従って、マルチプレクサ１４０により選択された駆動対象振動子に対して超音波送信用の駆動電圧を供給する回路である。駆動電圧は、パルス状の電圧信号（送信信号）であり、ユニバーサルコード２６及び同軸ケーブル５６を介して駆動対象振動子の電極に印加される。

送信回路１４４は、制御信号に基づいて送信信号を生成するパルス発生回路１５８を有しており、ＣＰＵ１５２の制御により、パルス発生回路１５８を用いて、複数の超音波振動子４８を駆動して超音波を発生させる送信信号を生成して複数の超音波振動子４８に供給する。より詳しくは、送信回路１４４は、ＣＰＵ１５２の制御により、超音波診断を行う場合に、パルス発生回路１５８を用いて、超音波診断を行うための駆動電圧を有する送信信号を生成する。

受信回路１４２は、超音波（エコー）を受信した駆動対象振動子から出力される電気信号、すなわち受信信号を受信する回路である。また、受信回路１４２は、ＣＰＵ１５２から送られてくる制御信号に従って、超音波振動子４８から受信した受信信号を増幅し、増幅後の信号をＡ／Ｄコンバータ１４６に引き渡す。Ａ／Ｄコンバータ１４６は、受信回路１４２と接続しており、受信回路１４２から受け取った受信信号をアナログ信号からデジタル信号に変換し、変換後のデジタル信号をＡＳＩＣ１４８に出力する。

ＡＳＩＣ１４８は、Ａ／Ｄコンバータ１４６と接続しており、図５に示すように、位相整合部１６０、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４、ＣＦモード画像生成部１６６及びメモリコントローラ１５１を構成している。
なお、本実施形態では、ＡＳＩＣ１４８のようなハードウェア回路によって上述の機能（具体的には、位相整合部１６０、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４、ＣＦモード画像生成部１６６及びメモリコントローラ１５１）を実現しているが、これに限定されるものではない。中央演算装置（ＣＰＵ）と各種データ処理を実行させるためのソフトウェア（コンピュータプログラム）とを協働させることで上記の機能を実現させてもよい。

位相整合部１６０は、Ａ／Ｄコンバータ１４６によりデジタル信号化された受信信号（受信データ）に対して遅延時間を与えて整相加算する（受信データの位相を合わせてから加算する）処理を実行する。整相加算処理により、超音波エコーの焦点が絞り込まれた音線信号が生成される。

Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４及びＣＦモード画像生成部１６６は、超音波振動子ユニット４６が超音波を受信した際に複数の超音波振動子４８のうちの駆動対象振動子が出力する電気信号（厳密には、受信データを整相加算することで生成された音線信号）に基づいて、超音波画像を生成する。

Ｂモード画像生成部１６２は、患者の内部（体腔内）の断層画像であるＢモード画像を生成する画像生成部である。Ｂモード画像生成部１６２は、順次生成される音線信号に対し、ＳＴＣ（Ｓｅｎｓｉｔｉｖｉｔｙ Ｔｉｍｅ ｇａｉｎ Ｃｏｎｔｒｏｌ）によって、超音波の反射位置の深度に応じて伝搬距離に起因する減衰の補正を施す。また、Ｂモード画像生成部１６２は、補正後の音線信号に対して包絡線検波処理及びＬｏｇ（対数）圧縮処理を施して、Ｂモード画像（画像信号）を生成する。

ＰＷモード画像生成部１６４は、所定方向における血流の速度を表示する画像を生成する画像生成部である。ＰＷモード画像生成部１６４は、位相整合部１６０によって順次生成される音線信号のうち、同一方向における複数の音線信号に対して高速フーリエ変換を施すことで周波数成分を抽出する。その後、ＰＷモード画像生成部１６４は、抽出した周波数成分から血流の速度を算出し、算出した血流の速度を表示するＰＷモード画像（画像信号）を生成する。

ＣＦモード画像生成部１６６は、所定方向における血流の情報を表示する画像を生成する画像生成部である。ＣＦモード画像生成部１６６は、位相整合部１６０によって順次生成される音線信号のうち、同一方向における複数の音線信号の自己相関を求めることで、血流に関する情報を示す画像信号を生成する。その後、ＣＦモード画像生成部１６６は、上記の画像信号に基づき、Ｂモード画像生成部１６２によって生成されるＢモード画像信号に血流に関する情報を重畳させたカラー画像としてのＣＦモード画像（画像信号）を生成する。

メモリコントローラ１５１は、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４又はＣＦモード画像生成部１６６が生成した画像信号をシネメモリ１５０に格納する。

ＤＳＣ１５４は、ＡＳＩＣ１４８に接続されており、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４又はＣＦモード画像生成部１６６が生成した画像の信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（ラスター変換）し、画像信号に階調処理等の各種の必要な画像処理を施した後に超音波画像認識部１６８に出力する。

超音波画像認識部１６８は、被検体の体腔内における超音波内視鏡１２の先端部の位置および向きと臓器等の観察対象部位の観察順序に基づくラベル番号とを対応付けて、学習用超音波画像と学習用超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号との関係を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、ＤＳＣ１５４によってラスター変換された超音波画像、つまり、超音波観測装置１４によって生成される診断用超音波画像から、この診断用超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号を認識する。超音波画像認識部１６８によって認識されるラベル番号は、後述する表示制御部１７２および警告発生部１７６（図５参照）に出力される。

観察対象部位の観察順序とは、被検体の体腔内において超音波画像を撮像（観察）する観察対象部位の順番である。観察対象部位の観察順序については、後に一例を挙げて説明する。
ラベル番号は、観察対象部位の観察順序に基づいて付与される。例えば、観察順序が１番目の観察対象部位が肝左葉であるとすると、肝左葉には、１番目のラベル番号が付与される。ラベル番号は、順番さえわかれば「番号」でなくても、何らかのラベルでよい。
学習用超音波画像は、超音波画像認識部１６８が、超音波画像と、超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号と、の関係を学習するための既存の超音波画像であり、例えば過去に撮像された各種の超音波画像を利用することができる。

超音波画像認識部１６８は、図６に示すように、ラベル番号検出部１１２と、臓器名称検出部１２０と、位置及び向き検出部１２２と、を備えている。

ラベル番号検出部１１２は、学習結果に基づいて、診断用超音波画像から、診断用超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号を検出する。

ラベル番号検出部１１２は、学習済みモデルである。この学習済みモデルは、それぞれ被検体の体内の観察対象部位となる異なる位置を撮像した学習用超音波画像からなるデータセットを用いて、学習用超音波画像の撮像時の超音波内視鏡１２の先端部４０の各々の位置および向きに対応する各々のラベル番号を付与し、学習用超音波画像と、学習用超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号と、の関係を予め学習したモデルである。

学習方法は、複数の学習用超音波画像から、超音波画像と、超音波内視鏡１２の撮像時の先端部４０の位置および向きに対応するラベル番号と、の関係を学習し、学習済みモデルを生成することができるものであれば特に限定されない。
学習方法としては、例えば人工知能（AI：Artificial Intelligence）の技術の１つである機械学習（マシンラーニング）の一例としての、階層構造型のニューラルネットワークを用いるディープラーニング（深層学習）等を利用することができる。
なお、ディープラーニング以外の機械学習を利用してもよいし、機械学習以外の人工知能の技術を利用してもよいし、人工知能の技術以外の学習方法を利用してもよい。

また、学習用超音波画像だけを使用して学習済みモデルを生成してもよい。この場合、学習済みモデルは更新されず、常に同じ学習済みモデルを使用することができる。
あるいは、学習用超音波画像に加えて、診断用超音波画像を使用して学習済みモデルを生成するように構成してもよい。この場合、診断用超音波画像と、この診断用超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号と、の関係を学習して学習済みモデルが随時更新される。

超音波画像を撮像する場合の体内の観察順序（超音波内視鏡１２の先端部４０の移動経路）、及び代表的な観察ポイント（超音波内視鏡１２の先端部４０の位置および向き）は大体決められている。そのため、代表的な観察ポイントにおける超音波画像と、その観察ポイントにおける超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号と、を関連付けて学習することができる。

以下、観察順序に従って超音波画像を撮像する場合の体内の代表的な観察ポイント（超音波内視鏡１２の先端部４０の位置および向き）について説明する。

体内の代表的な観察ポイントとしては、例えば以下の（１）～（１２）などがある。
（１）肝左葉
（２）大動脈、腹腔動脈、上腸間膜動脈の合流部
（３）膵体部
（４）膵尾部
（５）脾静脈、上腸間膜静脈、及び門脈の合流部（コンフルエンス）
（６）膵頭部
（７）胆嚢
（８）門脈
（９）総胆管
（１０）胆嚢
（１１）膵鉤部
（１２）乳頭
ここで、（１）肝左葉、（２）大動脈、腹腔動脈、上腸間膜動脈の合流部、（３）膵体部、（４）膵尾部、（５）脾静脈、上腸間膜静脈、及び門脈の合流部、（６）膵頭部および（７）胆嚢は、胃内からの代表的な観察ポイントであり、（８）門脈、（９）総胆管および（１０）胆嚢は、十二指腸球部からの代表的な観察ポイントであり、（１１）膵鉤部および（１２）乳頭は、十二指腸下行部からの代表的な観察ポイントである。
（１）～（１２）は、ラベル番号（観察対象部位の観察順序）に対応し、（１）～（１２）の観察ポイントは、観察対象部位（臓器）に対応する。

なお、上記の観察対象部位の観察順序は一例であり、術者によって、観察対象部位の観察順序は多少異なる場合もある。このため、術者に応じて、それぞれ異なる観察対象部位の観察順序のリストを複数用意し、各々のリストについて、学習用超音波画像と、学習用超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きに対応するラベル番号と、の関係を複数の学習用超音波画像について学習しておき、術者によって、使用するリスト、つまり、観察対象部位の観察順序を切り替えるようにしてもよい。あるいは、術者が、所望のリストを登録できるようにしてもよい。
また、リストにおける観察対象部位の数は、上記の観察対象部位の観察順序よりも多くしてもよいし、逆に少なくしてもよい。つまり、１の観察対象部位と、観察順序が１の観察対象部位の次の観察対象部位との間に、１以上の他の観察対象部位を追加してもよいし、逆に観察順序が連続する複数の観察対象部位の中から１以上の観察対象部位を削除してもよい。

続いて、臓器名称検出部１２０は、ラベル番号検出部１１２によって検出されたラベル番号（１）～（１２）に対応する臓器の名称を検出する。ラベル番号は、観察対象部位の観察順序に対応付けられているため、ラベル番号から、このラベル番号に対応する観察対象部位（臓器）の名称を得ることができる。

続いて、位置及び向き検出部１２２は、ラベル番号検出部１１２によって検出されたラベル番号（１）～（１２）に基づいて、診断用超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きを検出する。ラベル番号は、超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きと対応付けられているため、ラベル番号から、このラベル番号に対応する超音波内視鏡１２の先端部４０の位置および向きを得ることができる。

本実施形態の場合、超音波内視鏡１２の先端部４０の位置および向きとして、上記のラベル番号（１）～（１２）に対応する観察ポイント、つまり、（１）肝左葉、（２）大動脈、腹腔動脈、及び上腸間膜動脈の合流部、（３）膵体部、（４）膵尾部、（５）脾静脈、上腸間膜静脈、及び門脈の合流部、（６）膵頭部および（７）胆嚢（胃内からの代表的な観察ポイント）、（８）門脈、（９）総胆管および（１０）胆嚢（十二指腸球部の代表的な観察ポイント）、（１１）膵鉤部および（１２）乳頭（十二指腸下行部からの代表的な観察ポイント）における超音波画像の撮像時の超音波内視鏡１２の先端部４０の位置および向きが検出される。

本実施形態のように、超音波振動子ユニット４６がコンベックス型である場合、超音波内視鏡１２の先端部４０の位置および向きをラベル番号に対応させ、ラベル番号に対応する位置および向き検出するのが望ましい。
一方、超音波振動子ユニット４６がラジアル型である場合、超音波内視鏡１２の先端部４０の向きを検出する必要がないため、超音波内視鏡１２の先端部４０の位置のみをラベル番号に対応させ、ラベル番号に対応する位置のみを検出するのが望ましい。

操作手順記憶部１７４は、１のラベル番号に対応する観察対象部位から、観察順序が１のラベル番号の次のラベル番号に対応する観察対象部位へ超音波内視鏡１２の先端部４０を移動させるための操作手順を記憶する。操作手順は、表示制御部１７２へ出力される。

１のラベル番号は、観察順序に従って観察する観察対象部位のうち、任意の１の観察対象部位に対応するラベル番号であり、観察順序が１のラベル番号の次のラベル番号は、この任意の１の観察対象部位の次の観察対象部位に対応するラベル番号である。
例えば、１番目のラベル番号に対応する１番目の観察対象部位が肝左葉であり、２番目のラベル番号に対応する２番目の観察対象部位が大動脈、腹腔動脈、上腸間膜動脈の合流部であるとする。この場合、操作手順記憶部１７４は、１番目のラベル番号に対応する肝左葉から、２番目のラベル番号に対応する大動脈、腹腔動脈、上腸間膜動脈の合流部へ超音波内視鏡１２の先端部４０を移動させるための操作手順を記憶する。操作手順記憶部１７４は、２番目以降の各々のラベル番号に対応する観察対象部位についても同様に操作手順を記憶する。なお、観察順序が最後のラベル番号に対応する観察対象部位についての操作手順は記憶されない。

操作手順には、超音波内視鏡１２の先端部４０を移動させるための各種の指示が含まれる。例えば、超音波内視鏡１２を前進させる、超音波内視鏡１２を時計回りまたは反時計回りに回す、超音波内視鏡１２の先端部４０を湾曲させる等の指示が含まれる。

警告発生部１７６は、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位へ超音波内視鏡１２の先端部４０が移動された場合に、警告を発する。

現在のラベル番号とは、観察順序に従って観察する観察対象部位のうち、現在観察している観察対象部位に対応するラベル番号、言い換えると、現在、超音波画像認識部１６８によって認識されているラベル番号である。観察順序が現在のラベル番号の次のラベル番号は、現在観察している観察対象部位の次に観察する観察対象部位に対応するラベル番号である。
同様に、１番目のラベル番号に対応する１番目の観察対象部位が肝左葉であり、２番目のラベル番号に対応する２番目の観察対象部位が大動脈、腹腔動脈、上腸間膜動脈の合流部であるとする。この場合、現在肝左葉を観察しているとすると、肝左葉に対応する１番目のラベル番号が現在のラベル番号であり、大動脈、腹腔動脈、上腸間膜動脈の合流部に対応する２番目のラベル番号が、観察順序が現在のラベル番号の次のラベル番号である。

前述のように、観察対象部位の観察順序は大体決められている。従って、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位へ超音波内視鏡１２の先端部４０が移動された場合、警告発生部１７６は、術者の操作による超音波内視鏡１２の先端部４０の移動方向が間違っていると判断し、警告を発する。
警告発生部１７６が警告を発することにより、術者は、間違った方向へ超音波内視鏡１２の先端部４０を移動させていることに気付くことができ、正しい方向に超音波内視鏡１２の先端部４０を移動させることができるようになる。

本実施形態の場合、警告発生部１７６によって発せられる警告は表示制御部１７２へ出力され、表示制御部１７２の制御により、例えば「移動方向が間違っています！」等のような警告が文字情報としてモニタ２０に表示される。なお、警告を発する手段は特に限定されず、例えば警告を音声情報としてスピーカから発してもよいし、もしくは、警告として、文字情報および音声情報の両方を同時に発してもよい。

移動ルート登録部１７８は、観察対象部位の観察順序に基づいて超音波内視鏡１２の先端部４０が理想的に移動された場合の移動ルートを予め登録する。この理想的な移動ルートは、表示制御部１７２に出力される。
理想的な移動ルートとは、観察対象部位の観察順序の通りに、超音波内視鏡１２の先端部４０が正しく操作されて移動された場合の移動ルートである。

続いて、表示制御部１７２は、超音波画像認識部１６８によって認識されたラベル番号に対応する超音波内視鏡１２の先端部４０の位置および向きをモニタ２０に表示させる。

また、表示制御部１７２は、術者からの指示に応じて、内視鏡画像に病変領域を重ねて表示したり、超音波画像に臓器の名称を重ねて表示したり、解剖学シェーマ図に超音波内視鏡１２の先端部４０の位置および向きを重ねて表示したりする。
言い換えると、表示制御部１７２は、術者からの指示に応じて、病変領域が表示されていない内視鏡画像、病変領域が重ねて表示された内視鏡画像、臓器の名称が表示されていない超音波画像、臓器の名称が重ねて表示された超音波画像、超音波内視鏡１２の先端部４０の位置および向きが表示されていない解剖学シェーマ図、および超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図の中から、１の画像または２以上の画像をモニタ２０の画面内に並べて表示させる。

臓器の名称は、例えば超音波画像の上に重ねてその臓器の近傍、例えばその臓器の上に表示され、超音波内視鏡１２の先端部４０の位置および向きは、例えば解剖学シェーマ図の上に重ねて表示される。病変領域は、例えば内視鏡画像の上に重ねて病変領域を枠線で囲んで表示される。

シネメモリ１５０は、１フレーム分又は数フレーム分の画像信号を蓄積するための容量を有する。ＡＳＩＣ１４８が生成した画像信号は、ＤＳＣ１５４に出力される一方で、メモリコントローラ１５１によってシネメモリ１５０にも格納される。フリーズモード時には、メモリコントローラ１５１がシネメモリ１５０に格納された画像信号を読み出し、ＤＳＣ１５４に出力する。これにより、モニタ２０には、シネメモリ１５０から読み出された画像信号に基づく超音波画像（静止画像）が表示されるようになる。

ＣＰＵ１５２は、超音波観測装置１４の各部を制御する制御部として機能し、受信回路１４２、送信回路１４４、Ａ／Ｄコンバータ１４６、及びＡＳＩＣ１４８等と接続しており、これらの機器を制御する。具体的に説明すると、ＣＰＵ１５２は、操作卓１００と接続しており、操作卓１００にて入力された検査情報および制御パラメータ等に従って超音波観測装置１４各部を制御する。

また、ＣＰＵ１５２は、超音波内視鏡１２が超音波用コネクタ３２ａを介して超音波観測装置１４に接続されると、ＰｎＰ（Ｐｌｕｇ ａｎｄ Ｐｌａｙ）等の方式により超音波内視鏡１２を自動認識する。

＜＜超音波内視鏡システム１０の動作例について＞＞
次に、超音波内視鏡システム１０の動作例として、超音波診断に関する一連の処理（以下、診断処理とも言う）の流れを、図７および図８を参照しながら説明する。図７は、超音波内視鏡システム１０を用いた診断処理の流れを示す図である。図８は、診断処理中の診断ステップの手順を示す図である。

超音波内視鏡１２が超音波観測装置１４、内視鏡プロセッサ１６及び光源装置１８に接続された状態で超音波内視鏡システム１０各部の電源が投入されると、それをトリガとして診断処理が開始される。診断処理では、図７に示すように、先ず入力ステップが実施される（Ｓ００１）。入力ステップでは、術者が操作卓１００を通じて検査情報及び制御パラメータ等を入力する。入力ステップが完了すると、診断開始の指示があるまで、待機ステップが実施される（Ｓ００２）。

続いて、術者からの診断開始指示があると（Ｓ００３でＹｅｓ）、ＣＰＵ１５２が超音波観測装置１４各部を制御して診断ステップを実施する（Ｓ００４）。診断ステップは、図８に図示の流れに沿って進行し、指定された画像生成モードがＢモードである場合には（Ｓ０３１でＹｅｓ）、Ｂモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３２）。また、指定された画像生成モードがＢモードではなく（Ｓ０３１でＮｏ）ＣＦモードである場合には（Ｓ０３３でＹｅｓ）、ＣＦモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３４）。さらに、指定された画像生成モードがＣＦモードではなく（Ｓ０３３でＮｏ）ＰＷモードである場合には（Ｓ０３５でＹｅｓ）、ＰＷモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３６）。なお、指定された画像生成モードがＰＷモードではない場合には（Ｓ０３５でＮｏ）、ステップＳ０３７へ進む。

続いて、ＣＰＵ１５２は、超音波診断が終了したか否かを判定する（Ｓ０３７）。超音波診断が終了していない場合（Ｓ０３７でＮｏ）、診断ステップＳ０３１へ戻り、各画像生成モードによる超音波画像の生成は、診断終了条件が成立するまで繰り返し実施される。診断終了条件としては、例えば、術者が操作卓１００を通じて診断終了を指示すること等が挙げられる。

一方、診断終了条件が成立して超音波診断が終了すると（Ｓ０３７でＹｅｓ）、診断ステップが終了する。
続いて、図７に戻って、超音波内視鏡システム１０各部の電源がオフとなると（Ｓ００６でＹｅｓ）、診断処理が終了する。一方で、超音波内視鏡システム１０各部の電源がオン状態で維持される場合には（Ｓ００５でＮｏ）、入力ステップＳ００１に戻り、上述した診断処理の各ステップを繰り返すことになる。

＜＜内視鏡画像、超音波画像および解剖学シェーマ図の表示方法＞＞
次に、内視鏡画像、超音波画像および解剖学シェーマ図の表示方法について説明する。

術者は、操作卓１００を操作して指示を与えることにより、内視鏡画像、超音波画像、及び解剖学シェーマ図の少なくとも１つをモニタ２０の画面内に表示させることができる。
この場合、表示制御部１７２により、術者からの指示に応じて、内視鏡画像（病変領域の表示のあり／なし）、超音波画像（臓器の名称の表示のあり／なし）、及び解剖学シェーマ図（超音波内視鏡１２の先端部４０の位置および向きの表示のあり／なし）の中から、１の画像、もしくは２以上の画像がモニタ２０の画面内に並べて表示される。
また、術者からの指示に応じて、表示制御部１７２により、モニタ２０に表示された２以上の画像の中から、１の画像を注目画像として他の画像よりも大きく表示させることができる。

超音波内視鏡システム１０では、超音波画像または解剖学シェーマ図がモニタ２０の画面内に表示される場合に超音波画像認識部１６８が動作し、内視鏡画像がモニタ２０の画面内に表示される場合に内視鏡画像認識部１７０が動作する。
これにより、術者からの指示に応じて、その上に病変領域が重ねて表示された内視鏡画像をモニタ２０に表示させたり、その上に臓器の名称が重ねて表示された超音波画像をモニタ２０に表示させたり、その上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図をモニタ２０に表示させることができる。

例えば、術者は、図９に示すように、内視鏡画像、超音波画像および解剖学シェーマ図をモニタ２０の画面内に表示させることができる。

図９に示すモニタ２０の画面内の左部から中央部には超音波画像が表示され、超音波画像の上に臓器の名称Panc, PD, SV, SAが重ねて表示されている。Pancは膵臓、PDは膵管、SVは脾静脈、SAは脾動脈の名称を表す。モニタ２０の画面内の右上部には解剖学シェーマ図が表示され、解剖学シェーマ図の上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示されている。モニタ２０の画面内の右下部には、病変領域が表示されていない内視鏡画像が表示されている。この例の場合、超音波画像は、注目画像として、解剖学シェーマ図および内視鏡画像よりも大きく表示されている。また、モニタ２０の画面内の右中央部の解剖学シェーマ図と内視鏡画像との間には、超音波内視鏡１２の先端部４０を移動させるための操作手順が、「次の観察対象部位：４番目の膵尾部 SVに沿って時計回りに回してください。」という文字情報として表示されている。

なお、図９の例に限定されず、術者は、１の画像、または２以上の画像を任意に組み合わせてモニタ２０の画面内に並べて表示させることができる。また、術者は、内視鏡画像、超音波画像、解剖学シェーマ図および操作手順をどの位置に配置するのかを任意に設定することができる。また、術者は、モニタ２０に表示されている画像の中から、注目画像を切り替えて表示させることができる。

＜＜表示制御部による表示制御方法＞＞
次に、表示制御部１７２による様々な表示の制御方法について説明する。
まず、超音波内視鏡１２の先端部４０の位置および向きの表示方法について説明する。

表示制御部１７２は、超音波画像認識部１６８によって認識されたラベル番号に対応する超音波内視鏡１２の先端部４０の位置および向きを文字情報としてモニタ２０に表示させることができる。この場合、表示制御部１７２により、例えば「現在、超音波内視鏡の先端部は胃内より肝左葉の方向を描出しています。」等のように、超音波内視鏡１２の先端部４０の位置および向きを説明する文字情報がモニタ２０に表示される。また、表示制御部１７２は、超音波画像認識部１６８によって認識されたラベル番号に対応する観察対象部位の名称を文字情報としてモニタ２０に表示させることができる。

また、表示制御部１７２は、超音波画像認識部１６８によって認識された超音波内視鏡１２の先端部４０の位置および向きが画像情報として重ねて表示された解剖学シェーマ図をモニタ２０に表示させることができる。この場合、表示制御部１７２により、図９の右上部に示すように、解剖学シェーマ図がモニタ２０に表示され、超音波内視鏡１２の先端部４０の位置および向きが画像情報として解剖学シェーマ図上に重ねて表示される。

このように、超音波内視鏡１２の先端部４０の位置および向きをモニタ２０に表示させることにより、たとえ超音波画像に不慣れな術者であっても、今現在、超音波内視鏡１２の先端部４０がどの位置にあって、どの方向を向いていて、どの部位を観察しているのかを確実に把握することができる。
なお、表示制御部１７２は、超音波内視鏡１２の先端部４０の位置および向きを文字情報としてモニタ２０に表示させ、かつ画像情報としてモニタ２０に表示させてもよい。つまり、文字情報および画像情報の両方を同時に表示させてもよい。

続いて、操作手順の表示方法について説明する。

表示制御部１７２は、超音波内視鏡１２の先端部４０を移動させるための操作手順をモニタ２０に表示させることができる。この場合、表示制御部１７２により、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位へ超音波内視鏡１２の先端部４０を移動させるための操作手順が操作手順記憶部１７４から取得され、操作手順記憶部１７４から取得された操作手順がモニタ２０に表示される。
これにより、たとえ超音波画像に不慣れな術者であっても、被検体の体内において迷うことなく、現在の観察対象部位から次の観察対象部位へ超音波内視鏡１２の先端部４０を正しく移動させることができる。

例えば、表示制御部１７２は、操作手順を、この操作手順を説明する文字情報としてモニタ２０に表示させることができる。

この場合、操作手順は、図９の右中央部に示すように、操作の目印となる１以上の臓器の名称を含んでいてもよい。図９の操作手順の例では、「SVに沿って時計回りに回してください。」のうちの「SV」が操作の目印となる臓器の名称である。
これにより、術者は、超音波内視鏡１２の先端部４０を移動させる方向を容易に把握することができ、超音波内視鏡１２の先端部４０を正しい方向へ移動させることができる。

操作の目印となる臓器は、超音波内視鏡１２の先端部４０を移動させる際の目標物となる臓器であって、超音波内視鏡１２の先端部４０を移動させる際に描出される臓器、言い換えると、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位へ向かう方向に存在する臓器であれば特に限定されないが、現在の超音波画像に表示されている臓器、現在の超音波画像の超音波内視鏡１２の先端部４０の位置から一定の範囲内に表示されている臓器、および、定められた複数の臓器、の中から選択された１以上の臓器を例示することができる。

また、表示制御部１７２は、操作手順が、超音波内視鏡１２の先端部４０の移動ルートを表す画像情報として重ねて表示された解剖学シェーマ図をモニタ２０に表示させることができる。

この場合、表示制御部１７２は、解剖学シェーマ図上において、操作の目印となる１以上の臓器の領域を着色し、この領域が着色された解剖学シェーマ図をモニタ２０に表示させてもよい。
また、表示制御部１７２は、解剖学シェーマ図上において、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域と、上記の操作の目印となる１以上の臓器の領域とを異なる色に着色し、これらの領域が異なる色に着色された解剖学シェーマ図をモニタ２０に表示させてもよい。

このように、超音波内視鏡１２の先端部４０を移動させる方向に存在する臓器の領域を着色することにより、術者は、超音波内視鏡１２の先端部４０を移動させる方向を容易に把握することができる。
なお、表示制御部１７２は、超音波内視鏡１２の先端部４０の位置および向きと、操作手順と、の両方を同時にモニタ２０に表示させてもよい。

表示制御部１７２は、図９の右中央部に示すように、さらに、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の名称を文字情報としてモニタ２０に表示させてもよい。図９の操作手順の例では、「次の観察対象部位：４番目の膵尾部」が、次のラベル番号に対応する観察対象部位の名称である。ラベル番号は、観察対象部位の観察順序に対応付けられているため、ラベル番号から、観察順序がこのラベル番号の次のラベル番号に対応する観察対象部位の名称を得ることができる。
これにより、術者は、次の観察対象部位がどこなのかを容易に把握することができる。

その他、表示制御部１７２は、超音波内視鏡１２の先端部４０が各々のラベル番号に対応する観察対象部位に到達する毎に、到達した観察対象部位に対応するラベル番号にチェックマークを付与し、図１０に示すように、チェックマークが付与されたラベル番号を文字情報としてモニタ２０に表示させてもよい。つまり、超音波内視鏡１２の先端部４０が到達した観察対象部位に対応するラベル番号にはチェックマークが付与される。図１０の例の場合、ラベル番号の（１）肝左葉、（２）大動脈、腹腔動脈、上腸間膜動脈の合流部、（３）膵体部の左側にチェックマークが付けられ、ラベル番号の（４）膵尾部以降にはチェックマークが付けられていないことから、超音波内視鏡１２の先端部４０は、ラベル番号の（３）膵体部に対応する観察対象部位まで到達していることが分かる。
また、表示制御部１７２は、超音波内視鏡１２の先端部４０が各々のラベル番号に対応する観察対象部位に到達する毎に、解剖学シェーマ図上において、到達した観察対象部位の領域を着色し、到達した観察対象部位の領域が着色された解剖学シェーマ図をモニタ２０に表示させてもよい。つまり、超音波内視鏡１２の先端部４０が到達した観察対象部位の領域は着色される。

これにより、術者は、超音波内視鏡１２の先端部４０が、現在、観察順序が何番目のラベル番号に対応する観察対象部位まで到達しているのかを容易に把握することができる。つまり、術者は、超音波内視鏡１２の先端部４０が、チェックマークが付与されたラベル番号に対応する観察対象部位まで、または、着色された観察対象部位まで到達していることを確認することができる。これに応じて、術者は、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位が、どの観察対象部位なのかを容易に把握することができる。

また、表示制御部１７２は、解剖学シェーマ図上において、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域を強調し、観察対象部位の領域が強調された解剖学シェーマ図をモニタ２０に表示させてもよい。
例えば、表示制御部１７２は、解剖学シェーマ図上において、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域を、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位の領域とは異なる色に着色し、例えば観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域を、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位の領域よりも濃い色あるいは薄い色に着色し、これらの観察対象部位の領域が着色された解剖学シェーマ図をモニタ２０に表示させてもよい。

これにより、解剖学シェーマ図上において、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位の領域が、これ以外の観察対象部位の領域よりも強調して表示される。このため、術者は、現在のラベル番号に対応する観察対象部位から、観察順序が現在のラベル番号の次のラベル番号に対応する観察対象部位へ超音波内視鏡１２の先端部４０を容易に移動させることができる。
観察対象部位の領域を強調する方法は上記に限らず、例えば強調したい観察対象部位の領域を太枠で囲む、強調したい観察対象部位の領域だけを着色する、強調したい観察対象部位を示す矢印を付ける等を例示することができる。

また、表示制御部１７２は、移動ルート登録部１７８から、観察対象部位の観察順序に基づいて超音波内視鏡１２の先端部４０が理想的に移動された場合の移動ルートを取得し、観察対象部位の観察順序に基づいて超音波内視鏡１２の先端部４０が理想的に移動された場合の移動ルート、および、術者による実際の操作に基づいて超音波内視鏡１２の先端部４０が実際に移動された場合の移動ルートを、これらのルートを表す画像情報として解剖学シェーマ図上に並べてモニタ２０に表示させてもよい。
これにより、術者は、理想的な移動ルートを確認しながら、かつ、自分自身の操作による移動ルートを確認しながら、超音波内視鏡１２の先端部４０を移動させることができる。従って、術者は、実際のルートが理想的なルートに一致するように、超音波内視鏡１２の先端部４０を移動させることができ、その結果、実際の移動ルートを理想的な移動ルートに近づけることができる。

＜＜超音波画像認識部１６８および内視鏡画像認識部１７０の配置場所＞＞
次に、超音波画像認識部１６８および内視鏡画像認識部１７０の配置場所について説明する。

超音波画像認識部１６８は、本実施形態の場合、超音波観測装置１４に内蔵されているが、これに限らず、例えば内視鏡プロセッサ１６に内蔵されていてもよいし、あるいは、超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられていてもよい。

本実施形態のように、超音波画像認識部１６８が超音波観測装置１４に内蔵されている場合、図１１に示すように、内視鏡画像が、内視鏡プロセッサ１６から、超音波観測装置１４へ転送される。

また、超音波画像認識部１６８が内視鏡プロセッサ１６に内蔵されている場合、図１２に示すように、超音波画像が、超音波観測装置１４から、内視鏡プロセッサ１６へ転送される。

超音波画像認識部１６８が超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられている場合、図１３に示すように、内視鏡画像が、内視鏡プロセッサ１６から超音波観測装置１４へ転送され、さらに、内視鏡画像および超音波画像が、超音波観測装置１４から、超音波画像認識部１６８へ転送される。
この場合、超音波画像を、超音波観測装置１４から内視鏡プロセッサ１６へ転送し、さらに、内視鏡画像および超音波画像を、内視鏡プロセッサ１６から超音波画像認識部１６８へ転送してもよい。あるいは、内視鏡画像を、内視鏡プロセッサ１６から超音波観測装置１４へ転送し、さらに、超音波観測装置１４から超音波画像認識部１６８へ転送するのではなく、内視鏡プロセッサ１６から超音波画像認識部１６８へ転送してもよい。

表示制御部１７２は、モニタ２０へ出力される最終的な画像信号と、モニタ２０と、の間に配置される。

表示制御部１７２は、超音波画像認識部１６８が超音波観測装置１４に内蔵されている場合、例えば超音波観測装置１４に内蔵されるか、あるいは、超音波観測装置１４とモニタ２０との間に設けることができる。
また、表示制御部１７２は、超音波画像認識部１６８が内視鏡プロセッサ１６に内蔵されている場合、例えば内視鏡プロセッサ１６に内蔵されるか、あるいは、内視鏡プロセッサ１６とモニタ２０との間に設けることができる。
さらに、表示制御部１７２は、超音波画像認識部１６８が超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられている場合、例えば超音波観測装置１４および内視鏡プロセッサ１６の外部に設けることができる。

表示制御部１７２は、術者からの指示に応じて、内視鏡画像（病変領域の表示のあり／なし）、超音波画像（臓器の名称の表示のあり／なし）、および解剖学シェーマ図（超音波内視鏡１２の先端部４０の位置および向きの表示のあり／なし）の中から、１の画像または２以上の画像を並べてモニタ２０の画面内に表示させる。

内視鏡画像認識部１７０の配置場所も、超音波画像認識部１６８の配置場所と同様に決定することができる。つまり、内視鏡画像認識部１７０は、本実施形態の場合、内視鏡プロセッサ１６に内蔵されているが、これに限らず、例えば超音波観測装置１４に内蔵されていてもよいし、あるいは、超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられていてもよい。

このように、超音波内視鏡システム１０において、超音波画像認識部１６８および内視鏡画像認識部１７０の配置場所は固定的ではなく、超音波画像認識部１６８および内視鏡画像認識部１７０を任意の配置場所に設けることができる。

本発明の装置において、例えば、内視鏡画像認識部１７０（病変領域検出部１０２、位置情報取得部１０４、選択部１０６、および病変領域検出制御部１０８）、超音波画像認識部１６８（ラベル番号検出部１１２、位置情報取得部１１４、選択部１１６、ラベル番号検出制御部１１８、臓器名称検出部１２０、および位置及び向き検出部１２２）、表示制御部１７２、警告発生部１７６および操作卓（指示取得部）１００等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。また、操作手順記憶部１７４および移動ルート登録部１７８のハードウェア的な構成は、専用のハードウェアであってもよいし、あるいは半導体メモリ等のメモリであってもよい。

各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良および変更をしてもよいのはもちろんである。

１０ 超音波内視鏡システム
１２ 超音波内視鏡
１４ 超音波観測装置
１６ 内視鏡プロセッサ
１８ 光源装置
２０ モニタ
２１ａ 送水タンク
２１ｂ 吸引ポンプ
２２ 挿入部
２４ 操作部
２６ ユニバーサルコード
２８ａ 送気送水ボタン
２８ｂ 吸引ボタン
２９ アングルノブ
３０ 処置具挿入口
３２ａ 超音波用コネクタ
３２ｂ 内視鏡用コネクタ
３２ｃ 光源用コネクタ
３４ａ 送気送水用チューブ
３４ｂ 吸引用チューブ
３６ 超音波観察部
３８ 内視鏡観察部
４０ 先端部
４２ 湾曲部
４３ 軟性部
４４ 処置具導出口
４５ 処置具チャンネル
４６ 超音波振動子ユニット
４８ 超音波振動子
５０ 超音波振動子アレイ
５４ バッキング材層
５６ 同軸ケーブル
６０ ＦＰＣ
７４ 音響整合層
７６ 音響レンズ
８２ 観察窓
８４ 対物レンズ
８６ 固体撮像素子
８８ 照明窓
９０ 洗浄ノズル
９２ 配線ケーブル
１００ 操作卓
１０２ 病変領域検出部
１０２Ａ～１０２Ｋ 第１～第１２検出部
１０４、１１４ 位置情報取得部
１０６、１１６ 選択部
１０８ 病変領域検出制御部
１１２ ラベル番号検出部
１１２Ａ～１１２Ｌ 第１～第１２検出部
１１８ ラベル番号検出制御部
１２０ 臓器名称検出部
１２２ 位置及び向き検出部
１４０ マルチプレクサ
１４２ 受信回路
１４４ 送信回路
１４６ Ａ／Ｄコンバータ
１４８ ＡＳＩＣ
１５０ シネメモリ
１５１ メモリコントローラ
１５２ ＣＰＵ
１５４ ＤＳＣ
１５８ パルス発生回路
１６０ 位相整合部
１６２ Ｂモード画像生成部
１６４ ＰＷモード画像生成部
１６６ ＣＦモード画像生成部
１６８ 超音波画像認識部
１７０ 内視鏡画像認識部
１７２ 表示制御部
１７４ 操作手順記憶部
１７６ 警告発生部
１７８ 移動ルート登録部

Claims (27)

1. 超音波振動子を先端に有する超音波内視鏡と、
   前記超音波振動子により超音波を送受信させ、前記超音波の受信信号から診断用超音波画像を生成する超音波観測装置と、
   被検体の体腔内における前記超音波内視鏡の先端部の位置と観察対象部位の観察順序に基づくラベル番号とを対応付けて、学習用超音波画像と前記学習用超音波画像の撮像時の前記超音波内視鏡の先端部の位置に対応するラベル番号との関係を複数の前記学習用超音波画像について予め学習しておき、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像の撮像時の前記超音波内視鏡の先端部の位置に対応するラベル番号を認識する超音波画像認識部と、
   前記超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置をモニタに表示させる表示制御部と、を備える、超音波内視鏡システム。
2. 前記表示制御部は、前記認識されたラベル番号に対応する観察対象部位の名称を文字情報として前記モニタに表示させる、請求項１に記載の超音波内視鏡システム。
3. 前記表示制御部は、前記認識されたラベル番号に対応する超音波内視鏡の先端部の位置が画像情報として重ねて表示された解剖学シェーマ図を前記モニタに表示させる、請求項１に記載の超音波内視鏡システム。
4. 前記超音波画像認識部は、前記超音波内視鏡の先端部の位置および向きと前記ラベル番号とを対応付けて、前記学習用超音波画像と前記学習用超音波画像の撮像時の前記超音波内視鏡の先端部の位置および向きに対応するラベル番号との関係を前記複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像の撮像時の前記超音波内視鏡の先端部の位置および向きに対応するラベル番号を認識し、
   前記表示制御部は、前記超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置および向きを前記モニタに表示させる、請求項１に記載の超音波内視鏡システム。
5. 前記表示制御部は、前記認識されたラベル番号に対応する観察対象部位の名称を文字情報として前記モニタに表示させる、請求項４に記載の超音波内視鏡システム。
6. 前記表示制御部は、前記認識されたラベル番号に対応する超音波内視鏡の先端部の位置および向きが画像情報として重ねて表示された解剖学シェーマ図を前記モニタに表示させる、請求項４に記載の超音波内視鏡システム。
7. さらに、１のラベル番号に対応する観察対象部位から、前記観察順序が前記１のラベル番号の次のラベル番号に対応する観察対象部位へ前記超音波内視鏡の先端部を移動させるための操作手順を記憶する操作手順記憶部を備え、
   前記表示制御部は、現在のラベル番号に対応する観察対象部位から、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位へ前記超音波内視鏡の先端部を移動させるための操作手順を前記操作手順記憶部から取得し、前記取得された操作手順を前記モニタに表示させる、請求項１ないし６のいずれか一項に記載の超音波内視鏡システム。
8. 前記表示制御部は、さらに、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位の名称を文字情報として前記モニタに表示させる、請求項７に記載の超音波内視鏡システム。
9. 前記表示制御部は、前記操作手順を文字情報として前記モニタに表示させる、請求項７または８に記載の超音波内視鏡システム。
10. 前記操作手順は、前記超音波内視鏡の先端部を移動させる際に描出される１以上の臓器の名称を含む、請求項９に記載の超音波内視鏡システム。
11. 前記表示制御部は、前記操作手順が画像情報として重ねて表示された解剖学シェーマ図を前記モニタに表示させる、請求項７または８に記載の超音波内視鏡システム。
12. 前記表示制御部は、解剖学シェーマ図上において、前記超音波内視鏡の先端部を移動させる際に描出される１以上の臓器の領域を着色し、前記領域が着色された解剖学シェーマ図を前記モニタに表示させる、請求項１１に記載の超音波内視鏡システム。
13. 前記表示制御部は、解剖学シェーマ図上において、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位の領域と、前記超音波内視鏡の先端部を移動させる際に描出される１以上の臓器の領域とを異なる色に着色し、前記領域が異なる色に着色された解剖学シェーマ図を前記モニタに表示させる、請求項１２に記載の超音波内視鏡システム。
14. さらに、前記現在のラベル番号に対応する観察対象部位から、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位へ前記超音波内視鏡の先端部が移動された場合に、警告を発する警告発生部を備える、請求項７ないし１３のいずれか一項に記載の超音波内視鏡システム。
15. 前記警告発生部は、前記警告を音声情報として発するか、もしくは、前記警告として、文字情報および音声情報の両方を同時に発する、請求項１４に記載の超音波内視鏡システム。
16. 前記表示制御部は、前記超音波内視鏡の先端部が各々のラベル番号に対応する観察対象部位に到達する毎に、前記到達した観察対象部位に対応するラベル番号にチェックマークを付与し、前記チェックマークが付与されたラベル番号を文字情報として前記モニタに表示させる、請求項７ないし１５のいずれか一項に記載の超音波内視鏡システム。
17. 前記表示制御部は、前記超音波内視鏡の先端部が各々のラベル番号に対応する観察対象部位に到達する毎に、解剖学シェーマ図上において、前記到達した観察対象部位の領域を着色し、前記到達した観察対象部位の領域が着色された解剖学シェーマ図を前記モニタに表示させる、請求項７ないし１６のいずれか一項に記載の超音波内視鏡システム。
18. 前記表示制御部は、解剖学シェーマ図上において、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位の領域を強調し、前記観察対象部位の領域が強調された解剖学シェーマ図を前記モニタに表示させる、請求項７ないし１７のいずれか一項に記載の超音波内視鏡システム。
19. 前記表示制御部は、解剖学シェーマ図上において、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位の領域を、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位以外の観察対象部位の領域とは異なる色に着色し、前記観察対象部位の領域が着色された解剖学シェーマ図を前記モニタに表示させる、請求項１８に記載の超音波内視鏡システム。
20. 前記表示制御部は、前記観察対象部位の観察順序に基づいて前記超音波内視鏡の先端部が理想的に移動された場合の移動ルート、および、実際の操作に基づいて前記超音波内視鏡の先端部が実際に移動された場合の移動ルートを画像情報として解剖学シェーマ図上に並べて前記モニタに表示させる、請求項７ないし１９のいずれか一項に記載の超音波内視鏡システム。
21. さらに、前記観察対象部位の観察順序に基づいて前記超音波内視鏡の先端部が理想的に移動された場合の移動ルートを予め登録する移動ルート登録部を備える、請求項２０に記載の超音波内視鏡システム。
22. 前記超音波画像認識部は、前記超音波観測装置に内蔵されている、請求項１ないし２１のいずれか一項に記載の超音波内視鏡システム。
23. 前記超音波内視鏡が、さらに照明部および撮像部を先端に有し、
    さらに、前記照明部から照射される照明光の反射光を前記撮像部によって受信させ、前記反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
    前記超音波画像認識部は、前記内視鏡プロセッサに内蔵されている、請求項１ないし２１のいずれか一項に記載の超音波内視鏡システム。
24. 前記超音波内視鏡が、さらに照明部および撮像部を先端に有し、
    さらに、前記照明部から照射される照明光の反射光を前記撮像部によって受信させ、前記反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
    前記超音波画像認識部は、前記超音波観測装置および前記内視鏡プロセッサの外部に設けられている、請求項１ないし２１のいずれか一項に記載の超音波内視鏡システム。
25. 超音波画像認識部が、被検体の体腔内における超音波内視鏡の先端部の位置と観察対象部位の観察順序に基づくラベル番号とを対応付けて、学習用超音波画像と前記学習用超音波画像の撮像時の前記超音波内視鏡の先端部の位置に対応するラベル番号との関係を複数の前記学習用超音波画像について予め学習しておくステップと、
    超音波観測装置が、前記超音波内視鏡の先端に有する超音波振動子により超音波を送受信させ、前記超音波の受信信号から診断用超音波画像を生成するステップと、
    前記超音波画像認識部が、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像の撮像時の前記超音波内視鏡の先端部の位置に対応するラベル番号を認識するステップと、
    表示制御部が、前記超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置をモニタに表示させるステップと、を含む、超音波内視鏡システムの作動方法。
26. 前記超音波内視鏡の先端部の位置および向きと前記ラベル番号とを対応付けて、前記学習用超音波画像と前記学習用超音波画像の撮像時の前記超音波内視鏡の先端部の位置および向きに対応するラベル番号との関係を前記複数の学習用超音波画像について予め学習しておき、
    学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像の撮像時の前記超音波内視鏡の先端部の位置および向きに対応するラベル番号を認識し、
    前記超音波画像認識部によって認識されたラベル番号に対応する超音波内視鏡の先端部の位置および向きを前記モニタに表示させる、請求項２５に記載の超音波内視鏡システムの作動方法。
27. さらに、操作手順記憶部が、１のラベル番号に対応する観察対象部位から、前記観察順序が前記１のラベル番号の次のラベル番号に対応する観察対象部位へ前記超音波内視鏡の先端部を移動させるための操作手順を記憶するステップを含み、
    前記認識されたラベル番号を現在のラベル番号として、前記現在のラベル番号に対応する観察対象部位から、前記観察順序が前記現在のラベル番号の次のラベル番号に対応する観察対象部位へ前記超音波内視鏡の先端部を移動させるための操作手順を前記操作手順記憶部から取得し、
    前記取得された操作手順を前記モニタに表示させる、請求項２５または２６に記載の超音波内視鏡システムの作動方法。

Images