WO2024004524A1

WO2024004524A1 - 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム

Info

Publication number: WO2024004524A1
Application number: PCT/JP2023/020699
Authority: WO
Inventors: 稔宏臼田
Original assignee: 富士フイルム株式会社
Priority date: 2022-06-29
Filing date: 2023-06-02
Publication date: 2024-01-04

Abstract

診断支援装置は、プロセッサを備える。プロセッサは、超音波モジュールによって生成された第１超音波画像を取得し、参照情報が第１超音波画像に合成されているか否か、第１超音波画像が補助画像モードで得られた画像であるか否か、又は、第１超音波画像の画質を定める設定値に応じて、第１動作モードと第２動作モードとを切り替え、第１動作モードは、主要画像モードで得られた第２超音波画像を用いて作成された検出支援情報に基づいて特定領域を検出する動作モードであり、第２動作モードは、特定領域を検出して検出結果を出力しないか、又は、特定領域を検出しない動作モードである。

Description

診断支援装置、超音波内視鏡、診断支援方法、及びプログラム

　本開示の技術は、診断支援装置、超音波内視鏡、診断支援方法、及びプログラムに関する。

　国際公開２０２０／０３６１２１号には、被写体を撮影した画像の種類を識別する識別部と、画像を用いて被写体を認識する認識処理を行う認識部と、識別部が識別した特定の種類の前記画像について、認識処理が機能するか否かを報知する報知部と、を備える内視鏡システムが開示されている。

　特開２０２１－０３５４４２号公報には、画像モードがＢモード又はＣＦモードの場合に診断支援を行い、画像モードがＰＷモードの場合に診断支援を行わない超音波診断システムが開示されている。

　特開２０２１－０８３６９９号公報には、乳房に対して当接され、乳房に対する超音波の送受波により受信信号を出力するプローブと、受信信号に基づいて、乳腺像、大胸筋像及びそれらの間の境界像を含む超音波画像を生成する画像生成部と、超音波画像に基づいて、境界像の傾斜角度を演算する傾斜角度演算部と、境界像の傾斜角度に基づいて、プローブの操作を支援する支援像を生成する支援像生成手段と、を含む超音波診断装置が開示されている。

　本開示の技術に係る一つの実施形態は、特定領域以外の領域が特定領域として誤検出されること抑制し、かつ、特定領域の検出結果の可視化が診断の妨げになることを抑制することができる診断支援装置、超音波内視鏡、診断支援方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、超音波モジュールによって生成され、観察対象領域が写っている第１超音波画像を取得し、観察対象領域を診断するために参照される参照情報が第１超音波画像に合成されているか否か、第１超音波画像が主要画像モード以外の画像モードである補助画像モードで得られた画像であるか否か、又は、第１超音波画像の画質を定める設定値に応じて、第１動作モードと第２動作モードとを切り替え、第１動作モードが、主要画像モードで得られた第２超音波画像を用いて作成された検出支援情報に基づいて第１超音波画像から特定領域を検出する動作モードであり、第２動作モードが、特定領域を検出して検出結果を出力しないか、又は、特定領域を検出しない動作モードである、診断支援装置である。

　本開示の技術に係る第２の態様は、第１動作モードが、参照情報が第１超音波画像に合成されていない場合に用いられる動作モードであり、第２動作モードが、参照情報が第１超音波画像に合成されている場合に用いられる動作モードである、第１の態様に係る診断支援装置である。

　本開示の技術に係る第３の態様は、第１動作モードが、第１超音波画像が補助画像モードで得られた画像でない場合に用いられる動作モードであり、第２動作モードが、第１超音波画像が補助画像モードで得られた画像である場合に用いられる動作モードである、第１の態様又は第２の態様に係る診断支援装置である。

　本開示の技術に係る第４の態様は、第１動作モードが、設定値が指定範囲内である場合に用いられる動作モードであり、第２動作モードが、設定値が指定範囲内でない場合に用いられる動作モードである、第１の態様から第３の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第５の態様は、参照情報が、観察対象領域内の特性を色で表現した色情報を含む第１の態様から第４の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第６の態様は、色情報が、複数の有彩色画素を含み、第１動作モードが、複数の有彩色画素のうちの第１閾値を超える彩度を有する有彩色画素の個数が第２閾値未満の場合に用いられる動作モードであり、第２動作モードが、個数が第２閾値以上の場合に用いられる動作モードである、第５の態様に係る診断支援装置である。

　本開示の技術に係る第７の態様は、参照情報が、観察対象領域の観察を補助する文字情報を含む第１の態様から第６の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第８の態様は、参照情報が、観察対象領域内の計測に用いられる計測線を含む第１の態様から第７の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第９の態様は、参照情報が、穿刺吸引法を用いた処置を補助する処置補助情報を含む第１の態様から第８の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１０の態様は、補助画像モードが、観察対象領域に対して超音波が放射されることによって観察対象領域で反射されることで得られた反射波に含まれる高周波成分を利用して超音波画像を生成する第１画像モード、又は、Ｂモード画像と別画像とを合成する第２画像モードである、第１の態様から第９の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１１の態様は、第１画像モードが、ＴＨＩモード、ＣＨモード、又はＣＨＩモードであり、第２画像モードが、ドップラモード又はエラストグラフィモードである、第１０の態様に係る診断支援装置である。

　本開示の技術に係る第１２の態様は、設定値には、超音波モジュールから放射される超音波の周波数を調整する周波数パラメータ、第１超音波画像で表現される深度を調整する深度パラメータ、第１超音波画像の明るさを調整する明るさパラメータ、第１超音波画像のダイナミックレンジを調整するダイナミックレンジパラメータ、及び／又は、第１超音波画像に対するデジタルズームの倍率を調整する倍率パラメータが含まれている第１の態様から第１１の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１３の態様は、超音波モジュールが、設定値を有しており、プロセッサが、超音波モジュールから設定値を取得する第１の態様から第１２の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１４の態様は、第１超音波画像を含むフレームには、設定値を特定可能なテキスト画像が合成されており、プロセッサが、テキスト画像に対して画像認識処理を行うことで設定値を特定し、特性した設定値に応じて第１動作モードと第２動作モードとを切り替える第１の態様から第１２の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１５の態様は、プロセッサが、ＡＩ方式で第１超音波画像から特定領域を検出する第１の態様から第１４の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１６の態様は、検出支援情報が、第２超音波画像を含む教師データをモデルに学習させることによって得られた学習済みモデルである、第１の態様から第１５の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１７の態様は、プロセッサが、参照情報、補助画像モード、及び／又は設定値に応じて、第１超音波画像から特定領域を検出する頻度、第１超音波画像から特定領域を検出する精度、及び／又は第１超音波画像から特定領域として検出する対象を異ならせる第１の態様から第１６の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１８の態様は、超音波モジュールが、超音波内視鏡である、第１の態様から第１７の態様の何れか１つの態様に係る診断支援装置である。

　本開示の技術に係る第１９の態様は、第１の態様から第１８の態様の何れか１つの態様に係る診断支援装置と、超音波診断装置が接続された超音波内視鏡本体と、を備える超音波内視鏡である。

　本開示の技術に係る第２０の態様は、超音波モジュールによって生成され、観察対象領域が写っている第１超音波画像を取得すること、及び、観察対象領域を診断するために参照される参照情報が第１超音波画像に合成されているか否か、第１超音波画像が主要画像モード以外の画像モードである補助画像モードで得られた画像であるか否か、又は、第１超音波画像の画質を定める設定値に応じて、第１動作モードと第２動作モードとを切り替えることを含み、第１動作モードが、主要画像モードで得られた第２超音波画像を用いて作成された検出支援情報に基づいて第１超音波画像から特定領域を検出する動作モードであり、第２動作モードが、特定領域を検出して検出結果を出力しないか、又は、特定領域を検出しない動作モードである、診断支援方法である。

　本開示の技術に係る第２１の態様は、コンピュータに処理を実行させるためのプログラムであって、処理が、超音波モジュールによって生成され、観察対象領域が写っている第１超音波画像を取得すること、及び、観察対象領域を診断するために参照される参照情報が第１超音波画像に合成されているか否か、第１超音波画像が主要画像モード以外の画像モードである補助画像モードで得られた画像であるか否か、又は、第１超音波画像の画質を定める設定値に応じて、第１動作モードと第２動作モードとを切り替えることを含み、第１動作モードが、主要画像モードで得られた第２超音波画像を用いて作成された検出支援情報に基づいて第１超音波画像から特定領域を検出する動作モードであり、第２動作モードが、特定領域を検出して検出結果を出力しないか、又は、特定領域を検出しない動作モードである、プログラムである。

内視鏡システムが用いられている態様の一例を示す概念図である。内視鏡システムの全体構成の一例を示す概念図である。超音波内視鏡の構成の一例を示すブロック図である。モデルにＢモード画像群を学習させることによって学習済みモデルを生成する態様の一例を示す概念図である。生成部の処理内容の一例を示す概念図である。検出モードと非検出モードとを切り替えるための処理内容の一例を示す概念図である。Ｂモード画像から病変領域を検出してＢモード画像を表示装置の画面に表示する処理内容の一例を示す概念図である。ドプラ画像を生成して表示装置の画面に表示する処理内容の一例を示す概念図である。診断支援処理の流れの一例を示すフローチャートである。図９Ａに示すフローチャートの続きである。第１変形例に係る診断支援処理の流れの一例を示すフローチャートである。第２変形例に係る生成部及び制御部の処理内容の一例を示す概念図である。第２変形例に係る診断支援処理の流れの一例を示すフローチャートである。第３変形例に係る生成部及び制御部の処理内容の一例を示す概念図である。第４変形例に係る生成部及び制御部の処理内容の一例を示す概念図である。第５変形例に係る制御部の処理内容の一例を示す概念図である。第６変形例に係る生成部及び制御部の処理内容の一例を示す概念図である。第６変形例に係る制御部の処理内容の一例を示す概念図である。第７変形例に係る診断支援処理の流れの一例を示すフローチャートである。

　以下、添付図面に従って本開示の技術に係る診断支援装置、超音波内視鏡、診断支援方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＰＣとは、“Personal Computer”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。ＮＮとは、“Neural Network”の略称を指す。ＣＮＮとは、“Convolutional neural network”の略称を指す。Ｒ－ＣＮＮとは、“Region based Convolutional Neural Network”の略称を指す。ＹＯＬＯとは、“You only Look Once”の略称を指す。ＲＮＮとは、“Recurrent Neural Network”の略称を指す。ＦＣＮとは、“Fully Convolutional Network”の略称を指す。ＴＨＩとは、“Tissue Harmonic Imaging”の略称を指す。ＣＨとは、“Compound Harmonic”の略称を指す。ＣＨＩとは、“Contrast Harmonic Imaging”の略称を指す。

　一例として図１に示すように、内視鏡システム１０は、超音波内視鏡１２及び表示装置１４を備えている。超音波内視鏡１２は、コンベックス型の超音波内視鏡であり、超音波内視鏡本体１６及び処理装置１８を備えている。超音波内視鏡１２は、本開示の技術に係る「超音波モジュール」及び「超音波内視鏡」の一例である。処理装置１８は、本開示の技術に係る「診断支援装置」の一例である。超音波内視鏡本体１６は、本開示の技術に係る「超音波内視鏡本体」の一例である。

　なお、本実施形態では、超音波内視鏡１２の一例として、コンベックス型の超音波内視鏡を挙げているが、これはあくまでも一例に過ぎず、ラジアル型の超音波内視鏡であっても本開示の技術は成立する。

　超音波内視鏡本体１６は、例えば、医師２０によって用いられる。処理装置１８は、超音波内視鏡本体１６に接続されており、超音波内視鏡本体１６との間で各種信号の授受を行う。すなわち、処理装置１８は、超音波内視鏡本体１６に信号を出力することで超音波内視鏡本体１６の動作を制御したり、超音波内視鏡本体１６から入力された信号に対して各種の信号処理を行ったりする。

　超音波内視鏡１２は、被検体２２の体内に診療対象部位（例えば、膵臓等の臓器）に対する診療（例えば、診断及び／又は治療等）を行うための装置であり、診療対象部位を含む観察対象領域を示す超音波画像２４を生成して出力する。

　例えば、医師２０は、被検体２２の体内の観察対象領域を観察する場合、超音波内視鏡本体１６を被検体２２の口又は鼻（図１に示す例では、口）から被検体２２の体内に挿入し、胃又は十二指腸等の位置で超音波を放射する。超音波内視鏡本体１６は、被検体２２の体内の観察対象領域に対して超音波を放射し、放射した超音波が観察対象領域で反射することによって得られた反射波を検出する。

　なお、図１に示す例では、上部消化器内視鏡検査が行われている態様が示されているが、本開示の技術はこれに限定されず、下部消化器内視鏡検査又は気管支内視鏡検査等にも本開示の技術は適用可能である。

　処理装置１８は、超音波内視鏡本体１６によって検出された反射波に基づいて超音波画像２４を生成して表示装置１４等に出力する。

　表示装置１４は、処理装置１８の制御下で、画像を含めた各種情報を表示する。表示装置１４の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。表示装置１４の画面２６には、処理装置１８によって生成された超音波画像２４が動画像として表示される。図１に示す例では、画面２６内の超音波画像２４に、病変に相当する箇所を示す病変領域２５が含まれている態様が示されている。また、詳しくは後述するが、図１に示す例では、画面２６に、超音波画像２４内での病変領域２５の位置を特定可能な矩形状の検出枠２７Ａが表示されている。

　医師２０は、画面２６に表示された超音波画像２４を観察することによって、観察対象領域に病変が写っているか否かを判断したり、病変が発見された場合には観察対象領域内での病変の位置を、超音波画像２４内の検出枠２７Ａを参照して特定したりする。

　なお、図１に示す例では、表示装置１４の画面２６に超音波画像２４が表示される形態例が示されているが、これは、あくまでも一例に過ぎず、表示装置１４以外の表示装置（例えば、タブレット端末のディスプレイ）に表示されるようにしてもよい。また、超音波画像２４は、コンピュータ読取可能な非一時的格納媒体（例えば、フラッシュメモリ、ＨＤＤ、及び／又は磁気テープ等）に格納されるようにしてもよい。

　表示装置１４には、医師２０によって選択された画像モードに応じた超音波画像２４が表示される。ここで、画像モードとは、超音波内視鏡本体１６によって検出された反射波を画像化して表示装置１４に表示させる表示モードを指す。本実施形態において、医師２０によって選択される画像モードは、Ｂモード（Brightness mode）とドプラモードとの２種類である。Ｂモードは、本開示の技術に係る「主要画像モード」の一例であり、ドプラモードは、本開示の技術に係る「主要画像モード以外の画像モードである補助画像モード」の一例である。

　Ｂモードは、反射波の強さを輝度に変換して２次元状の断層画像（以下、「Ｂモード画像」と称する）として表示する画像モードである。ドプラモードは、ドプラ効果を利用して特定された血行動態を色情報としてＢモード画像に重畳して表示する画像モードである。以下では、ドプラモード下で生成された画像、すなわち、Ｂモード画像に対して血行動態を示す色情報が重畳されて得られた画像を「ドプラ画像」と称する。また、以下では、説明の便宜上、Ｂモード画像及びドプラ画像等のように異なる画像モード下で生成された画像を区別して説明する必要がない場合、単に「超音波画像２４」と称する。

　超音波画像２４は、画像モードに応じて定められたフレームレートに従って生成された複数のフレームを含む動画像である。ドプラモードのフレームレートは、Ｂモードのフレームレートよりも低い。なお、ここでは、動画像を例示しているが、これは、あくまでも一例に過ぎず、超音波画像２４が静止画像であっても本開示の技術は成立する。

　一例として図２に示すように、超音波内視鏡本体１６は、操作部２８及び挿入部３０を備えている。挿入部３０は、管状に形成されている。挿入部３０は、先端部３２、湾曲部３４、及び軟性部３６を有する。先端部３２、湾曲部３４、及び軟性部３６は、挿入部３０の先端側から基端側にかけて、先端部３２、湾曲部３４、及び軟性部３６の順に配置されている。軟性部３６は、長尺状の可撓性を有する素材で形成されており、操作部２８と湾曲部３４とを連結している。湾曲部３４は、操作部２８が操作されることにより部分的に湾曲したり、挿入部３０の軸心周りに回転したりする。この結果、挿入部３０は、管腔臓器の形状（例えば、十二指腸の管路の形状）に応じて湾曲したり、挿入部３０の軸心周りに回転したりしながら管腔臓器の奥側に送り込まれる。

　先端部３２には、超音波プローブ３８及び処置具用開口４０が設けられている。超音波プローブ３８は、先端部３２の先端側に設けられている。超音波プローブ３８は、コンベックス型の超音波プローブであり、超音波を放射し、放射した超音波が観察対象領域で反射されて得られた反射波を受波する。

　処置具用開口４０は、超音波プローブ３８よりも先端部３２の基端側に形成されている。処置具用開口４０は、処置具４２を先端部３２から突出させるための開口である。操作部２８には、処置具挿入口４４が形成されており、処置具４２は、処置具挿入口４４から挿入部３０内に挿入される。処置具４２は、挿入部３０内を通過して処置具用開口４０から超音波内視鏡本体１６の外部に突出する。また、処置具用開口４０は、血液及び体内汚物等を吸引する吸引口としても機能する。

　図２に示す例では、処置具４２として、穿刺針が示されている。なお、これは、あくまでも一例に過ぎず、処置具４２は、把持鉗子及び／又はシース等であってもよい。

　図２に示す例では、先端部３２に照明装置４６及びカメラ４８が設けられている。照明装置４６は、光を照射する。照明装置４６から照射される光の種類としては、例えば、可視光（例えば、白色光等）、非可視光（例えば、近赤外光等）、及び／又は特殊光が挙げられる。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。

　カメラ４８は、管腔臓器内を光学的手法で撮像する。カメラ４８の一例としては、ＣＭＯＳカメラが挙げられる。ＣＭＯＳカメラは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。なお、カメラ４８によって撮像されることによって得られた画像は表示装置１４に表示されたり、表示装置１４以外の表示装置（例えば、タブレット端末のディスプレイ）に表示されたり、格納媒体（例えば、フラッシュメモリ、ＨＤＤ、及び／又は磁気テープ等）に格納されたりする。

　超音波内視鏡１２は、処理装置１８及びユニバーサルコード５０を備えている。ユニバーサルコード５０は、基端部５０Ａ及び先端部５０Ｂを有する。基端部５０Ａは、操作部２８に接続されている。先端部５０Ｂは、処理装置１８に接続されている。すなわち、超音波内視鏡本体１６と処理装置１８は、ユニバーサルコード５０を介して接続されている。

　内視鏡システム１０は、受付装置５２を備えている。受付装置５２は、処理装置１８に接続されている。受付装置５２は、ユーザからの指示を受け付ける。受付装置５２の一例としては、複数のハードキー及び／又はタッチパネル等を有する操作パネル、キーボード、マウス、トラックボール、フットスイッチ、スマートデバイス、及び／又はマイクロフォン等が挙げられる。

　処理装置１８は、受付装置５２によって受け付けられた指示に従って、各種の信号処理を行ったり、超音波内視鏡本体１６等との間で各種信号の授受を行ったりする。例えば、処理装置１８は、受付装置５２によって受け付けられた指示に従って、超音波プローブ３８に対して超音波を放射させ、超音波プローブ３８によって受波された反射波に基づいて超音波画像２４（図１参照）を生成して出力する。

　表示装置１４も、処理装置１８に接続されている。処理装置１８は、受付装置５２によって受け付けられた指示に従って表示装置１４を制御する。これにより、例えば、処理装置１８によって生成された超音波画像２４が表示装置１４の画面２６に表示される（図１参照）。

　一例として図３に示すように、処理装置１８は、コンピュータ５４、入出力インタフェース５６、送受信回路５８、及び通信モジュール６０を備えている。コンピュータ５４は、本開示の技術に係る「コンピュータ」の一例である。

　コンピュータ５４は、プロセッサ６２、ＲＡＭ６４、及びＮＶＭ６６を備えている。入出力インタフェース５６、プロセッサ６２、ＲＡＭ６４、及びＮＶＭ６６は、バス６８に接続されている。

　プロセッサ６２は、処理装置１８の全体を制御する。例えば、プロセッサ６２は、ＣＰＵ及びＧＰＵを有しており、ＧＰＵは、ＣＰＵの制御下で動作し、主に画像処理の実行を担う。なお、プロセッサ６２は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。また、プロセッサ６２には、マルチコアＣＰＵが含まれていてもよいし、ＴＰＵが含まれていてもよい。プロセッサ６２は、本開示の技術に係る「プロセッサ」の一例である。

　ＲＡＭ６４は、一時的に情報が格納されるメモリであり、プロセッサ６２によってワークメモリとして用いられる。ＮＶＭ６６は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ６６の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ）及び／又はＳＳＤ等が挙げられる。なお、フラッシュメモリ及びＳＳＤは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。

　入出力インタフェース５６には、受付装置５２が接続されており、プロセッサ６２は、受付装置５２によって受け付けられた指示を、入出力インタフェース５６を介して取得し、取得した指示に応じた処理を実行する。

　入出力インタフェース５６には、送受信回路５８が接続されている。送受信回路５８は、プロセッサ６２からの指示に従ってパルス波形の超音波放射信号７０を生成して超音波プローブ３８に出力する。超音波プローブ３８は、送受信回路５８から入力された超音波放射信号７０を超音波に変換し、超音波を被検体２２の観察対象領域７２に放射する。超音波プローブ３８は、超音波プローブ３８から放射された超音波が観察対象領域７２で反射されることで得られた反射波を受波し、反射波を、電気信号である反射波信号７４に変換して送受信回路５８に出力する。送受信回路５８は、超音波プローブ３８から入力された反射波信号７４をデジタル化し、デジタル化した反射波信号７４を、入出力インタフェース５６を介してプロセッサ６２に出力する。プロセッサ６２は、送受信回路５８から入出力インタフェース５６を介して入力された反射波信号７４に基づいて、観察対象領域７２の態様を示す超音波画像２４（図１参照）を生成する。

　図３での図示は省略されているが、入出力インタフェース５６には、照明装置４６（図２参照）も接続されている。プロセッサ６２は、入出力インタフェース５６を介して照明装置４６を制御することで、照明装置４６から照射される光の種類を変えたり、光量を調整したりする。また、図３での図示は省略されているが、入出力インタフェース５６には、カメラ４８（図２参照）も接続されている。プロセッサ６２は、入出力インタフェース５６を介してカメラ４８を制御したり、カメラ４８によって被検体２２の体内が撮像されることで得られた画像を、入出力インタフェース５６を介して取得したりする。

　入出力インタフェース５６には、通信モジュール６０が接続されている。通信モジュール６０は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信モジュール６０は、ＬＡＮ又はＷＡＮ等のネットワーク（図示省略）に接続されており、プロセッサ６２と外部装置との間の通信を司る。

　入出力インタフェース５６には、表示装置１４が接続されており、プロセッサ６２は、入出力インタフェース５６を介して表示装置１４を制御することで、表示装置１４に対して各種情報を表示させる。

　ＮＶＭ６６には、診断支援プログラム７６及び学習済みモデル７８が記憶されている。プロセッサ６２は、ＮＶＭ６６から診断支援プログラム７６を読み出し、読み出した診断支援プログラム７６をＲＡＭ６４上で実行することにより診断支援処理を行う。診断支援処理は、観察対象領域７２からＡＩ方式で病変を検出し、検出結果に基づいて、医師２０（図１参照）による診断を支援する処理である。

　プロセッサ６２は、診断支援処理を行うことにより、超音波画像２４（図１参照）から、学習済みモデル７８に従って、病変に相当する箇所を検出することで、観察対象領域７２から病変を検出する。診断支援処理は、プロセッサ６２がＲＡＭ６４上で実行する診断支援プログラム７６に従って生成部６２Ａ、検出部６２Ｂ、及び制御部６２Ｃとして動作することによって実現される。

　なお、診断支援プログラム７６は、本開示の技術に係る「プログラム」の一例である。また、学習済みモデル７８は、超音波画像２４から病変を検出する処理に用いられるデータ構造を有する学習済みモデルである。また、学習済みモデル７８は、本開示の技術に係る「検出支援情報」及び「学習済みモデル」の一例である。

　一例として図４に示すように、学習済みモデル７８は、未学習のモデル８０を学習させることによって生成される。モデル８０の学習には、Ｂモード画像群８２が教師データとして用いられる。Ｂモード画像群８２は、互いに異なる複数のＢモード画像８２Ａからなる。Ｂモード画像８２Ａは、本開示の技術に係る「第２超音波画像」の一例である。Ｂモード画像群８２は、本開示の技術に係る「教師データ」の一例である。

　モデル８０の一例としては、ＮＮを用いた数理モデルが挙げられる。ＮＮの種類としては、例えば、ＹＯＬＯ、Ｒ－ＣＮＮ、又はＦＣＮ等が挙げられる。また、モデル８０に用いられるＮＮは、例えば、ＹＯＬＯ、Ｒ－ＣＮＮ、又はＦＣＮとＲＮＮとの組み合わせであってもよい。ＲＮＮは、時系列で得られた複数の画像の学習に適している。なお、ここで挙げたＮＮの種類は、あくまでも一例に過ぎず、画像を学習させることによって物体の検出を可能にする他種類のＮＮであってもよい。

　複数のＢモード画像８２Ａには、病変が写っている。すなわち、Ｂモード画像８２Ａは、病変に相当する箇所である病変領域８４を有する。Ｂモード画像８２Ａには、アノテーション８６が付与されている。アノテーション８６は、Ｂモード画像８２Ａ内での病変領域８４の位置を特定可能な情報（例えば、病変領域８４に外接する矩形枠の位置を特定可能な複数の座標を含む情報）である。

　ここでは、説明の便宜上、アノテーション８６の一例として、Ｂモード画像８２Ａ内での病変領域８４の位置を特定可能な情報を例示しているが、これは、あくまでも一例に過ぎない。例えば、アノテーション８６には、Ｂモード画像８２Ａに写っている病変の種類を特定可能な情報等のように、Ｂモード画像８２Ａに写っている病変を特定する他種類の情報が含まれていてもよい。

　なお、以下では、説明の便宜上、学習済みモデル７８を用いた処理については、学習済みモデル７８が主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、学習済みモデル７８を、入力された情報に対して処理を行って処理結果を出力する機能と見立てて説明する。また、以下では、説明の便宜上、モデル８０を学習させる処理の一部についても、モデル８０が主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、モデル８０を、入力された情報に対して処理を行って処理結果を出力する機能と見立てて説明する。

　モデル８０には、Ｂモード画像群８２に含まれる各Ｂモード画像８２Ａが入力される。これに応じて、モデル８０は、入力されたＢモード画像８２Ａから、病変領域８４の位置を予測し、予測結果を出力する。予測結果には、Ｂモード画像８２Ａ内での病変領域８４の位置としてモデル８０によって予測された位置を特定可能な情報が含まれている。モデル８０によって予測された位置を特定可能な情報の一例としては、例えば、病変領域８４が存在する位置として予測された領域を取り囲むバウンディングボックスの位置（すなわち、Ｂモード画像８２Ａ内でのバウンディングボックスの位置）を特定可能な複数の座標を含む情報が挙げられる。

　モデル８０に対しては、モデル８０に入力されたＢモード画像８２Ａに付与されているアノテーション８６とモデル８０から出力された予測結果との誤差に応じた調整が行われる。すなわち、誤差が最小となるようにモデル８０内の複数の最適化変数（例えば、複数の結合荷重及び複数のオフセット値等）が調整されることによってモデル８０が最適化され、これによって、学習済みモデル７８が生成される。すなわち、学習済みモデル７８のデータ構造は、アノテーション８６が付与された互いに異なる複数のＢモード画像８２Ａをモデル８０に学習させることによって得られる。

　このように、学習済みモデル７８は、モデル８０に対してＢモード画像群８２を学習させることによって生成される数理モデルである。そのため、例えば、学習済みモデル７８は、超音波画像２４として生成されたＢモード画像から病変領域２５（図１参照）を検出する場合に効果的に用いることができるものの、超音波画像２４として生成されたドプラ画像から病変領域２５を検出する場合、Ｂモード画像に比べ、誤検出が生じる可能性が高くなる。なぜならば、モデル８０は、ドプラ画像に含まれる色情報を学習していないからである。また、仮に、ドプラ画像から病変領域２５が検出され、検出結果としてドプラ画像内に検出枠２７Ａ（図１参照）が表示されると、ドプラ画像に含まれる色情報（すなわち、血行動態を示すカラー化された情報）と検出枠２７Ａとが混在した状態で可視化されるため、医師２０にとって検出枠２７Ａの存在が診断の妨げになる虞がある。

　そこで、本実施形態に係る処理装置１８では、一例として図５～図９Ｂに示すように、診断支援処理が行われる。以下、診断支援処理の一例について具体的に説明する。

　一例として図５に示すように、画像モードの種類（ここでは、一例として、Ｂモード又はドプラモード）を選択する指示（以下、「画像モード指示」と称する）が受付装置５２によって受け付けられた場合、生成部６２Ａは、画像モード指示に従って、Ｂモード又はドプラモードを設定する。本実施形態において、Ｂモードは、医師２０によってメインの画像モードとして用いられ、ドプラモードは、医師２０によってサブの画像モード（すなわち、補助的な画像モード）として用いられる。

　生成部６２Ａは、Ｂモード下で、送受信回路５８から反射波信号７４を取得し、取得した反射波信号７４に基づいてＢモード画像２４Ａを生成することでＢモード画像２４Ａを取得する。Ｂモード画像２４Ａには、観察対象領域７２が写っている。すなわち、Ｂモード画像２４Ａは、観察対象領域７２の断層を２次元状に示した画像である。図５に示す例では、病変領域２５を有するＢモード画像２４Ａが生成部６２Ａによって生成される例が示されているが、勿論、病変が写っていないＢモード画像２４Ａが生成部６２Ａによって生成されることもある。Ｂモード画像２４Ａは、本開示の技術に係る「第１超音波画像」の一例である。また、病変領域２５は、本開示の技術に係る「特定領域」の一例である。

　生成部６２Ａは、ドプラモード下で、送受信回路５８から反射波信号７４を取得し、取得した反射波信号７４に基づいてドプラ画像２４Ｂを生成する。ドプラ画像２４Ｂは、Ｂモード画像２４Ａに対して、観察対象領域７２（図３参照）内の特性を色（すなわち、有彩色）で表現した色情報２４Ｂ１が重畳されることによって得られる画像である。例えば、色情報２４Ｂ１は、ドプラ効果を利用して特定された血行動態を示す情報である。色情報２４Ｂ１は、観察対象領域７２（図３参照）を診断するために医師２０によって参照される情報である。

　なお、ドプラ画像２４Ｂは、本開示の技術に係る「補助画像モードで得られた画像」の一例である。また、色情報２４Ｂ１は、本開示の技術に係る「参照情報」、「色情報」及び「別画像」の一例である。また、Ｂモード画像２４Ａに対する色情報２４Ｂ１の重畳は、本開示の技術に係る「合成」の一例である。

　一例として図６に示すように、制御部６２Ｃは、生成部６２Ａによって生成された超音波画像２４がＢモード画像２４Ａであるかドプラ画像２４Ｂであるかに応じて検出モードと非検出モードとを切り替える。本実施形態において、制御部６２Ｃは、生成部６２Ａによって生成された超音波画像２４がＢモード画像２４Ａであるかドプラ画像２４Ｂであるかを、受付装置５２によって受け付けられた画像モード指示に従って判定し、判定結果に応じて検出モードと非検出モードとを切り替える。つまり、制御部６２Ｃは、受付装置によって受け付けられた画像モード指示に従って設定された画像モードに応じて検出モードと非検出モードとを切り替える。例えば、制御部６２Ｃは、Ｂモードの場合に検出モードを設定し、ドプラモードの場合に非検出モードを設定する。

　検出モードは、Ｂモード画像２４Ａ（図５参照）からＡＩ方式で病変領域２５（図５参照）を検出する動作モード、すなわち、Ｂモード画像群８２を用いて作成された学習済みモデル７８に基づいてＢモード画像２４Ａから病変領域２５（図５参照）を検出する動作モードである。検出モードは、色情報２４Ｂ１がＢモード画像２４Ａに重畳されていない場合に用いられる。換言すると、検出モードは、生成部６２Ａによってドプラ画像２４Ｂが生成されていない場合（すなわち、生成部６２ＡによってＢモード画像２４Ａが生成された場合）に用いられる。

　非検出モードは、超音波画像２４から病変領域２５を検出しない動作モードである。ここでは、非検出モードの一例として、超音波画像２４から病変領域２５を検出しない動作モードを例示しているが、本開示の技術はこれに限定されない。例えば、非検出モードは、超音波画像２４から病変領域２５を検出して検出結果を出力しない動作モード（換言すると、バックグラウンドではＡＩ方式で病変領域２５の検出が行われるが、検出結果を可視化させない動作モード）であってもよい。非検出モードは、色情報２４Ｂ１がＢモード画像２４Ａに重畳されている場合に用いられる。換言すると、非検出モードは、生成部６２Ａによってドプラ画像２４Ｂが生成された場合に用いられる。

　一例として図７に示すように、検出モードの場合、検出部６２Ｂは、学習済みモデル７８に従って、生成部６２Ａによって生成されたＢモード画像２４Ａから、病変を検出する。すなわち、検出部６２Ｂは、学習済みモデル７８に従って、Ｂモード画像２４Ａ内の病変領域２５の有無を判定し、Ｂモード画像２４Ａに病変領域２５が存在している場合に病変領域２５の位置を特定する位置特定情報１２８（例えば、病変領域１２６の位置を特定する複数の座標を含む情報）を生成する。ここで、検出部６２Ｂが病変を検出する処理を、学習済みモデル７８を主体として説明すると、学習済みモデル７８は、生成部６２Ａによって生成されたＢモード画像２４Ａが入力された場合、入力されたＢモード画像２４Ａ内の病変領域２５の有無を判定する。学習済みモデル７８は、Ｂモード画像２４Ａ内に病変領域２５が存在すると判定した場合（すなわち、Ｂモード画像２４Ａに写っている病変を検出した場合）、位置特定情報２７を出力する。検出枠２７Ａは、学習済みモデル７８がＢモード画像２４Ａから病変領域２５を検出する場合に用いるバウンディングボックス（例えば、信頼度スコアが最も高いバウンディングボックス）に対応する矩形枠である。すなわち、検出枠２７Ａは、学習済みモデル７８によって検出された病変領域２５を取り囲む枠である。

　検出部６２Ｂは、位置特定情報２７に従って、学習済みモデル７８から出力された位置特定情報２７に対応するＢモード画像２４Ａ（すなわち、位置特定情報２７の出力のために学習済みモデル７８に入力されたＢモード画像２４Ａ）に対して検出枠２７Ａを付与する。すなわち、検出部６２Ｂは、学習済みモデル７８から出力された位置特定情報２７に対応するＢモード画像２４Ａに対して、病変領域２５を取り囲むように検出枠２７Ａを重畳させることによりＢモード画像２７に検出枠２７Ａを付与する。検出部６２Ｂは、Ｂモード画像２７内に病変領域２５が存在すると学習済みモデル７８によって判定された場合、検出枠２７Ａが付与されたＢモード画像２４Ａを制御部６２Ｃに出力する。また、検出部６２Ｂは、Ｂモード画像２４Ａ内に病変領域２５が存在しないと学習済みモデル７８によって判定された場合、検出枠２７Ａが付与されていないＢモード画像２４Ａを制御部６２Ｃに出力する。

　制御部６２Ｃは、検出部６２Ｂから入力されたＢモード画像２４Ａ（すなわち、検出部６２Ｂの検出結果が反映されたＢモード画像２４Ａ）を表示装置１４の画面２６に表示する。Ｂモード画像２４Ａに病変が写っている場合には、病変領域２５を取り囲む検出枠２７Ａが付与されたＢモード画像２４Ａ（すなわち、検出枠２７Ａが重畳されたＢモード画像２４Ａ）が画面２６に表示される。一方、Ｂモード画像２４Ａに病変が写っていない場合には、検出枠２７Ａが付与されていないＢモード画像２４Ａ（すなわち、学習済みモデル７８から出力されたＢモード画像２４Ａ）が画面２６に表示される。

　一例として図８に示すように、非検出モードの場合、制御部６２Ｃは、生成部６２Ａによって生成されたドプラ画像２４Ｂを取得し、取得したドプラ画像２４Ｂを表示装置１４の画面２６に表示する。

　次に、内視鏡システム１０の作用について図９Ａ及び図９Ｂを参照しながら説明する。

　図９Ａ及び図９Ｂには、内視鏡システム１０を用いた診断が開始されたこと（例えば、超音波内視鏡１２による超音波の放射が開始されたこと）を条件に処理装置１８のプロセッサ６２によって行われる診断支援処理の流れの一例が示されている。図９Ａ及び図９Ｂに示す診断支援処理の流れは、本開示の技術に係る「診断支援方法」の一例である。

　図９Ａに示す診断支援処理では、先ず、ステップＳＴ１０で、制御部６２Ｃは、現時点で設定されている画像モードがＢモードであるか否かを判定する。ステップＳＴ１０において、現時点で設定されている画像モードがＢモードでない場合（すなわち、ドプラモードである場合）は、判定が否定されて、診断支援処理は、図９Ｂに示すステップＳＴ２６へ移行する。ステップＳＴ１０において、現時点で設定されている画像モードがＢモードである場合は、判定が肯定されて、診断支援処理はステップＳＴ１２へ移行する。

　ステップＳＴ１２で、制御部６２Ｃは、現時点で設定されている動作モードが非検出モードであるか否かを判定する。ステップＳＴ１２において、現時点で設定されている動作モードが非検出モードでない場合（すなわち、検出モードである場合）は、判定が否定されて、診断支援処理はステップＳＴ１６へ移行する。ステップＳＴ１２において、現時点で設定されている動作モードが非検出モードである場合は、判定が肯定されて、診断支援処理はステップＳＴ１４へ移行する。

　ステップＳＴ１４で、制御部６２Ｃは、動作モードを非検出モードから検出モードに切り替える。ステップＳＴ１４の処理が実行された後、診断支援処理はステップＳＴ１６へ移行する。

　ステップＳＴ１６で、生成部６２Ａは、送受信回路５８から入力された反射波信号７４（図５参照）に基づいてＢモード画像２４Ａを生成する。ステップＳＴ１６の処理が実行された後、診断支援処理はステップＳＴ１８へ移行する。

　ステップＳＴ１８で、検出部６２Ｂは、ステップＳＴ１６で生成されたＢモード画像２４Ａを学習済みモデル７８に入力する。ステップＳＴ１８の処理が実行された後、診断支援処理はステップＳＴ２０へ移行する。

　ステップＳＴ２０で、検出部６２Ｂは、ステップＳＴ１８で学習済みモデル７８に入力したＢモード画像２４Ａに病変が写っているか否かを、学習済みモデル７８を用いて判定する。Ｂモード画像２４Ａに病変が写っている場合、学習済みモデル７８は、位置特定情報２７を出力する。

　ステップＳＴ２０において、Ｂモード画像２４Ａに病変が写っていない場合は、判定が否定されて、診断支援処理はステップＳＴ２４へ移行する。ステップＳＴ２０において、Ｂモード画像２４Ａに病変が写っている場合は、判定が肯定されて、診断支援処理はステップＳＴ２２へ移行する。

　ステップＳＴ２０において判定が肯定された場合、検出部６２Ｂは、学習済みモデル７８から出力された位置特定情報１２８に基づいて検出枠２７Ａを生成し、ステップＳＴ１６で生成されたＢモード画像２４Ａに対して、病変領域２５を取り囲むように検出枠２７Ａを重畳させる。そして、ステップＳＴ２２で、制御部６２Ｃは、検出枠２７Ａによって病変領域２５が取り囲まれたＢモード画像２４Ａを表示装置１４の画面２６に表示する。Ｂモード画像２４Ａ内の病変領域２５は、検出枠２７Ａによって取り囲まれているので、医師２０は、Ｂモード画像２４Ａ内の何れの位置に病変が写っているかを視覚的に把握することが可能となる。ステップＳＴ２２の処理が実行された後、診断支援処理は、図９Ｂに示すステップＳＴ２６へ移行する。

　ステップＳＴ２４で、制御部６２Ｃは、ステップＳＴ１６で生成されたラジアル型超音波画像２４を表示装置１４の画面２６に表示する。この場合、Ｂモード画像２４Ａには検出枠２７Ａが付与されていないので、医師２０は、Ｂモード画像２４Ａに病変が写っていないことを視覚的に認識することが可能となる。ステップＳＴ２４の処理が実行された後、診断支援処理は、図９Ｂに示すステップＳＴ２６へ移行する。

　図９Ｂに示すステップＳＴ２６で、制御部６２Ｃは、現時点で設定されている動作モードが検出モードであるか否かを判定する。ステップＳＴ２６において、現時点で設定されている動作モードが検出モードでない場合（すなわち、非検出モードである場合）は、判定が否定されて、診断支援処理はステップＳＴ３０へ移行する。ステップＳＴ２６において、現時点で設定されている動作モードが検出モードである場合は、判定が肯定されて、診断支援処理はステップＳＴ２８へ移行する。

　ステップＳＴ２８で、制御部６２Ｃは、動作モードを非検出モードから検出モードに切り替える。ステップＳＴ２８の処理が実行された後、診断支援処理はステップＳＴ３０へ移行する。

　ステップＳＴ３０で、生成部６２Ａは、送受信回路５８から入力された反射波信号７４（図５参照）に基づいてドプラ画像２４Ｂを生成する。ステップＳＴ３０の処理が実行された後、診断支援処理はステップＳＴ３２へ移行する。

　ステップＳＴ３２で、制御部６２Ｃは、ステップＳＴ３０で生成されたドプラ画像２４Ｂを表示装置１４の画面２６に表示する。これにより、医師２０は、画面２６に表示されたドプラ画像２４Ｂに含まれる色情報２４Ｂ１（図８参照）から血行動態を視覚的に認識することができる。また、ドプラ画像２４Ｂには、検出枠２７Ａが含まれていないので、検出枠２７Ａが色情報２４Ｂ１の観察を妨げることはない。ステップＳＴ３２の処理が実行された後、診断支援処理はステップＳＴ３４へ移行する。

　ステップＳＴ３４で、制御部６２Ｃは、診断支援処理が終了する条件（以下、「診断支援終了条件」と称する）を満足したか否かを判定する。診断支援終了条件の一例としては、診断支援処理を終了させる指示が受付装置５２によって受け付けられた、という条件が挙げられる。ステップＳＴ３４において、診断支援終了条件を満足していない場合は、判定が否定されて、診断支援処理は、図９Ａに示すステップＳＴ１０へ移行する。ステップＳＴ３４において、診断支援終了条件を満足した場合は、判定が肯定されて、診断支援処理が終了する。

　以上説明したように、内視鏡システム１０では、検出モードと非検出モードとが選択的に切り替えられる。検出モードは、学習済みモデル７８を用いたＡＩ方式でＢモード画像２４Ａから病変領域２５を検出する動作モードである。非検出モードは、超音波画像２４から病変領域２５を検出しない動作モードである。学習済みモデル７８は、Ｂモード画像群８２を教師データとして用いて作成されている。そのため、学習済みモデル７８に従ってドプラ画像２４Ｂから病変領域２５を検出する処理が行われると、学習済みモデル７８に従ってＢモード画像２４Ａから病変領域２５を検出する処理が行われる場合に比べ、病変領域２５以外の領域が病変領域２５として誤検出される可能性が高くなる。また、仮に、学習済みモデル７８に従ってドプラ画像２４Ｂから病変領域２５を検出する処理が行われ、検出結果として検出枠２７Ａがドプラ画像２４Ｂ内に表示された場合、医師２０にとって検出枠２７Ａの存在が色情報２４Ｂ１の観察の妨げになる虞がある。そこで、内視鏡システム１０では、Ｂモード画像２４Ａが生成されたか否かに応じて、検出モードと非検出モードとが切り替えられる。換言すると、画像モードとしてＢモードが設定されているかドプラモードが設定されているかに応じて、検出モードと非検出モードとが切り替えられる。これにより、病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、病変領域２５の検出結果の可視化（すなわち、検出枠２７Ａの存在）が診断の妨げになることを抑制することができる。

　また、内視鏡システム１０において、検出モードは、色情報２４Ｂ１がＢモード画像２４Ａに重畳されていない場合に用いられる動作モードであり、非検出モードは、色情報２４Ｂ１がＢモード画像２４Ａに重畳されている場合に用いられる動作モードである。換言すると、検出モードは、画像モードがドプラモードでない場合（すなわち、Ｂモードである場合）に用いられる動作モードであり、非検出モードは、画像モードがドプラモードである場合に用いられる動作モードである。従って、上記の要領で検出モードと非検出モードとが使い分けられることによって、色情報２４Ｂ１の存在が原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制することができる。また、非検出モード下では、色情報２４Ｂ１と検出枠２７Ａとが混在した状態で画面２６に表示されることはないので、病変領域２５の検出結果の可視化（すなわち、検出枠２７Ａの存在）がドプラ画像２４Ｂに含まれる色情報２４Ｂ１の観察の妨げになることを抑制することができる。

　［第１変形例］
　上記実施形態では、画像モードとしてＢモードが設定されているかドプラモードが設定されているかに応じて検出モードと非検出モードとが切り替えられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、生成部６２Ａによって生成された画像に色情報２４Ｂ１が重畳されているか否かに応じて検出モードと非検出モードとが切り替えられるようにしてもよい。

　この場合、例えば、図１０に示す診断支援処理がプロセッサ６２によって行われる。図１０に示すフローチャートは、図９Ａに示すフローチャートに比べ、ステップＳＴ１０の処理に代えて、ステップＳＴ１００の処理を適用した点が異なる。

　図１０に示すステップＳＴ１００では、制御部６２Ｃが、生成部６２Ａによって生成された画像に対して画像解析処理を行うことにより、生成部６２Ａによって生成された画像に対して色情報２４Ｂ１が重畳されていないか否かを判定する。ステップＳＴ１００において、生成部６２Ａによって生成された画像に対して色情報２４Ｂ１が重畳されていない場合は、判定が肯定されて、診断支援処理はステップＳＴ１２へ移行する。ステップＳＴ１００において、生成部６２Ａによって生成された画像に対して色情報２４Ｂ１が重畳されている場合は、判定が否定されて、図９Ｂに示すステップＳＴ２６へ移行する。これにより、生成部６２Ａによって生成された画像に対して色情報２４Ｂ１が重畳されていない場合は、動作モードとして検出モードが設定され、生成部６２Ａによって生成された画像に対して色情報２４Ｂ１が重畳されている場合は、動作モードとして非検出モードが設定される。従って、上記実施形態と同様の効果が得られる。

　［第２変形例］
　上記実施形態では、Ｂモード画像２４Ａであれば動作モードとして検出モードが設定されて、Ｂモード画像２４Ａに対してＡＩ方式での病変領域２５の検出が行われる形態例を挙げて説明したが、Ｂモード画像２４Ａであったとしても、条件次第で動作モードとして非検出モードが設定されるようにしてもよい。

　一例として図１１に示すように、生成部６２Ａが、文字情報８８、計測線９０、及び処置補助情報９２を含むＢモード画像２４Ａを生成する場合、制御部６２Ｃは、動作モードとして非検出モードを設定する。文字情報８８、計測線９０、及び処置補助情報９２は、本開示の技術に係る「参照情報」の一例である。文字情報８８は、本開示の技術に係る「文字情報」の一例である。計測線９０は、本開示の技術に係る「計測線」の一例である。処置補助情報９２は、本開示の技術に係る「処置補助情報」の一例である。

　ここで、文字情報８８とは、例えば、観察対象領域７２（図３参照）の観察を補助する文字画像（すなわち、文字を表現した画像）を指す。観察対象領域７２の観察を補助するというのは、例えば、医師２０がＢモード画像２４Ａから病変の有無及び病変の位置を特定する上で医師２０にとって参考になるという意味である。また、本実施形態に係る「文字」の概念には、数字及び記号等も含まれる。本実施形態に係る文字としては、例えば、ユニコードで規定されている文字が挙げられる。図１１に示す例では、文字情報８８の一例として、病変領域２５の寸法を可視化した情報が示されている。

　計測線９０は、例えば、観察対象領域７２（図３参照）内の計測に用いられる線である。図１１に示す例では、計測線９０の一例として、病変領域２５の一方向の長さを視覚的に特定可能な寸法線が示されている。なお、ここでは、寸法線を例示しているが、これは、あくまでも一例に過ぎず、寸法性以外の可視化情報（例えば、病変領域２５以外の指定された部分を計測するために用いられる線）であってもよい。

　処置補助情報９２は、穿刺吸引法を用いた処置を補助する情報である。図１１に示す例では、処置具４２として穿刺針（図２参照）を用いる場合に穿刺針を挿入する方向を指し示す矢印が示されている。なお、ここでは、矢印を例示しているが、これは、あくまでも一例に過ぎず、矢印以外の可視化情報（例えば、破線又は点滅線）であってもよい。

　制御部６２Ｃは、生成部６２Ａによって生成された画像に対して画像解析処理を行うことにより、生成部６２Ａによって生成された画像に文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されているか否かを判定する。図１１に示す例では、制御部６２Ｃが、生成部６２Ａによって生成されたＢモード画像２４Ａに文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されているか否かを判定する。

　そして、生成部６２Ａによって生成されたＢモード画像２４Ａに文字情報８８、計測線９０、及び処置補助情報９２が重畳されていない場合、制御部６２Ｃは、動作モードとして検出モードを設定する。また、生成部６２Ａによって生成されたＢモード画像２４Ａに文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されている場合、制御部６２Ｃは、動作モードとして非検出モードを設定する。図１１に示す例では、生成部６２Ａによって生成されたＢモード画像２４Ａに文字情報８８、計測線９０、及び処置補助情報９２が重畳されているので、動作モードとして非検出モードが設定される。この場合、制御部６２Ｃは、文字情報８８、計測線９０、及び処置補助情報９２が重畳された状態のＢモード画像２４Ａを表示装置１４の画面２６に表示する。

　図１２には、本第２変形例に係る診断支援処理の流れの一例が示されている。図１２に示すフローチャートは図９Ａに示すフローチャートに比べ、ステップＳＴ１６の処理とステップＳＴ１８の処理との間にステップＳＴ２００の処理を有する点、及びステップＳＴ２４に後続する処理としてステップＳＴ２０２～ステップＳＴ２０６の処理を有する点が異なる。

　図１２に示す診断支援処理では、ステップＳＴ２００で、制御部６２Ｃは、ステップＳＴ１６によって生成されたＢモード画像２４Ａに文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されているか否かを判定する。ステップＳＴ２００において、ステップＳＴ１６によって生成されたＢモード画像２４Ａに文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されていない場合は、判定が否定されて、診断支援処理はステップＳＴ１８へ移行する。ステップＳＴ２００において、ステップＳＴ１６によって生成されたＢモード画像２４Ａに文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されている場合は、判定が肯定されて、診断支援処理はステップＳＴ２０２へ移行する。

　ステップＳＴ２０２で、制御部６２Ｃは、現時点で設定されている動作モードが検出モードであるか否かを判定する。ステップＳＴ２０２において、現時点で設定されている動作モードが検出モードでない場合は、判定が否定されて、診断支援処理はステップＳＴ２０６へ移行する。ステップＳＴ２０２において、現時点で設定されている動作モードが検出モードである場合は、判定が肯定されて、診断支援処理はステップＳＴ２０４へ移行する。

　ステップＳＴ２０４で、制御部６２Ｃは、動作モードを検出モードから非検出モードに切り替える。ステップＳＴ２０４の処理が実行された後、診断支援処理はステップＳＴ２０６へ移行する。

　ステップＳＴ２０６で、制御部６２Ｃは、ステップＳＴ１６で生成されたＢモード画像２４Ａ（すなわち、位置特定情報２７が付与されていないＢモード画像２４Ａ）を表示装置１４の画面２６に表示する。この場合、Ｂモード画像２４Ａには検出枠２７Ａが付与されていないので、医師２０は、Ｂモード画像２４Ａに病変が写っていないことを視覚的に認識することが可能となる。ステップＳＴ２０６の処理が実行された後、診断支援処理は、図９Ｂに示すステップＳＴ２６へ移行する。

　図４に示すように、学習済みモデル７８は、文字情報８８、計測線９０、及び処置補助情報９２の何れも重畳されていない複数のＢモード画像８２ＡからなるＢモード画像群８２を教師データとして用いて作成されている。そのため、文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されているＢモード画像２４Ａから学習済みモデル７８に従って病変領域２５を検出する処理が行われると、病変領域２５以外の領域が病変領域２５として誤検出される可能性が高くなる。すなわち、文字情報８８、計測線９０、及び処置補助情報９２の何れも重畳されていないＢモード画像２４Ａから学習済みモデル７８に従って病変領域２５を検出する処理が行われる場合に比べ、病変領域２５以外の領域が病変領域２５として誤検出される可能性が高くなる。また、仮に、文字情報８８、計測線９０、及び／又は処置補助情報９２が重畳されているＢモード画像２４Ａから学習済みモデル７８に従って病変領域２５を検出する処理が行われ、検出結果として検出枠２７ＡがＢモード画像２４Ａ内に表示された場合、医師２０にとって検出枠２７Ａの存在が文字情報８８、計測線９０、及び／又は処置補助情報９２の観察の妨げになる虞がある。文字情報８８、計測線９０、及び／又は処置補助情報９２の観察の妨げになるということは、医師２０にとって診断の妨げになることを意味する。

　そこで、本第２変形例では、文字情報８８、計測線９０、及び／又は処置補助情報９２がＢモード画像２４Ａに重畳されているか否かに応じて、検出モード及び非検出モードが切り替えられる。すなわち、文字情報８８、計測線９０、及び／又は処置補助情報９２がＢモード画像２４Ａに重畳されている場合に、動作モードとして非検出モードが設定され、文字情報８８、計測線９０、及び処置補助情報９２の何れもＢモード画像２４Ａに重畳されていない場合に、動作モードとして検出モードが設定される。これにより、病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、病変領域２５の検出結果の可視化（すなわち、検出枠２７Ａの存在）が診断の妨げになることを抑制することができる。

　［第３変形例］
　上記第１変形例（すなわち、図１０に示す例）では、色情報２４Ｂ１の有無に応じて検出モードと非検出モードとが切り替えられる形態例を挙げたが、本開示の技術はこれに限定されない。例えば、検出モードは、生成部６２Ａによって生成された超音波画像２４に重畳されている特定の有彩色画素の個数（例えば、色情報２４Ｂ１に含まれている有彩色画素の個数）に応じて検出モードと非検出モードとが切り替えられるようにしてもよい。

　この場合、一例として図１３に示すように、制御部６２Ｃは、生成部６２Ａによって生成された超音波画像２４から、彩度が第１閾値以上の有彩色画素の画素数（以下、「有彩色画素数」と称する」をカウントする。そして、制御部６２Ｃは、有彩色画素数が第２閾値以上であるか否かを判定する。制御部６２Ｃは、有彩色画素数が第２閾値未満である場合に、動作モードとして検出モードを設定し、有彩色画素数が第２閾値以上である場合に、動作モードとして非検出モードを設定する。

　第１閾値は、超音波画像２４に有彩色画素が含まれている場合に検出モード下で誤検出を引き起こす彩度の最低値として事前に設定された値である。第２閾値は、超音波画像２４に有彩色画素が含まれている場合に検出モード下で誤検出を引き起こす有彩色画素数の最低値として事前に設定された値である。なお、第１閾値及び／又は第２閾値は、受付装置５２によって受け付けられた指示及び／又は超音波内視鏡１２に対して設定されている各種パラメータ等に応じて変更される可変値であってもよい。

　以上説明したように、本第３変形例では、有彩色画素数が第２閾値未満の場合に検出モードが設定され、有彩色画素数が第２閾値以上の場合に非検出モードが設定される。従って、有彩色画素の存在が原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、有彩色画素の存在が超音波内視鏡２４の視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　［第４変形例］
　上記実施形態では、ドプラモードの場合に動作モードとして非検出モードが設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１画像モード又は第２画像モードの場合に動作モードとして非検出モードが設定されるようにしてもよい。第１画像モードは、観察対象領域７２に対して超音波が放射されることによって観察対象領域７２で反射されることで得られた反射波（以下、単に「反射波」と称する）に含まれる高周波成分を利用して超音波画像２４を生成する画像モードである。第２画像モードは、Ｂモード画像２４Ａと別画像とを合成する画像モードである。

　第１画像モードとしては、例えば、ＴＨＩモード、ＣＨモード、又はＣＨＩモードが挙げられる。第２画像モードとしては、ドプラモード又はエラストグラフィモードが挙げられる。これらの画像モードは、公知の画像モードなので、ここでの説明は省略する。

　一例として図１４に示すように、生成部６２Ａは、受付装置５２によって受け付けられた画像モード指示に従って、Ｂモード、ドプラモード、エラストグラフィモード、ＴＨＩモード、ＣＨモード、及びＣＨＩモードを選択的に設定する。そして、生成部６２Ａは、設定された画像モードに応じた超音波画像２４を生成する。例えば、生成部６２Ａは、ドプラモード下で、ドプラ画像２４Ｂを生成し、エラストグラフィモード下で、エラストグラフィ画像２４Ｃを生成し、ＴＨＩモード下で、ＴＨＩ画像２４Ｄを生成し、ＣＨモード下で、ＣＨ画像２４Ｅを生成し、ＣＨＩモード下で、ＣＨＩ画像２４Ｆを生成する。

　制御部６２Ｃは、設定された画像モードに応じて生成された超音波画像２４を表示装置１４の画面２６に表示する。すなわち、ドプラモード下では、ドプラ画像２４Ｂが画面２６に表示され、エラストグラフィモード下では、エラストグラフィ画像２４Ｃが画面２６に表示され、ＴＨＩモード下では、ＴＨＩ画像２４Ｄが画面２６に表示され、ＣＨモード下では、ＣＨ画像２４Ｅが画面２６に表示され、ＣＨＩモード下では、ＣＨＩ画像２４Ｆが画面２６に表示される。なお、エラストグラフィ画像２４Ｃ、ＴＨＩ画像２４Ｄ、ＣＨ画像２４Ｅ、及びＣＨＩ画像２４Ｆは、公知の超音波画像なので、ここでの説明は省略する。

　制御部６２Ｃは、第１画像モード又は第２画像モードが設定された場合（すなわち、ドプラモード、エラストグラフィモード、ＴＨＩモード、ＣＨモード、又はＣＨＩモードが設定された場合）に動作モードとして非検出モードを設定する。

　このように、第１画像モードが設定された場合（ここでは、一例として、ＴＨＩモード、ＣＨモード、又はＣＨＩモードが設定された場合）に動作モードとして非検出モードを設定されるので、反射波に含まれる高周波成分に対応する画像領域の存在が原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制することができる。また、超音波画像２４（ここでは、一例として、ＴＨＩ画像２４Ｄ、ＣＨ画像２４Ｅ、又はＣＨＩ画像２４Ｆ）を観察する場合において、反射波に含まれる高周波成分に対応する画像領域の存在が超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　また、第２画像モードが設定された場合（ここでは、一例として、ドプラモード又はエラストグラフィモードが設定された場合）に動作モードとして非検出モードを設定されるので、Ｂモード画像と合成される別画像（例えば、有彩色画像）の存在が原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制することができる。また、超音波画像２４（ここでは、一例として、ドプラ画像２４Ｂ又はエラストグラフィ画像２４Ｃ）を観察する場合において、Ｂモード画像と合成される別画像（例えば、有彩色画像）の存在が超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　［第５変形例］
　上記実施形態では、画像モードに応じて検出モードと非検出モードとが切り替えられる形態例を挙げて説明したが、本開示の技術はこれに限定されず、超音波画像２４の画質を定める設定値に応じて検出モードと非検出モードとが切り替えられるようにしてもよい。

　この場合、例えば、図１５に示すように、超音波画像２４の画質を定める設定値として複数のパラメータ９４がＮＶＭ６６に記憶されており、制御部６２Ｃが、ＮＶＭ６６から複数のパラメータ９４を取得し、取得した複数のパラメータ９４に応じて検出モードと非検出モードとを切り替えるようにする。ＮＶＭ６６には、複数のパラメータ９４として、周波数パラメータ９４Ａ、深度パラメータ９４Ｂ、明るさパラメータ９４Ｃ、ダイナミックレンジパラメータ９４Ｄ、及び倍率パラメータ９４Ｅが記憶されている。

　ここで、複数のパラメータ９４は、本開示の技術に係る「設定値」の一例である。周波数パラメータ９４Ａは、本開示の技術に係る「周波数パラメータ」の一例である。深度パラメータ９４Ｂは、本開示の技術に係る「深度パラメータ」の一例である。明るさパラメータ９４Ｃは、本開示の技術に係る「明るさパラメータ」の一例である。ダイナミックレンジパラメータ９４Ｄは、本開示の技術に係る「ダイナミックレンジパラメータ」の一例である。倍率パラメータ９４Ｅは、本開示の技術に係る「倍率パラメータ」の一例である。

　周波数パラメータ９４Ａは、超音波プローブ３８（図２参照）から放射される超音波の周波数を調整するパラメータである。深度パラメータ９４Ｂは、超音波画像２４で表現される深度を調整するパラメータである。明るさパラメータ９４Ｃは、超音波画像２４の明るさを調整するパラメータ（すなわち、ゲイン）である。ダイナミックレンジパラメータ９４Ｄは、超音波画像２４のダイナミックレンジを調整するパラメータである。倍率パラメータ９４Ｅは、超音波画像２４に対するデジタルズームの倍率を調整するパラメータである。

　制御部６２Ｃは、周波数パラメータ９４Ａが第１範囲内にあり、深度パラメータ９４Ｂが第２範囲内にあり、明るさパラメータ９４Ｃが第３範囲内にあり、ダイナミックレンジパラメータ９４Ｄが第４範囲内にあり、かつ、倍率パラメータ９４Ｅが第５範囲内にあるという条件（以下、「パラメータ条件」と称する）を満足した場合に、動作モードとして検出モードを設定する。また、制御部６２Ｃは、パラメータ条件を満足しない場合に、動作モードとして非検出モードを設定する。なお、第１～第５範囲は、事前に指定された範囲である。第１～第５範囲は、本開示の技術に係る「指定範囲」の一例である。

　第１範囲は、超音波プローブ３８から放射される超音波の周波数の理想的な範囲である。超音波の周波数の理想的な範囲の一例としては、病変領域２５以外の領域が病変領域２５として誤検出されない周波数の範囲（例えば、Ｂモード画像群８２に含まれる全てのＢモード画像８２Ａに対して適用されている周波数の範囲）が挙げられる。

　第２範囲は、超音波画像２４で表現される深度の理想的な範囲である。深度の理想的な範囲の一例としては、病変領域２５以外の領域が病変領域２５として誤検出されない深度の範囲（例えば、Ｂモード画像群８２に含まれる全てのＢモード画像８２Ａに対して適用されている深度の範囲）が挙げられる。

　第３範囲は、超音波画像２４の明るさの理想的な範囲である。明るさの理想的な範囲の一例としては、病変領域２５以外の領域が病変領域２５として誤検出されない明るさの範囲（例えば、Ｂモード画像群８２に含まれる全てのＢモード画像８２Ａに対して適用されている明るさの範囲）が挙げられる。

　第４範囲は、超音波画像２４のダイナミックレンジの理想的な範囲である。ダイナミックレンジの理想的な範囲の一例としては、病変領域２５以外の領域が病変領域２５として誤検出されないダイナミックレンジの範囲（例えば、Ｂモード画像群８２に含まれる全てのＢモード画像８２Ａに対して適用されているダイナミックレンジの範囲）が挙げられる。

　第５範囲は、超音波画像２４に対するデジタルズームの倍率の理想的な範囲である。デジタルズームの倍率の理想的な範囲の一例としては、病変領域２５以外の領域が病変領域２５として誤検出されないデジタルズームの倍率の範囲（例えば、Ｂモード画像群８２に含まれる全てのＢモード画像８２Ａに対して適用されているデジタルズームの倍率の範囲）が挙げられる。

　本第５変形例によれば、複数のパラメータ９４に応じて検出モードと非検出モードとが切り替えられる。すなわち、パラメータ条件を満足した場合に検出モードが設定され、パラメータ条件を満足しない場合に非検出モードが設定される。よって、複数のパラメータ９４が理想的な範囲内にないことが原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、複数のパラメータ９４が理想的な範囲内にないことが超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　また、本第５変形例によれば、周波数パラメータ９４Ａが第１範囲内にある場合に検出モードが設定され、周波数パラメータ９４Ａが第１範囲内にない場合に非検出モードが設定される。よって、周波数パラメータ９４Ａが第１範囲内にないことが原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、周波数パラメータ９４Ａが第１範囲内にないことが超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　また、本第５変形例によれば、深度パラメータ９４Ｂが第２範囲内にある場合に検出モードが設定され、深度パラメータ９４Ｂが第２範囲内にない場合に非検出モードが設定される。よって、深度パラメータ９４Ｂが第２範囲内にないことが原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、深度パラメータ９４Ｂが第２範囲内にないことが超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　また、本第５変形例によれば、明るさパラメータ９４Ｃが第３範囲内にある場合に検出モードが設定され、明るさパラメータ９４Ｃが第３範囲内にない場合に非検出モードが設定される。よって、明るさパラメータ９４Ｃが第３範囲内にないことが原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、明るさパラメータ９４Ｃが第３範囲内にないことが超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　また、本第５変形例によれば、ダイナミックレンジパラメータ９４Ｄが第４範囲内にある場合に検出モードが設定され、ダイナミックレンジパラメータ９４Ｄが第４範囲内にない場合に非検出モードが設定される。よって、ダイナミックレンジパラメータ９４Ｄが第４範囲内にないことが原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、ダイナミックレンジパラメータ９４Ｄが第４範囲内にないことが超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　また、本第５変形例によれば、倍率パラメータ９４Ｅが第５範囲内にある場合に検出モードが設定され、倍率パラメータ９４Ｅが第５範囲内にない場合に非検出モードが設定される。よって、倍率パラメータ９４Ｅが第５範囲内にないことが原因で病変領域２５以外の領域が病変領域２５として誤検出されることを抑制し、かつ、倍率パラメータ９４Ｅが第５範囲内にないことが超音波画像２４に対する視認性に影響を及ぼすことで診断の妨げになることを抑制することができる。

　また、本第５変形例によれば、ＮＶＭ６６に複数のパラメータ９４が記憶されており、制御部６２Ｃによって、ＮＶＭ６６内の複数のパラメータ９４に応じて検出モードと非検出モードとが切り替えられる。よって、検出モードと非検出モードとの切り替えの判断に要する複数のパラメータ９４が超音波画像２４の生成毎に手入力されなくても複数のパラメータ９４に応じた動作モードを設定することができる。

　なお、ここでは、複数のパラメータ９４を例示したが、本開示の技術はこれに限定されず、複数のパラメータ９４のうちの少なくとも１つが事前に指定された範囲（すなわち、上述した理想的な範囲）内にあるか否かに応じて検出モードと非検出モードとが切り替えられるようにしてもよい。

　［第６変形例］
　上記第５変形例では、ＮＶＭ６６に記憶されている複数のパラメータ９４が制御部６２Ｃによって取得され、制御部６２Ｃが複数のパラメータ９４に応じて検出モードと非検出モードとを切り替える形態例を挙げて説明したが、ＮＶＭ６６に複数のパラメータ９４が記憶されていない場合であっても本開示の技術は成立する。

　この場合、例えば、図１６に示すように、生成部６２Ａは、Ｂモード下で、フレーム９６を生成する。フレーム９６には、Ｂモード画像２４Ａが含まれており、テキスト画像９８が重畳されている。テキスト画像９８は、複数のパラメータ９４を文字化した画像である。制御部６２Ｃは、表示装置１４の画面２６にフレーム９６を表示する。これにより、画面２６には、Ｂモード画像２４Ａとテキスト画像９８が表示されるので、医師２０は、Ｂモード画像２４Ａを観察し、かつ、テキスト画像９８により示される複数のパラメータ９４を把握することができる。

　一例として図１７に示すように、制御部６２Ｃは、フレーム９６からテキスト画像９８が存在する領域１００を特定し、特定した領域１００をフレーム９６から抽出する。そして、制御部６２Ｃは、フレーム９６から抽出した領域１００に対して画像認識処理（例えば、ＡＩ方式の画像認識処理、又は、テンプレートマッチング等による非ＡＩ方式の画像認識処理）を行うことで、領域１００に含まれるテキスト画像９８から複数のパラメータ９４を認識して取得する。そして、制御部６２Ｃは、上記第５変形例と同様の要領で、複数のパラメータ９４に応じて検出モードと非検出モードとを切り替える。これにより、上記第５変形例と同様の効果が得られる。

　［第７変形例］
　上記実施形態では、画像モードに関わらず、超音波画像２４から病変領域２５を検出する頻度（以下、「検出頻度」と称する）、超音波画像２４から病変領域２５を検出する精度（以下、「検出精度」と称する）、及び超音波画像２４から病変領域２５として検出する対象（以下、「検出対象」と称する）を変更していないが、プロセッサ６２は、画像モードに応じて、検出頻度、検出精度、及び／又は検出対象を異ならせてもよい。

　画像モードに応じて検出頻度を異ならせる場合、例えば、主要画像モードとしてＢモードを用いる場合と主要画像モードとしてＢモード以外の画像モード（例えば、エラストグラフィモード等）を用いる場合とで検出頻度を異ならせる。この場合、Ｂモードでの検出頻度を、Ｂモード以外の画像モード（以下、「他画像モード」と称する）での検出頻度を高くする。例えば、Ｂモードでの検出頻度を１フレーム毎とし、他画像モードでの検出頻度を複数フレーム毎（例えば、２フレーム毎）とする。

　画像モードに応じて検出精度を異ならせる場合、例えば、主要画像モードとしてＢモードを用いる場合と主要画像モードとして他画像モードを用いる場合とで検出精度を異ならせる。検出精度を異ならせる方法の第１例としては、Ｂモードで用いる学習済みモデル７８を得るためにモデル８０に対して行わせる学習の量と他画像モードで用いる学習済みモデルを得るためにモデルに対して行わせる学習の量とを異ならせる方法が挙げられる。また、検出精度を異ならせる方法の第２例としては、Ｂモードで用いる学習済みモデル７８の中間層の数と他画像モードで用いる学習済みモデルの中間層の数とを異ならせる方法が挙げられる。

　画像モードに応じて検出対象を異ならせる場合、例えば、主要画像モードとしてＢモードを用いる場合と主要画像モードとして他画像モードを用いる場合とで検出対象を異ならせる。検出対象を異ならせる方法としては、例えば、Ｂモードで用いる学習済みモデル７８を、第１種類の病変を検出するためにモデル８０を学習させることによって生成し、得られた学習済みモデルとし、他画像モードで用いる学習済みモデルを、第２種類の病変（すなわち、第１種類とは異なる種類の病変）を検出するためにモデル８０を学習させることによって生成する方法が挙げられる。

　図１８には、本第７変形例に係る診断支援処理の流れの一例が示されている。図１８に示すフローチャートは、図９Ａに示すフローチャートに比べ、ステップＳＴ１６の処理とステップＳＴ１８の処理との間にステップＳＴ３００～ステップＳＴ３０４の処理を有する点が異なる。

　図１８に示す診断支援処理では、ステップＳＴ３００で、制御部６２Ｃは、Ｂモード用の検出頻度、検出精度、及び検出対象が設定されているか否かを判定する。ステップＳＴ３００において、Ｂモード用の検出頻度、検出精度、及び検出対象が設定されている場合は、判定が肯定されて、診断支援処理はステップＳＴ３０４へ移行する。ステップＳＴ３００において、Ｂモード用の検出頻度、検出精度、及び検出対象が設定されていない場合は、判定が否定されて、診断支援処理はステップＳＴ３０２へ移行する。

　ステップＳＴ３０２で、制御部６２Ｃは、Ｂモード用の検出頻度、検出精度、及び検出対象を設定する。ステップＳＴ３０２の処理が実行された後、診断支援処理はステップＳＴ３０４へ移行する。

　ステップＳＴ３０４で、制御部６２Ｃは、病変領域２５を検出するタイミングが到来したか否かを判定する。病変領域２５を検出するタイミングは、例えば、フレームレートの逆数で規定された時間間隔で区切られたタイミングである。ステップＳＴ３０４において、病変領域２５を検出するタイミングが到来していない場合は、判定が否定されて、診断支援処理はステップＳＴ２４へ移行する。ステップＳＴ３０４において、病変領域２５を検出するタイミングが到来した場合は、判定が肯定されて、診断支援処理はステップＳＴ１８へ移行する。

　以上説明したように、本第７変形例によれば、画像モードに応じて検出頻度を異ならせているので、画像モードに応じて病変領域２５を検出する回数が過不足することを抑制することができる。また、本第７変形例によれば、画像モードに応じて検出精度を異ならせているので、画像モードに応じて病変領域２５を検出する精度が低下することを抑制することができる。更に、本第７変形例によれば、画像モードに応じて検出対象を異ならせているので、病変領域２５として意図していない部分が検出されることを抑制することができる。

　本第７変形例では、画像モードに応じて検出頻度、検出精度、及び／又は検出対象を異ならせる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、Ｂモード画像２４Ａに参照情報（例えば、文字情報８８、計測線９０、及び／又は処置補助情報９２等）が重畳されているか否か、又は超音波画像２４の画質を定める設定値（例えば、複数のパラメータ９４）に応じて検出頻度、検出精度、及び／又は検出対象を異ならせるようにしてもよい。

　［その他の変形例］
　上記実施形態では、Ｂモードの場合に動作モードとして検出モードが設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、Ｂモードに代えて、Ａモード又はＭモード等の場合に動作モードとして検出モードが設定されるようにしてもよく、単一の主要画像モードとして事前に定められた画像モードの場合に動作モードとして検出モードが設定されるようにすればよい。主要画像モードは、モデル８０に学習させる超音波画像２４の種類に対応する画像モードであればよい。例えば、モデル８０に学習させる超音波画像２４がＡモード画像であれば、主要画像モードはＡモードとなり、モデル８０に学習させる超音波画像２４がＭモード画像であれば、主要画像モードはＭモードとなる。

　上記実施形態では、病変領域２５が検出される形態例を挙げて説明したが、本開示の技術はこれに限定されず、病変領域２５と共に、又は、病変領域２５に代えて、病変領域２５以外の特定領域（例えば、特定の臓器）が検出されるようにしてもよい。

　上記実施形態では、ＡＩ方式で病変領域２５を検出する形態例（すなわち、学習済みモデル７８に従って病変領域２５を検出する形態例）を挙げて説明したが、本開示の技術はこれに限定されず、非ＡＩ方式で病変領域２５が検出されるようにしてもよい。非ＡＩ方式の検出方法としては、例えば、テンプレートマッチングを用いた検出方法が挙げられる。この場合、テンプレートマッチングに用いられるテンプレートが本開示の技術に係る「検出支援情報」の一例である。

　上記実施形態では、超音波内視鏡１２を例示しているが、体外式の超音波診断装置であっても本開示の技術は成立する。

　上記実施形態では、処理装置１８によって生成された超音波画像２４と検出枠２７Ａが表示装置１４の画面２６に表示される形態例を挙げたが、検出枠２７Ａが付与された超音波画像２４がサーバ、ＰＣ、及び／又はタブレット端末等の各種装置に送信されて各種装置のメモリに格納されてもよい。また、検出枠２７Ａが付与された超音波画像２４がレポートに記録されてもよい。また、位置特定情報２７も各種装置のメモリに格納されてもよいし、レポートに記録されてもよい。超音波画像２４、検出枠２７Ａ、及び／又は位置特定情報２７は、被検体２２毎に、メモリに格納されたり、レポートに記録されたりすることが好ましい。

　上記実施形態では、処理装置１８によって診断支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。診断支援処理は、処理装置１８と処理装置１８の外部に設けられた少なくとも１つの装置とによって行われるようにしてもよいし、処理装置１８の外部に設けられた少なくとも１つの装置（例えば、処理装置１８に接続されており、処理装置１８が有する機能を拡張させるために用いられる補助的な処理装置）のみによって行われるようにしてもよい。

　処理装置１８の外部に設けられた少なくとも１つの装置の一例としては、サーバが挙げられる。サーバは、クラウドコンピューティングによって実現されるようにしてもよい。クラウドコンピューティングは、あくまでも一例に過ぎず、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングであってもよい。また、処理装置１８の外部に設けられた少なくとも１つの装置として挙げたサーバは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のＰＣ及び／又は少なくとも１台のメインフレーム等であってもよいし、少なくとも１台のサーバ、少なくとも１台のＰＣ、及び／又は少なくとも１台のメインフレーム等であってもよい。

　上記実施形態では、表示装置１４の画面２６に、検出枠２７Ａが重畳された超音波画像２４が表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、検出枠２７Ａが重畳された超音波画像２４と、検出枠２７Ａが重畳されていない超音波画像２４（すなわち、病変領域２５を検出した結果が可視化されていない超音波画像２４）とが別々の画面に表示されるようにしてもよい。

　上記実施形態では、病変の有無及び病変の位置を医師２０に対して知覚させるようにしているが、病変の種類及び／病変の進行度等を医師２０に対して知覚させるようにしてもよい。この場合、アノテーション８６に、病変の種類及び／病変の進行度等を特定可能な情報を含めた状態で超音波画像（図４に示す例では、Ｂモード画像８２Ａ）を教師データとしてモデル８０の学習に用いるようにすればよい。

　上記実施形態では、ＮＶＭ６６に診断支援プログラム７６が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、診断支援プログラム７６がＳＳＤ又はＵＳＢメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されている診断支援プログラム７６は、コンピュータ５４にインストールされる。プロセッサ６２は、診断支援プログラム７６に従って診断支援処理を実行する。

　上記実施形態では、コンピュータ５４が例示されているが、本開示の技術はこれに限定されず、コンピュータ５４に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５４に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　上記実施形態で説明した診断支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、診断支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるプロセッサが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで診断支援処理を実行する。

　診断支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はプロセッサとＦＰＧＡとの組み合わせ）で構成されてもよい。また、診断支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のプロセッサとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、診断支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、診断支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、診断支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の診断支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　プロセッサを備え、
　前記プロセッサは、
　超音波モジュールによって生成され、観察対象領域が写っている第１超音波画像を取得し、
　前記観察対象領域を診断するために参照される参照情報が前記第１超音波画像に合成されているか否か、前記第１超音波画像が主要画像モード以外の画像モードである補助画像モードで得られた画像であるか否か、又は、前記第１超音波画像の画質を定める設定値に応じて、第１動作モードと第２動作モードとを切り替え、
　前記第１動作モードは、前記主要画像モードで得られた第２超音波画像を用いて作成された検出支援情報に基づいて前記第１超音波画像から特定領域を検出する動作モードであり、
　前記第２動作モードは、前記特定領域を検出して検出結果を出力しないか、又は、前記特定領域を検出しない動作モードである
　診断支援装置。
　前記第１動作モードは、前記参照情報が前記第１超音波画像に合成されていない場合に用いられる動作モードであり、
　前記第２動作モードは、前記参照情報が前記第１超音波画像に合成されている場合に用いられる動作モードである
　請求項１に記載の診断支援装置。
　前記第１動作モードは、前記第１超音波画像が前記補助画像モードで得られた画像でない場合に用いられる動作モードであり、
　前記第２動作モードは、前記第１超音波画像が前記補助画像モードで得られた画像である場合に用いられる動作モードである
　請求項１に記載の診断支援装置。
　前記第１動作モードは、前記設定値が指定範囲内である場合に用いられる動作モードであり、
　前記第２動作モードは、前記設定値が前記指定範囲内でない場合に用いられる動作モードである
　請求項１に記載の診断支援装置。
　前記参照情報は、前記観察対象領域内の特性を色で表現した色情報を含む
　請求項１から請求項４の何れか一項に記載の診断支援装置。
　前記色情報は、複数の有彩色画素を含み、
　前記第１動作モードは、前記複数の有彩色画素のうちの第１閾値を超える彩度を有する有彩色画素の個数が第２閾値未満の場合に用いられる動作モードであり、
　前記第２動作モードは、前記個数が前記第２閾値以上の場合に用いられる動作モードである
　請求項５に記載の診断支援装置。
　前記参照情報は、前記観察対象領域の観察を補助する文字情報を含む
　請求項１に記載の診断支援装置。
　前記参照情報は、前記観察対象領域内の計測に用いられる計測線を含む
　請求項１に記載の診断支援装置。
　前記参照情報は、穿刺吸引法を用いた処置を補助する処置補助情報を含む
　請求項１に記載の診断支援装置。
　前記補助画像モードは、前記観察対象領域に対して超音波が放射されることによって前記観察対象領域で反射されることで得られた反射波に含まれる高周波成分を利用して超音波画像を生成する第１画像モード、又は、Ｂモード画像と別画像とを合成する第２画像モードである
　請求項１に記載の診断支援装置。
　前記第１画像モードは、ＴＨＩモード、ＣＨモード、又はＣＨＩモードであり、
　前記第２画像モードは、ドップラモード又はエラストグラフィモードである
　請求項１０に記載の診断支援装置。
　前記設定値には、前記超音波モジュールから放射される超音波の周波数を調整する周波数パラメータ、前記第１超音波画像で表現される深度を調整する深度パラメータ、前記第１超音波画像の明るさを調整する明るさパラメータ、前記第１超音波画像のダイナミックレンジを調整するダイナミックレンジパラメータ、及び／又は、前記第１超音波画像に対するデジタルズームの倍率を調整する倍率パラメータが含まれている
　請求項１に記載の診断支援装置。
　前記超音波モジュールは、前記設定値を有しており、
　前記プロセッサは、前記超音波モジュールから前記設定値を取得する
　請求項１に記載の診断支援装置。
　前記第１超音波画像を含むフレームには、前記設定値を特定可能なテキスト画像が合成されており、
　前記プロセッサは、
　前記テキスト画像に対して画像認識処理を行うことで前記設定値を特定し、
　特性した前記設定値に応じて前記第１動作モードと前記第２動作モードとを切り替える
　請求項１に記載の診断支援装置。
　前記プロセッサは、ＡＩ方式で前記第１超音波画像から特定領域を検出する
　請求項１に記載の診断支援装置。
　前記検出支援情報は、前記第２超音波画像を含む教師データをモデルに学習させることによって得られた学習済みモデルである
　請求項１に記載の診断支援装置。
　前記プロセッサは、前記参照情報、前記補助画像モード、及び／又は前記設定値に応じて、前記第１超音波画像から前記特定領域を検出する頻度、前記第１超音波画像から前記特定領域を検出する精度、及び／又は前記第１超音波画像から前記特定領域として検出する対象を異ならせる
　請求項１に記載の診断支援装置。
　前記超音波モジュールは、超音波内視鏡である
　請求項１に記載の診断支援装置。
　請求項１に記載の診断支援装置と、
　前記超音波モジュールが接続された超音波内視鏡本体と、を備える
　超音波内視鏡。
　超音波モジュールによって生成され、観察対象領域が写っている第１超音波画像を取得すること、及び、
　前記観察対象領域を診断するために参照される参照情報が前記第１超音波画像に合成されているか否か、前記第１超音波画像が主要画像モード以外の画像モードである補助画像モードで得られた画像であるか否か、又は、前記第１超音波画像の画質を定める設定値に応じて、第１動作モードと第２動作モードとを切り替えることを含み、
　前記第１動作モードは、前記主要画像モードで得られた第２超音波画像を用いて作成された検出支援情報に基づいて前記第１超音波画像から特定領域を検出する動作モードであり、
　前記第２動作モードは、前記特定領域を検出して検出結果を出力しないか、又は、前記特定領域を検出しない動作モードである
　診断支援方法。
　コンピュータに処理を実行させるためのプログラムであって、
　前記処理は、
　超音波モジュールによって生成され、観察対象領域が写っている第１超音波画像を取得すること、及び、
　前記観察対象領域を診断するために参照される参照情報が前記第１超音波画像に合成されているか否か、前記第１超音波画像が主要画像モード以外の画像モードである補助画像モードで得られた画像であるか否か、又は、前記第１超音波画像の画質を定める設定値に応じて、第１動作モードと第２動作モードとを切り替えることを含み、
　前記第１動作モードは、前記主要画像モードで得られた第２超音波画像を用いて作成された検出支援情報に基づいて前記第１超音波画像から特定領域を検出する動作モードであり、
　前記第２動作モードは、前記特定領域を検出して検出結果を出力しないか、又は、前記特定領域を検出しない動作モードである
　プログラム。