WO2022202430A1 - 医用画像処理装置、医用画像処理方法、及びプログラム - Google Patents

医用画像処理装置、医用画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2022202430A1
WO2022202430A1 PCT/JP2022/011198 JP2022011198W WO2022202430A1 WO 2022202430 A1 WO2022202430 A1 WO 2022202430A1 JP 2022011198 W JP2022011198 W JP 2022011198W WO 2022202430 A1 WO2022202430 A1 WO 2022202430A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
threshold
attention area
notification sound
medical image
Prior art date
Application number
PCT/JP2022/011198
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280019934.2A priority Critical patent/CN116963653A/zh
Priority to EP22775222.7A priority patent/EP4316337A1/en
Priority to JP2023509028A priority patent/JPWO2022202430A1/ja
Publication of WO2022202430A1 publication Critical patent/WO2022202430A1/ja
Priority to US18/470,400 priority patent/US20240005500A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音を出力することができる医用画像処理装置、医用画像処理方法、及びプログラムを提供する。医用画像処理装置（１４）は、プロセッサ及び報知音を出力する音声報知器（１７）を備える医用画像処理装置であって、プロセッサは、時系列的に連続する画像を受信する画像受信処理と、画像から注目領域を検出する注目領域検出処理と、注目領域検出処理により現在に注目領域が検出された場合に、音声報知器に報知音を一定期間出力させる制御を行う音響制御処理であって、注目領域検出処理によって過去に注目領域の検出が終了した時点から注目領域検出処理によって現在に注目領域の検出があった時点までの第１の時間に応じて、音声報知器から報知音を出力させる音響制御処理と、を行う。

Description

医用画像処理装置、医用画像処理方法、及びプログラム
　本発明は、医用画像処理装置、医用画像処理方法、及びプログラムに関し、特に報知音を出力する医用画像処理装置、医用画像処理方法、及びプログラムの技術に関する。
　内視鏡検査では、ユーザ（例えば医師）が先端にカメラが付いたスコープを被検査者の体腔に挿入して検査が行われる。スコープに備えられたカメラが撮影した内視鏡画像がディスプレイ画面に表示され、ユーザはその内視鏡画像を観察する。一般的に、内視鏡検査では、ユーザが内視鏡画像を観察し、病変を見つけたり、病変を切り取る等の処置が行われたりする。
　内視鏡検査は、スコープの操作による撮影と検査を同時に行うためユーザの負担が大きく、病変を見逃してしまうことが問題となっている。
　近年、深層学習により高精度な自動画像認識が可能となっている（非特許文献１）。内視鏡検査においても内視鏡画像から病変を自動で検出し、ユーザに報知するシステムが提案されている。例えば、深層学習で学習が行われた検出器（学習済みモデル）により内視鏡画像における注目領域が検出されると、表示器（モニタ）に報知マークを表示したり、注目領域を四角で囲うことで強調表示を行ったりして、ユーザに検出された注目領域を報知する技術が知られている。しかし、ユーザは、内視鏡検査を目視で行っているため、前述した報知表示や強調表示さえも見逃してしまうことがある。
　これに対して、注目領域が検出された場合に、報知表示と同時に音を鳴らすことでユーザの視覚だけでなく聴覚にも働きかけることで注意喚起を行うことが提案されている（特許文献１）。
A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNetclassification with deep convolutional neural networks. In NIPS, 2012
特開２００６－１２９９５０号公報
　しかしながら、注目領域が検出されている間、絶えず報知音を出力してしまうと、ユーザに不快感を与えてしまう場合がある。そこで、注目領域が検出されたときに報知音を出力し、それ以降に注目領域が検出され続けている場合であっても報知音の出力を停止することにより、ユーザに与える不快感を抑制することができる。
　ここで、内視鏡検査ではスコープを移動させて行うため、注目領域が一時的に撮影画面から外れることがある。また、内視鏡画像を観察しながら、注目領域（病変）に対して処置を行う場合には、処置具によって注目領域が隠れる等で一時的に病変が画面上から消えてしまうことがある。また、内視鏡画像を観察しながら行われる送水、内視鏡画像のブレ、ボケ等の影響で、検出器が注目領域を一時的に検出ができなくなってしまうことがある。このように一時的に注目領域の検出が途絶えてしまい、その後再び注目領域を検出した場合に報知音が出力されると、短時間のうちに報知音の出力が繰り返されることになってしまい、ユーザに不快感を与えてしまう。また、このように報知音の出力が、短時間のうちに何度も繰り返されることにより、ユーザは報知音に慣れてしまい、報知音の注意喚起の効力が薄れてしまう。
　上述した特許文献１では、このように報知音が短時間で繰り返し出力してしまう問題に対して言及はされていない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音を出力することができる医用画像処理装置、医用画像処理方法、及びプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である医用画像処理装置は、プロセッサ及び報知音を出力する音声報知器を備える医用画像処理装置であって、プロセッサは、時系列的に連続する画像を受信する画像受信処理と、画像から注目領域を検出する注目領域検出処理と、注目領域検出処理により現在に注目領域が検出された場合に、音声報知器に報知音を一定期間に出力させる制御を行う音響制御処理であって、注目領域検出処理によって過去に注目領域の検出が終了した時点から注目領域検出処理によって現在に注目領域の検出があった時点までの第１の時間に応じて、音声報知器から報知音を出力させる音響制御処理と、を行う。
　本態様によれば、過去に注目領域の検出が終了した時点から、現在に注目領域の検出があった時点までの第１の時間に応じて、音声報知器から報知音が出力する。これにより、報知音の出力を過去の注目領域の検出のタイミングに基づいて制御することができ、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　好ましくは、音響制御処理は、注目領域検出処理により注目領域が断続的に検出され、第１の時間が第１の閾値未満である場合には報知音の出力を停止する。
　本態様によれば、注目領域が断続的に検出される場合であっても、報知音の出力が繰り返されることなく、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　好ましくは、音響制御処理は、第１の時間が第１の閾値以上である場合には、音声報知器により報知音を出力させ、第１の時間が第１の閾値未満である場合には、音声報知器により報知音の出力を停止する。
　好ましくは、プロセッサは、注目領域検出処理により、過去に注目領域が検出された場合の第１の時間に相当する第２の時間を検出する第２の時間検出処理と、第２の時間に応じて、第１の閾値を変更する閾値変更処理と、を行う。
　本態様によれば、過去に注目領域が検出された場合の第１の時間に相当する第２の時間に応じて第１の閾値が変更され、その第１の閾値に基づいて報知音の出力が制御される。これにより、適切なタイミングで報知音を出力することができ、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　好ましくは、プロセッサは、注目領域検出処理により、画像内で検出された注目領域の数をカウントする注目領域数カウント処理を行い、閾値変更処理は、注目領域の数が第２の閾値以上の場合には、第１の閾値を大きくする。
　本態様によれば、検出された注目領域の数がカウントされ、その数が第２の閾値以上の場合には第１の閾値を大きくする。これにより、適切なタイミングで報知音を出力することができ、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　好ましくは、プロセッサは、注目領域検出処理により、画像内で検出された注目領域の数をカウントする注目領域数カウント処理を行い、閾値変更処理は、注目領域の数が第２の閾値未満の場合には、第１の閾値を小さくする。
　本態様によれば、検出された注目領域の数がカウントされ、その数が第２の閾値未満の場合には第１の閾値を小さくする。これにより、適切なタイミングで報知音を出力することができ、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　好ましくは、第１の閾値は、１．５秒以上から２．５秒以下の範囲で設定される。
　好ましくは、第１の閾値は、０．５秒以上から３．５秒以下の範囲で変更される。
　好ましくは、プロセッサは、注目領域検出処理で検出された注目領域の面積を算出する面積算出処理を行い、音響制御処理は、面積算出処理で算出された面積が第３の閾値より小さい場合には、音声報知器により報知音を出力させ、面積算出処理で算出された面積が第３の閾値以上、且つ第１の時間が第１の閾値より小さい場合には、音声報知器による報知音の出力を停止し、面積算出処理で算出された面積が第３の閾値以上、且つ第１の時間が第１の閾値以上の場合には、音声報知器により報知音を出力させる。
　本態様によれば、検出された注目領域の面積に応じて、報知音の出力を制御するので、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　好ましくは、プロセッサは、注目領域検出処理で検出された注目領域の分類を行う分類処理を行い、音響制御処理は、分類処理で分類された分類結果が特定の種類の場合には、音声報知器により報知音を出力させ、分類処理で分類された分類結果が特定外の種類であって、且つ第１の時間が第１の閾値より小さい場合には、音声報知器により報知音の出力を停止し、分類処理で分類された分類結果が特定外の種類であって、且つ第１の時間が第１の閾値以上の場合には、音声報知器により報知音を出力させる。
　本態様によれば、検出された注目領域の分類に応じて、報知音の出力が制御されるので、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　好ましくは、音響制御処理は、時系列的に連続する画像の枚数に基づいて、第１の時間を検出する。
　好ましくは、画像受信処理で受信した画像を表示する表示部を備え、注目領域検出処理により検出された現在の注目領域を強調して、表示部に表示する。
　本発明の他の態様である医用画像処理方法は、プロセッサ及び報知音を出力する音声報知器を備える医用画像処理装置を用いた画像処理方法であって、プロセッサが、時系列的に連続する画像を受信する画像受信工程と、画像から注目領域を検出する注目領域検出工程と、注目領域検出工程により現在に注目領域が検出された場合に、音声報知器に報知音を一定期間に出力させる制御を行う音響制御工程であって、注目領域検出工程によって過去に注目領域の検出が終了した時点から注目領域検出工程によって現在に注目領域の検出があった時点までの第１の時間に応じて、音声報知器から報知音を出力させる音響制御工程と、を実行する。
　本発明の他の態様であるプログラムは、プロセッサ及び報知音を出力する音声報知器を備える医用画像処理装置を用いて画像処理方法を実行させるプログラムであって、プロセッサに、時系列的に連続する画像を受信する画像受信工程と、画像から注目領域を検出する注目領域検出工程と、注目領域検出工程により現在に注目領域が検出された場合に、音声報知器に報知音を一定期間に出力させる制御を行う音響制御工程であって、注目領域検出工程によって過去に注目領域の検出が終了した時点から注目領域検出工程によって現在に注目領域の検出があった時点までの第１の時間に応じて、音声報知器から報知音を出力させる音響制御工程と、を実行させる。
　本発明によれば、過去に注目領域の検出が終了した時点から、現在に注目領域の検出があった時点までの第１の時間に応じて、音声報知器から報知音を出力する。これにより、報知音の出力を過去の注目領域の検出のタイミングに基づいて制御することができ、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
図１は、内視鏡システムの全体構成を示す概略図である。 図２は、医用画像処理装置の構成を示すブロック図である。 図３は、従来の報知音が短時間で繰り返し出力されてしまう例を説明する図である。 図４は、連続未検出時間に応じて、報知音が出力される場合について説明する図である。 図５は、連続未検出時間に関して説明する図である。 図６は、断続的に注目領域が検出される場合について説明する図である。 図７は、画像処理方法のフローを示す図である。 図８は、医用画像処理装置の構成を示すブロック図である。 図９は、過去の連続未検出時間に関して説明する図である。 図１０は、医用画像処理装置１４の構成を示すブロック図である。 図１１は、報知音が出力されるタイミングに関して説明する図である。 図１２は、医用画像処理装置の構成を示すブロック図である。 図１３は、報知音が出力されるタイミングに関して説明する図である。 図１４は、医用画像処理装置の構成を示すブロック図である。 図１５は、報知音が出力されるタイミングに関して説明する図である。
　以下、添付図面に従って本発明に係る医用画像処理装置、医用画像処理方法及びプログラムの好ましい実施の形態について説明する。
　［医用画像処理装置を含む内視鏡システムの全体構成］
　＜第１の実施形態＞
　図１は、本発明に係る医用画像処理装置を含む内視鏡システムの全体構成を示す概略図である。
　図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医用画像処理装置１４と、操作部１５と、表示器１６と、を備える。
　内視鏡スコープ１０は、被写体像を含む時系列の医用画像を撮影するものであり、例えば、下部又は上部消化管用スコープである。この内視鏡スコープ１０は、被検体（例えば胃、大腸）内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者である医師が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。すなわち、撮像素子２８により医用画像が順次撮影される。なお、医用画像は後で説明する動画３８及び静止画３９として取得される。
　手元操作部２１には、ユーザ（医師）によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
　コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
　光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。
　内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａからなる画像（「動画３８」ともいう）を生成する。更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮影指示のタイミングに応じた静止画３９とする。
　動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医用画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医用画像処理装置１４とに出力する。なお、動画３８は、３０ｆｐｓ（frames per second）、６０ｆｐｓ、又は１２０ｆｐｓにより取得される。
　なお、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。
　また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した医用画像である。
　表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する表示部として機能する。ユーザは、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等の処置を行う。なお、後で説明する医用画像処理装置１４に接続されている表示器１６にも、同様に動画３８及び静止画３９が表示される。また、表示器１６に動画３８及び静止画３９が表示される場合には、後で説明する報知表示も一緒に行われる。したがって、ユーザは、表示器１６の表示を見て診断等を行うことが好ましい。
　＜第１の実施形態＞
　［医用画像処理装置］
　図２は、医用画像処理装置１４の構成を示すブロック図である。医用画像処理装置１４は、時系列の医用画像を順次取得し、注目領域を検出し報知音を出力する。医用画像処理装置１４は、例えばコンピュータで構成される。操作部１５は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等の他に、内視鏡スコープ１０の手元操作部２１に設けられたボタン類を含み、表示器（表示部）１６はコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　医用画像処理装置１４は、医用画像取得部４０、ＣＰＵ（Central Processing Unit）４１、注目領域検出部４２、表示制御部４６、音響制御部４７及びメモリ４８から構成される。各部の処理は、１又は複数のプロセッサにより実現される。ここでプロセッサはＣＰＵ４１で構成されてもよいし、図示しない１又は複数のＣＰＵで構成されてもよい。
　ＣＰＵ４１は、メモリ４８に記憶されたオペレーションシステム、医用画像処理プログラムを含む各種のプログラムに基づいて動作し、医用画像取得部４０、注目領域検出部４２、表示制御部４６、音響制御部４７を統括制御し、また、これらの各部の一部として機能する。
　医用画像取得部４０は、時系列的に連続する医用画像（画像）を受信する画像受信処理を行う。医用画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列的に連続した医用画像を取得する。本例では、内視鏡スコープ１０により撮影される動画３８を取得する。また、内視鏡スコープ１０にて動画３８の撮影途中に既述の静止画３９の撮像が行われた場合、医用画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
　注目領域検出部４２は、医用画像取得部４０が取得した医用画像から注目領域を検出する注目領域検出処理を行う。ここで、注目領域とは、病変、検査対象の臓器の各部位などである。注目領域（病変）の具体例としては、Cancer（癌）の病変、Adenoma（腺腫）の病変、及びHyperplastic（過形成の）病変である。注目領域検出部４２は、例えば、Convolutional Neural Networkモデルの検出器で構成される。注目領域検出部４２は、予め深層学習で訓練が行われる。具体的には、Convolutional Neural Networkモデルに、医用画像を入力し注目領域を検出させるように学習が行われる。そして、学習が完了した学習済みモデルにより、注目領域検出部４２が構成される。
　また、注目領域検出部４２は、連続検出数記録部４３及び連続未検出数記録部４４を備える。連続検出数記録部４３は、注目領域検出部４２が連続して注目領域を検出したフレームの枚数を記録する。また、連続未検出数記録部４４は、注目領域検出部４２が連続して注目領域が未検出であるフレームの枚数を記録する。例えば、注目領域検出部４２は、連続検出数記録部４３での記録に基づいて、予め決められたフレーム数で連続して注目領域が検出された場合に、注目領域の検出を確定する。また例えば、注目領域検出部４２は、連続未検出数記録部４４の記録に基づいて、後で説明する連続未検出時間（第１の時間）を算出することができる。
　表示制御部４６は医用画像を表示器１６に表示させる。また、表示制御部４６は、検出された注目領域の強調表示を表示器１６に表示させる。表示制御部４６は、医用画像取得部４０が取得した医用画像（動画３８）に基づいて表示用の画像データを生成して表示器１６に出力する。また、表示制御部４６は、検出された注目領域を、例えば矩形で囲う強調表示を表示器１６に表示させる。
　音響制御部４７は、音響制御処理を行い、注目領域検出部４２で注目領域が検出された場合に報知音を音声報知器１７から出力させる。音声報知器１７は例えばスピーカで構成される。報知音は一定期間に出力される。例えば報知音は、１秒間の「Pong（ポン）」という音と、その後の２秒間の余韻で構成される。なお、報知音の長さは設定により変更することができる。例えば報知音（Pong（ポン）という音）は、人間の感覚で長いと感じない範囲（１秒以上から２秒以下の範囲）の間でユーザにより設定される。また、余韻は、人間の感覚で連続した報知音に聞こえない範囲（２秒以上から３秒以下の範囲）の間でユーザにより設定される。
　また、音響制御部４７は、連続未検出時間に応じて、報知音を出力させる。音響制御部４７は、連続未検出時間と第１の閾値を比較し、連続未検出時間が第１の閾値である場合に注目領域が検出されると報知音を出力させる。また、音響制御部４７は、連続未検出時間が第１の閾値未満である場合に注目領域が検出された場合であっても報知音の出力を停止する。ここで、第１の閾値は、フレーム画像３８ａの枚数又は時間によって設定される。例えば、第１の閾値は、フレーム画像３８ａの枚数で設定される場合には、６０ｆｐｓの動画設定で３０フレームと設定される。また例えば、第１の閾値は、時間で設定される場合には、０．５秒と設定される。なお、第１の閾値は、例えば大腸の検査の所要時間及び観察部位の数等を考慮すると、０．５秒以上から３．５秒以下の範囲で設定されることが好ましく、１．５秒以上から２．５秒以下の範囲で設定されることがさらに好ましい。さらに、第１の閾値を変更する場合（以下で説明する第２の実施形態及び第３の実施形態）であっても、第１の閾値は、０．５秒以上から３．５秒以下の範囲で変更されることが好ましい。
　メモリ４８は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、ＲＡＭ(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ及びハードディスク装置は、オペレーションシステム、医用画像処理プログラム等の各種のプログラム、及び撮影された静止画３９等を記憶する不揮発性メモリである。また、ＲＡＭは、不揮発性メモリに記憶された各種のプログラムを一時的に記憶される領域及びＣＰＵ４１の作業領域として機能する、データの高速読み書きが可能な揮発性メモリである。
　次に、音響制御部４７による報知音の出力に関して説明する。
　図３は、従来の報知音が短時間で繰り返し出力されてしまう例を説明する図である。なお、図示する医用画像１０１Ａ～１０１Ｈは、動画３８を構成するフレーム画像３８ａであるが実際のフレームレートには対応していない。
　図３に示す例では、時系列的に連続する医用画像１０１Ａ～１０１Ｈが医用画像取得部４０で受信されている。そして、注目領域検出部４２は、医用画像１０１Ｂ～１０１Ｄにおいて病変Ｆを検出し、医用画像１０１Ｇ～１０１Ｈにおいても病変Ｆを検出する。そして、音響制御部４７は、注目領域検出部４２が医用画像１０１Ｃにおいて病変Ｆを検出した際に、報知音「Ｐｏｎｇ」を音声報知器１７により出力させる。この場合には、注目領域検出部４２は、連続検出数記録部４３の記録が「２」になると検出を確定するように設定されている。したがって、音響制御部４７は、医用画像１０１Ｃでの病変Ｆの検出のタイミングで報知音を音声報知器１７により出力させる。また音響制御部４７は、医用画像１０１Ｈにおいて病変Ｆが検出された場合にも同様に報知音を出力させる。医用画像１０１Ｃでの報知音と医用画像１０１Ｈでの報知音との間隔は、短い間隔（図した場合では４フレーム（医用画像１０１Ｄ～１０１Ｇ））である。このように、短い間隔で報知音が繰り返し出力されてしまうと、ユーザに不快感を与えてしまい、報知音の注意喚起の効力を損なってしまう場合がある。そこで、本実施形態では以下に説明するように、音響制御部４７は、連続未検出時間に応じて報知音が出力される。
　図４は、連続未検出時間に応じて、報知音が出力される場合について説明する図である。図４に示す場合では、図３と同様に時系列的に連続する医用画像１０１Ａ～１０１Ｈが医用画像取得部４０により受信される。そして注目領域検出部４２は、医用画像１０１Ｂ～１０１Ｄ、及び医用画像１０１Ｇ～１０１Ｈにおいて注目領域を検出する。本例の場合には、連続未検出時間が例えば２秒間と設定され、音響制御部４７は、２秒間の連続未検出時間が経過していない場合には、病変Ｆが検出された場合であっても報知音の出力を停止する。図示した場合では、医用画像１０１Ｄにおいて注目領域の検出があり、その後、連続未検出時間が経過しないうちに、医用画像１０１Ｇ及び医用画像１０１Ｈにおいて病変Ｆが検出されている。したがって、医用画像１０１Ｇ及び医用画像１０１Ｈにおいて、病変Ｆが検出された場合であっても、音響制御部４７は報知音の出力を停止する。このように、連続未検出時間に応じて、報知音の出力を制御することにより、短時間で繰り返し報知音が出力されることが抑制され、報知音の注意喚起の効力が損なわれるのを防ぐことができる。
　次に、連続未検出時間の設定に関して説明する。音響制御部４７は、連続未検出時間に応じて音声報知器１７から報知音を出力させる。ここで、連続未検出時間とは、過去に注目領域の検出が終了した時点から現在に注目領域の検出があった時点までの時間である。
　図５は、連続未検出時間に関して説明する図である。なお、図示するフレームＨ１～Ｈ１０は、動画３８を構成するフレーム画像３８ａであるが実際のフレームレートには対応していない。図５には、時系列的に連続するフレームＨ１～Ｈ１０が示されており、また、報知音が出力されるタイミング（報知音が出力されるフレームには丸印が示されている）、及び各フレームにおいて注目領域が検出されたか否かが示されている（注目領域が検出された場合には検出有りに黒塗りがされ、注目領域が検出されない場合には検出無しが黒塗りされている）。フレームＨ１及びＨ２においては、注目領域検出部４２により注目領域が検出されている。その後、フレームＨ３～Ｈ６では注目領域が検出されず、フレームＨ７～Ｈ１０では注目領域が検出されている。そして、フレームＨ８において、報知音が出力されている。ここで、連続未検出時間Ｔは、フレームＨ３～フレームＨ６の期間である。そして、連続未検出時間Ｔは、設定された第１の閾値以上であるので、音響制御部４７はフレームＨ８において報知音を出力させる。なお、この場合には注目領域検出部４２は、連続検出数記録部４３の記録が「２」の場合に検出を確定するように設定されているので、フレームＨ８の注目領域の検出のタイミングで報知音が出力されている。
　図６は、断続的に注目領域が検出される場合について説明する図である。
　図６は、図５と同様に時系列的に連続するフレームＨ１～Ｈ１０が示されている。図６に示した場合では、フレームＨ２、フレームＨ４、フレームＨ６、及びフレームＨ７において注目領域が検出されている。連続未検出時間Ｔは、フレームＨ３及びフレームＨ５の期間である。そして、連続未検出時間Ｔは、設定された第１の閾値未満であるので、音響制御部４７は、注目領域が検出された場合であっても報知音の出力を停止する。このように、連続未検出時間に応じて報知音の出力が制御されることにより、注目領域が断続的に検出される場合には報知音は出力されず、短時間に繰り返し報知音が出力されることが抑制される。
　次に、医用画像処理装置１４を使用した画像処理方法を説明する。
　図７は、画像処理方法のフローを示す図である。なお、画像処理方法の各工程は、画像処理装置のプロセッサがプログラムを実行することにより行われる。
　先ず、医用画像取得部４０は医用画像を受信する（画像受信工程：ステップＳ１０１）。その後、注目領域検出部４２は、受信した医用画像において注目領域を検出する（注目領域検出工程：ステップＳ１０２）。注目領域検出部４２が受信した医用画像において注目領域を検出しなかった場合には、連続未検出数記録部４４は未検出数をカウントする（ステップＳ１０９）。その後、連続検出数記録部４３は連続検出数のカウントを初期化（０に戻す）する（ステップＳ１１０）。
　一方、注目領域検出部４２が受信した医用画像において注目領域を検出した場合には、連続検出数記録部４３は検出数をカウントする（ステップＳ１０３）。その後、連続検出数記録部４３は、注目領域が検出されたフレームの枚数のカウントが所定の値以上であるか否かを判定する（音響制御工程：ステップＳ１０４）。この場合には、注目領域検出部４２は、所定の値以上である場合に注目領域の検出を確定するように設定されている。次に、検出数のカウントが所定の値以上である場合には、連続未検出数記録部４４は、未検出のカウントが第１の閾値以上であるかを判定する（ステップＳ１０５）。この場合には、連続未検出数記録部４４の記録数によって、連続未検出時間が計測されている。連続未検出数記録部４４は、未検出数が第１の閾値未満である場合には未検出数を初期化し（ステップＳ１１１）、医用画像取得部４０は新規の医用画像があるか否かを判定し（ステップＳ１０８）、新規の医用画像がある場合には新たに医用画像を取得する（ステップＳ１０１）。一方、連続未検出数記録部４４は、未検出数が第１の閾値以上である場合には、未検出数のカウントを初期化する（ステップＳ１０６）。その後、音響制御部４７は、報知音を出力させる（音響制御工程：ステップＳ１０７）。その後、医用画像取得部４０は新規の画像があるか否かを判定し（ステップＳ１０８）、新規の画像がある場合には画像を取得する（ステップＳ１０１）。
　以上で説明したように、本実施態様によれば、過去に注目領域の検出が終了した時点から、現在に注目領域の検出があった時点までの連続未検出時間に応じて、報知音は出力される。これにより、本実施態様は、報知音の出力を過去の注目領域の検出からの経過時間に基づいて制御することができ、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態に関して説明する。本実施形態では、過去に注目領域が検出された場合の連続未検出時間に相当する過去の連続未検出時間（第２の時間）を検出し、その過去の連続未検出時間に応じて第１の閾値を変更する。
　図８は、本実施形態の医用画像処理装置１４の構成を示すブロック図である。なお、図２で既に説明を行った箇所は同じ符号を付し説明は省略する。
　第２の時間検出部５１は、注目領域検出部４２により、過去に注目領域が検出された場合の連続未検出時間に相当する過去の連続未検出時間を検出する第２の時間検出処理を行う。
　図９は、過去の連続未検出時間に関して説明する図である。図９には、図５で示し場合と同様に、時系列的に連続するフレームＨ１～Ｈ１４が示されている。図９に示した場合では、フレームＨ１、Ｈ７、Ｈ８、Ｈ１２、Ｈ１３、Ｈ１４において注目領域が検出されている。また、フレームＨ８及びＨ１３で注目領域が検出されたタイミングで、報知音が出力されている。ここで、フレームＨ１３を現在のフレームとして、フレームＨ１３での報知音の出力を考えた場合に、連続未検出時間Ｔは、フレームＨ９～Ｈ１１に対応する時間であり、過去の連続未検出時間ＴＰは、フレームＨ２～Ｈ６に対応する時間である。このように、第２の時間検出部５１は、過去の連続未検出時間ＴＰを検出する。第２の時間検出部５１は、連続未検出時間Ｔを記録しておくことにより、過去の連続未検出時間ＴＰを検出する。
　閾値変更部５２（図８）は、第２の時間検出部５１が検出する過去の連続未検出時間ＴＰに応じて、第１の閾値を変更する。閾値変更部５２は、様々な態様により第１の閾値を変更することができる。
　例えば、閾値変更部５２は、過去の連続未検出時間ＴＰが所定の値以上である場合には、第１の閾値を大きくする。そして、音響制御部４７は、より長い連続未検出時間を検出した場合に報知音を出力させる。また例えば、閾値変更部５２は、過去の連続未検出時間ＴＰが所定の値未満である場合には、第１の閾値を小さくする。そして、音響制御部４７は、より短い連続未検出時間を検出した場合に報知音を出力させる。
　また例えば、閾値変更部５２は、過去の連続未検出時間ＴＰが所定の値未満である場合には、第１の閾値を大きくしてもよいし、過去の連続未検出時間ＴＰが所定の値以上である場合には、第１の閾値を小さくしてもよい。
　以上説明したように、本実施形態によれば、過去の連続未検出時間ＴＰに応じて第１の閾値が変更され、変更された第１の閾値に基づいて報知音の出力が制御される。これにより、本実施形態は、適切なタイミングで報知音を出力することができ、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態に関して説明する。本実施形態では、注目領域検出部４２が検出した注目領域数をカウントし、注目領域数に応じて第１の閾値を変更する。
　図１０は、本実施形態の医用画像処理装置１４の構成を示すブロック図である。なお、図２で既に説明を行った箇所は同じ符号を付し、説明は省略する。
　注目領域数カウント部６１は、注目領域数カウント処理を行い、医用画像内における注目領域検出部４２により検出された注目領域の数を、医用画像（フレーム）毎に記録する。
　閾値変更部５２は、注目領域数カウント部６１でのカウント数に応じて、第１の閾値を変更する閾値変更処理を行う。例えば、閾値変更部５２は、注目領域の数が第２の閾値以上の場合には、第１の閾値を大きくする。例えば、音響制御部４７は、多くの病変を検出した場合には、長い連続未検出時間により報知音を出力させるように制御する。これにより、数多くの病変が検出されて頻繁に報知音が出力されることを防ぐことができる。また例えば、閾値変更部５２は、注目領域の数が第２の閾値未満の場合には、第１の閾値を小さくする。これにより、数が少ない病変を検出した場合には、病変を見逃すことのないように、報知音が出力される。
　図１１は、本実施形態の報知音が出力されるタイミングに関して説明する図である。
　図１１（Ａ）は、検出された病変の数が第２の閾値未満の場合について説明する図である。図１１（Ｂ）は、検出された病変の数が第２の閾値以上の場合について説明する図である。
　図１１（Ａ）では、注目領域検出部４２は、医用画像１０１Ｂ～１０１Ｄ、１０１Ｇ、及び１０１Ｈにおいて、病変Ｆ１を検出している。そして、注目領域数カウント部６１は、各医用画像において検出された注目領域の数を「１」としてカウントする。閾値変更部５２は、検出された注目領域の数が第２の閾値未満（この場合第２の閾値は２とする）であるので、第１の閾値を小さくする。したがって、音響制御部４７は、短い連続未検出時間（図示する場合には２フレーム）の経過によって、医用画像１０１Ｈでの病変Ｆ１の検出のタイミングで報知音を出力させる。
　図１１（Ｂ）では、注目領域検出部４２は、医用画像１０１Ｂ～１０１Ｄ、１０１Ｇ、及び１０１Ｈにおいて、病変Ｆ１及びＦ２を検出している。そして、注目領域数カウント部６１は、各医用画像において検出された注目領域の数を「２」としてカウントする。閾値変更部５２は、検出された注目領域の数が第２の閾値以上（この場合第２の閾値は２とする）であるので、第１の閾値を大きくする。したがって、音響制御部４７は、短い連続未検出時間（図示する場合には２フレーム）の経過によっては、医用画像１０１Ｈでの病変Ｆ１及びＦ２の検出のタイミングで報知音の出力を停止する。なお、図示した場合では、注目領域検出部４２は、連続検出数記録部４３の記録数が２の場合に検出確定とするように設定されている。
　本実施形態によれば、検出された注目領域の数がカウントされ、その数が第２の閾値以上の場合には第１の閾値を大きくし、その数が第２の閾値未満である場合には、第１の閾値を小さくする。これにより、本実施形態は、適切なタイミングで報知音を出力することができるので、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　＜第４の実施形態＞
　次に、第４の実施形態に関して説明する。本実施形態では、検出された注目領域の面積の大きさ及び連続未検出時間に応じて、報知音の出力を制御する。
　図１２は、本実施形態の医用画像処理装置１４の構成を示すブロック図である。なお、図２で既に説明を行った箇所は同じ符号を付し、説明は省略する。
　面積算出部７１は、面積算出処理を行い、注目領域検出部４２で検出された注目領域の面積を算出する。面積算出部７１は、画像処理を行うことにより検出された注目領域の面積を算出することができる。
　音響制御部４７は、注目領域の大きさ及び連続未検出時間に応じて、報知音の出力を制御する。例えば、音響制御部４７は、注目領域の面積が第３の閾値より小さい場合には、報知音を出力させる。また音響制御部４７は、注目領域の面積が第３の閾値より大きい場合であって、且つ連続未検出時間が第１の閾値より小さい場合には、報知音の出力を停止する。また音響制御部４７は、注目領域の面積が第３の閾値より大きい場合であって、且つ連続未検出時間が第１の閾値以上である場合には、報知音を出力させる。
　図１３は、本実施形態での報知音が出力されるタイミングに関して説明する図である。図１３（Ａ）は、検出された病変Ｆの面積が第３の閾値未満である場合を示す図である。図１３（Ｂ）は、検出された病変Ｆの面積が第３の閾値以上である場合を示す図である。
　図１３（Ａ）では、注目領域検出部４２は、医用画像１０１Ｂ～１０１Ｄ、１０１Ｇ、及び１０１Ｈにおいて、病変Ｆを検出している。そして、面積算出部７１は、医用画像１０１Ｂ～１０１Ｄ、１０１Ｇ、及び１０１Ｈの各々で検出された病変Ｆの面積を算出する。図１３（Ａ）に示した場合では、医用画像１０１Ｂ～１０１Ｄ、１０１Ｇ、及び１０１Ｈの各々で検出された病変Ｆの面積は第３の閾値未満であるので、連続未検出時間に係わらず、医用画像Ｈにおいて病変Ｆが検出されたタイミングで、報知音が出力される。このように、注目領域が小さい場合には注目領域の検出に応じて報知音を出力させて、注意喚起を行うことにより、ユーザの注目領域の見逃しを防止することができる。
　図１３（Ｂ）に示した場合では、病変Ｆの面積は第３の閾値以上である。したがって、音響制御部４７は、連続未検出時間に応じて報知音を出力させる。ここで、図１３（Ｂ）に示した場合は連続未検出時間が第１の閾値以下であるので、音響制御部４７は、医用画像１０１Ｇ及び１０１Ｈで病変Ｆが検出されているが、報知音の出力を停止する。このように、報知音の出力を停止することにより、注目領域が大きい場合にはユーザは視覚でも十分認識することができるので、必要以上に報知音が出力されることを防ぐことができる。
　以上で説明したように、本実施形態によれば、検出された注目領域の面積に応じて、報知音の出力が制御されるので、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　＜第５の実施形態＞
　次に、本発明の第５の実施形態に関して説明する。本実施形態では、注目領域検出部４２が検出した注目領域の種類に応じて、報知音の出力を制御する。
　図１４は、本実施形態の医用画像処理装置１４の構成を示すブロック図である。なお、図２で既に説明を行った箇所は同じ符号を付し、説明は省略する。
　分類部８１は、注目領域検出部４２で検出された注目領域の分類を行う分類処理を行う。例えば、注目領域が病変である場合には、分類部８１は病変の種類又は程度により分類を行う。また、分類部８１は、注目領域が検査対象の部位である場合には、部位の種類により分類を行う。分類部８１は様々な手法により、検出された注目領域の分類を行うことができる。例えば分類部８１は、ＣＮＮの学習済みモデルで構成される分類器を用いて、検出された注目領域の分類を行うことができる。
　音響制御部４７は、注目領域の種類に応じて、報知音の出力を制御する。例えば、音響制御部４７は、分類部８１で分類された分類結果が特定の種類の場合には、報知音を出力させる。ここで、特定の種類とは、重症の病変、重傷の病変、特段に見逃してはいけない病変、ランドマークとなる部位等のことである。また、音響制御部４７は、分類部８１で分類された分類結果が特定外の種類であって、且つ連続未検出時間が第１の閾値より小さい場合には、報知音の出力を停止する。また、音響制御部４７は、分類部８１で分類された分類結果が特定外の種類であって、且つ連続未検出時間が第１の閾値以上の場合には、音声報知器１７により報知音を出力させる。
　図１５は、本実施形態での報知音が出力されるタイミングに関して説明する図である。図１５（Ａ）は、検出された病変Ｆの分類結果が特定の種類の場合を示す図である。図１５（Ｂ）は、検出された病変Ｆの分類結果が特定の種類以外の場合を示す図である。
　図１５（Ａ）では、注目領域検出部４２は、医用画像１０１Ｂ～１０１Ｄ、１０１Ｇ、及び１０１Ｈにおいて、病変Ｆを検出している。そして、分類部８１は、医用画像１０１Ｂ～１０１Ｄ、１０１Ｇ、及び１０１Ｈの各々で検出された病変Ｆの分類を行う。図１５（Ａ）に示した場合では、病変Ｆは特定の種類であるので、連続未検出時間にかかわらず、医用画像Ｈにおいて病変Ｆが検出されたタイミングで、報知音が出力される。このように、病変Ｆが特定の種類（例えば、重症の病変）である場合には、検出される度に報知音を出力し、ユーザの注目領域の見逃しを防止する。
　図１５（Ｂ）に示した場合では、病変Ｆは特定外の種類である。したがって、音響制御部４７は、連続未検出時間に応じて報知音を出力させる。ここで、図１５（Ｂ）に示した場合は連続未検出時間が第１の閾値以下であるので、音響制御部４７は、医用画像１０１Ｇ及び１０１Ｈで病変Ｆが検出されているが、報知音の出力を停止する。
　以上で説明したように、本実施形態によれば、検出された注目領域の分類に応じて、報知音の出力が制御されるので、ユーザに不快感を与えず、報知音の注意喚起の効力を損なうことなく、報知音の出力を行うことができる。
　＜その他＞
　上記実施形態において、医用画像処理装置１４の処理を実行する処理部（医用画像取得部４０、注目領域検出部４２、第２の時間検出部５１、閾値変更部５２、注目領域数カウント部６１、面積算出部７１、分類部８１）（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
９　　　　：内視鏡システム
１０　　　：内視鏡スコープ
１１　　　：光源装置
１２　　　：内視鏡プロセッサ装置
１３　　　：表示装置
１４　　　：医用画像処理装置
１５　　　：操作部
１６　　　：表示器
１７　　　：音声報知器
２０　　　：挿入部
２１　　　：手元操作部
２２　　　：ユニバーサルコード
２５　　　：軟性部
２６　　　：湾曲部
２７　　　：先端部
２８　　　：撮像素子
２９　　　：湾曲操作ノブ
３０　　　：送気送水ボタン
３１　　　：吸引ボタン
３２　　　：静止画撮影指示部
３３　　　：処置具導入口
３５　　　：ライトガイド
３６　　　：信号ケーブル
３７ａ　　：コネクタ
３７ｂ　　：コネクタ
３８　　　：動画
３８ａ　　：フレーム画像
３９　　　：静止画
４０　　　：医用画像取得部
４１　　　：ＣＰＵ
４２　　　：注目領域検出部
４３　　　：連続検出数記録部
４４　　　：連続未検出数記録部
４６　　　：表示制御部
４７　　　：音響制御部
４８　　　：メモリ

Claims (15)

  1. 　プロセッサ及び報知音を出力する音声報知器を備える医用画像処理装置であって、
    　前記プロセッサは、
    　時系列的に連続する画像を受信する画像受信処理と、
    　前記画像から注目領域を検出する注目領域検出処理と、
    　前記注目領域検出処理により現在に注目領域が検出された場合に、前記音声報知器に前記報知音を一定期間に出力させる制御を行う音響制御処理であって、前記注目領域検出処理によって過去に注目領域の検出が終了した時点から前記注目領域検出処理によって現在に注目領域の検出があった時点までの第１の時間に応じて、前記音声報知器から前記報知音を出力させる音響制御処理と、
    　を行う医用画像処理装置。
  2. 　前記音響制御処理は、前記注目領域検出処理により前記注目領域が断続的に検出され、前記第１の時間が第１の閾値未満である場合には前記報知音の出力を停止する請求項１に記載の医用画像処理装置。
  3. 　前記音響制御処理は、
    　前記第１の時間が第１の閾値以上である場合には、前記音声報知器により前記報知音を出力させ、
    　前記第１の時間が第１の閾値未満である場合には、前記音声報知器により前記報知音の出力を停止する請求項１に記載の医用画像処理装置。
  4. 　前記プロセッサは、
    　前記注目領域検出処理により、過去に注目領域が検出された場合の前記第１の時間に相当する第２の時間を検出する第２の時間検出処理と、
    　前記第２の時間に応じて、前記第１の閾値を変更する閾値変更処理と、
    　を行う請求項２又は３に記載の医用画像処理装置。
  5. 　前記プロセッサは、
    　前記注目領域検出処理により、前記画像内で検出された注目領域の数をカウントする注目領域数カウント処理を行い、
    　前記閾値変更処理は、
    　前記注目領域の数が第２の閾値以上の場合には、前記第１の閾値を大きくする請求項４に記載の医用画像処理装置。
  6. 　前記プロセッサは、
    　前記注目領域検出処理により、前記画像内で検出された前記注目領域の数をカウントする注目領域数カウント処理を行い、
    　前記閾値変更処理は、
    　前記注目領域の数が第２の閾値未満の場合には、前記第１の閾値を小さくする請求項４又は５に記載の医用画像処理装置。
  7. 　前記第１の閾値は、１．５秒以上から２．５秒以下の範囲で設定される請求項２又は３に記載の医用画像処理装置。
  8. 　前記第１の閾値は、０．５秒以上から３．５秒以下の範囲で変更される請求項４から６のいずれか１項に記載の医用画像処理装置。
  9. 　前記プロセッサは、
    　前記注目領域検出処理で検出された注目領域の面積を算出する面積算出処理を行い、
    　前記音響制御処理は、
    　前記面積算出処理で算出された前記面積が第３の閾値より小さい場合には、前記音声報知器により前記報知音を出力させ、
    　前記面積算出処理で算出された前記面積が第３の閾値以上、且つ前記第１の時間が前記第１の閾値より小さい場合には、前記音声報知器による前記報知音の出力を停止し、
    　前記面積算出処理で算出された前記面積が第３の閾値以上、且つ前記第１の時間が前記第１の閾値以上の場合には、前記音声報知器により前記報知音を出力させる請求項２から８のいずれか１項に記載の医用画像処理装置。
  10. 　前記プロセッサは、
    　前記注目領域検出処理で検出された注目領域の分類を行う分類処理を行い、
    　前記音響制御処理は、
    　前記分類処理で分類された分類結果が特定の種類の場合には、前記音声報知器により前記報知音を出力させ、
    　前記分類処理で分類された分類結果が特定外の種類であって、且つ前記第１の時間が前記第１の閾値より小さい場合には、前記音声報知器による前記報知音の出力を停止し、
    　前記分類処理で分類された分類結果が特定外の種類であって、且つ前記第１の時間が前記第１の閾値以上の場合には、前記音声報知器により前記報知音を出力させる請求項２から８のいずれか１項に記載の医用画像処理装置。
  11. 　前記音響制御処理は、時系列的に連続する前記画像の枚数に基づいて、前記第１の時間を検出する請求項１から１０のいずれか１項に記載の医用画像処理装置。
  12. 　前記画像受信処理で受信した前記画像を表示する表示部を備え、
    　前記注目領域検出処理により検出された注目領域を強調して、前記表示部に表示する請求項１から１１のいずれか１項に記載の医用画像処理装置。
  13. 　プロセッサ及び報知音を出力する音声報知器を備える医用画像処理装置を用いた画像処理方法であって、
    　前記プロセッサが、
    　時系列的に連続する画像を受信する画像受信工程と、
    　前記画像から注目領域を検出する注目領域検出工程と、
    　前記注目領域検出工程により現在に注目領域が検出された場合に、前記音声報知器に前記報知音を一定期間に出力させる制御を行う音響制御工程であって、前記注目領域検出工程によって過去に注目領域の検出が終了した時点から前記注目領域検出工程によって現在に注目領域の検出があった時点までの第１の時間に応じて、前記音声報知器から前記報知音を出力させる音響制御工程と、
    　を実行する医用画像処理方法。
  14. 　プロセッサ及び報知音を出力する音声報知器を備える医用画像処理装置を用いて画像処理方法を実行させるプログラムであって、
    　前記プロセッサに、
    　時系列的に連続する画像を受信する画像受信工程と、
    　前記画像から注目領域を検出する注目領域検出工程と、
    　前記注目領域検出工程により現在に注目領域が検出された場合に、前記音声報知器に前記報知音を一定期間に出力させる制御を行う音響制御工程であって、前記注目領域検出工程によって過去に注目領域の検出が終了した時点から前記注目領域検出工程によって現在に注目領域の検出があった時点までの第１の時間に応じて、前記音声報知器から前記報知音を出力させる音響制御工程と、
    　を実行させるプログラム。
  15. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１４に記載のプログラムが記録された記録媒体。
PCT/JP2022/011198 2021-03-23 2022-03-14 医用画像処理装置、医用画像処理方法、及びプログラム WO2022202430A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280019934.2A CN116963653A (zh) 2021-03-23 2022-03-14 医用图像处理装置、医用图像处理方法及程序
EP22775222.7A EP4316337A1 (en) 2021-03-23 2022-03-14 Medical image processing device, medical image processing method, and program
JP2023509028A JPWO2022202430A1 (ja) 2021-03-23 2022-03-14
US18/470,400 US20240005500A1 (en) 2021-03-23 2023-09-19 Medical image processing apparatus, medical image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021048511 2021-03-23
JP2021-048511 2021-03-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/470,400 Continuation US20240005500A1 (en) 2021-03-23 2023-09-19 Medical image processing apparatus, medical image processing method, and program

Publications (1)

Publication Number Publication Date
WO2022202430A1 true WO2022202430A1 (ja) 2022-09-29

Family

ID=83397187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011198 WO2022202430A1 (ja) 2021-03-23 2022-03-14 医用画像処理装置、医用画像処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20240005500A1 (ja)
EP (1) EP4316337A1 (ja)
JP (1) JPWO2022202430A1 (ja)
CN (1) CN116963653A (ja)
WO (1) WO2022202430A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129950A (ja) 2004-11-02 2006-05-25 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020110214A1 (ja) * 2018-11-28 2020-06-04 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2021029292A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129950A (ja) 2004-11-02 2006-05-25 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020110214A1 (ja) * 2018-11-28 2020-06-04 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2021029292A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム

Also Published As

Publication number Publication date
JPWO2022202430A1 (ja) 2022-09-29
US20240005500A1 (en) 2024-01-04
EP4316337A1 (en) 2024-02-07
CN116963653A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US9788708B2 (en) Displaying image data from a scanner capsule
US20150313445A1 (en) System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
JP7413585B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
JP7125484B2 (ja) 内視鏡システム
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
US20210233648A1 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
US20210366593A1 (en) Medical image processing apparatus and medical image processing method
JPWO2019220859A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2010000183A (ja) 電子内視鏡用プロセッサ装置
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7389257B2 (ja) 内視鏡システム及びその作動方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2022202430A1 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
KR100942997B1 (ko) 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법
WO2022186109A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
US20230200626A1 (en) Image processing apparatus, processor apparatus, endoscope system, image processing method, and program
WO2021192524A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP2022010368A (ja) 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
JP2022010367A (ja) 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
CN116916808A (zh) 医用图像处理装置、医用图像处理方法及程序
CN117956939A (zh) 计算机程序、学习模型的生成方法、以及信息处理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22775222

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280019934.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023509028

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022775222

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022775222

Country of ref document: EP

Effective date: 20231023