WO2021044910A1

WO2021044910A1 - 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム

Info

Publication number: WO2021044910A1
Application number: PCT/JP2020/032049
Authority: WO
Inventors: 美沙紀目黒
Original assignee: 富士フイルム株式会社
Priority date: 2019-09-03
Filing date: 2020-08-25
Publication date: 2021-03-11
Also published as: US20220151467A1; EP4026479A4; JPWO2021044910A1; CN114269221A; EP4026479A1; JP7256275B2

Abstract

未観察の注目領域の情報を用いた探索を支援し得る、医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラムを提供する。観察画像（３８）を取得する画像取得部（４０）、観察画像を表す第一表示信号を表示装置（４００）へ送信する表示信号送信部（４４）、観察画像から注目領域を検出する注目領域検出部（５０）、注目領域が検出された観察画像から注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶部（７１）を備える。

Description

医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム

　本発明は医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラムに関する。

　内視鏡画像等に対してＡＩ技術等を導入し、病変の検出及び診断支援を行うシステムは、病変の見落とし率を低下させ、不要な生検の削減に繋がるとして注目を集めている。このようなシステムは、内視鏡検査の実施中においてリアルタイムに動作して、認識結果等の画面表示を実施するなどの医師への報知を実現する。なお、ＡＩはArtificial Intelligenceの省略語である。

　特許文献１から特許文献３は、観察画像から算出された特徴量に基づき観察画像の病変候補領域を検出し、検出された病変候補領域を表示装置へ表示させる内視鏡システムが記載されている。

　特許文献１に記載の内視鏡システムは、病変候補領域の位置を強調するマーカー画像が観察画像に付加される。同システムは、病変候補領域の検出継続期間の長さに応じてマーカー画像の表示態様を変化させる。具体的には、病変候補領域の検出継続期間が規定期間に達した際に強調処理が開始される。

　特許文献２に記載の内視鏡システムは、継続検出期間中にビデオプロセッサから順次出力される観察画像を記憶する。同システムは、継続検出期間が規定の期間未満である場合は、規定の期間が経過した後に、観察画像を表示させる表示領域とは別の表示領域に、記憶順とは逆の順番で、記憶されている観察画像を表示させる。

　特許文献３に記載の内視鏡システムは、病変候補領域が検出され、報知処理が開始された際に静止画像をメモリに一時記憶させる。同システムは操作スイッチがオン状態にされた場合にメモリに一時記憶させた静止画像に対してマーカー画像を付加し、静止画像を表示部へ表示させる。

　特許文献４は、被検体内に挿入し、被検体の内部を観察する電子内視鏡装置が記載されている。同文献に記載の装置は、異常画素が検出された際に、自動的に静止画像がメモリへ一時記憶される。また、同装置はメモリに一時記憶させた静止画像のサムネイル画像をサムネイル表示エリアに表示させる。

国際公開第２０１８／１９８１６１号国際公開第２０１７／２１６９２２号国際公開第２０１７／０７３３３７号特開２００６－１９８１０６号公報

　注目領域の検出を見逃した医師は、注目領域の検出の報知に起因して、注目領域の見逃しを認識し得る。医師は、見逃した注目領域等の探索を実施する際に、見逃した注目領域に関する情報を用いた支援が必要となる。しかしながら、特許文献１から特許文献４は、上記した見逃された注目領域の情報に関する記載又は示唆はない。

　特許文献１に記載のシステムは、病変領域等の検出期間が規定の期間に達した際に病変領域等の強調処理を実施して、病変候補領域を目視で確認する医師の負担を軽減している。一方、同文献に記載のシステムは、見逃された病変候補領域の情報を記憶する構成要素を備えていない。

　特許文献２に記載のシステムは、注目領域の検出が開始されてから途絶するまでの期間に一以上の観察画像を記憶し、注目領域の検出が途絶した後に記憶されている観察画像を自動的に表示して、病変部の見落としを低減させている。一方、観察画像の順次の自動的な再表示は、医師の集中力の低下に繋がり、注目領域の見逃しに繋がるおそれがある。また、同文献に記載のシステムは、見逃された病変候補領域の情報を記憶する構成要素を備えていない。

　特許文献３に記載のシステムは、病変候補領域が検出された際に病変候補領域が含まれる静止画像を一時的に記憶しておき、操作スイッチのオンに応じて静止画像を表示させる。同文献には、病変候補領域が検出された静止画像を選択的に記憶する旨の記載はなく、同文献に記載のシステムは、病変候補領域が含まれる静止画像を全て記憶していると考えられる。そうすると、一時記憶されている静止画像は、医師が観察を実施しているか否かの区別が困難である。

　特許文献４には、異常画素が検出された際に静止画像を選択的に一時記憶する旨の記載はなく、同文献に記載の装置は異常画素が検出された際に全ての静止画像を一時記憶していると考えられる。そうすると、一時記憶されている静止画像は、医師が観察を実施しているか否かの区別が困難である。

　すなわち、特許文献１から４に記載のシステム等はいずれも、医師が見逃した未観察の注目領域を探察する際の支援が困難である。

　本発明はこのような事情に鑑みてなされたもので、未観察の注目領域の情報を用いた探索を支援し得る、医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラムを提供することを目的とする。

　上記目的を達成するために、次の発明態様を提供する。

　第１態様に係る医療画像処理装置は、被写体の観察画像を取得する画像取得部と、観察画像を表す第一表示信号を表示装置へ送信する表示信号送信部と、観察画像を構成するフレーム画像から注目領域を検出する注目領域検出部と、注目領域が検出されたフレーム画像から注目領域の未観察を表す未観察条件を満たすフレーム画像を記憶する未観察画像記憶部と、を備えた医療画像処理装置である。

　第１態様によれば、注目領域が検出された観察画像から、未観察条件を満たす未観察の注目領域を含むフレーム画像が記憶される。これにより、未観察画像を用いた未観察の注目領域の探索を支援し得る。

　被写体の観察画像は、動画像でもよいし、複数の静止画像を含む静止画像群でもよい。観察画像の一例として、内視鏡を用いて撮像された内視鏡画像が挙げられる。

　フレーム画像は、複数の静止画像を含む静止画像群に含まれる一つの静止画像と同義である。

　未観察の注目領域の例として、ズーム等の撮像装置の操作をユーザが非実施の注目領域が挙げられる。

　第２態様は、第１態様の医療画像処理装置において、注目領域検出部を用いて注目領域が検出されたフレーム画像について、未観察条件を満たすか否かを判定する未観察条件判定部を備えた構成としてもよい。

　第２態様によれば、未観察条件に基づき、注目領域が検出された複数のフレーム画像から未観察画像を判定し得る。

　第２態様において、未観察条件を設定する未観察条件設定部を備える態様が好ましい。

　第３態様は、第２態様の医療画像処理装置において、未観察条件判定部は、規定期間内に同一の注目領域が含まれるフレーム画像が規定数以下の場合に未観察条件を満たすと判定する構成としてもよい。

　第３態様によれば、未観察条件として、同一の注目領域を含むフレーム画像の数を適用し得る。

　第４態様は、第２態様又は第３態様の医療画像処理装置において、未観察条件判定部は、フレーム画像の間の変化量が規定の閾値以上の場合に未観察条件を満たすと判定する構成としてもよい。

　第４態様によれば、未観察条件として、フレーム画像間の変化量を適用し得る。

　第５態様は、第２態様から第４態様のいずれか一態様の医療画像処理装置において、未観察条件判定部は、規定期間内に同一の注目領域が画面内の任意の領域に留まる場合に未観察条件を満たすと判定する構成としてもよい。

　第５態様によれば、未観察条件として、同一の注目領域の画面内の位置を適用し得る。

　第６態様は、第２態様から第５態様のいずれか一態様の医療画像処理装置において、表示信号送信部は、未観察条件判定部において未観察条件を満たすと判定された未観察画像を表す第二表示信号を表示装置へ送信する構成としてもよい。

　第６態様によれば、表示装置を用いて未観察画像が表示される。これにより、表示装置へ表示された未観察画像を用いた未観察の注目領域の探索を支援し得る。

　第７態様は、第６態様の医療画像処理装置において、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部を備え、表示信号送信部は、ユーザ入力信号取得部を用いて未観察の注目領域の表示を表すユーザ入力信号を取得した場合に、未観察画像を表す第二表示信号を表示装置へ送信する構成としてもよい。

　第７態様によれば、ユーザ入力信号の取得に応じて未観察画像を表す表示信号を表示装置へ送信する。これにより、表示装置へ表示された未観察画像を用いた未観察の注目領域の探索を支援し得る。

　第８態様は、第７態様の医療画像処理装置において、注目領域検出部を用いて検出された注目領域に対して第一画像処理を実施して第一画像を生成する第一画像処理部を備え、表示信号送信部は、第一画像を表す表示信号を第一表示信号として表示装置へ送信する構成としてもよい。

　第８態様によれば、第一画像処理が実施された第一画像を表示装置へ表示し得る。

　第８態様において、第一画像処理の結果を記憶する第一画像処理結果記憶部を備え得る。

　第一画像処理の処理結果は、第一画像を適用してもよいし、観察画像及び観察画像に関連付けされた第一画像処理の処理結果を表す情報の組み合わせを適用してもよい。

　第９態様は、第８態様の医療画像処理装置において、未観察画像に対して第二画像処理を実施して第二画像を生成する第二画像生成部を備え、表示信号送信部は、第二画像を表す表示信号を第二表示信号として表示装置へ送信する構成としてもよい。

　第９態様によれば、未観察画像に対して第二画像処理を実施した第二画像を表示装置へ表示し得る。

　第１０態様は、第９態様の医療画像処理装置において、第一画像処理部は、観察画像に対する注目領域の強調処理を実施し、第二画像処理部は、未観察画像に対して観察画像に対する注目領域の強調処理よりも強調度合いを強める強調処理を実施する構成としてもよい。

　第１０様によれば、観察画像の強調処理よりも強調度合いを強めた第二画像を表示装置へ表示し得る。これにより、第二画像における注目領域の視認が容易となる。

　第１１態様は、第９態様又は第１０態様の医療画像処理装置において、第二画像処理部は、複数の未観察画像のそれぞれに対して第二画像処理を実施し、表示信号送信部は、複数の第二画像のそれぞれに対応する表示信号を第二表示信号として表示装置へ送信する構成としてもよい。

　第１１態様によれば、複数の未観察画像又は複数の第二画像を表示装置に表示し得る。これにより、ユーザは複数の未観察画像又は複数の第二画像を利用する観察画像における注目領域の探索を実施し得る。

　第１２態様は、第１１態様の医療画像処理装置において、表示装置へ表示される複数の未観察画像から一以上の未観察画像を選択するか、又は表示装置へ表示される複数の第二画像から一以上の第二画像を選択する選択部を備えた構成としてもよい。

　第１２態様によれば、ユーザは複数の未観察画像から観察画像における注目領域の探索に適用される未観察画像を設定するか、又は複数の第二画像から観察画像における注目領域の探索に適用される第二画像を設定し得る。

　第１３態様は、第９態様から第１２態様のいずれか一態様の医療画像処理装置において、表示装置へ表示される未観察画像又は第二画像処理の処理結果に対して第三画像処理を施す第三画像処理部を備えた構成としてもよい。

　第１３態様によれば、未観察画像又は第二画像に対して第三画像処理を実施し得る。

　第１４態様は、第１３態様の医療画像処理装置において、第三画像処理の処理結果を記憶する第三画像処理結果記憶部を備えた構成としてもよい。

　第１４態様によれば、第三画像処理の処理結果を記憶し得る。

　第三画像処理結果記憶部は、第三画像処理の処理結果として第三画像を記憶し得る。第三画像処理結果記憶部は、第三画像処理の処理結果として、処理対象の画像及び処理対象の画像と関連付けされた第三画像処理の処理結果を表す情報の組み合わせを記憶してもよい。

　第１５態様は、第１３態様又は第１４態様の医療画像処理装置において、第三画像処理部は、未観察画像の編集を表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、未観察画像の編集を実施するか、又は第二画像の編集を表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、第二画像の編集を実施する構成としてもよい。

　第１５態様によれば、ユーザ入力信号の取得に応じて、未観察画像又は第二画像の編集を実施し得る。

　第１６態様は、第１３態様から第１５態様のいずれか一態様の医療画像処理装置において、第三画像処理部は、未観察画像の外部装置への送信を表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、未観察画像を外部装置へ送信するか、又は第二画像の外部装置への送信を表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、第二画像を外部装置へ送信する構成としてもよい。

　第１６態様によれば、未観察画像又は第二画像の外部装置への送信を実施し得る。

　第１７態様は、第１３態様から第１６態様のいずれか一態様の医療画像処理装置において、第三画像処理部は、複数の未観察画像の並べ替えを表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、複数の未観察画像の並べ替えを実施するか、又は複数の第二画像の並べ替えを表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、複数の第二画像の並べ替えを実施する構成としてもよい。

　第１７態様によれば、複数の未観察画像又は複数の第二画像が表示装置に表示される態様において、複数の未観察画像の並べ替え又は複数の第二画像等の並べ替えを実施し得る。

　第１８態様は、第１３態様から第１７態様のいずれか一態様の医療画像処理装置において、第三画像処理部は、未観察画像の削除を表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、未観察画像を削除するか、又は第二画像の削除を表すユーザ入力信号をユーザ入力信号取得部が取得した場合に、第二画像を削除する構成としてもよい。

　第１８態様によれば、ユーザ入力信号の取得に応じて、未観察画像又は第二画像を削除し得る。

　第１９態様は、第６態様から第１８態様のいずれか一態様の医療画像処理装置において、表示信号送信部は、第二表示信号の送信タイミングから規定の期間が経過した後に、第二表示信号の送信を停止する構成としてもよい。

　第１９態様によれば、未観察画像又は第二画像の非表示を自動的に実施し得る。

　第２０態様は、第６態様から第１８態様のいずれか一態様の医療画像処理装置において、表示信号送信部は、未観察の注目領域が表示装置へ表示された場合に、第二表示信号の送信を停止する構成としてもよい。

　第２０態様によれば、探索対象の注目領域が発見された場合に、未観察画像又は第二画像の非表示を実施し得る。

　第２１態様は、第１態様から第１９態様のいずれか一態様の医療画像処理装置において、ユーザが操作するユーザ操作部を備え、ユーザ入力信号取得部は、ユーザ操作部をユーザが操作する際に送信されるユーザ入力信号を取得する構成としてもよい。

　第２１態様によれば、ユーザの操作に応じてユーザ入力信号を送信し得る。

　第２２態様は、第１態様から第２１態様のいずれか一態様の医療画像処理装置において、ユーザの音声を取得する音声取得部を備え、ユーザ入力信号取得部は、音声取得部を用いて取得したユーザの音声を表すユーザ入力信号を取得する構成としてもよい。

　第２２態様によれば、ユーザの音声に応じてユーザ入力信号を送信し得る。

　第２３態様は、第１態様から第２２態様のいずれか一態様の医療画像処理装置において、注目領域検出部を用いて注目領域が検出されたフレーム画像から注目領域の観察済みを表す観察済画像を記憶する観察済画像記憶部を備えた構成としてもよい。

　第２３態様によれば、観察済画像が記憶される。これにより、観察済画像を用いて観察の注目領域の探索を支援し得る。

　第２４態様は、第１態様から第２３態様のいずれか一態様の医療画像処理装置において、観察画像における注目領域の検出を報知する報知部を備えた構成としてもよい。

　第２４態様によれば、ユーザは注目領域の検出を認識し得る。

　第２５態様に係る内視鏡システムは、内視鏡と、内視鏡を制御する内視鏡制御装置と、内視鏡を用いて取得した内視鏡画像に処理を施す医療画像処理装置と、を備えた内視鏡システムであって、医療画像処理装置は、被写体の観察画像を取得する画像取得部と、観察画像を表す第一表示信号を表示装置へ送信する表示信号送信部と、観察画像を構成するフレーム画像から注目領域を検出する注目領域検出部と、注目領域が検出されたフレーム画像から注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶部と、を備えた内視鏡システムである。

　第２５態様によれば、第１態様と同様の効果を得ることができる。

　第２５態様において、第２態様から第２４態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。

　第２６態様に係る医療画像処理方法は、被写体の観察画像を取得する画像取得工程と、観察画像を表す第一表示信号を表示装置へ送信する表示信号送信工程と、観察画像を構成するフレーム画像から注目領域を検出する注目領域検出工程と、注目領域が検出されたフレーム画像から注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶工程と、を含む医療画像処理方法である。

　第２６態様によれば、第１態様と同様の効果を得ることができる。

　第２６態様において、第２態様から第２４態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医療画像処理方法の構成要素として把握することができる。

　第２７態様に係るプログラムは、コンピュータに、被写体の観察画像を取得する画像取得機能、観察画像を表す第一表示信号を表示装置へ送信する表示信号送信機能、観察画像を構成するフレーム画像から注目領域を検出する注目領域検出機能、及び注目領域が検出されたフレーム画像から注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶機能を実現させるプログラムである。

　第２７態様によれば、第１態様と同様の効果を得ることができる。

　第２７態様において、第２態様から第２４態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

　本発明によれば、注目領域が検出された観察画像から、未観察条件を満たす未観察の注目領域を含むフレーム画像が記憶される。これにより、未観察画像を用いた未観察の注目領域の探索を支援し得る。

図１は実施形態に係る画像処理装置を含む内視鏡システムの全体構成図である。図２は内視鏡システムの機能ブロック図である。図３は第一実施形態に係る画像処理装置の機能ブロック図である。図４は第一実施形態に係る画像処理方法の手順を示すフローチャートである。図５は観察画像の模式図である。図６は第一画像の模式図である。図７は未観察の注目領域の表示を表すユーザ入力信号を取得した場合の画面の模式図である。図８は未観察画像表示領域の非表示の模式図である。図９は第二実施形態に係る画像処理装置の機能ブロック図である。図１０は第二実施形態に係る画像処理方法の手順を示すフローチャートである。図１１は強調の度合いを強める画像処理が適用される第二画像の模式図である。図１２は複数の第二画像を表示する態様の模式図である。図１３は複数の第二画像を表示する態様における第二画像の選択の模式図である。図１４は第三実施形態に係る画像処理装置の機能ブロック図である。図１５は第三実施形態に係る画像処理方法の手順を示すフローチャートである。図１６は第三画像処理の一例の説明図である。

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

　［内視鏡システムの全体構成］
　図１は実施形態に係る画像処理装置を含む内視鏡システムの全体構成図である。内視鏡システム１０は、内視鏡本体１００、プロセッサ装置２００、光源装置３００及びモニタ４００を備える。なお、同図には内視鏡本体１００に具備される先端硬質部１１６の一部を拡大して図示する。

　〔内視鏡本体の構成例〕
　内視鏡本体１００は、手元操作部１０２及び挿入部１０４を備える。ユーザは、手元操作部１０２を把持して操作し、挿入部１０４を被検体の体内に挿入して、被検体の体内を観察する。なお、ユーザは医師及び術者等と同義である。また、ここでいう被検体は患者及び被検査者と同義である。

　手元操作部１０２は、送気送水ボタン１４１、吸引ボタン１４２、機能ボタン１４３及び撮像ボタン１４４を備える。送気送水ボタン１４１は送気指示及び送水指示の操作を受け付ける。

　吸引ボタン１４２は吸引指示を受け付ける。機能ボタン１４３は各種の機能が割り付けられる。機能ボタン１４３は各種機能の指示を受け付ける。撮像ボタン１４４は、撮像指示操作を受け付ける。撮像は動画像撮像及び静止画像撮像が含まれる。

　手元操作部１０２は、ユーザ入力部として機能する。図示を省略するが、ユーザ入力部としてフットスイッチを備えてもよい。フットスイッチは、ペダル、ペダル指示部及びケーブルを備える。ケーブルはプロセッサ装置２００と接続される。

　ユーザは、フットスイッチを操作してプロセッサ装置２００へユーザ入力信号を送信し得る。プロセッサ装置２００は、フットスイッチから送信されたユーザ入力信号を取得し、ユーザ入力信号に対応する処理を実施する。

　挿入部１０４は、軟性部１１２、湾曲部１１４及び先端硬質部１１６を備える。軟性部１１２、湾曲部１１４及び先端硬質部１１６は、手元操作部１０２の側から、軟性部１１２、湾曲部１１４及び先端硬質部１１６の順に配置される。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続され、挿入部１０４の基端側に手元操作部１０２が接続される。

　ユーザは、手元操作部１０２を操作し湾曲部１１４を湾曲させて、先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６は、撮像部、照明部及び鉗子口１２６を備える。

　図１では撮像部を構成する撮影レンズ１３２を図示する。また、同図では照明部を構成する照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを図示する。なお、撮像部は符号１３０を付して図２に図示する。また、照明部は符号１２３を付して図２に図示する。

　観察及び処置の際に、図２に示す操作部２０８の操作に応じて、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを介して、白色光及び狭帯域光の少なくともいずれかが出力される。

　送気送水ボタン１４１が操作された場合、送水ノズルから洗浄水が放出されるか、又は送気ノズルから気体が放出される。洗浄水及び気体は照明用レンズ１２３Ａ等の洗浄に用いられる。なお、送水ノズル及び送気ノズルの図示は省略する。送水ノズル及び送気ノズルを共通化してもよい。

　鉗子口１２６は管路と連通する。管路は処置具が挿入される。処置具は適宜進退可能に支持される。腫瘍等の摘出等の際に、処置具を適用して必要な処置が実施される。なお、鉗子口１２６と連通する管路の図示は省略する。

　図２は内視鏡システムの機能ブロック図である。内視鏡本体１００は、撮像部１３０を備える。撮像部１３０は先端硬質部１１６の内部に配置される。撮像部１３０は、撮影レンズ１３２、撮像素子１３４、駆動回路１３６及びアナログフロントエンド１３８を備える。なお、図２に示すＡＦＥはAnalog Front Endの省略語である。

　撮影レンズ１３２は先端硬質部１１６の先端側端面１１６Ａに配置される。撮影レンズ１３２の先端側端面１１６Ａと反対側の位置には、撮像素子１３４が配置される。撮像素子１３４は、ＣＭＯＳ型のイメージセンサが適用される。撮像素子１３４はＣＣＤ型のイメージセンサを適用してもよい。なお、ＣＭＯＳはComplementary Metal-Oxide Semiconductorの省略語である。ＣＣＤはCharge Coupled Deviceの省略語である。

　撮像素子１３４はカラー撮像素子が適用される。カラー撮像素子の例としてＲＧＢに対応するカラーフィルタを備えた撮像素子が挙げられる。なお、ＲＧＢは赤、緑及び青のそれぞれの英語表記であるRed、Green及びYellowの頭文字である。

　撮像素子１３４はモノクロ撮像素子を適用してもよい。撮像素子１３４にモノクロ撮像素子が適用される場合、撮像部１３０は、撮像素子１３４の入射光の波長帯域を切り替えて、面順次又は色順次の撮像を実施し得る。

　駆動回路１３６は、プロセッサ装置２００から送信される制御信号に基づき、撮像素子１３４の動作に必要な各種のタイミング信号を撮像素子１３４へ供給する。

　アナログフロントエンド１３８は、アンプ、フィルタ及びＡＤコンバータを備える。なお、ＡＤはアナログ及びデジタルのそれぞれの英語表記であるanalog及びdigitalの頭文字である。アナログフロントエンド１３８は、撮像素子１３４の出力信号に対して、増幅、ノイズ除去及びアナログデジタル変換等の処理を施す。アナログフロントエンド１３８の出力信号は、プロセッサ装置２００へ送信される。

　観察対象の光学像は、撮影レンズ１３２を介して撮像素子１３４の受光面に結像される。撮像素子１３４は、観察対象の光学像を電気信号へ変換する。撮像素子１３４から出力される電気信号は、信号線を介してプロセッサ装置２００へ送信される。

　照明部１２３は先端硬質部１１６に配置される。照明部１２３は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを備える。照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂは、先端側端面１１６Ａにおける撮影レンズ１３２の隣接位置に配置される。

　照明部１２３は、ライトガイド１７０を備える。ライトガイド１７０の射出端は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂの先端側端面１１６Ａと反対側の位置に配置される。

　ライトガイド１７０は、図１に示す挿入部１０４、手元操作部１０２及びユニバーサルケーブル１０６に挿入される。ライトガイド１７０の入射端は、ライトガイドコネクタ１０８の内部に配置される。なお、実施形態に記載の内視鏡本体１００は内視鏡の一例に相当する。

　〔プロセッサ装置の構成例〕
　プロセッサ装置２００は、画像入力コントローラ２０２、画像処理部２０４及びビデオ出力部２０６を備える。画像入力コントローラ２０２は、内視鏡本体１００から送信される、観察対象の光学像に対応する電気信号を取得する。

　画像処理部２０４は、観察対象の光学像に対応する電気信号である撮像信号に基づき、観察対象の内視鏡画像を生成する。なお、本明細書における画像という用語は、画像自体及び画像を表す画像データの意味を含み得る。画像は動画像及び静止画像を含み得る。なお、内視鏡画像は符号３８を付して図３に図示する。

　画像処理部２０４は、撮像信号に対してホワイトバランス処理及びシェーディング補正処理等のデジタル信号処理を適用した画質補正を実施し得る。画像処理部２０４は、ＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。

　ビデオ出力部２０６は、画像処理部２０４を用いて生成された画像を表す表示信号をモニタ４００へ送信する。モニタ４００は観察対象の画像を表示する。

　プロセッサ装置２００は、図１に示す撮像ボタン１４４が操作された際に、内視鏡本体１００から送信される撮像指示信号に応じて、画像入力コントローラ２０２及び画像処理部２０４等を動作させる。

　プロセッサ装置２００は、内視鏡本体１００から静止画像撮像を表すフリーズ指示信号を取得した場合に、画像処理部２０４を適用して、撮像ボタン１４４の操作タイミングにおけるフレーム画像に基づく静止画像を生成する。プロセッサ装置２００は、静止画像をモニタ４００へ表示させる。なお、フレーム画像は符号３８Ｂを付して図３に図示する。静止画像は符号３９を付して図３に図示する。

　プロセッサ装置２００は通信制御部２０５を備える。通信制御部２０５は、病院内システム及び病院内ＬＡＮ等を介して通信可能に接続される装置との通信を制御する。通信制御部２０５はＤＩＣＯＭ規格に準拠した通信プロトコルを適用し得る。なお、病院内システムの例として、ＨＩＳ（Hospital Information System）が挙げられる。ＬＡＮはLocal Area Networkの省略語である。

　プロセッサ装置２００は記憶部２０７を備える。記憶部２０７は、内視鏡本体１００を用いて生成された内視鏡画像を記憶する。記憶部２０７は、内視鏡画像に付帯する各種情報を記憶してもよい。

　プロセッサ装置２００は操作部２０８を備える。操作部２０８はユーザの操作に応じた指示信号を出力する。操作部２０８は、キーボード、マウス及びジョイスティック等を適用し得る。

　操作部２０８から送信されるユーザ入力信号は、ＣＰＵ２１０へ送信される。ＣＰＵ２１０は、操作部２０８から送信されるユーザ入力信号を取得し、取得したユーザ入力信号に対応する制御を実施する。操作部２０８は上記したフットスイッチを含み得る。

　ＣＰＵ２１０は、図１に示す手元操作部１０２から送信されるユーザ入力信号を取得し、取得したユーザ入力信号に対応する内視鏡本体１００の制御、プロセッサ装置２００の制御及び光源装置３００の制御を実施する。

　プロセッサ装置２００は、音声処理部２０９及びスピーカ２０９Ａを備える。音声処理部２０９は音声として報知される情報を表す音声信号を生成する。スピーカ２０９Ａは、音声処理部２０９を用いて生成された音声信号を音声へ変換する。スピーカ２０９Ａから出力される音声の例として、メッセージ、音声ガイダンス及び警告音等が挙げられる。

　プロセッサ装置２００は、ＣＰＵ２１０、ＲＯＭ２１１及びＲＡＭ２１２を備える。なお、ＣＰＵはCentral Processing Unitの省略語である。ＲＯＭはRead Only Memory省略語である。ＲＡＭはRandom Access Memoryの省略語である。

　ＣＰＵ２１０は、プロセッサ装置２００の全体制御部として機能する。ＣＰＵ２１０は、ＲＯＭ２１１及びＲＡＭ２１２を制御するメモリコントローラとして機能する。ＲＯＭ２１１は、プロセッサ装置２００に適用される各種のプログラム及び制御パラメータ等が記憶される。

　ＲＡＭ２１２は各種処理におけるデータの一時記憶領域及びＣＰＵ２１０を用いた演算処理の処理領域に適用される。ＲＡＭ２１２は内視鏡画像を取得した際のバッファメモリに適用し得る。

　プロセッサ装置２００は、内視鏡本体１００を用いて生成された内視鏡画像に対して各種の処理を実施し、内視鏡画像及び内視鏡画像に付帯する各種情報をモニタ４００へ表示させる。プロセッサ装置２００は、内視鏡画像及び内視鏡画像に付帯する各種情報を記憶する。

　すなわち、プロセッサ装置２００は、内視鏡本体１００を用いた内視鏡検査において、モニタ４００を用いた内視鏡画像等の表示、スピーカ２０９Ａを用いた音声情報の出力及び内視鏡画像に対する各種処理を実施する。

　プロセッサ装置２００は、画像処理部２０４などの構成要素を用いて、医用画像に対して規定の処理を実施する画像処理装置として機能し得る。規定の処理の例として、注目領域の検出処理、注目領域の強調処理、注目領域の分類処理、医用画像の鑑別処理及び注目領域の測定処理等が挙げられる。

　〔プロセッサ装置のハードウェア構成〕
　プロセッサ装置２００はコンピュータを適用し得る。コンピュータは、以下のハードウェアを適用し、規定のプログラムを実行してプロセッサ装置２００の機能を実現し得る。なお、プログラムはソフトウェアと同義である。

　プロセッサ装置２００は、信号処理を実施する信号処理部として各種のプロセッサを適用し得る。プロセッサの例として、ＣＰＵ及びＧＰＵ（Graphics Processing Unit）が挙げられる。ＣＰＵはプログラムを実行して信号処理部として機能する汎用的なプロセッサである。ＧＰＵは画像処理に特化したプロセッサである。プロセッサのハードウェアは、半導体素子等の電気回路素子を組み合わせた電気回路が適用される。各制御部は、プログラム等が記憶されるＲＯＭ及び各種演算の作業領域等であるＲＡＭを備える。

　一つの信号処理部に対して二つ以上のプロセッサを適用してもよい。二つ以上のプロセッサは、同じ種類のプロセッサでもよいし、異なる種類のプロセッサでもよい。また、複数の信号処理部に対して一つのプロセッサを適用してもよい。なお、実施形態に記載のプロセッサ装置２００は内視鏡制御装置の一例に相当する。

　〔光源装置の構成例〕
　光源装置３００は、光源３１０、絞り３３０、集光レンズ３４０及び光源制御部３５０を備える。光源装置３００は、ライトガイド１７０へ観察光を入射させる。光源３１０は、赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂを備える。赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂはそれぞれ、赤色、緑色及び青色の狭帯域光を放出する。

　光源３１０は、赤色、緑色及び青色の狭帯域光を任意に組み合わせた照明光を生成し得る。例えば、光源３１０は赤色、緑色及び青色の狭帯域光を組み合わせて白色光を生成し得る。また、光源３１０は赤色、緑色及び青色の狭帯域光の任意の二色を組み合わせて狭帯域光を生成し得る。

　光源３１０は赤色、緑色及び青色の狭帯域光の任意の一色を用いて狭帯域光を生成し得る。光源３１０は、白色光又は狭帯域光を選択的に切り替えて放出し得る。なお、狭帯域光は特殊光と同義である。光源３１０は、赤外光を放出する赤外光源及び紫外光を放出する紫外光源等を備え得る。

　光源３１０は、白色光を放出する白色光源、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを備える態様を採用し得る。かかる態様の光源３１０は、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを切り替えて、白色光又は狭帯域光のいずれかを選択的に放出し得る。

　狭帯域光を通過させるフィルタは、異なる帯域に対応する複数のフィルタが含まれ得る。光源３１０は、異なる帯域に対応する複数のフィルタを選択的に切り替えて、帯域が異なる複数の狭帯域光を選択的に放出し得る。

　光源３１０は、観察対象の種類及び観察の目的等に応じた、種類及び波長帯域等を適用し得る。光源３１０の種類の例として、レーザ光源、キセノン光源及びＬＥＤ光源等が挙げられる。なお、ＬＥＤはLight-Emitting Diodeの省略語である。

　光源装置３００へライトガイドコネクタ１０８が接続された際に、光源３１０から放出された観察光は、絞り３３０及び集光レンズ３４０を介して、ライトガイド１７０の入射端へ到達する。観察光は、ライトガイド１７０及び照明用レンズ１２３Ａ等を介して、観察対象へ照射される。

　光源制御部３５０は、プロセッサ装置２００から送信される指示信号に基づき、光源３１０及び絞り３３０へ制御信号を送信する。光源制御部３５０は、光源３１０から放出される観察光の照度、観察光の切り替え及び観察光のオンオフ等を制御する。

　［第一実施形態に係る画像処理装置の構成例］
　〔概要〕
　内視鏡本体１００を操作する医師が観察画像における病変等の注目領域を見逃して、内視鏡検査を進めた場合に、音声報知及び注目領域の強調画像等のトリガに起因して、注目領域の見逃しに気付く場合がある。注目領域の見逃しに気付いた場合、医師は内視鏡本体１００を操作して未観察の注目領域を探索することがある。

　本実施形態に示す画像処理装置は、未観察の注目領域の再表示を表すユーザ入力信号を医師が送信した場合に、未観察の注目領域を含むフレーム画像である未観察画像を読み出して、図１に示すモニタ４００へ表示させる。未観察画像は、観察画像が表示される観察画像表示領域とは別の領域に表示される。これにより、医師は観察画像と未観察画像との比較が可能となり、観察画像において見逃した注目領域の探索が可能となる。

　観察画像とは、内視鏡検査の際にモニタ４００へ表示される、観察対象のリアルタイムの内視鏡画像である。観察画像は動画像でもよいし、静止画像でもよい。なお、実施形態に記載の観察対象は被写体の一例に相当する。実施形態に記載のモニタ４００は表示装置の一例に相当する。

　リアルタイムの内視鏡画像は、撮像タイミングから信号処理等に起因する一定の遅延期間が経過した後に、モニタ４００へ表示される場合を含み得る。本実施形態に示す画像処理装置は、医用画像処理装置及び医療画像処理装置と同義である。第二実施形態及び第三実施形態についても同様である。

　図３は第一実施形態に係る画像処理装置の機能ブロック図である。同図に示す画像処理装置１４は、図２に示すプロセッサ装置２００における画像処理部２０４等の構成要素を適用して実現される。画像処理装置１４は、画像取得部４０、ユーザ入力信号取得部４２、表示制御部４４及び報知部４６を備える。

　画像処理装置１４は、注目領域検出部５０、未観察条件判定部５１、第一画像処理部５２、内視鏡画像記憶部７０、未観察画像記憶部７１、観察済画像記憶部７１Ａ及び第一画像処理結果記憶部７２を備える。以下、各部について説明する。

　〔画像取得部〕
　画像取得部４０は、図１に示す内視鏡本体１００を用いて撮像した内視鏡画像３８を取得する。以下、内視鏡画像３８の取得は、動画像３８Ａの取得、フレーム画像３８Ｂの取得及び静止画像３９の取得を含み得る。

　画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部７０へ記憶する。画像取得部４０は、内視鏡画像３８を表す信号を伝送するケーブルを介して、プロセッサ装置２００から内視鏡画像３８を取得してもよい。

　画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置２００から内視鏡画像３８を取得してもよい。画像取得部４０は、通信ネットワークを介して内視鏡画像３８を取得してもよい。

　画像取得部４０は、時系列のフレーム画像３８Ｂから構成される動画像３８Ａを取得し得る。画像取得部４０は動画像３８Ａの撮像途中に静止画像撮像が実施された場合に、静止画像３９を取得し得る。画像取得部４０は、図２に示す画像入力コントローラ２０２に対応する。

　〔ユーザ入力信号取得部〕
　ユーザ入力信号取得部４２は、ユーザの操作部３０の操作に応じて操作部３０から送信されるユーザ入力信号を取得する。図３に示す操作部３０は、図１に示す手元操作部１０２、図２に示す操作部２０８及び図示しないフットスイッチ等を含み得る。

　ユーザ入力信号取得部４２は、ユーザの音声を取得するマイクロフォンを備えてもよい。すなわち、ユーザ入力信号取得部４２は、ユーザの音声に基づくユーザ入力信号を取得してもよい。

　なお、実施形態に記載の操作部３０はユーザ操作部の一例に相当する。実施形態に記載のマイクロフォンはユーザの音声を取得する音声取得部の一例に相当する。

　〔表示制御部〕
　表示制御部４４は、内視鏡画像３８を表す表示信号をモニタ４００へ送信する。モニタ４００は内視鏡画像３８を観察画像として表示する。表示制御部４４は、内視鏡画像３８から注目領域が検出された場合に、内視鏡画像３８に対して第一画像処理部５２を用いて第一画像処理が実施された第一画像を表す表示信号をモニタ４００へ送信する。

　表示制御部４４は、未観察の注目領域の表示を表すユーザ入力信号をユーザ入力信号取得部４２が取得した場合に、未観察画像を表す表示信号をモニタ４００へ送信する。モニタ４００は、未観察画像を表示する。

　表示制御部４４は、モニタ４００へ表示される未観察画像の非表示条件に基づき、未観察画像の非表示を実施する。表示制御部４４は、図２に示すビデオ出力部２０６に対応する。

　なお、実施形態に記載の表示制御部４４は、観察画像を表す第一表示信号を表示装置へ送信する表示信号送信部の一例に相当する。実施形態に記載の内視鏡画像３８を表す表示信号は第一表示信号の一例に相当する。実施形態に記載の未観察画像を表す表示信号は第二表示信号の一例に相当する。

　〔報知部〕
　報知部４６は、内視鏡画像３８を構成するフレーム画像３８Ｂから注目領域が検出された場合に、内視鏡画像３８における注目領域の検出を表す報知を実施する。報知部４６は、図２に示すスピーカ２０９Ａを用いた音声報知を実施し得る。報知部４６は、モニタ４００を用いた文字情報等の報知を実施し得る。

　〔注目領域検出部〕
　注目領域検出部５０は、ＣＮＮ（Convolutional Neural Network）等の学習器を適用して、画像取得部４０を用いて取得したフレーム画像３８Ｂから注目領域を検出する。注目領域検出部５０は、フレーム画像３８Ｂの特徴量を導出し特徴量に基づき注目領域の有無を判定する。

　注目領域検出部５０は、フレーム画像３８Ｂとフレーム画像３８Ｂにおける注目領域とのペアを学習データとして学習を実施した学習済みの学習器が適用される。注目領域の検出の例として、病変の検出及び特定臓器の検出等が挙げられる。

　〔未観察条件判定部〕
　未観察条件判定部５１は、注目領域が検出されたフレーム画像３８Ｂについて、未観察画像記憶部７１へ記憶するフレーム画像３８Ｂの条件を満たすか否かを判定する。すなわち、未観察条件判定部５１は、注目領域が検出されたフレーム画像３８Ｂについて、未観察画像であるか否かを判定する。

　注目領域の観察が実施される場合、医師は撮像部１３０の移動を停止させるか、又は撮像部１３０の移動速度を遅くすると考えられる。そうすると、注目領域の観察が実施される場合は、注目領域の観察が非実施の場合と比較して、同一の注目領域が含まれるフレーム画像３８Ｂの数が多くなる。

　したがって、同一の注目領域が含まれるフレーム画像３８Ｂの規定数を予め設定し、未観察条件判定部５１は、規定の期間内に同一の注目領域が含まれるフレーム画像３８Ｂが規定数以下の場合に未観察画像と判定する。規定数は、撮像部１３０のフレームレート及び撮像部１３０の移動速度に応じて規定し得る。規定数は１以上の任意の整数を適用し得る。同一の注目領域が含まれるフレーム画像３８Ｂは連続する場合が多いが、画面がちらついて注目領域の検出が途切れる場合があり得る。規定数は、連続するフレーム画像３８Ｂの数としてもよいし、非連続のフレーム画像３８Ｂの数としてもよい。

　撮像部１３０の移動は、内視鏡検査における内視鏡本体１００の移動経路に沿う撮像部１３０の移動を表す。また、移動速度は移動速度の絶対値を表す速さの概念が含まれ得る。

　注目領域の観察が実施される場合は、注目領域の観察が非実施の場合と比較して、撮像部１３０の撮像方向の変更が多くなると考えられる。そうすると、未観察条件判定部５１は、撮像部１３０の移動ベクトルの変化等のフレーム画像３８Ｂ間の変化量に基づき、医師が未観察のフレーム画像３８Ｂであるか否かを判定し得る。すなわち、未観察条件判定部５１は、フレーム画像３８Ｂの間の変化量が規定の閾値以上の場合は未観察画像と判定し得る。フレーム画像３８Ｂ間の変化量の他の例として、フレーム画像３８Ｂ間の相互相関関数の値等が挙げられる。

　また、注目領域の観察は画面の中央部で行われる場合が多い。そこで、注目領域が画面の外側に留まったままフレームアウトする場合は未観察画像と判定し得る。換言すると、未観察条件判定部５１は、規定の期間内に同一の注目領域が画面の非中央部に留まる場合に、未観察画像と判定し得るここで、画像の中央部とは画面の中心又は重心を含む領域であり、画面の端を含まない領域である。一方、画像の外側は画面の中心又は重心を含まない領域であり、画面の端を含む領域である。

　すなわち、未観察条件判定部５１は、同一の注目領域が含まれるフレーム画像３８Ｂの数、フレーム画像３８Ｂ間の変化量、及び注目領域の画面における位置の少なくともいずれかにおいて観察が非実施と判定された場合は未観察画像と判定し得る。

　未観察条件判定部５１は、注目領域が検出されたフレーム画像３８Ｂが、未観察画像記憶部７１へ記憶する未観察画像の条件を満たす場合に、未観察画像として未観察画像記憶部７１へ記憶する。

　一方、未観察条件判定部５１は、注目領域が検出されたフレーム画像３８Ｂが、未観察画像記憶部７１へ記憶する未観察画像の条件を満たさない場合に、観察済画像として観察済画像記憶部７１Ａへ記憶する。

　〔第一画像処理部〕
　第一画像処理部５２は、内視鏡画像３８を構成するフレーム画像３８Ｂから注目領域が検出された場合、注目領域を含むフレーム画像３８Ｂに対して第一画像処理を実施する。ここでいう内視鏡画像３８及び注目領域を含むフレーム画像３８Ｂは上記した観察画像に対応する。

　第一画像処理は、注目領域の強調処理を適用し得る。第一画像処理部５２は、フレーム画像３８Ｂから検出された注目領域を強調する強調画像を生成する。強調画像の例として、注目領域に対して重畳させるバウンディングボックス、注目領域に対して付加される規定の色及び模様等が挙げられる。

　第一画像処理部５２は、注目領域の位置を特定し、注目領域の位置に応じて強調画像の位置を規定する。第一画像処理部５２は、注目領域のサイズを特定し、注目領域のサイズに応じて強調画像のサイズを規定する。

　第一画像処理部５２は、第一画像処理の処理結果を第一画像処理結果記憶部７２へ記憶する。第一画像処理結果記憶部７２は、注目領域が検出されたフレーム画像３８Ｂに強調画像が付加された第一画像を記憶し得る。第一画像処理結果記憶部７２は、注目領域を含むフレーム画像３８Ｂ及び注目領域を含むフレーム画像３８Ｂと関連付けされた強調画像の情報の組み合わせを記憶してもよい。すなわち、第一画像処理部５２は、フレーム画像３８Ｂのファイル及び強調画像のファイルを別ファイルとして記憶させてもよい。

　第一画像処理部５２は、表示制御部４４を用いて、観察画像として強調画像を重畳表示させたフレーム画像３８Ｂをモニタ４００へ表示する。報知部４６は、強調画像を重畳表示させたフレーム画像３８Ｂを用いて、内視鏡画像３８における注目領域の検出を表す報知を実施し得る。

　〔内視鏡画像記憶部〕
　内視鏡画像記憶部７０は、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。静止画像撮像が実施された場合、内視鏡画像記憶部７０は静止画像撮像において生成された静止画像３９を記憶する。

　〔未観察画像記憶部〕
　未観察画像記憶部７１は、未観察画像を記憶する。未観察の注目領域の表示を表すユーザ入力信号を取得した場合に、表示制御部４４は未観察画像記憶部７１へ記憶された未観察画像を読み出す。

　未観察画像記憶部７１は、未観察画像が記憶されている際に新たに未観察画像が発生した場合に、既に記憶されている未観察画像に代わり新たな未観察画像を記憶してもよい。

　未観察画像記憶部７１は、未観察画像の記憶数を規定してもよい。また、未観察画像記憶部７１は、未観察画像の記憶期間を規定してもよい。すなわち、未観察画像記憶部７１は、再表示をさせる可能性が高い未観察画像を記憶し、再表示をさせる可能性が低い未観察画像を削除してもよい。なお、図３では未観察画像の図示を省略する。

　〔観察済画像記憶部〕
　観察済画像記憶部７１Ａは、観察済画像を記憶する。観察済みの注目領域の表示を表すユーザ入力信号を取得した場合に、表示制御部４４は観察済画像記憶部７１Ａへ記憶された観察済画像を読み出す。

　〔第一画像処理結果記憶部〕
　第一画像処理結果記憶部７２は、第一画像処理部５２を用いて実施された第一画像処理の処理結果を記憶する。第一画像処理結果は、第一画像を適用してもよいし、フレーム画像３８Ｂ及びフレーム画像３８Ｂと対応付けした注目領域の情報の組み合わせを適用してもよい。

　内視鏡画像記憶部７０、未観察画像記憶部７１、観察済画像記憶部７１Ａ及び第一画像処理結果記憶部７２のそれぞれは、一つ以上の記憶素子を適用し得る。すなわち、画像処理装置１４は、内視鏡画像記憶部７０、未観察画像記憶部７１、観察済画像記憶部７１Ａ及び第一画像処理結果記憶部７２のそれぞれに対応する四つの記憶素子を備え得る。

　内視鏡画像記憶部７０、未観察画像記憶部７１、観察済画像記憶部７１Ａ及び第一画像処理結果記憶部７２は、任意の二つから四つを一つの記憶素子を用いて構成し得る。例えば、一つの記憶素子を用いて内視鏡画像記憶部７０、未観察画像記憶部７１及び観察済画像記憶部７１Ａを構成し得る。

　［第一実施形態に係る画像処理方法の手順］
　図４は第一実施形態に係る画像処理方法の手順を示すフローチャートである。なお、本実施形態に示す画像処理方法は、医用画像処理方法及び医療画像処理方法等と同義である。第二実施形態及び第三実施形態についても同様である。

　内視鏡画像取得工程Ｓ１０では、図３に示す画像取得部４０は内視鏡画像３８を取得する。内視鏡画像取得工程Ｓ１０では、画像取得部４０は内視鏡画像記憶部７０へ内視鏡画像３８を記憶する。内視鏡画像取得工程Ｓ１０の後に注目領域検出工程Ｓ１２へ進む。

　注目領域検出工程Ｓ１２では、注目領域検出部５０は内視鏡画像３８を構成する各フレーム画像３８Ｂから注目領域を検出する。注目領域検出工程Ｓ１２では、注目領域検出部５０は動画像３８Ａの全てのフレーム画像３８Ｂから注目領域を検出してもよいし、規定の期間おきのフレーム画像３８Ｂから注目領域を検出してもよい。注目領域検出工程Ｓ１２の後に報知工程Ｓ１４へ進む。

　報知工程Ｓ１４では、報知部４６はフレーム画像３８Ｂにおける注目領域の検出を表す報知を実施する。報知を停止する報知停止工程を実施してもよい。報知工程Ｓ１４の後に第一画像処理工程Ｓ１６へ進む。

　第一画像処理工程Ｓ１６では、第一画像処理部５２は注目領域が検出されたフレーム画像３８Ｂに対して第一画像処理を実施する。第一画像処理工程Ｓ１６の後に第一画像処理結果記憶工程Ｓ１７へ進む。第一画像処理工程Ｓ１６を実施した後に、報知工程Ｓ１４を実施してもよい。

　第一画像処理結果記憶工程Ｓ１７では、第一画像処理部５２は第一画像処理結果記憶部７２へ第一画像処理の処理結果を記憶する。第一画像処理結果記憶工程Ｓ１７の後に未観察条件判定工程Ｓ１８へ進む。第一画像処理結果記憶工程Ｓ１７の後に第一画像を表示する表示工程を実施してもよい。また、第一画像処理工程Ｓ１６及び第一画像処理結果記憶工程Ｓ１７を省略してもよい。

　未観察条件判定工程Ｓ１８では、未観察条件判定部５１は注目領域が検出されたフレーム画像３８Ｂが未観察条件を満たすが否かを判定する。すなわち、未観察条件判定工程Ｓ１８では、未観察条件判定部５１は注目領域が検出されたフレーム画像３８Ｂが未観察画像であるか否かを判定する。

　未観察条件判定工程Ｓ１８において、未観察条件判定部５１が未観察条件を満たさないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合はユーザ入力信号取得判定工程Ｓ２０へ進む。

　一方、未観察条件判定工程Ｓ１８において、未観察条件判定部５１が未観察条件を満たすと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は未観察画像記憶工程Ｓ１９へ進む。

　未観察画像記憶工程Ｓ１９では、未観察条件判定部５１は未観察画像を未観察画像記憶部７１へ記憶する。未観察画像記憶工程Ｓ１９の後にユーザ入力信号取得判定工程Ｓ２０へ進む。未観察画像記憶工程Ｓ１９の前後に、又は未観察画像記憶工程Ｓ１９と並行して、観察済画像を観察済画像記憶部７１Ａへ記憶する観察済画像記憶工程を実施し得る。

　ユーザ入力信号取得判定工程Ｓ２０では、ユーザ入力信号取得部４２は未観察の注目領域の表示を表すユーザ入力信号を取得したか否かを判定する。ユーザ入力信号取得判定工程Ｓ２０において、ユーザ入力信号取得部４２が、未観察の注目領域の表示を表すユーザ入力信号を取得していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は最終フレーム画像判定工程Ｓ３２へ進む。

　一方、ユーザ入力信号取得判定工程Ｓ２０において、ユーザ入力信号取得部４２が、未観察の注目領域の表示を表すユーザ入力信号を取得したと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は表示信号送信工程Ｓ２６へ進む。なお、ユーザ入力信号取得判定工程Ｓ２０は、ユーザ入力信号取得工程の一例に相当する。

　表示信号送信工程Ｓ２６では、表示制御部４４は未観察を表す表示信号をモニタ４００へ送信する。モニタ４００は未観察を表示する。表示信号送信工程Ｓ２６の後に非表示条件判定工程Ｓ２８へ進む。

　非表示条件判定工程Ｓ２８では、表示制御部４４はモニタ４００へ表示させた未観察画像の非表示条件を満たすか否かを判定する。非表示条件判定工程Ｓ２８において、表示制御部４４が未観察画像の非表示条件を満たしていないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は非表示条件判定工程Ｓ２８においてＹｅｓ判定となるまで、非表示条件判定工程Ｓ２８の実施を継続する。

　一方、非表示条件判定工程Ｓ２８において、表示制御部４４が未観察画像の非表示条件を満たしていると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は表示信号送信停止工程Ｓ３０へ進む。なお、未観察画像の非表示条件の詳細は後述する。

　表示信号送信停止工程Ｓ３０では、表示制御部４４はモニタ４００へ表示させた未観察画像を表す表示信号の送信を停止する。すなわち、表示信号送信停止工程Ｓ３０において、表示制御部４４は未観察画像を非表示とする。表示信号送信停止工程Ｓ３０の後に最終フレーム画像判定工程Ｓ３２へ進む。

　最終フレーム画像判定工程Ｓ３２では、注目領域検出部５０は画像取得部４０を用いて取得した内視鏡画像３８における最終のフレーム画像３８Ｂに対する注目領域の検出処理を実施したか否かを判定する。

　最終フレーム画像判定工程Ｓ３２において、注目領域検出部５０が最終のフレーム画像３８Ｂに対する注目領域の検出処理を実施していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は内視鏡画像取得工程Ｓ１０へ進み、最終フレーム画像判定工程Ｓ３２においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から最終フレーム画像判定工程Ｓ３２までの各工程を繰り返し実施する。

　一方、最終フレーム画像判定工程Ｓ３２において、注目領域検出部５０が最終のフレーム画像３８Ｂに対する注目領域の検出処理を実施したと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、画像処理装置１４は画像処理方法を終了させる。

　［内視鏡画像の表示例］
　図５は観察画像の模式図である。同図には、内視鏡画像３８として大腸の観察画像の模式図を示す。図６から図１１までの各図についても同様である。内視鏡画像３８から注目領域が検出されない場合は、モニタ４００の画面４０２における観察画像表示領域４０４へ、観察画像として内視鏡画像３８がリアルタイムに表示される。

　すなわち、図５に示すモニタ４００の画面４０２は、内視鏡検査中の内視鏡画像３８の動画像３８Ａが、観察画像としてリアルタイムに表示される。図５に示す観察画像は、内視鏡画像３８を構成するフレーム画像３８Ｂから注目領域が検出されない場合を示す。

　図６は第一画像の模式図である。内視鏡画像３８を構成するフレーム画像３８Ｂから注目領域５１０が検出された場合、図３に示す第一画像処理部５２は、注目領域５１０の検出結果に応じてフレーム画像３８Ｂに対して第一画像処理を実施する。

　図６に示すモニタ４００の画面４０２は、第一画像処理として注目領域５１０の強調処理が適用され、注目領域５１０が検出されたフレーム画像３８Ｂに対して、注目領域５１０を囲むバウンディングボックス５１２が重畳表示された第一画像５００を表示する。

　同一の注目領域５１０について複数の第一画像５００が生成される場合、任意の一以上の第一画像５００を記憶してもよい。図６には、任意のタイミングにおけるフレーム画像３８Ｂに対応する第一画像５００を示す。

　図７は未観察の注目領域の表示を表すユーザ入力信号を取得した場合の画面の模式図である。医師が注目領域５１０の検出の報知に起因して注目領域５１０の検出を把握した際に、見逃した注目領域５１０を画面４０２へ表示させたい場合ある。

　図３に示すユーザ入力信号取得部４２が未観察の注目領域５１０の表示を表すユーザ入力信号を取得した際に、表示制御部４４は、未観察画像記憶部７１から未観察画像を読み出し、読み出した未観察画像３９Ａを画面４０２の未観察画像表示領域４０６へ表示させる。表示制御部４４は、画面４０２の観察画像表示領域４０４へ未観察画像３９Ａをリアルタイム表示させる。これにより、未観察画像表示領域４０６に表示される未観察画像３９Ａを利用して、医師は内視鏡画像３８を観察し、見逃した注目領域５１０を発見し得る。

　図７には、未観察画像３９Ａに対して注目領域５１０及びバウンディングボックス５１２が重畳表示される第二画像５２０を示す。すなわち、未観察画像表示領域４０６は、未処理の未観察画像３９Ａを表示してもよいし、未観察画像３９Ａに対して第二画像処理が実施された第二画像５２０を適用してもよい。なお、第二画像処理の詳細は後述する。

　［未観察画像表示領域の非表示条件］
　図８は未観察画像表示領域の非表示の模式図である。同図に示す画面４０２では、未観察画像表示領域４０６に表示されていた第二画像５２０が非表示とされる。図８には点線を用いて非表示とされた第二画像５２０を図示する。

　第二画像５２０の非表示条件は、第二画像５２０の表示開始タイミングからの規定期間の経過を適用し得る。すなわち、画像処理装置１４はタイマーを備える。タイマーは第二画像５２０の表示開始タイミングからの期間を測定する。表示制御部４４はタイマーの測定値に基づき第二画像５２０を非表示とし得る。なお、タイマーの図示は省略する。

　なお、実施形態に記載の表示制御部４４は第二表示信号の送信タイミングから規定の期間が経過した後に第二表示信号の送信を停止する表示信号送信部の一例に相当する。

　第二画像５２０の非表示条件は、第二画像５２０における注目領域５１０と同一の注目領域５１０の視認を適用し得る。図３に示す注目領域検出部５０は、第二画像５２０における注目領域５１０と、内視鏡画像３８から検出される注目領域５１０との同一性を判定する。

　図３に示す注目領域検出部５０は、第二画像５２０における注目領域５１０の特徴量と、内視鏡画像３８から検出される注目領域５１０の特徴量とを比較し、比較結果に基づき両者の同一性を判定し得る。注目領域検出部５０は注目領域５１０の特徴量として、画素値、画素数及び形状等の情報等を適用し得る。

　表示制御部４４は、第二画像５２０における注目領域５１０と内視鏡画像３８における注目領域５１０とが同一であることを表す判定結果が得られた場合に、未観察画像表示領域４０６へ表示させた第二画像５２０の非表示を実施する。

　図３に示す報知部４６は、第二画像５２０における注目領域５１０と内視鏡画像３８における注目領域５１０とが同一であると判定された場合に、音声報知及び文字報知等を適用して判定結果を報知し得る。未観察画像表示領域４０６の非表示条件は、未観察画像表示領域４０６へ未観察画像３９Ａが表示される場合における未観察画像３９Ａにも適用される。

　［第一実施形態の作用効果］
　第一実施形態に係る画像処理装置１４及び画像処理方法は、以下の作用効果を得ることが可能である。

　〔１〕
　注目領域検出部５０は、内視鏡画像３８の動画像３８Ａを構成するフレーム画像３８Ｂから注目領域５１０を検出する。未観察画像記憶部７１は、注目領域５１０が検出された内視鏡画像３８のうち、未観察の注目領域５１０を含む未観察画像３９Ａを記憶する。これにより、注目領域５１０の検出の報知に起因して、医師が注目領域５１０の見逃しを認識した場合に、未観察画像３９Ａ等を利用する注目領域５１０の探索が可能となる。

　〔２〕
　表示制御部４４は、未観察の注目領域５１０の表示を表すユーザ入力信号を取得した場合に、未観察画像記憶部７１に記憶されている未観察画像３９Ａを読み出し、読み出した未観察画像３９Ａ又は第二画像５２０をモニタ４００へ表示させる。これにより、注目領域５１０の検出の報知に起因して、医師が注目領域５１０の見逃しを認識した場合に、モニタ４００を用いて表示される未観察画像３９Ａ等を利用する注目領域５１０の探索が可能となる。

　〔３〕
　表示制御部４４は、未観察画像３９Ａ又は第二画像５２０を観察画像表示領域４０４とは別の領域である未観察画像表示領域４０６へ表示させる。これにより、医師が観察画像における注目領域５１０の探索がし易くなる。

　〔４〕
　表示制御部４４は、未観察画像３９Ａ又は第二画像５２０の非表示を表すユーザ入力信号を取得した場合に、未観察画像３９Ａ又は第二画像５２０の非表示を実施する。これにより、探索対象の注目領域５１０が発見された際に、観察の妨げとなり得る未観察画像３９Ａを非表示とし得る。

　〔５〕
　表示制御部４４は、未観察画像３９Ａ又は第二画像５２０の表示開始タイミングから規定の期間が経過した後に、未観察画像３９Ａ又は第二画像５２０の非表示を実施する。これにより、観察の妨げになり得る未観察画像３９Ａ又は第二画像５２０を自動的に非表示とし得る。

　〔６〕
　ユーザ入力信号取得部４２は、操作部から送信されるユーザ入力信号及びマイクロフォンを用いたユーザの音声に応じたユーザ入力信号を取得する。これにより、ユーザ入力信号取得部４２は、様々な形態のユーザ入力信号を適用し得る。

　〔７〕
　第一画像処理部５２は、注目領域５１０が検出されたフレーム画像３８Ｂに対して第一処理を実施する。表示制御部４４は、第一画像処理部５２の処理結果を表す第一画像５００を観察画像表示領域４０４へ表示させる。これにより、医師は観察画像における注目領域の検出を視認し得る。

　〔８〕
　第一画像処理部５２は、未観察画像３９Ａに対して、第一画像処理と同一内容の画像処理が適用される第二画像処理を実施した第二画像５２０を生成する。表示制御部４４は未観察画像表示領域４０６へ第二画像５２０を表示する。これにより、第二画像５２０における注目領域５１０の視認性が向上し得る。

　［第一実施形態に係る画像処理装置及び方法の変形例］
　第一実施形態に係る画像処理装置及び方法では、ユーザ入力信号に基づきモニタ４００を用いて未観察画像３９Ａを表示させているが、未観察画像３９Ａの発生に基づきモニタ４００を用いて未観察画像３９Ａを表示させてもよい。

　かかる変形例によれば、未観察画像３９Ａが発生した場合に、モニタ４００へ未観察画像３９Ａを自動的に表示させ得る。

　［第二実施形態に係る画像処理装置］
　次に、第二実施形態に係る画像処理装置について説明する。図９は第二実施形態に係る画像処理装置の機能ブロック図である。同図に示す画像処理装置１４Ａは、図３に示す画像処理装置１４に対して、第二画像処理部５４及び第二画像処理結果記憶部７４が追加される。

　〔第二画像処理部〕
　第二画像処理部５４は、図７に示す未観察画像３９Ａに対して第二画像処理を実施する。すなわち、第二画像処理部５４は、未観察画像３９Ａを未観察画像表示領域４０６へ表示させる際に、観察画像表示領域４０４へ表示させる第一画像５００の表示態様に対して、第二画像５２０の表示態様を変更する。

　第二画像処理は、第一画像５００よりも強調度合いを強める強調処理を適用し得る。第二画像処理は、複数の異なる第二画像５２０の一括表示を適用し得る。第二画像処理は、複数の異なる第二画像５２０の中から一つを選択する処理を適用し得る。

　第二画像処理部５４は、第二画像処理の処理結果を第二画像処理結果記憶部７４へ記憶する。第二画像処理の処理結果は、第二画像５２０を適用し得る。第二画像処理の処理結果は、未観察画像３９Ａと未観察画像３９Ａに対する第二処理の処理結果を表す情報との組み合わせを適用してもよい。

　〔第二画像処理結果記憶部〕
　第二画像処理結果記憶部７４は、第二画像処理部５４を用いて実施された第二画像処理の処理結果を記憶する。第二画像処理結果記憶部７４は、複数の第二画像処理の処理結果から選択された第二画像処理の処理結果を記憶してもよい。

　［第二実施形態に係る画像処理方法の手順］
　図１０は第二実施形態に係る画像処理方法の手順を示すフローチャートである。図９に示すフローチャートは、図４に示すフローチャートに対して、第二画像処理工程Ｓ２２及び、第二画像処理結果記憶工程Ｓ２４が追加される。

　図１０に示す内視鏡画像取得工程Ｓ１０からユーザ入力信号取得判定工程Ｓ２０までの各工程は、図４に示す内視鏡画像取得工程Ｓ１０からユーザ入力信号取得判定工程Ｓ２０までの各工程と同一である。ユーザ入力信号取得判定工程Ｓ２０においてＹｅｓ判定の場合に第二画像処理工程Ｓ２２へ進む。

　第二画像処理工程Ｓ２２では、図９に示す第二画像処理部５４は未観察画像３９Ａに対して第二画像処理を実施する。第二画像処理工程Ｓ２２の後に第二画像処理結果記憶工程Ｓ２４へ進む。

　第二画像処理結果記憶工程Ｓ２４では、第二画像処理部５４は第二画像処理の結果を第二画像処理結果記憶部７４へ記憶する。第二画像処理結果記憶工程Ｓ２４の後に表示信号送信工程Ｓ２６へ進む。なお、第二画像処理工程Ｓ２２及び第二画像処理結果記憶工程Ｓ２４は、第一画像処理結果記憶工程Ｓ１７と未観察条件判定工程Ｓ１８との間に実施されてもよい。

　［第二画像処理の具体例］
　図１１は強調の度合いを強める画像処理が適用される第二画像の模式図である。同図に示す未観察画像表示領域４０６は、図８に示す第一画像５００の強調処理と比較して、強調度合いが強められた第二画像５３０が表示される。

　第二画像５３０は、図６に示すバウンディングボックス５１２よりも注目領域５１０の強調度合いを強めたバウンディングボックス５３２が適用される。バウンディングボックス５３２は、第一画像５００に適用されるバウンディングボックス５１２と比較して、枠線の種類が破線から実線に変更され、枠線の幅が太くされ、枠線の色に赤等の目立つ色が用いられる。

　強調度合いを強める処理は図１１に示す態様に限定されない。例えば、図６に示すバウンディングボックス５１２の枠線の種類、枠線の線幅及び枠線の色の少なくともいずれかを変更してもよい。

　未観察画像表示領域４０６へ第二画像５３０が表示される画面４０２は、観察画像表示領域４０４へリアルタイムの内視鏡画像３８が表示される。医師が注目領域５１０の検出を表す報知に気が付いた際に、図１に示す内視鏡本体１００を操作して注目領域５１０を探索する際に第二画像５３０を参照し得る。

　図１１に示す第二画像５３０は、図７に示す未観察画像表示領域４０６に表示したフレーム画像３８Ｂと比較して、注目領域５１０の視認性が向上し得る。

　図１２は複数の第二画像を表示する態様の模式図である。図１２に示す第二画像５４０及び第二画像５４２は、それぞれ異なるタイミングにおいて生成された未観察画像３９Ａに対応する。

　第二画像５４０は注目領域５１０Ａにバウンディングボックス５１２Ａが重畳表示される。第二画像５４２は注目領域５１０Ｂにバウンディングボックス５１２Ｂが重畳表示される。複数の第二画像５４０等を表示する際に、第二画像５４０等のそれぞれを時分割表示してもよい。

　図１３は複数の第二画像を表示する態様における第二画像の選択の模式図である。図１３に示す画面４０２は、第二画像５４０及び第二画像５４２の中から選択された第二画像５４２がハイライト表示される。すなわち、第二画像５４０等の選択を表すユーザ入力信号を取得した場合に、第二画像処理部５４はユーザ入力信号に基づき、選択された第二画像５４２のハイライト表示を実施する。

　図１３に示す画面４０２において、第二画像５４２の選択に応じて非選択の第二画像５４０を非表示としてもよい。非選択の第二画像５４０の非表示に応じて第二画像５４２のハイライト表示を非表示としてもよい。なお、図９に示すユーザ入力信号取得部４２は、選択部の一例に相当する。

　図１２及び図１３には二つの第二画像５４０等を表示する態様を示したが、三つ以上の第二画像を表示してもよい。複数の第二画像５４０等を表示する場合、それぞれの取得タイミングを表す情報を付加してもよい。複数の第二画像５４０等のそれぞれが取得されたタイミングの順に配置される態様が好ましい。また、複数の第二画像５４０等を選択肢として実施される第二画像の選択は、二以上の第二画像を選択してもよい。

　図１２及び図１３に示す態様によれば、複数の探索候補として複数の第二画像５４０等を利用し得る。また、複数の探索候補の中から一つ以上の探索対象を選択し得る。

　図１１から図１３に示す第二処理の他の例として、第一画像５００に対する注目領域５１０の色相、明度及び彩度の少なくともいずれいかの変更が挙げられる。また、第二処理の他の例として、低解像度化及び高解像度化等の解像度変換が挙げられる。更に他の第二処理として、未観察画像３９Ａの記憶タイミングに関する情報の表示及び未観察画像３９Ａにおける注目領域５１０の鑑別結果の表示など、第二画像５３０等に関する各種情報の表示が挙げられる。各種情報の表示は、文字及び音声を適用し得る。

　［第二実施形態の作用効果］
　第二実施形態に係る画像処理装置１４Ａ及び画像処理方法は、以下の作用効果を得ることが可能である。

　〔１〕
　第二画像処理部５４は、第一画像５００と比較して表示態様が異なる第二画像５３０等を生成する。表示制御部４４は第二画像５３０等をモニタへ表示させる。これにより、注目領域５１０の検出の報知に起因して、医師が注目領域５１０の見逃しを認識した場合に、第二画像５３０等を利用する注目領域５１０の探索が可能となる。

　〔２〕
　第一画像処理は、注目領域５１０の強調処理が適用される。第二画像処理に係る強調処理は、第一画像処理に係る強調処理と比較して強調の度合いが強められる。これにより、第二画像５３０等における注目領域５１０の視認性が向上し得る。

　〔３〕
　モニタ４００は、取得タイミングが異なる複数の第二画像５４０等を表示する。これにより、複数の第二画像５４０等の中から、内視鏡画像３８において見逃した注目領域５１０を探索し得る。

　〔４〕
　取得タイミングが異なる複数の第二画像５４０等から一以上の第二画像５４２等を選択し得る。これにより、取得タイミングが異なる複数の第二画像５４０等から、注目領域５１０の探索に適用される第二画像５４２等を設定し得る。

　［第三実施形態に係る画像処理装置］
　次に、第三実施形態に係る画像処理装置について説明する。図１４は第三実施形態に係る画像処理装置の機能ブロック図である。同図に示す画像処理装置１４Ｂは、図９に示す画像処理装置１４Ａに対して、第三画像処理部５６及び第三画像処理結果記憶部７６が追加される。

　第三画像処理部５６は、未観察画像表示領域４０６に表示される未観察画像３９Ａ又は第二画像５２０等に対して第三画像処理を実施する。ここでいう第二画像５２０等は、図７に示す第二画像５２０、図１１に示す第二画像５３０、図１２に示す第二画像５４０及び第二画像５４２の少なくともいずれかを表す。以下の説明においても同様である。

　第三画像処理は、未観察画像３９Ａ又は第二画像５２０等の編集、未観察画像３９Ａ又は第二画像５２０等を編集して生成される第三画像の記憶、未観察画像３９Ａ又は第二画像５２０等の外部装置３２への送信、未観察画像３９Ａ又は第二画像５２０等の削除及び複数の未観察画像３９Ａ又は複数の第二画像５２０等の並べ替えの少なくともいずれかを適用し得る。

　第三画像処理結果記憶部７６は、第三画像処理部５６に適用される第三画像処理が、未観察画像３９Ａ又は第二画像５２０等の編集の場合に、未観察画像３９Ａ又は第二画像５２０等を編集して生成される第三画像５６０を記憶する。未観察画像３９Ａ又は第二画像５２０等の編集は、未観察画像３９Ａ又は第二画像５２０等の拡大及び縮小等を適用し得る。

　未観察画像３９Ａ又は第二画像５２０等の外部装置３２への送信を表すユーザ入力信号をユーザ入力信号取得部４２が取得した場合に、第三画像処理部５６は外部装置３２へ、未観察画像３９Ａ又は第二画像５２０等を送信する。外部装置３２は画像処理装置１４Ｂと通信可能に接続された記憶装置等を適用し得る。なお、図１４には、第二画像５２０等の外部装置３２への送信を図示する。

　未観察画像３９Ａ又は第二画像５２０等の削除を表すユーザ入力信号をユーザ入力信号取得部４２が取得した場合に、第三画像処理部５６は未観察画像３９Ａ又は第二画像５２０等の削除を実施する。

　未観察画像３９Ａ又は第二画像５２０等の並べ替えを表すユーザ入力信号をユーザ入力信号取得部４２が取得した場合に、第三画像処理部５６は未観察画像３９Ａ又は第二画像５２０等の配置の並べ替えを実施する。

　［第三実施形態に係る画像処理方法の手順］
　図１５は第三実施形態に係る画像処理方法の手順を示すフローチャートである。図１５には、第三画像処理として第二画像５３０の編集が適用される態様の手順を示す。図１５に示すフローチャートは、図１０に示すフローチャートに対して第三画像処理指示工程Ｓ４０、第三画像処理工程Ｓ４２及び第三画像処理結果記憶工程Ｓ４４が追加される。

　図１５に示す内視鏡画像取得工程Ｓ１０から表示信号送信工程Ｓ２６までの各工程は、図１０に示す内視鏡画像取得工程Ｓ１０から表示信号送信工程Ｓ２６までの各工程と同一である。表示信号送信工程Ｓ２６の後に第三画像処理指示工程Ｓ４０へ進む。

　第三画像処理指示工程Ｓ４０では、図１４に示すユーザ入力信号取得部４２は第三画像処理の処理内容を表す第三画像処理指示信号を取得する。第三画像処理指示信号の取得の例として、図１４に示す操作部３０から送信されるユーザ入力信号の取得が挙げられる。第三画像処理指示工程Ｓ４０の後に第三画像処理工程Ｓ４２へ進む。

　第三画像処理工程Ｓ４２では、第三画像処理部５６は第三画像処理指示信号に基づき、未観察画像３９Ａ又は第二画像５２０等に対して第三画像処理を実施する。第三画像処理工程Ｓ４２の後に第三画像処理結果記憶工程Ｓ４４へ進む。

　第三画像処理結果記憶工程Ｓ４４では、図１４に示す第三画像処理結果記憶部７６は、第三画像処理の処理結果を記憶する。第三画像処理結果記憶工程Ｓ４４の後に非表示条件判定工程Ｓ２８へ進む。第三画像処理が未観察画像３９Ａ又は第二画像５２０等の外部装置３２への送信及び未観察画像３９Ａ又は第二画像５２０等の削除等の場合、第三画像処理結果記憶工程Ｓ４４は省略される。

　図１５に示す非表示条件判定工程Ｓ２８から最終フレーム画像判定工程Ｓ３２までの各工程は、図１０に示す非表示条件判定工程Ｓ２８から最終フレーム画像判定工程Ｓ３２までの各工程と同一である。

　［第三画像処理の具体例］
　図１６は第三画像処理の一例の説明図である。同図に示す画面４０２は、図７に示す第二画像５２０等に代わり第三画像５６０が表示される。画面４０２は、第二画像５２０等及び第三画像５６０の両者を表示してもよい。

　第三画像５６０は、図７に示す第二画像５２０の注目領域５１０が拡大されている。すなわち、図１６に示す第三画像５６０は、図７に示す注目領域５１０が拡大された注目領域５１０Ｃ及び図７に示すバウンディングボックス５１２が拡大されたバウンディングボックス５１２Ｃが含まれる。

　［第三実施形態の作用効果］
　第三実施形態に係る画像処理装置１４Ｂ及び画像処理方法は、以下の作用効果を得ることが可能である。

　〔１〕
　未観察画像３９Ａ又は第二画像５２０等に対して第三画像処理を実施する第三画像処理部５６を備える。これにより、未観察画像３９Ａ又は第二画像５２０等の編集等を実施し得る。

　〔２〕
　第三画像処理は、未観察画像３９Ａ又は第二画像５２０等の編集、未観察画像３９Ａ又は第二画像５２０等の編集結果の記憶、未観察画像３９Ａ又は第二画像５２０等の外部機
器への送信、未観察画像３９Ａ又は第二画像５２０等の削除及び複数の未観察画像３９Ａ又は複数の第二画像５４０等を表示させる態様における未観察画像３９Ａ又は第二画像５４０等の並べ替えが適用される。これにより、未観察画像３９Ａ又は第二画像５２０等の編集を実施し得る。

　［内視鏡システムの変形例］
　〔照明光の変形例〕
　本実施形態に示す内視鏡システム１０を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。

　本実施形態に示す内視鏡システム１０を用いて取得可能な医用画像の他の例として、特定の波長帯域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。

　〈第一変形例〉
　特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

　〈第二変形例〉
　特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

　〈第三変形例〉
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

　〈第四変形例〉
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

　〈第五変形例〉
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

　〔特殊光画像の生成例〕
　プロセッサ装置２００は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置２００は、特殊光画像取得部として機能する。そして、プロセッサ装置２００は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑及び青、或いはシアン、マゼンタ及びイエローの色情報に基づく演算を行うことで得る。

　なお、シアン、マゼンタ及びイエローは、それぞれの英語表記であるCyan、Magenta及びYellowの頭文字を用いてＣＭＹと表されることがある。

　〔特徴量画像の生成例〕
　医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。

　［コンピュータを画像処理装置として機能させるプログラムへの適用例］
　上述した画像処理装置及び画像処理方法は、コンピュータを用いて、画像処理装置における各部又は画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。

　例えば、コンピュータに、画像取得機能、表示信号送信機能、注目領域検出機能、未観察画像記憶機能及びユーザ入力信号取得機能を実現させるプログラムを構成し得る。

　画像取得機能は、画像取得部４０及び内視鏡画像取得工程Ｓ１０に対応する。表示信号送信機能は、表示制御部４４及び表示信号送信工程Ｓ２６に対応する。注目領域検出機能は、注目領域検出部５０及び注目領域検出工程Ｓ１２に対応する。

　未観察画像記憶機能は、未観察画像記憶部７１及び未観察条件判定工程Ｓ１８に対応する。ユーザ入力信号取得機能は、ユーザ入力信号取得部４２及びユーザ入力信号取得判定工程Ｓ２０に対応する。

　プログラムは、第一画像処理部５２及び第一画像処理工程Ｓ１６に対応する第１画像処理を含み得る。プログラムは、第一画像処理結果記憶部７２及び第一画像処理結果記憶工程Ｓ１７に対応する第一画像処理結果記憶機能を含み得る。

　プログラムは、第二画像処理部５４及び第二画像処理工程Ｓ２２に対応する第二画像処理機能を含み得る。プログラムは、第二画像処理結果記憶部７４及び第二画像処理結果記憶工程Ｓ２４に対応する第二画像処理結果記憶機能を含み得る。プログラムは、第三画像処理部５６及び第三画像処理工程Ｓ４２に対応する第三画像処理機能を含み得る。

　上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

　また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。

　［実施形態及び変形例等の組み合わせについて］
　上述した実施形態で説明した構成要素及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１０　内視鏡システム
１４　画像処理装置
１４Ａ　画像処理装置
３８　内視鏡画像
３８Ａ　動画像
３９　静止画像
３９Ａ　未観察画像
４０　画像取得部
４２　ユーザ入力信号取得部
４４　表示制御部
４６　報知部
５０　注目領域検出部
５１　未観察条件判定部
５２　第一画像処理部
５４　第二画像処理部
５６　第三画像処理部
７０　内視鏡画像記憶部
７１　未観察画像記憶部
７１Ａ　観察済画像記憶部
７２　第一画像処理結果記憶部
７４　第二画像処理結果記憶部
７６　第三画像処理結果記憶部
１００　内視鏡本体
１０２　手元操作部
１０４　挿入部
１０６　ユニバーサルケーブル
１０８　ライトガイドコネクタ
１１２　軟性部
１１４　湾曲部
１１６　先端硬質部
１１６Ａ　先端側端面
１２３　照明部
１２３Ａ　照明用レンズ
１２３Ｂ　照明用レンズ
１２６　鉗子口
１３０　撮像部
１３２　撮影レンズ
１３４　撮像素子
１３６　駆動回路
１３８　アナログフロントエンド
１４１　送気送水ボタン
１４２　吸引ボタン
１４３　機能ボタン
１４４　撮像ボタン
１７０　ライトガイド
２００　プロセッサ装置
２０２　画像入力コントローラ
２０４　画像処理部
２０５　通信制御部
２０６　ビデオ出力部
２０７　記憶部
２０８　操作部
２０９　音声処理部
２０９Ａ　スピーカ
２１０　ＣＰＵ
２１１　ＲＯＭ
２１２　ＲＡＭ
３００　光源装置
３１０　光源
３１０Ｂ　青色光源
３１０Ｇ　緑色光源
３１０Ｒ　赤色光源
３３０　絞り
３４０　集光レンズ
３５０　光源制御部
４００　モニタ
４０２　画面
４０４　観察画像表示領域
４０６　第二画像表示領域
５００　第一画像
５１０　注目領域
５１０Ａ　注目領域
５１０Ｂ　注目領域
５１０Ｃ　注目領域
５１２　バウンディングボックス
５１２Ａ　バウンディングボックス
５１２Ｂ　バウンディングボックス
５１２Ｃ　バウンディングボックス
５２０　第二画像
５３０　第二画像
５３２　バウンディングボックス
５４０　第二画像
５４２　第二画像
５６０　第三画像
Ｓ１０からＳ４４　画像処理方法の各工程

Claims

　被写体の観察画像を取得する画像取得部と、
　前記観察画像を表す第一表示信号を表示装置へ送信する表示信号送信部と、
　前記観察画像を構成するフレーム画像から注目領域を検出する注目領域検出部と、
　注目領域が検出されたフレーム画像から前記注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶部と、
　を備えた医療画像処理装置。
　前記注目領域検出部を用いて注目領域が検出されたフレーム画像について、前記未観察条件を満たすか否かを判定する未観察条件判定部を備えた請求項１に記載の医療画像処理装置。
　前記未観察条件判定部は、規定期間内に同一の注目領域が含まれるフレーム画像が規定数以下の場合に前記未観察条件を満たすと判定する請求項２に記載の医療画像処理装置。
　前記未観察条件判定部は、フレーム画像の間の変化量が規定の閾値以上の場合に前記未観察条件を満たすと判定する請求項２又は３に記載の医療画像処理装置。
　前記未観察条件判定部は、規定期間内に同一の注目領域が画面内の任意の領域に留まる場合に前記未観察条件を満たすと判定する請求項２から４のいずれか一項に記載の医療画像処理装置。
　前記表示信号送信部は、前記未観察条件判定部において未観察条件を満たすと判定された前記未観察画像を表す第二表示信号を前記表示装置へ送信する請求項２から５のいずれか一項に記載の医療画像処理装置。
　ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部を備え、
　前記表示信号送信部は、前記ユーザ入力信号取得部を用いて未観察の注目領域の表示を表すユーザ入力信号を取得した場合に、前記未観察画像を表す第二表示信号を前記表示装置へ送信する請求項６に記載の医療画像処理装置。
　前記注目領域検出部を用いて検出された注目領域に対して第一画像処理を実施して第一画像を生成する第一画像処理部を備え、
　表示信号送信部は、前記第一画像を表す表示信号を前記第一表示信号として前記表示装置へ送信する請求項７に記載の医療画像処理装置。
　前記未観察画像に対して第二画像処理を実施して第二画像を生成する第二画像処理部を備え、
　前記表示信号送信部は、前記第二画像を表す表示信号を前記第二表示信号として前記表示装置へ送信する請求項８に記載の医療画像処理装置。
　前記第一画像処理部は、前記観察画像に対する前記注目領域の強調処理を実施し、
　前記第二画像処理部は、前記未観察画像に対して前記観察画像に対する注目領域の強調処理よりも強調度合いを強める強調処理を実施する請求項９に記載の医療画像処理装置。
　前記第二画像処理部は、複数の前記未観察画像のそれぞれに対して前記第二画像処理を実施し、
　前記表示信号送信部は、複数の前記第二画像のそれぞれに対応する表示信号を前記第二表示信号として前記表示装置へ送信する請求項９又は１０に記載の医療画像処理装置。
　前記表示装置へ表示される複数の前記未観察画像から一以上の前記未観察画像を選択するか、又は前記表示装置へ表示される複数の前記第二画像から一以上の前記第二画像を選択する選択部を備えた請求項１１に記載の医療画像処理装置。
　前記表示装置へ表示される前記未観察画像又は前記第二画像処理の処理結果に対して第三画像処理を施す第三画像処理部を備えた請求項９から１２のいずれか一項に記載の医療画像処理装置。
　前記第三画像処理の処理結果を記憶する第三画像処理結果記憶部を備えた請求項１３に記載の医療画像処理装置。
　前記第三画像処理部は、前記未観察画像の編集を表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、前記未観察画像の編集を実施するか、又は前記第二画像の編集を表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、前記第二画像の編集を実施する請求項１３又は１４に記載の医療画像処理装置。
　前記第三画像処理部は、前記未観察画像の外部装置への送信を表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、前記未観察画像を前記外部装置へ送信するか、又は前記第二画像の外部装置への送信を表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、前記第二画像を前記外部装置へ送信する請求項１３から１５のいずれか一項に記載の医療画像処理装置。
　前記第三画像処理部は、複数の前記未観察画像の並べ替えを表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、複数の前記未観察画像の並べ替えを実施するか、又は複数の前記第二画像の並べ替えを表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、複数の前記第二画像の並べ替えを実施する請求項１３から１６のいずれか一項に記載の医療画像処理装置。
　前記第三画像処理部は、前記未観察画像の削除を表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、前記未観察画像を削除するか、又は前記第二画像の削除を表すユーザ入力信号を前記ユーザ入力信号取得部が取得した場合に、前記第二画像を削除する請求項１３から１７のいずれか一項に記載の医療画像処理装置。
　前記表示信号送信部は、前記第二表示信号の送信タイミングから規定の期間が経過した後に、前記第二表示信号の送信を停止する請求項６から１８のいずれか一項に記載の医療画像処理装置。
　前記表示信号送信部は、前記未観察の注目領域が前記表示装置へ表示された場合に、前記第二表示信号の送信を停止する請求項６から１８のいずれか一項に記載の医療画像処理装置。
　ユーザが操作するユーザ操作部を備え、
　ユーザ入力信号取得部は、前記ユーザ操作部をユーザが操作する際に送信されるユーザ入力信号を取得する請求項１から２０いずれか一項に記載の医療画像処理装置。
　ユーザの音声を取得する音声取得部を備え、
　ユーザ入力信号取得部は、前記音声取得部を用いて取得したユーザの音声を表すユーザ入力信号を取得する請求項１から２１のいずれか一項に記載の医療画像処理装置。
　前記注目領域検出部を用いて注目領域が検出されたフレーム画像から前記注目領域の観察済みを表す観察済画像を記憶する観察済画像記憶部を備えた請求項１から２２のいずれか一項に記載の医療画像処理装置。
　前記観察画像における前記注目領域の検出を報知する報知部を備えた請求項１から２３のいずれか一項に記載の医療画像処理装置。
　内視鏡と、
　前記内視鏡を制御する内視鏡制御装置と、
　前記内視鏡を用いて取得した内視鏡画像に処理を施す医療画像処理装置と、
　を備えた内視鏡システムであって、
　前記医療画像処理装置は、
　被写体の観察画像を取得する画像取得部と、
　前記観察画像を表す第一表示信号を表示装置へ送信する表示信号送信部と、
　前記観察画像を構成するフレーム画像から注目領域を検出する注目領域検出部と、
　注目領域が検出されたフレーム画像から前記注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶部と、
　を備えた内視鏡システム。
　被写体の観察画像を取得する画像取得工程と、
　前記観察画像を表す第一表示信号を表示装置へ送信する表示信号送信工程と、
　前記観察画像を構成するフレーム画像から注目領域を検出する注目領域検出工程と、
　注目領域が検出されたフレーム画像から前記注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶工程と、
　を含む医療画像処理方法。
　コンピュータに、
　被写体の観察画像を取得する画像取得機能、
　前記観察画像を表す第一表示信号を表示装置へ送信する表示信号送信機能、
　前記観察画像を構成するフレーム画像から注目領域を検出する注目領域検出機能、及び
　注目領域が検出されたフレーム画像から前記注目領域の未観察を表す未観察条件を満たす未観察画像を記憶する未観察画像記憶機能を実現させるプログラム。
　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項２７に記載のプログラムをコンピュータに実行させる記録媒体。