JP7225417B2 - 医療画像処理システム及び医療画像処理装置の作動方法 - Google Patents

医療画像処理システム及び医療画像処理装置の作動方法 Download PDF

Info

Publication number
JP7225417B2
JP7225417B2 JP2021542746A JP2021542746A JP7225417B2 JP 7225417 B2 JP7225417 B2 JP 7225417B2 JP 2021542746 A JP2021542746 A JP 2021542746A JP 2021542746 A JP2021542746 A JP 2021542746A JP 7225417 B2 JP7225417 B2 JP 7225417B2
Authority
JP
Japan
Prior art keywords
attention area
unit
medical image
motion
motion amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021542746A
Other languages
English (en)
Other versions
JPWO2021039438A5 (ja
JPWO2021039438A1 (ja
Inventor
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021039438A1 publication Critical patent/JPWO2021039438A1/ja
Publication of JPWO2021039438A5 publication Critical patent/JPWO2021039438A5/ja
Application granted granted Critical
Publication of JP7225417B2 publication Critical patent/JP7225417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、医療画像処理システム及び医療画像処理装置の作動方法に関する。
内視鏡で撮影した画像（内視鏡画像）を解析し、注目領域を自動で検出して報知するシステムが知られている。
特許文献１には、注目領域を検出した場合に、注目領域の位置を強調するための視覚情報を観察中の内視鏡画像に付加して表示すること、及び、その視覚情報の表示態様を注目領域の観察時間に応じて変えることが記載されている。
特許文献２には、ユーザが病変部の鑑別を行っている状態か否かを判定し、鑑別を行っている状態の場合にのみ鑑別の支援処理を行うことが記載されている。
特許文献３には、注目領域を強調処理する場合に、被写体の動き量に応じて、強調処理する対象を変えることが記載されている。
特許文献４には、注目領域が検出された場合にアラート情報を表示すること、及び、そのアラート情報の表示時間を画像の動き量に応じて変えることが記載されている。
国際公開第WO2018/198161号 国際公開第WO2018/105063号 特開 2014-161537号公報 特開 2011-160848号公報
注目領域が検出された場合に、その検出をユーザに報知することは重要である。しかし、ユーザが病変部を発見した後も報知され続けると、かえって診断の妨げになるという問題がある。逆に、ユーザに報知したにもかかわらず、ユーザが病変部を見つけられないという問題もある。
本発明は、このような事情に鑑みてなされたもので、注目領域の検出を適切に報知できる医療画像処理システム及び医療画像処理装置の作動方法を提供することを目的とする。
（１）医療画像を取得する画像取得部と、医療画像を表示する表示部と、医療画像内から注目領域を検出する注目領域検出部と、医療画像に基づいて、医療画像を撮像する機器の動き量を推定する動き量推定部と、注目領域が検出された場合に注目領域の検出を報知し、かつ、報知後に動き量推定部で推定される動き量に応じて報知の態様を変更する報知部と、を備える医療画像処理システム。
（２）動き量推定部は、注目領域が検出された場合に動き量を推定する、（１）の医療画像処理システム。
（３）報知部は、表示部に表示される医療画像内で注目領域を強調して注目領域の検出を報知し、報知後に動き量推定部で推定される動き量に応じて注目領域の強調度合を変更する、（１）又は（２）の医療画像処理システム。
（４）報知部は、表示部に表示される医療画像内で注目領域を枠で囲って注目領域を強調する、（３）の医療画像処理システム。
（５）報知部は、枠の太さ、線種、色、形状、点滅度合及び明るさの少なくとも一つを変えて、注目領域の強調度合を変更する、（４）の医療画像処理システム。
（６）報知部は、注目領域の報知後、動き量推定部で推定される動き量が閾値以上の場合に注目領域の強調度合を強くする、（３）から（５）のいずれか一の医療画像処理システム。
（７）報知部は、注目領域の報知後、動き量推定部で推定される動き量が閾値未満の場合に注目領域の強調度合を弱くする、又は、注目領域の強調をオフする、（３）から（６）のいずれか一の医療画像処理システム。
（８）報知部は、注目領域の報知後、動き量推定部で推定される動き量が第１の閾値以上の場合に注目領域の強調度合を強くし、第２の閾値未満の場合に注目領域の強調度合を弱くする、又は、注目領域の強調をオフする、（３）から（５）のいずれか一の医療画像処理システム。
（９）報知部は、音を発生させて、注目領域の検出を報知し、報知後に動き量推定部で推定される動き量に応じて音の音量、音色及び種類の少なくとも一つを変更する、（１）又は（２）の医療画像処理システム。
（１０）医療画像を取得する画像取得部と、医療画像内から注目領域を検出する注目領域検出部と、注目領域が検出された場合に検出結果を示す情報を生成する情報生成部と、情報生成部で生成された情報を記憶する記憶部と、注目領域が検出された場合に医療画像に基づいて、医療画像を撮像する機器の動き量を推定する動き量推定部と、画面内に第１表示領域及び第２表示領域を有する表示部と、画像取得部で取得される医療画像を第１表示領域に表示する一方、注目領域が検出された場合において、注目領域の検出後に動き量推定部で推定される動き量が閾値以上の場合に、記憶部に記憶された情報を第２表示領域に表示する表示制御部と、を備えた医療画像処理システム。
（１１）情報生成部は、注目領域の検出結果を示す情報として、医療画像内で注目領域を強調した画像を生成する、（１０）の医療画像処理システム。
（１２）情報生成部は、医療画像内で注目領域を枠で囲って強調した画像を生成する、（１１）の医療画像処理システム。
（１３）情報生成部は、注目領域の検出結果を示す情報として、医療画像から注目領域を切り出した画像を生成する、（１０）の医療画像処理システム。
（１４）動き量推定部は、あらかじめ定められたフレーム間隔で動き量を推定する、（１）から（１３）のいずれか一の医療画像処理システム。
（１５）動き量推定部は、医療画像全体の移動量に基づいて動き量を推定する、（１４）の医療画像処理システム。
（１６）動き量推定部は、注目領域の移動量に基づいて動き量を推定する、（１４）の医療画像処理システム。
（１７）医療画像を取得するステップと、医療画像内から注目領域を検出するステップと、注目領域が検出された場合に注目領域の検出を報知するステップと、注目領域が検出された場合に、医療画像を撮像する機器の動き量を推定するステップと、推定された動き量に応じて報知の態様を変更するステップと、を含む医療画像処理システムの動作方法。
（１８）医療画像を取得するステップと、医療画像を表示部の画面内に設定された第１表示領域に表示するステップと、医療画像内から注目領域を検出するステップと、注目領域が検出された場合に検出結果を示す情報を生成するステップと、生成された注目領域の検出結果を示す情報を記憶部に記憶するステップと、注目領域が検出された場合に、医療画像を撮像する機器の動き量を推定するステップと、推定された動き量が閾値以上の場合に、記憶部に記憶された情報を表示部の画面内に設定された第２表示領域に表示するステップと、を含む医療画像処理システムの動作方法。
本発明によれば、注目領域の検出を適切に報知できる。
第１の実施の形態の内視鏡システムのシステム構成図 内視鏡の概略構成図 第１の実施の形態の内視鏡システムの内視鏡画像処理装置が有する機能のブロック図 注目領域が検出されていない場合の表示画像の一例を示す図 注目領域が検出された場合の表示画像の一例を示す図 動き量推定部で推定される内視鏡の動き量が閾値以上の場合の表示画像の一例を示す図 注目領域の検出から報知までの処理手順を示すフローチャート 注目領域の検出の報知後の処理手順を示すフローチャート 枠の形状を変えて強調度合を変更する場合の表示画像の一例を示す図 注目領域の検出の報知後の処理手順の変形例を示すフローチャート 動き量が閾値未満の場合に表示装置に表示される画像の一例を示す図 注目領域の検出の報知後の処理手順の変形例を示すフローチャート 第２の実施の形態の内視鏡システムのシステム構成図 第２の実施の形態の内視鏡システムの内視鏡画像処理装置が有する機能のブロック図 注目領域の検出の報知後の処理手順を示すフローチャート 第３の実施の形態の内視鏡システムの内視鏡画像処理装置が有する機能のブロック図 強調画像の一例を示す図 通常の表示状態での表示画像の一例を示す図 強調画像を表示した場合の表示画像の一例を示す図 第３の実施の形態の内視鏡システムにおける内視鏡画像の表示の処理手順を示すフローチャート クロップ画像の生成の概念図
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
［第１の実施の形態］
ここでは、医療画像として内視鏡で撮影された画像（内視鏡画像）を処理するシステム（内視鏡システム）に本発明を適用した場合を例に説明する。
［システム構成］
図１は、本実施の形態の内視鏡システムのシステム構成図である。
同図に示すように、本実施の形態の内視鏡システム１は、内視鏡１０、光源装置２０、プロセッサ装置３０、内視鏡画像処理装置４０及び表示装置５０を備える。内視鏡システム１は、医療画像処理システムの一例である。
図２は、内視鏡の概略構成図である。
内視鏡１０は、軟性鏡（電子内視鏡）である。内視鏡１０は、主として、挿入部１２、操作部１４及び接続部１６で構成される。
挿入部１２は、主として、先端部１２Ａ、湾曲部１２Ｂ及び軟性部１２Ｃで構成される。先端部１２Ａには、その端面に観察窓、照明窓、ノズル及び鉗子口等が備えられる。また、先端部１２Ａには、その内部に撮像部１２ａが備えられる。撮像部１２ａは、撮影光学系及びイメージセンサ等を含んで構成される。イメージセンサは、たとえば、所定のカラーフィルタ配列（たとえば、ベイヤ配列）等を有するカラーＣＣＤ（Charge Coupled Device）イメージセンサ、カラーＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等で構成される。
操作部１４には、術者（ユーザ）によって操作される各種操作部材が備えられる。たとえば、湾曲部１２Ｂのアングル操作を行うアングルノブ１４Ａ、送気送水操作を行う送気送水ボタン１４Ｂ、吸引操作を行う吸引ボタン１４Ｃ、静止画の撮影を行うシャッタボタン１４Ｄ等が備えられる。
接続部１６は、可撓性を有するコードで構成される。接続部１６の先端には、光源装置２０に接続するためのコネクタ１６Ａ及びプロセッサ装置３０に接続するためのコネクタ１６Ｂが備えられる。
光源装置２０は、光源を備え、その光源の光を照明光として内視鏡１０に供給する。内視鏡１０に供給された照明光は、先端部１２Ａに備えられた照明窓から出射される。光源の光には、たとえば、白色光が用いられる。
プロセッサ装置３０は、内視鏡１０から出力される撮像信号を取り込み、所定の信号処理を施して、内視鏡１０による観察画像（内視鏡画像）を生成する。また、プロセッサ装置３０は、システム全体の制御部としても機能する。プロセッサ装置３０は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備えたコンピュータで構成され、ＣＰＵが、所定のプログラムを実行することにより、内視鏡画像を生成する機能及びシステムの各部を制御する機能等が実現される。ＲＯＭには、ＣＰＵが実行する各種プログラム、及び、制御に必要なデータ等が記憶される。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供する。
内視鏡画像処理装置４０は、プロセッサ装置３０から出力される内視鏡画像を取得し、表示装置５０に表示させる。また、内視鏡画像処理装置４０は、内視鏡画像から注目領域を検出し、その検出を報知する。内視鏡画像処理装置４０は、たとえば、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータで構成され、ＣＰＵが、所定のプログラム（内視鏡画像処理プログラム）を実行することにより、内視鏡画像処理装置として機能する。ＲＯＭには、ＣＰＵが実行する各種プログラム、及び、制御に必要なデータ等が記憶される。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供する。
図３は、内視鏡画像処理装置が有する機能のブロック図である。
同図に示すように、内視鏡画像処理装置４０は、内視鏡画像を取得する画像取得部４０Ａ、取得した内視鏡画像内から注目領域を検出する注目領域検出部４０Ｂ、取得した内視鏡画像に基づいて、内視鏡１０の動き量を推定する動き量推定部４０Ｃ、及び、表示装置５０への内視鏡画像の表示を制御する表示制御部４０Ｄの機能を有する。
画像取得部４０Ａは、プロセッサ装置３０から出力される内視鏡画像を取り込む。内視鏡画像は、医療画像の一例である。なお、内視鏡１０による撮影は、あらかじめ定められたフレームレートで実施される。したがって、画像取得部４０Ａには、時系列の内視鏡画像が順次取り込まれる。
注目領域検出部４０Ｂは、画像取得部４０Ａで取得された内視鏡画像内から注目領域を検出する。ここでの「注目領域」とは、内視鏡画像内で病変部として疑わしい領域をいう。注目領域検出部４０Ｂは、たとえば、画像認識により、内視鏡画像内から注目領域を検出する。画像認識は、たとえば、機械学習（たとえば、深層学習等）により生成した画像認識モデルを用いて行うことができる。この他、公知の手法を用いて行うことができる。
なお、注目領域は、その位置及びサイズが特定されて検出される。位置は、たとえば、内視鏡画像内に存在する注目領域の画素位置の情報として取得される。また、サイズは、たとえば、内視鏡画像内に存在する注目領域の画素数として取得される。
動き量推定部４０Ｃは、画像取得部４０Ａで取得される内視鏡画像に基づいて、内視鏡１０（医療画像を撮像する機器）の動き量を推定する。より具体的には、撮像部１２ａを備えた内視鏡１０の挿入部１２の先端部１２Ａの動き量を推定する。ここでの「動き」には、先端部１２Ａの移動による動き他、先端部１２Ａの回転による動き、向きの変化による動き等が含まれる。「動き量」とは、このような内視鏡１０の先端部１２Ａの動きの大きさを示す値である。
動き量推定部４０Ｃは、あらかじめ定められたフレーム間隔で内視鏡の動き量を推定する。また、動き量推定部４０Ｃは、画像全体の移動量に基づいて、内視鏡の動き量を推定する。たとえば、毎フレームごとに内視鏡の動き量を推定する場合は、毎フレームごとに、直前のフレームの画像との対比で画像全体の移動量を検出する。たとえば、取得した画像がＮフレーム目の画像の場合、Ｎ－１フレーム目の画像との対比で画像全体の移動量を検出する。そして、検出した画像全体の移動量に基づいて、フレーム間の内視鏡の動き量を推定する。
画像全体の移動量の検出は、たとえば、次のように行われる。まず、前後のフレームにおいて、それぞれ対応する特徴点を画像全体から抽出する。抽出した特徴点の位置関係から画像全体の動きの向き及び大きさを表す動きベクトルを求める。求めた動きベクトルの大きさを移動量として取得する。特徴点を複数抽出する場合には、各特徴点から求められる動きベクトルの大きさの平均値を算出し、画像全体の移動量として取得する。
動き量推定部４０Ｃは、注目領域検出部４０Ｂにおいて注目領域が検出された場合に、画像取得部４０Ａで取得される内視鏡画像に基づいて、内視鏡１０の動き量を推定する。すなわち、注目領域が検出されると、動き量の推定処理を開始する。したがって、注目領域が検出されていない場合は、動き量の推定処理は行われない。このように、注目領域が検出された場合に限り、動き量の推定処理を行うことにより、内視鏡画像処理装置４０における処理負荷（計算負荷等を含む）を軽減できる。注目領域検出部４０Ｂで注目領域が検出されると、動き量推定部４０Ｃに注目領域の検出が通知される。動き量推定部４０Ｃは、この検出の通知をトリガーとして、動き量の推定処理を開始する。
表示制御部４０Ｄは、表示装置５０への内視鏡画像の表示を制御する。表示制御部４０Ｄは、注目領域が検出されていない状態では、画像取得部４０Ａで取得される内視鏡画像をそのまま表示装置５０に表示させる。一方、注目領域が検出された場合は、注目領域を強調した画像を表示させる。
図４は、注目領域が検出されていない場合の表示画像の一例を示す図である。図５は、注目領域が検出された場合の表示画像の一例を示す図である。
図４に示すように、注目領域が検出されていない状態では、内視鏡１０で撮影された内視鏡画像ｉｍ１が、そのまま表示される。内視鏡画像ｉｍ１は、画面内の設定された所定の表示領域Ａに表示される。
一方、注目領域が検出された場合は、図５に示すように、画像内で注目領域（同図において斜線で示す楕円形の領域）Ｘを強調した内視鏡画像ｉｍ２が表示される。内視鏡画像ｉｍ２は、画面内の設定された所定の表示領域Ａに表示される。注目領域Ｘを強調した内視鏡画像ｉｍ２は、画像内で注目領域Ｘを矩形の枠Ｆで囲うことで生成される。この枠Ｆが表示された内視鏡画像ｉｍ２が表示装置５０に表示されることにより、注目領域を検出したことが報知される。
表示制御部４０Ｄは、注目領域が検出された場合、あらかじめ定められた線の太さ（基準となる第１の太さ）で枠Ｆを表示する。その後、動き量推定部４０Ｃで推定される内視鏡１０の動き量に応じて、枠Ｆの強調度合（強調の強度と同義）を変更する。すなわち、枠Ｆの線の太さを変更する。具体的には、動き量推定部４０Ｃで推定される内視鏡１０の動き量が、あらかじめ定められた閾値以上の場合、枠Ｆの線の太さを第１の太さよりも太い第２の太さ（第１の太さ＜第２の太さ）に変更する。
図６は、動き量推定部で推定される内視鏡の動き量が閾値以上の場合の表示画像の一例を示す図である。
同図に示すように、枠Ｆの表示後に、動き量推定部４０Ｃで推定される内視鏡１０の動き量が閾値以上になると、注目領域Ｘを囲う枠Ｆの線の太さが太くなり、強調の度合が強められる。
表示制御部４０Ｄは、報知部の一例であり、表示装置５０に表示される内視鏡画像内で枠を表示することにより、術者に注目領域の検出が報知される。なお、本例の場合、注目領域が枠で囲われるので、注目領域の検出結果（位置及びサイズ）も報知される。
表示装置５０は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイ（有機ＥＬ：Organic ElectroLuminescent，ＯＥＬ）等のディスプレイで構成される。表示装置５０は、表示部の一例である。
［動作］
以下、本実施の形態の内視鏡システム１の動作（動作方法）について説明する。本実施の形態の内視鏡システム１では、内視鏡１０で撮影すると、撮影した画像（内視鏡画像）が表示装置５０に表示される（図４参照）。また、撮影した内視鏡画像から注目領域が検出される。注目領域が検出された場合は、表示画像内で注目領域が枠で囲われて、検出が報知される（図５参照）。注目領域の検出が報知されると、その後の内視鏡１０の動き量に応じて、報知の態様が変更される。すなわち、枠の強調度合が変更される。以下、注目領域の検出から報知まで、及び、報知後の動作について説明する。
図７は、注目領域の検出から報知までの処理手順を示すフローチャートである。
同図に示すように、まず、内視鏡１０で撮影された内視鏡画像が取得される（ステップＳ１）。次いで、注目領域の検出が行われる（ステップＳ２）。すなわち、取得された内視鏡画像に基づいて、画像内から注目領域が検出される。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される（ステップＳ３）。
ここで、注目領域が検出されていない場合（ステップＳ３がＮＯの場合）は、次に、撮影が終了したか否かが判定される（ステップＳ４）。撮影が終了したか否かは、たとえば、次のフレームの内視鏡画像の有無により判定される。画像取得部４０Ａにおいて、次のフレームの内視鏡画像が取得されていない場合は、撮影が終了していると判定される。撮影が終了している場合（ステップＳ４がＹＥＳの場合）は、処理を終了する。一方、撮影が終了していない場合（ステップＳ４がＮＯの場合）は、ステップＳ１に戻り、次のフレームの画像が取得される。
注目領域が検出されている場合（ステップＳ３がＹＥＳの場合）は、注目領域の検出が報知される（ステップＳ５）。すなわち、図５に示すように、表示中の内視鏡画像内で注目領域Ｘが枠Ｆで囲われて表示される。この際、枠Ｆが第１の太さ（基準の太さ）で表示される。
図８は、注目領域の検出の報知後の処理手順を示すフローチャートである。
報知後、まず、次のフレームの内視鏡画像が取得される（ステップＳ１１）。次いで、注目領域の検出が行われる（ステップＳ１２）。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される（ステップＳ１３）。
ここで、注目領域が検出されなかった場合（ステップＳ１３がＮＯの場合）は、報知が終了される（ステップＳ１９）。すなわち、枠Ｆの表示が消される（注目領域の強調がオフされる）。
一方、注目領域が検出された場合（ステップＳ１３がＹＥＳの場合）は、画像から内視鏡１０の動き量が推定される（ステップＳ１４）。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値以上か否かが判定される（ステップＳ１５）。閾値は、あらかじめ定められる。
推定された動き量が閾値以上の場合（ステップＳ１５がＹＥＳの場合）、図６に示すように、注目領域Ｘを囲う枠Ｆが第２の太さで表示される（ステップＳ１６）。すなわち、強調の度合が強められて、枠Ｆが表示される。
一方、推定された動き量が閾値未満の場合（ステップＳ１５がＮＯの場合）、第１の太さで枠Ｆが表示される（ステップＳ１７）。すなわち、図５に示すように、強調度合を強めずに枠Ｆが表示される。
この後、撮影が終了したか否かが判定される（ステップＳ１８）。撮影が終了している場合（ステップＳ１８がＹＥＳの場合）は、処理が終了される。撮影が終了していない場合（ステップＳ１８がＮＯの場合）は、ステップＳ１１に戻り、次のフレームの内視鏡画像が取得される。
このように、本実施の形態の内視鏡システム１によれば、注目領域の検出を報知する枠Ｆの表示態様が、検出後の内視鏡１０の動き量に応じて変更される。すなわち、動き量が大きい場合は、強調の度合が強められて表示される。
一般に、術者が病変部を発見した場合、術者は詳細に観察するため、内視鏡１０の動きが小さくなる傾向にある。一方で、術者が病変部を探索している場合には、見落としがないように観察を続けるため、内視鏡１０の動きが大きくなる傾向にある。
自動で注目領域を検出した場合に、内視鏡１０の動きが大きい場合は、術者が気付かず通り過ぎている場合と想定される。したがって、このような場合は、見逃し防止のために強調の度合を強める。これにより、注目領域の検出を適切に報知できる。
また、本実施の形態の内視鏡システム１によれば、注目領域が検出された場合に限り、動き量の推定処理が行われる。これにより、処理負荷を軽減でき、よりスムーズな診断を行うことができる。
なお、処理負荷を考慮しなくてよい場合などには、撮影開始から継続して、内視鏡の動き量を推定する構成とすることもできる。
［第１の実施の形態の内視鏡システムの変形例］
［１］枠を用いて注目領域を強調する場合の強調度合の変更方法の変形例
上記実施の形態では、枠の線の太さを変えて、強調度合を変える構成としているが、強調度合を変更する方法は、これに限定されるものではない。この他、たとえば、枠の線種、色、形状、点滅度合及び明るさ等を変えて、注目領域の強調度合を変更することができる。
ここで、枠の線種を変えて強調度合を変更する場合とは、たとえば、破線を基準の線種（注目領域が検出された場合に最初に表示される線種）とし、閾値以上の動き量が推定された場合に実線に変更する場合などが例示される。あるいは、実線を基準の線種とし、閾値以上の動き量が推定された場合に二重線に変更する場合などが例示される。
また、枠の色を変えて強調度合を変更する場合とは、枠の色をより視認しやすい色（目立つ色）に変更する場合などである。たとえば、白を基準の色（注目領域が検出された場合に最初に表示される枠の色）とし、閾値以上の動き量が推定された場合に赤色又は黄色に変更する態様などが例示される。
また、枠の形状を変えて強調度合を変更する場合とは、枠の形状をより視認しやすい形状（目立つ形状）に変更する場合などである。
図９は、枠の形状を変えて強調度合を変更する場合の表示画像の一例を示す図である。同図（Ａ）は、注目領域が検出された場合に表示装置５０に表示される画像の一例を示している。また、同図（Ｂ）は、注目領域の検出後の動き量が閾値以上の場合に表示装置５０に表示される画像の一例を示している。
図９（Ａ）に示すように、内視鏡画像内から注目領域Ｘが検出された場合は、矩形の四隅のみを囲う形状の枠Ｆ（基準形状の枠）を表示する。一方、その基準形状の枠Ｆの表示後に、閾値以上の動き量が推定された場合は、同図（Ｂ）に示すように、注目領域Ｘの周囲を完全に囲う形状の枠Ｆに変更する。
また、点滅度合を変更するとは、枠を点滅させて表示させる場合において、点滅の速さ（点滅速度）を変更することをいう。たとえば、注目領域が検出された場合は、第１の点滅速度（基準の点滅速度）で枠を点滅させて表示し、閾値以上の動き量が推定された場合は、第１の点滅速度よりも速い第２の点滅速度で枠を点滅させて表示させる。この他、たとえば、注目領域が検出された場合は、点滅させずに枠を表示し、閾値以上の動き量が推定された場合に点滅させて表示させる態様が例示される。
また、枠の明るさを変えて強調度合を変更する場合とは、たとえば、注目領域が検出された場合は、第１の明るさ（基準の明るさ）で枠を表示し、閾値以上の動き量が推定された場合は、第１の明るさよりも明るい第２の明るさで枠を表示させる。
これらは組み合わせで使用できる。たとえば、枠の太さと明るさを変えて、注目領域の強調度合を変更することができる。また、たとえば、枠の太さと点滅度合を変えて、注目領域の強調度合を変更することができる。更に、枠の太さと明るさと点滅度合を変えて、注目領域の強調度合を変更することができる。
［２］動き量に応じた強調度合の変更方法の変形例
上記実施の形態では、推定された動き量を閾値と比較し、閾値以上の場合に強調度合を強める（枠を太くする）構成としているが、動き量に応じた強調度合の変更方法は、これに限定されるものではない。以下、動き量に応じた強調度合の変更方法の変形例について説明する。
（ａ）動き量に応じた強調度合の変更方法の変形例１
本変形例では、内視鏡の動き量が閾値未満の場合、注目領域の強調度合を弱くする。すなわち、枠Ｆの線の太さを細くする。以下、本手法で内視鏡画像を表示する場合の処理手順について説明する。なお、注目領域の検出から報知までの処理手順は、上記実施の形態と同じである（図７参照）。したがって、ここでは、報知後の処理についてのみ説明する。
図１０は、本変形例における注目領域の検出の報知後の処理手順を示すフローチャートである。
報知後、まず、次のフレームの内視鏡画像が取得される（ステップＳ２１）。次いで、注目領域の検出が行われる（ステップＳ２２）。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される（ステップＳ２３）。
ここで、注目領域が検出されなかった場合（ステップＳ２３がＮＯの場合）は、報知が終了される（ステップＳ２９）。すなわち、枠Ｆの表示が消される（注目領域の強調がオフされる）。
一方、注目領域が検出された場合（ステップＳ２３がＹＥＳの場合）は、画像から内視鏡１０の動き量が推定される（ステップＳ２４）。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値未満か否かが判定される（ステップＳ２５）。閾値は、あらかじめ定められる。
推定された動き量が閾値未満の場合（ステップＳ２５がＹＥＳの場合）、注目領域Ｘを囲う枠Ｆが第３の太さで表示される（ステップＳ２６）。第３の太さは、第１の太さよりも細く設定される（第３の太さ＜第１の太さ）。図１１は、動き量が閾値未満の場合に表示装置に表示される画像の一例を示す図である。同図に示すように、注目領域Ｘを囲う枠Ｆの太さが細くなり、強調の度合が弱められる。
一方、推定された動き量が閾値以上の場合（ステップＳ２５がＮＯの場合）、第１の太さで枠Ｆが表示される（ステップＳ２７）。すなわち、図５に示すように、強調度合を弱めずに枠Ｆが表示される。
この後、撮影が終了したか否かが判定される（ステップＳ２８）。撮影が終了している場合（ステップＳ２８がＹＥＳの場合）は、処理が終了される。撮影が終了していない場合（ステップＳ２８がＮＯの場合）は、ステップＳ２１に戻り、次のフレームの内視鏡画像が取得される。
このように、本変形例では、注目領域を強調して表示した後の内視鏡の動き量が小さい場合に、注目領域の強調度合が弱められる（注目領域を囲う枠の線が細くされる）。上記のように、術者が病変部を発見した場合、術者は詳細に観察するため、内視鏡１０の動きが小さくなる傾向にある。注目領域の検出後に内視鏡１０の動きが小さくなった場合は、術者も気づいていると考えられる。よって、注目領域の検出後に内視鏡１０の動きが小さくなった場合に、同じ強度で報知を続けると、集中力の低下を招き得る。このため、注目領域の検出後に内視鏡の動き量が小さくなった場合は、注目領域の強調度合を弱める。これにより、注目領域の検出を適切に報知できる。
なお、本例では、推定された動き量が閾値未満の場合に、強調の度合を弱める構成（枠の線を細くする）としているが、強調表示をオフにする構成（枠を消し、報知を終了する）とすることもできる。
また、本例では、枠の線の太さを変えて強調度合を変える例で説明したが、枠の線種、枠の点滅度合又は枠の明るさ等を変えて、強調度合を変更することもできる。
（ｂ）動き量に応じた強調度合の変更方法の変形例２
本変形例では、内視鏡の動き量が第１の閾値以上の場合、注目領域の強調度合を強くし、第２の閾値未満の場合、注目領域の強調度合を弱くする。なお、注目領域の検出から報知までの処理の手順は、上記実施の形態と同じである（図７参照）。したがって、ここでは、報知後の処理についてのみ説明する。
図１２は、本変形例における注目領域の検出の報知後の処理手順を示すフローチャートである。
まず、内視鏡画像が取得される（ステップＳ３１）。次いで、注目領域の検出が行われる（ステップＳ３２）。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される（ステップＳ３３）。
ここで、注目領域が検出されなかった場合（ステップＳ３３がＮＯの場合）は、報知が終了される（ステップＳ４１）。すなわち、枠Ｆの表示が消される（注目領域の強調がオフされる）。
一方、注目領域が検出された場合（ステップＳ３３がＹＥＳの場合）は、画像から内視鏡１０の動き量が推定される（ステップＳ３４）。そして、推定された動き量と第１の閾値とが比較され、推定された動き量が第１閾値以上か否かが判定される（ステップＳ３５）。第１の閾値は、あらかじめ定められる。
推定された動き量が第１の閾値以上の場合（ステップＳ３５がＹＥＳの場合）、注目領域Ｘを囲う枠Ｆが第２の太さ（第１の太さ＜第２の太さ）で表示される（ステップＳ３６）。すなわち、図６に示すように、より太い太さの枠Ｆで注目領域Ｘが囲われて表示され、注目領域Ｘの強調度合が強められる。
一方、推定された動き量が、第１の閾値未満の場合（ステップＳ３５がＮＯの場合）は、推定された動き量と第２の閾値とが比較され、推定された動き量が第２閾値未満か否かが判定される（ステップＳ３７）。第２の閾値は、あらかじめ定められる。第２の閾値は、第１の閾値よりも小さい値に設定される（第２の閾値＜第１の閾値）。
推定された動き量が第２の閾値未満の場合（ステップＳ３７がＹＥＳの場合）、注目領域Ｘを囲う枠Ｆが第３の太さ（第３の太さ＜第１の太さ）で表示される（ステップＳ３８）。すなわち、図１１に示すように、より細い太さの枠Ｆで注目領域Ｘが囲われて表示され、注目領域Ｘの強調度合が弱められる。
一方、推定された動き量が第２の閾値以上の場合（ステップＳ３７がＮＯの場合）、注目領域Ｘを囲う枠Ｆが第１の太さ（第３の太さ＜第１の太さ＜第２の太さ）で表示される（ステップＳ３９）。すなわち、図５に示すように、強調度合は変更されず、基準の太さ（第１の太さ）で枠Ｆが表示される。
この後、撮影が終了したか否かが判定される（ステップＳ４０）。撮影が終了している場合（ステップＳ４０がＹＥＳの場合）は、処理が終了される。撮影が終了していない場合（ステップＳ４０がＮＯの場合）は、ステップＳ３１に戻り、次の内視鏡画像が取得される。
このように、本変形例では、注目領域を強調して表示した後に内視鏡１０の動き量が推定され、推定された内視鏡１０の動き量が大きい場合は、強調の度合が強められる（枠Ｆの線が太くされる）。また、推定された内視鏡１０の動き量が小さい場合は、強調の度合が弱められる（枠Ｆの線が細くされる）。
自動で注目領域を検出した場合に、内視鏡１０の動きが大きい場合は、術者が気付かず通り過ぎている場合と想定される。よって、この場合は、見逃し防止のために、強調の度合を強める。一方で、注目領域の検出後に内視鏡１０の動きが小さくなった場合は、術者も気づいていると想定される。よって、この場合は、集中力の低下を防ぐために、強調の度合を弱める。これにより、注目領域の検出を適切に報知できる。
なお、本例では、推定された動き量が、第２の閾値未満の場合に、強調の度合を弱める構成（枠の線を細くする）としているが、強調表示をオフにする構成（枠を消す）とすることもできる。
また、本例では、枠の線の太さを変えて強調度合を変える例で説明したが、枠の線種、枠の点滅度合又は枠の明るさ等を変えて、強調度合を変更することもできる。
（ｃ）動き量に応じた強調度合の変更方法の変形例３
上記実施の形態では、強調度合を二段階で変更させる構成としているが、更に多段階で変更させる構成とすることもできる。すなわち、内視鏡１０の動き量に応じて段階的に強調の度合を変更させる構成とすることもできる。たとえば、枠の線の太さを変えて強調の度合を変更する場合には、動き量に応じて、枠の線の太さを段階的に変更させることもできる。
［第２の実施の形態］
［構成］
本実施の形態では、内視鏡画像内から注目領域が検出された場合に、その検出を音で術者に報知する。そして、報知後は、内視鏡の動き量に応じて音量を変更する。
図１３は、本実施の形態の内視鏡システムのシステム構成図である。
同図に示すように、本実施の形態の内視鏡システム１は、更にスピーカ６０を備える点で上記第１の実施の形態の内視鏡システム１と相違する。
図１４は、内視鏡画像処理装置が有する機能のブロック図である。
同図に示すように、本実施の形態の内視鏡画像処理装置４０は、スピーカ６０から発生させる音声の出力を制御する音声出力制御部４０Ｅの機能を更に有する点で上記第１の実施の形態の内視鏡画像処理装置４０と相違する。以下においては、第１の実施の形態の内視鏡画像処理装置４０との主な相違点についてのみ説明する。
本実施の形態の内視鏡システム１では、内視鏡画像内から注目領域が検出された場合に、検出された注目領域Ｘが枠Ｆで囲われた内視鏡画像が表示装置５０に表示される（図５参照）。また、これと同時に所定の報知音（注目領域の検出を報知する音声）がスピーカ６０から出力される。報知音は、その後の内視鏡の動き量に応じて、音量が変更される。具体的には、動き量推定部４０Ｃで推定される内視鏡１０の動き量が、あらかじめ定められた閾値以上の場合、音量が大きくされる。
上記のように、スピーカ６０から発生させる音声の出力は、音声出力制御部４０Ｅによって制御される。音声出力制御部４０Ｅは、注目領域検出部４０Ｂによる注目領域の検出結果、及び、動き量推定部４０Ｃによる内視鏡の動き量の推定結果に基づいて、スピーカ６０からの報知音の出力を制御する。具体的には、以下の処理を実施する。音声出力制御部４０Ｅは、注目領域検出部４０Ｂによって注目領域が検出されると、あらかじめ定められた第１の音量で報知音をスピーカ６０から出力させる。その後、音声出力制御部４０Ｅは、動き量推定部４０Ｃで推定される内視鏡の動き量に応じて、報知音の音量を変化させる。具体的には、動き量が閾値以上になると、第１の音量よりも大きな第２の音量（第１の音量＜第２の音量）に変更する。
本実施の形態の内視鏡システム１において、音声出力制御部４０Ｅ及びスピーカ６０は、報知部の一例である。
［動作］
注目領域の検出から報知までの処理の手順は、枠を表示させて検出を報知する場合と同じなので、ここでは、検出の報知後の処理についてのみ説明する。
なお、本実施の形態の内視鏡システムでは、音で注目領域の検出を報知するので、注目領域が検出されると、スピーカ６０からの報知音が出力される。この際、第１の音量で報知音が出力されて、注目領域の検出が報知される。
図１５は、注目領域の検出の報知後の処理手順を示すフローチャートである。
報知後、まず、次のフレームの内視鏡画像が取得される（ステップＳ５１）。次いで、注目領域の検出が行われる（ステップＳ５２）。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される（ステップＳ５３）。
ここで、注目領域が検出されなかった場合（ステップＳ５３がＮＯの場合）は、報知音の出力がオフされる（ステップＳ５９）。
一方、注目領域が検出された場合（ステップＳ５３がＹＥＳの場合）、画像から内視鏡１０の動き量が推定される（ステップＳ５４）。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値以上か否かが判定される（ステップＳ５５）。閾値は、あらかじめ定められる。
推定された動き量が閾値以上の場合（ステップＳ５５がＹＥＳの場合）、報知音が、より大きな音量である第２の音量でスピーカ６０から出力される（ステップＳ５６）。
一方、推定された動き量が閾値未満の場合（ステップＳ５５がＮＯの場合）、報知音が、第１の音量でスピーカ６０から出力される（ステップＳ５７）。
この後、撮影が終了しているか否かが判定される（ステップＳ５８）。撮影が終了している場合（ステップＳ５８がＹＥＳの場合）は、処理が終了される。撮影が終了していない場合（ステップＳ５８がＮＯの場合）は、ステップＳ５１に戻り、次の内視鏡画像が取得される。
このように、本実施の形態の内視鏡システム１によれば、注目領域の検出を音で報知する場合において、その音量が、検出後の内視鏡１０の動き量に応じて変更される。これにより、自動で注目領域を検出した場合に、その見逃しを適切に防止できる。
なお、本実施の形態では、注目領域の検出を音でのみ報知する場合を例に説明したが、画面上での報知と組み合わせて使用することもできる。すなわち、音による報知とは別に、内視鏡画像を表示する表示画面上で注目領域を強調表示して、検出の結果を表示することもできる。
［第２の実施の形態の内視鏡システムの変形例］
上記実施の形態では、動き量に応じて、報知音の音量を変更する構成としているが、その他、報知音の音色又は種類を変更する構成とすることもできる。また、音量、音色及び種類の組み合わせを変更する構成とすることもできる。
また、上記実施の形態では、推定された動き量を閾値と比較し、閾値以上の場合に報知音の音量を大きくする構成としているが、音量を変更する態様は、これに限定されるものではない。たとえば、推定された動き量を閾値と比較し、閾値未満の場合に報知音の音量を小さく、又は、報知音をオフにする構成とすることもできる。また、推定された動き量を第１の閾値及び第２の閾値（第２の閾値＜第１の閾値）と比較し、内視鏡の動き量が第１の閾値以上の場合に音量を大きくし、第２の閾値未満の場合に音量を小さくする、又は、報知音をオフにする構成とすることもできる。
また、動き量に応じて、報知音の音量を段階的に変化させる構成とすることもできる。また、音と共に注目領域の表示態様も変化させてもよい。
［第３の実施の形態］
本実施の形態の内視鏡システムでは、撮影した内視鏡画像から注目領域を自動で検出する場合において、注目領域が検出された場合に、その後の内視鏡の動き量に基づいて検出結果を示す画像が表示される。すなわち、検出後に一定以上の動き量で内視鏡が動かされた場合に、検出結果を示す画像が表示される。
内視鏡システムの基本構成は、第１の実施の形態と同じである。内視鏡画像処理装置４０が有する機能が異なる。したがって、ここでは、内視鏡画像処理装置４０の有する機能についてのみ説明する。
図１６は、本実施の形態の内視鏡画像処理装置が有する機能のブロック図である。
同図に示すように、内視鏡画像処理装置４０は、注目領域の検出結果を示す画像を生成する画像生成部４０Ｆ、及び、その画像生成部４０Ｆで生成された画像を記憶する画像記憶部４０Ｇの機能を更に有する点で上記第１の実施の形態の内視鏡画像処理装置４０と相違する。
画像生成部４０Ｆは、注目領域の検出結果を示す画像として、内視鏡画像内で注目領域を強調した画像（強調画像）を生成する。画像生成部４０Ｆは、注目領域検出部４０Ｂによる注目領域の検出結果に基づいて、画像取得部４０Ａで取得される内視鏡画像から強調画像を生成する。図１７は、強調画像の一例を示す図である。同図に示すように、強調画像ｉｍ３は、内視鏡画像ｉｍ内で注目領域（同図において斜線で示す楕円形の領域）Ｘを矩形の枠Ｆで囲った画像で構成される。画像生成部４０Ｆは、情報生成部の一例である。また、強調画像は、注目領域の検出結果を示す情報の一例である。
画像記憶部４０Ｇは、画像生成部４０Ｆで生成された強調画像を記憶する。画像記憶部４０Ｇは、画像生成部４０Ｆで順次生成される強調画像を順次書き換えながら記憶する。したがって、画像記憶部４０Ｇには、最新の強調画像が記憶される。画像記憶部４０Ｇは、ＲＡＭで構成される。画像記憶部４０Ｇは、記憶部の一例である。
表示制御部４０Ｄは、画像取得部４０Ａで取得される内視鏡画像（内視鏡１０で撮影された画像）を表示装置５０に表示させる。この際、表示制御部４０Ｄは、表示装置５０の画面内に設定された第１表示領域Ａ１に内視鏡画像を表示させる。また、表示制御部４０Ｄは、一定の条件下で画像記憶部４０Ｇに記憶された強調画像を表示装置５０に表示させる。強調画像を表示させる条件は、次のとおりである。すなわち、注目領域検出部４０Ｂにおいて注目領域が検出され、かつ、その後の内視鏡１０の動き量が閾値以上の場合である。内視鏡１０の動き量は、注目領域の検出後に動き量推定部４０Ｃで推定される内視鏡１０の動き量である。この条件を満たす場合に、強調画像が表示装置５０に表示される。強調画像は、表示装置５０の画面内に設定された第２表示領域Ａ２に表示される。第２表示領域Ａ２は、第１表示領域Ａ１とは異なる領域である。
図１８は、通常の表示状態での表示画像の一例を示す図である。なお、ここでの「通常の表示状態」とは、強調画像を表示していない状態をいう。
同図に示すように、通常の表示状態では、内視鏡１０で撮影された内視鏡画像ｉｍのみが画面に表示される。内視鏡画像ｉｍは、第１表示領域Ａ１に表示される。
図１９は、強調画像を表示した場合の表示画像の一例を示す図である。
同図に示すように、内視鏡１０で撮影された内視鏡画像ｉｍが第１表示領域Ａ１に表示され、かつ、強調画像ｉｍ３が第２表示領域Ａ２に表示される。
図１８及び図１９に示す例では、画面左寄りの位置に大きく第１表示領域Ａ１（いわゆるメインウインドウ）を設定し、画面右下の位置に小さく第２表示領域Ａ２（いわゆるサブウインドウ）を設定した場合の例を示している。
表示制御部４０Ｄは、動き量推定部４０Ｃで推定される内視鏡１０の動き量に基づいて、強調画像の表示の要否を判定する。具体的には、動き量推定部４０Ｃで推定される内視鏡１０の動き量と閾値とを比較し、動き量が閾値以上の場合に強調画像を第２表示領域Ａ２に表示させると判定する。
なお、動き量推定部４０Ｃは、注目領域検出部４０Ｂで注目領域が検出された場合に、動き量の推定処理を行う。したがって、表示制御部４０Ｄには、注目領域が検出された場合にのみ、以後の内視鏡１０の動き量の推定結果が出力される。
［動作］
図２０は、本実施の形態の内視鏡システムにおける内視鏡画像の表示の処理手順を示すフローチャートである。
まず、内視鏡１０で撮影された内視鏡画像が取得される（ステップＳ６１）。そして、取得された内視鏡画像が表示装置５０に表示される（ステップＳ６２）。内視鏡画像は、図１８に示すように、第１表示領域Ａ１に表示される。また、取得された内視鏡画像から注目領域の検出が行われる（ステップＳ６３）。そして、その検出結果に基づいて、注目領域が検出されたか否かが判定される（ステップＳ６４）。
注目領域が検出されなかった場合（ステップＳ６４がＮＯの場合）は、ステップＳ６９に進み、撮影が終了したか否かが判定される。一方、注目領域が検出された場合（ステップＳ６４がＹＥＳの場合）は、強調画像が生成され、生成された強調画像が画像記憶部４０Ｇに記憶される（ステップＳ６５）。
また、注目領域が検出されると、画像から内視鏡１０の動き量が推定される（ステップＳ６６）。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値以上か否かが判定される（ステップＳ６７）。
推定された動き量が閾値未満の場合（ステップＳ６７がＮＯの場合）は、ステップＳ６９に進み、撮影が終了したか否かが判定される。一方、推定された動き量が閾値以上の場合（ステップＳ６７がＹＥＳの場合）、図１９に示すように、第２表示領域Ａ２に強調画像ｉｍ３が表示された画像が表示装置５０に表示される（ステップＳ６８）。この後、撮影が終了しているか否かが判定される（ステップＳ６９）。撮影が終了している場合（ステップＳ６９がＹＥＳの場合）は、処理が終了される。撮影が終了していない場合（ステップＳ６９がＮＯの場合）は、ステップＳ６１に戻り、次の内視鏡画像が取得される。
なお、第２表示領域Ａ２に表示された強調画像は、最後に表示されてから一定時間経過後に消去される。消去されるまでの時間は、あらかじめ定められる（たとえば、６秒）。なお、この時間を術者が任意に設定できるようにしてもよい。
このように、本実施の形態の内視鏡システムによれば、一定以上の動き量で内視鏡１０が動かされた場合にのみ注目領域の検出結果を示す画像が表示装置５０に表示される。
注目領域が検出されたフレームがわずかな場合に、術者が気付いていない病変では見逃してしまう可能性がある。この場合、注目領域の検出結果を示す画像を表示装置５０に表示することで、見逃しを低減できる。一方で、術者が気付いている場合にも、当該画像が表示されると、冗長な情報となり、集中力の低下を招き得る。
本実施の形態の内視鏡システムでは、一定以上の動き量で内視鏡１０が動かされた場合にのみ注目領域の検出結果を示す画像が表示装置５０に表示されるので、適切に検出を報知できる。すなわち、見逃している可能性が高い場合のみ結果が表示されるので、適切に検出を報知できる。見逃している可能性が高い場合とは、注目領域の自動検出後に内視鏡１０が大きく動かされている場合である。これにより、診断に影響することなく、見逃しを低減できる。
［第３の実施の形態の内視鏡システムの変形例］
上記実施の形態では、動き量に応じて、報知音の音量を変更する構成としているが、その他、報知音の音色又は種類を変更する構成とすることもできる。また、音量、音色及び種類の組み合わせを変更する構成とすることもできる。
また、上記実施の形態では、推定された動き量を閾値と比較し、閾値以上の場合に報知音の音量を大きくする構成としているが、音量を変更する態様は、これに限定されるものではない。たとえば、推定された動き量を閾値と比較し、閾値未満の場合に報知音の音量を小さく、又は、報知音をオフにする構成とすることもできる。また、推定された動き量を第１の閾値及び第２の閾値（第２の閾値＜第１の閾値）と比較し、内視鏡の動き量が第１の閾値以上の場合に音量を大きくし、第２の閾値未満の場合に音量を小さくする、又は、報知音をオフにする構成とすることもできる。
また、動き量に応じて、報知音の音量を段階的に変化させる構成とすることもできる。また、音と共に注目領域の表示態様も変化させてもよい。
［第３の実施の形態の内視鏡システムの変形例］
［強調画像の変形例］
上記実施の形態では、強調画像として、内視鏡画像内で注目領域を枠で囲った画像を生成する場合を例に説明したが、強調画像の構成は、これに限定されるものではない。内視鏡画像内で注目領域を識別可能な画像であればよい。
［注目領域の検出結果を示す情報の変形例］
上記実施の形態では、注目領域の検出結果を示す情報として、強調画像を生成する場合を例に説明したが、注目領域の検出結果を示す情報の形態は、これに限定されるものではない。この他、たとえば、内視鏡画像から注目領域を切り出した画像（いわゆるクロップ画像）を注目領域の検出結果を示す情報として生成してもよい。図２１は、クロップ画像の生成の概念図である。同図に示すように、内視鏡画像ｉｍから注目領域Ｘを含んだ領域Ｗの画像を切り出して、クロップ画像ｉｍ４を生成する。注目領域の検出結果を示す情報を表示する場合は、このクロップ画像ｉｍ４を第２表示領域Ａ２に表示する。
［音による注目領域の報知］
注目領域が検出された場合に、その検出を音で報知してもよい。音の報知を利用する場合であっても、画面上での注目領域を認識できない場合が考えられる。このような場合にも、報知後に動き量が低下しない場合には、見逃していると判断して、注目領域の検出結果を表示することにより、適切に見逃しを防止できる。
［その他の実施の形態］
［動き量の推定方法について］
上記実施の形態では、内視鏡（医療画像を撮像する機器）の動き量を推定する際、前後のフレーム間での画像全体の移動量に基づいて、内視鏡の動き量を推定する構成としているが、内視鏡の動き量を推定する方法は、これに限定されるものではない。この他、たとえば、内視鏡画像内における注目領域の移動量に基づいて、内視鏡の動き量を推定することもできる。注目領域の移動量については、たとえば、まず、前後のフレームにおいて、それぞれ対応する特徴点を注目領域から抽出する。そして、抽出した特徴点の位置関係から注目領域の動きベクトルを求める。求めた動きベクトルの大きさを注目領域の移動量として取得する。特徴点を複数抽出する場合には、各特徴点から求められる動きベクトルの大きさの平均値を算出し、注目領域の移動量として取得する。
この他、内視鏡画像から内視鏡（医療画像を撮像する機器）の動き量を推定する方法については、各種公知の手法（時系列の画像（動画）から撮像部の動き量を推定する手法）を採用できる。
［その他の医療画像処理システムへの適用について］
上記実施の形態では、医療画像として内視鏡で撮影された画像（内視鏡画像）を処理するシステム（内視鏡システム）に本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。この他、たとえば、医療画像として超音波診断画像を処理するシステム（超音波診断システム）等にも適用できる。超音波診断システムでは、内視鏡システムと同様に、超音波プローブ（医療画像を撮像する機器）を動かしながら病変を探す操作が行われる。したがって、内視鏡システムと同様に、本発明が有効に作用する。超音波診断システム以外にも、機器を動かしながら病変等を探す操作が行われるシステムであれば、同様に適用でき、かつ、有効に機能させることができる。
［内視鏡画像処理装置のハードウェア構成について］
内視鏡画像処理装置の諸機能は、各種のプロセッサ（processor）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、又は、ＣＰＵ及びＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
また、内視鏡画像処理装置の機能は、内視鏡装置を構成するプロセッサ装置に搭載することもできる。
［照明光について］
照明光は、白色光、あるいは、１又は複数の特定の波長帯域の光、あるいは、これらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
特定の波長帯域の第１例は、たとえば、可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第２例は、たとえば、可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、３９０ｎｍから４７０ｎｍである。
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。
［照明光の切り替えについて］
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）、又は、これらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
［撮像部について］
内視鏡の撮像部に備えられるイメージセンサは、各画素に対しカラーフィルタが配設されたカラーイメージセンサに限定されるものではなく、モノクロイメージセンサでもよい。モノクロイメージセンサを用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、白色光を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は、波長の異なる２波長以上の赤外光でもよい。
［特殊光画像の生成例］
プロセッサ装置は、白色光を用いて撮像して得られた画像（いわゆる通常光画像）に基づいて、特定の波長帯域の情報を有する画像（いわゆる特殊光画像）を生成してもよい。プロセッサ装置は、たとえば、通常光画像に含まれる赤（Red、Ｒ）、緑（Green、Ｇ）及び青（Blue、Ｂ）、又は、シアン（Cyan，Ｃ）、マゼンタ（Magenta，Ｍ）及びイエロー（Yellow，Ｙ）の色情報に基づく演算を行うことで、特定の波長帯域の信号を取得できる。
［コンピュータに内視鏡画像処理装置の機能を実現させるプログラムについて］
上記の実施形態で説明した内視鏡画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
また、上記の実施形態で説明した内視鏡画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
［実施形態及び変形例等の組み合わせについて］
上記実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
１ 内視鏡システム
１０ 内視鏡
１２ 挿入部
１２Ａ 先端部
１２Ｂ 湾曲部
１２Ｃ 軟性部
１２ａ 撮像部
１４ 操作部
１４Ａ アングルノブ
１４Ｂ 送気送水ボタン
１４Ｃ 吸引ボタン
１４Ｄ シャッタボタン
１６ 接続部
１６Ａ コネクタ
１６Ｂ コネクタ
２０ 光源装置
３０ プロセッサ装置
４０ 内視鏡画像処理装置
４０Ａ 画像取得部
４０Ｂ 注目領域検出部
４０Ｃ 動き量推定部
４０Ｄ 表示制御部
４０Ｅ 音声出力制御部
４０Ｆ 画像生成部
４０Ｇ 画像記憶部
５０ 表示装置
６０ スピーカ
Ａ 表示領域
Ａ１ 第１表示領域
Ａ２ 第２表示領域
Ｆ 枠
Ｗ クロップ画像を切り取る領域
Ｘ 注目領域
ｉｍ 内視鏡画像
ｉｍ１ 内視鏡画像
ｉｍ２ 内視鏡画像
ｉｍ３ 強調画像
ｉｍ４ クロップ画像
Ｓ１～Ｓ５ 注目領域の検出から報知までの処理手順
Ｓ１１～Ｓ１９ 注目領域の検出の報知後の処理手順
Ｓ２１～Ｓ２９ 注目領域の検出の報知後の処理手順
Ｓ３１～Ｓ４１ 注目領域の検出の報知後の処理手順
Ｓ５１～Ｓ５９ 注目領域の検出の報知後の処理手順
Ｓ６１～Ｓ６９ 内視鏡画像の表示の処理手順

Claims (23)

  1. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値以上の場合に前記注目領域の強調度合を強くする、
    医療画像処理システム。
  2. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値未満の場合に前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフする、
    医療画像処理システム。
  3. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が第１の閾値以上の場合に前記注目領域の強調度合を強くし、第２の閾値未満の場合に前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフする、
    医療画像処理システム。
  4. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値以上の場合に前記音の音量を大きくする、
    医療画像処理システム。
  5. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフする、
    医療画像処理システム。
  6. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が第１の閾値以上の場合に前記音の音量を大きくし、第２の閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフする、
    医療画像処理システム。
  7. 前記報知部は、前記表示部に表示される前記医療画像内で前記注目領域を枠で囲って前記注目領域を強調する、
    請求項１から３のいずれか１項に記載の医療画像処理システム。
  8. 前記報知部は、前記枠の太さ、線種、色、形状、点滅度合及び明るさの少なくとも一つを変えて、前記注目領域の強調度合を変更する、
    請求項７に記載の医療画像処理システム。
  9. 前記動き量推定部は、前記注目領域が検出された場合に前記動き量を推定する、
    請求項１から８のいずれか１項に記載の医療画像処理システム。
  10. 医療画像を取得する画像取得部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記注目領域が検出された場合に検出結果を示す情報を生成する情報生成部と、
    前記情報生成部で生成された画像を記憶する記憶部と、
    前記注目領域が検出された場合に前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    画面内に第１表示領域及び第２表示領域を有する表示部と、
    前記画像取得部で取得される前記医療画像を前記第１表示領域に表示する一方、前記注目領域が検出された場合において、前記注目領域の検出後に前記動き量推定部で推定される前記動き量が閾値以上の場合に、前記記憶部に記憶された情報を前記第２表示領域に表示する表示制御部と、
    を備えた医療画像処理システム。
  11. 前記情報生成部は、前記注目領域の検出結果を示す情報として、前記医療画像内で前記注目領域を強調した画像を生成する、
    請求項１０に記載の医療画像処理システム。
  12. 前記情報生成部は、前記医療画像内で前記注目領域を枠で囲って強調した画像を生成する、
    請求項１１に記載の医療画像処理システム。
  13. 前記情報生成部は、前記注目領域の検出結果を示す情報として、前記医療画像から前記注目領域を切り出した画像を生成する、
    請求項１０に記載の医療画像処理システム。
  14. 前記動き量推定部は、あらかじめ定められたフレーム間隔で前記動き量を推定する、
    請求項１から１３のいずれか一項に記載の医療画像処理システム。
  15. 前記動き量推定部は、画像全体の移動量に基づいて前記動き量を推定する、
    請求項１４に記載の医療画像処理システム。
  16. 前記動き量推定部は、前記注目領域の移動量に基づいて前記動き量を推定する、
    請求項１４に記載の医療画像処理システム。
  17. 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値以上の場合に、前記表示制御部が、前記注目領域の強調度合を強めるステップと、
    を含む医療画像処理装置の作動方法。
  18. 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値未満の場合に、前記表示制御部が、前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフするステップと、
    を含む医療画像処理装置の作動方法。
  19. 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が第１の閾値以上の場合に、前記表示制御部が、前記注目領域の強調度合を強くし、第２の閾値未満の場合に、前記表示制御部が、前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフするステップと、
    を含む医療画像処理装置の作動方法。
  20. 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値以上の場合に、前記音声出力制御部が、前記音の音量を大きくするステップと、
    を含む医療画像処理装置の作動方法。
  21. 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値未満の場合に、前記音声出力制御部が、前記音の音量を小さくする、又は、前記音をオフするステップと、
    を含む医療画像処理装置の作動方法。
  22. 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が第１の閾値以上の場合に、前記音声出力制御部が、前記音の音量を大きくし、第２の閾値未満の場合に、前記音声出力制御部が、第２の閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフするステップと、
    を含む医療画像処理装置の作動方法。
  23. 画像取得部と、注目領域検出部と、情報生成部と、動き量推定部と、表示制御部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部の画面内に設定された第１表示領域に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記情報生成部が検出結果を示す情報を生成するステップと、
    生成された前記注目領域の検出結果を示す情報を記憶部に記憶するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が、前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値以上の場合に、前記表示制御部が、前記記憶部に記憶された情報を前記表示部の前記画面内に設定された第２表示領域に表示するステップと、
    を含む医療画像処理装置の作動方法。
JP2021542746A 2019-08-27 2020-08-14 医療画像処理システム及び医療画像処理装置の作動方法 Active JP7225417B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019154640 2019-08-27
JP2019154640 2019-08-27
PCT/JP2020/030875 WO2021039438A1 (ja) 2019-08-27 2020-08-14 医療画像処理システム及びその動作方法

Publications (3)

Publication Number Publication Date
JPWO2021039438A1 JPWO2021039438A1 (ja) 2021-03-04
JPWO2021039438A5 JPWO2021039438A5 (ja) 2022-05-19
JP7225417B2 true JP7225417B2 (ja) 2023-02-20

Family

ID=74684555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021542746A Active JP7225417B2 (ja) 2019-08-27 2020-08-14 医療画像処理システム及び医療画像処理装置の作動方法

Country Status (3)

Country Link
US (1) US20220172827A1 (ja)
JP (1) JP7225417B2 (ja)
WO (1) WO2021039438A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136899A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
WO2022210834A1 (ja) * 2021-03-31 2022-10-06 国立研究開発法人理化学研究所 断層像処理装置、断層像処理方法、プログラム、情報記録媒体、ならびに、刺入体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096279A1 (ja) 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2014091964A1 (ja) 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
WO2016199273A1 (ja) 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2018198161A1 (ja) 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6150554B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6833870B2 (ja) * 2016-12-07 2021-02-24 オリンパス株式会社 画像処理装置
JP2020024286A (ja) * 2018-08-07 2020-02-13 オリンパス株式会社 計測装置、計測装置の作動方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096279A1 (ja) 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2014091964A1 (ja) 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
WO2016199273A1 (ja) 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2018198161A1 (ja) 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Also Published As

Publication number Publication date
US20220172827A1 (en) 2022-06-02
JPWO2021039438A1 (ja) 2021-03-04
WO2021039438A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
US8734333B2 (en) Endoscope system, endoscope video processor and method of driving endoscope system
US8681208B2 (en) Image processing device and program
JP7282796B2 (ja) 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7225417B2 (ja) 医療画像処理システム及び医療画像処理装置の作動方法
US12035879B2 (en) Medical image processing apparatus, endoscope system, and medical image processing method
CN111526773B (zh) 内窥镜图像获取系统及方法
CN112654283B (zh) 医疗图像处理装置、医疗图像处理方法、内窥镜系统及记录介质
US20240304311A1 (en) Medical image processing apparatus, medical image proces sing method, program, and diagnosis support apparatus
JP6807469B2 (ja) 内視鏡システム及び内視鏡プロセッサ
JP7507797B2 (ja) 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体
JP2023014288A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP2022136171A (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112689469A (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
JP2006192058A (ja) 画像処理装置
JP7158471B2 (ja) 検査動画処理装置、検査動画処理装置の作動方法及び検査動画処理プログラム
US20220151467A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and program
WO2022186109A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP7029281B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US20140240673A1 (en) Image processing apparatus, ophthalmologic imaging apparatus, ophthalmologic imaging system, ophthalmologic imaging method, and non-transitory tangible medium having program stored thereon
CN115315210A (zh) 图像处理装置、图像处理方法、导航方法以及内窥镜系统
US20230245304A1 (en) Medical image processing device, operation method of medical image processing device, medical image processing program, and recording medium
WO2022186111A1 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R150 Certificate of patent or registration of utility model

Ref document number: 7225417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150