JP7225417B2 - 医療画像処理システム及び医療画像処理装置の作動方法 - Google Patents

医療画像処理システム及び医療画像処理装置の作動方法 Download PDF

Info

Publication number
JP7225417B2
JP7225417B2 JP2021542746A JP2021542746A JP7225417B2 JP 7225417 B2 JP7225417 B2 JP 7225417B2 JP 2021542746 A JP2021542746 A JP 2021542746A JP 2021542746 A JP2021542746 A JP 2021542746A JP 7225417 B2 JP7225417 B2 JP 7225417B2
Authority
JP
Japan
Prior art keywords
attention area
unit
medical image
motion
motion amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021542746A
Other languages
English (en)
Other versions
JPWO2021039438A5 (ja
JPWO2021039438A1 (ja
Inventor
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021039438A1 publication Critical patent/JPWO2021039438A1/ja
Publication of JPWO2021039438A5 publication Critical patent/JPWO2021039438A5/ja
Application granted granted Critical
Publication of JP7225417B2 publication Critical patent/JP7225417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、医療画像処理システム及び医療画像処理装置の作動方法に関する。
内視鏡で撮影した画像(内視鏡画像)を解析し、注目領域を自動で検出して報知するシステムが知られている。
特許文献1には、注目領域を検出した場合に、注目領域の位置を強調するための視覚情報を観察中の内視鏡画像に付加して表示すること、及び、その視覚情報の表示態様を注目領域の観察時間に応じて変えることが記載されている。
特許文献2には、ユーザが病変部の鑑別を行っている状態か否かを判定し、鑑別を行っている状態の場合にのみ鑑別の支援処理を行うことが記載されている。
特許文献3には、注目領域を強調処理する場合に、被写体の動き量に応じて、強調処理する対象を変えることが記載されている。
特許文献4には、注目領域が検出された場合にアラート情報を表示すること、及び、そのアラート情報の表示時間を画像の動き量に応じて変えることが記載されている。
国際公開第WO2018/198161号 国際公開第WO2018/105063号 特開 2014-161537号公報 特開 2011-160848号公報
注目領域が検出された場合に、その検出をユーザに報知することは重要である。しかし、ユーザが病変部を発見した後も報知され続けると、かえって診断の妨げになるという問題がある。逆に、ユーザに報知したにもかかわらず、ユーザが病変部を見つけられないという問題もある。
本発明は、このような事情に鑑みてなされたもので、注目領域の検出を適切に報知できる医療画像処理システム及び医療画像処理装置の作動方法を提供することを目的とする。
(1)医療画像を取得する画像取得部と、医療画像を表示する表示部と、医療画像内から注目領域を検出する注目領域検出部と、医療画像に基づいて、医療画像を撮像する機器の動き量を推定する動き量推定部と、注目領域が検出された場合に注目領域の検出を報知し、かつ、報知後に動き量推定部で推定される動き量に応じて報知の態様を変更する報知部と、を備える医療画像処理システム。
(2)動き量推定部は、注目領域が検出された場合に動き量を推定する、(1)の医療画像処理システム。
(3)報知部は、表示部に表示される医療画像内で注目領域を強調して注目領域の検出を報知し、報知後に動き量推定部で推定される動き量に応じて注目領域の強調度合を変更する、(1)又は(2)の医療画像処理システム。
(4)報知部は、表示部に表示される医療画像内で注目領域を枠で囲って注目領域を強調する、(3)の医療画像処理システム。
(5)報知部は、枠の太さ、線種、色、形状、点滅度合及び明るさの少なくとも一つを変えて、注目領域の強調度合を変更する、(4)の医療画像処理システム。
(6)報知部は、注目領域の報知後、動き量推定部で推定される動き量が閾値以上の場合に注目領域の強調度合を強くする、(3)から(5)のいずれか一の医療画像処理システム。
(7)報知部は、注目領域の報知後、動き量推定部で推定される動き量が閾値未満の場合に注目領域の強調度合を弱くする、又は、注目領域の強調をオフする、(3)から(6)のいずれか一の医療画像処理システム。
(8)報知部は、注目領域の報知後、動き量推定部で推定される動き量が第1の閾値以上の場合に注目領域の強調度合を強くし、第2の閾値未満の場合に注目領域の強調度合を弱くする、又は、注目領域の強調をオフする、(3)から(5)のいずれか一の医療画像処理システム。
(9)報知部は、音を発生させて、注目領域の検出を報知し、報知後に動き量推定部で推定される動き量に応じて音の音量、音色及び種類の少なくとも一つを変更する、(1)又は(2)の医療画像処理システム。
(10)医療画像を取得する画像取得部と、医療画像内から注目領域を検出する注目領域検出部と、注目領域が検出された場合に検出結果を示す情報を生成する情報生成部と、情報生成部で生成された情報を記憶する記憶部と、注目領域が検出された場合に医療画像に基づいて、医療画像を撮像する機器の動き量を推定する動き量推定部と、画面内に第1表示領域及び第2表示領域を有する表示部と、画像取得部で取得される医療画像を第1表示領域に表示する一方、注目領域が検出された場合において、注目領域の検出後に動き量推定部で推定される動き量が閾値以上の場合に、記憶部に記憶された情報を第2表示領域に表示する表示制御部と、を備えた医療画像処理システム。
(11)情報生成部は、注目領域の検出結果を示す情報として、医療画像内で注目領域を強調した画像を生成する、(10)の医療画像処理システム。
(12)情報生成部は、医療画像内で注目領域を枠で囲って強調した画像を生成する、(11)の医療画像処理システム。
(13)情報生成部は、注目領域の検出結果を示す情報として、医療画像から注目領域を切り出した画像を生成する、(10)の医療画像処理システム。
(14)動き量推定部は、あらかじめ定められたフレーム間隔で動き量を推定する、(1)から(13)のいずれか一の医療画像処理システム。
(15)動き量推定部は、医療画像全体の移動量に基づいて動き量を推定する、(14)の医療画像処理システム。
(16)動き量推定部は、注目領域の移動量に基づいて動き量を推定する、(14)の医療画像処理システム。
(17)医療画像を取得するステップと、医療画像内から注目領域を検出するステップと、注目領域が検出された場合に注目領域の検出を報知するステップと、注目領域が検出された場合に、医療画像を撮像する機器の動き量を推定するステップと、推定された動き量に応じて報知の態様を変更するステップと、を含む医療画像処理システムの動作方法。
(18)医療画像を取得するステップと、医療画像を表示部の画面内に設定された第1表示領域に表示するステップと、医療画像内から注目領域を検出するステップと、注目領域が検出された場合に検出結果を示す情報を生成するステップと、生成された注目領域の検出結果を示す情報を記憶部に記憶するステップと、注目領域が検出された場合に、医療画像を撮像する機器の動き量を推定するステップと、推定された動き量が閾値以上の場合に、記憶部に記憶された情報を表示部の画面内に設定された第2表示領域に表示するステップと、を含む医療画像処理システムの動作方法。
本発明によれば、注目領域の検出を適切に報知できる。
第1の実施の形態の内視鏡システムのシステム構成図 内視鏡の概略構成図 第1の実施の形態の内視鏡システムの内視鏡画像処理装置が有する機能のブロック図 注目領域が検出されていない場合の表示画像の一例を示す図 注目領域が検出された場合の表示画像の一例を示す図 動き量推定部で推定される内視鏡の動き量が閾値以上の場合の表示画像の一例を示す図 注目領域の検出から報知までの処理手順を示すフローチャート 注目領域の検出の報知後の処理手順を示すフローチャート 枠の形状を変えて強調度合を変更する場合の表示画像の一例を示す図 注目領域の検出の報知後の処理手順の変形例を示すフローチャート 動き量が閾値未満の場合に表示装置に表示される画像の一例を示す図 注目領域の検出の報知後の処理手順の変形例を示すフローチャート 第2の実施の形態の内視鏡システムのシステム構成図 第2の実施の形態の内視鏡システムの内視鏡画像処理装置が有する機能のブロック図 注目領域の検出の報知後の処理手順を示すフローチャート 第3の実施の形態の内視鏡システムの内視鏡画像処理装置が有する機能のブロック図 強調画像の一例を示す図 通常の表示状態での表示画像の一例を示す図 強調画像を表示した場合の表示画像の一例を示す図 第3の実施の形態の内視鏡システムにおける内視鏡画像の表示の処理手順を示すフローチャート クロップ画像の生成の概念図
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
[第1の実施の形態]
ここでは、医療画像として内視鏡で撮影された画像(内視鏡画像)を処理するシステム(内視鏡システム)に本発明を適用した場合を例に説明する。
[システム構成]
図1は、本実施の形態の内視鏡システムのシステム構成図である。
同図に示すように、本実施の形態の内視鏡システム1は、内視鏡10、光源装置20、プロセッサ装置30、内視鏡画像処理装置40及び表示装置50を備える。内視鏡システム1は、医療画像処理システムの一例である。
図2は、内視鏡の概略構成図である。
内視鏡10は、軟性鏡(電子内視鏡)である。内視鏡10は、主として、挿入部12、操作部14及び接続部16で構成される。
挿入部12は、主として、先端部12A、湾曲部12B及び軟性部12Cで構成される。先端部12Aには、その端面に観察窓、照明窓、ノズル及び鉗子口等が備えられる。また、先端部12Aには、その内部に撮像部12aが備えられる。撮像部12aは、撮影光学系及びイメージセンサ等を含んで構成される。イメージセンサは、たとえば、所定のカラーフィルタ配列(たとえば、ベイヤ配列)等を有するカラーCCD(Charge Coupled Device)イメージセンサ、カラーCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等で構成される。
操作部14には、術者(ユーザ)によって操作される各種操作部材が備えられる。たとえば、湾曲部12Bのアングル操作を行うアングルノブ14A、送気送水操作を行う送気送水ボタン14B、吸引操作を行う吸引ボタン14C、静止画の撮影を行うシャッタボタン14D等が備えられる。
接続部16は、可撓性を有するコードで構成される。接続部16の先端には、光源装置20に接続するためのコネクタ16A及びプロセッサ装置30に接続するためのコネクタ16Bが備えられる。
光源装置20は、光源を備え、その光源の光を照明光として内視鏡10に供給する。内視鏡10に供給された照明光は、先端部12Aに備えられた照明窓から出射される。光源の光には、たとえば、白色光が用いられる。
プロセッサ装置30は、内視鏡10から出力される撮像信号を取り込み、所定の信号処理を施して、内視鏡10による観察画像(内視鏡画像)を生成する。また、プロセッサ装置30は、システム全体の制御部としても機能する。プロセッサ装置30は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)等を備えたコンピュータで構成され、CPUが、所定のプログラムを実行することにより、内視鏡画像を生成する機能及びシステムの各部を制御する機能等が実現される。ROMには、CPUが実行する各種プログラム、及び、制御に必要なデータ等が記憶される。RAMは、CPUに作業用のメモリ空間を提供する。
内視鏡画像処理装置40は、プロセッサ装置30から出力される内視鏡画像を取得し、表示装置50に表示させる。また、内視鏡画像処理装置40は、内視鏡画像から注目領域を検出し、その検出を報知する。内視鏡画像処理装置40は、たとえば、CPU、ROM及びRAM等を備えたコンピュータで構成され、CPUが、所定のプログラム(内視鏡画像処理プログラム)を実行することにより、内視鏡画像処理装置として機能する。ROMには、CPUが実行する各種プログラム、及び、制御に必要なデータ等が記憶される。RAMは、CPUに作業用のメモリ空間を提供する。
図3は、内視鏡画像処理装置が有する機能のブロック図である。
同図に示すように、内視鏡画像処理装置40は、内視鏡画像を取得する画像取得部40A、取得した内視鏡画像内から注目領域を検出する注目領域検出部40B、取得した内視鏡画像に基づいて、内視鏡10の動き量を推定する動き量推定部40C、及び、表示装置50への内視鏡画像の表示を制御する表示制御部40Dの機能を有する。
画像取得部40Aは、プロセッサ装置30から出力される内視鏡画像を取り込む。内視鏡画像は、医療画像の一例である。なお、内視鏡10による撮影は、あらかじめ定められたフレームレートで実施される。したがって、画像取得部40Aには、時系列の内視鏡画像が順次取り込まれる。
注目領域検出部40Bは、画像取得部40Aで取得された内視鏡画像内から注目領域を検出する。ここでの「注目領域」とは、内視鏡画像内で病変部として疑わしい領域をいう。注目領域検出部40Bは、たとえば、画像認識により、内視鏡画像内から注目領域を検出する。画像認識は、たとえば、機械学習(たとえば、深層学習等)により生成した画像認識モデルを用いて行うことができる。この他、公知の手法を用いて行うことができる。
なお、注目領域は、その位置及びサイズが特定されて検出される。位置は、たとえば、内視鏡画像内に存在する注目領域の画素位置の情報として取得される。また、サイズは、たとえば、内視鏡画像内に存在する注目領域の画素数として取得される。
動き量推定部40Cは、画像取得部40Aで取得される内視鏡画像に基づいて、内視鏡10(医療画像を撮像する機器)の動き量を推定する。より具体的には、撮像部12aを備えた内視鏡10の挿入部12の先端部12Aの動き量を推定する。ここでの「動き」には、先端部12Aの移動による動き他、先端部12Aの回転による動き、向きの変化による動き等が含まれる。「動き量」とは、このような内視鏡10の先端部12Aの動きの大きさを示す値である。
動き量推定部40Cは、あらかじめ定められたフレーム間隔で内視鏡の動き量を推定する。また、動き量推定部40Cは、画像全体の移動量に基づいて、内視鏡の動き量を推定する。たとえば、毎フレームごとに内視鏡の動き量を推定する場合は、毎フレームごとに、直前のフレームの画像との対比で画像全体の移動量を検出する。たとえば、取得した画像がNフレーム目の画像の場合、N-1フレーム目の画像との対比で画像全体の移動量を検出する。そして、検出した画像全体の移動量に基づいて、フレーム間の内視鏡の動き量を推定する。
画像全体の移動量の検出は、たとえば、次のように行われる。まず、前後のフレームにおいて、それぞれ対応する特徴点を画像全体から抽出する。抽出した特徴点の位置関係から画像全体の動きの向き及び大きさを表す動きベクトルを求める。求めた動きベクトルの大きさを移動量として取得する。特徴点を複数抽出する場合には、各特徴点から求められる動きベクトルの大きさの平均値を算出し、画像全体の移動量として取得する。
動き量推定部40Cは、注目領域検出部40Bにおいて注目領域が検出された場合に、画像取得部40Aで取得される内視鏡画像に基づいて、内視鏡10の動き量を推定する。すなわち、注目領域が検出されると、動き量の推定処理を開始する。したがって、注目領域が検出されていない場合は、動き量の推定処理は行われない。このように、注目領域が検出された場合に限り、動き量の推定処理を行うことにより、内視鏡画像処理装置40における処理負荷(計算負荷等を含む)を軽減できる。注目領域検出部40Bで注目領域が検出されると、動き量推定部40Cに注目領域の検出が通知される。動き量推定部40Cは、この検出の通知をトリガーとして、動き量の推定処理を開始する。
表示制御部40Dは、表示装置50への内視鏡画像の表示を制御する。表示制御部40Dは、注目領域が検出されていない状態では、画像取得部40Aで取得される内視鏡画像をそのまま表示装置50に表示させる。一方、注目領域が検出された場合は、注目領域を強調した画像を表示させる。
図4は、注目領域が検出されていない場合の表示画像の一例を示す図である。図5は、注目領域が検出された場合の表示画像の一例を示す図である。
図4に示すように、注目領域が検出されていない状態では、内視鏡10で撮影された内視鏡画像im1が、そのまま表示される。内視鏡画像im1は、画面内の設定された所定の表示領域Aに表示される。
一方、注目領域が検出された場合は、図5に示すように、画像内で注目領域(同図において斜線で示す楕円形の領域)Xを強調した内視鏡画像im2が表示される。内視鏡画像im2は、画面内の設定された所定の表示領域Aに表示される。注目領域Xを強調した内視鏡画像im2は、画像内で注目領域Xを矩形の枠Fで囲うことで生成される。この枠Fが表示された内視鏡画像im2が表示装置50に表示されることにより、注目領域を検出したことが報知される。
表示制御部40Dは、注目領域が検出された場合、あらかじめ定められた線の太さ(基準となる第1の太さ)で枠Fを表示する。その後、動き量推定部40Cで推定される内視鏡10の動き量に応じて、枠Fの強調度合(強調の強度と同義)を変更する。すなわち、枠Fの線の太さを変更する。具体的には、動き量推定部40Cで推定される内視鏡10の動き量が、あらかじめ定められた閾値以上の場合、枠Fの線の太さを第1の太さよりも太い第2の太さ(第1の太さ<第2の太さ)に変更する。
図6は、動き量推定部で推定される内視鏡の動き量が閾値以上の場合の表示画像の一例を示す図である。
同図に示すように、枠Fの表示後に、動き量推定部40Cで推定される内視鏡10の動き量が閾値以上になると、注目領域Xを囲う枠Fの線の太さが太くなり、強調の度合が強められる。
表示制御部40Dは、報知部の一例であり、表示装置50に表示される内視鏡画像内で枠を表示することにより、術者に注目領域の検出が報知される。なお、本例の場合、注目領域が枠で囲われるので、注目領域の検出結果(位置及びサイズ)も報知される。
表示装置50は、たとえば、液晶ディスプレイ、有機ELディスプレイ(有機EL:Organic ElectroLuminescent,OEL)等のディスプレイで構成される。表示装置50は、表示部の一例である。
[動作]
以下、本実施の形態の内視鏡システム1の動作(動作方法)について説明する。本実施の形態の内視鏡システム1では、内視鏡10で撮影すると、撮影した画像(内視鏡画像)が表示装置50に表示される(図4参照)。また、撮影した内視鏡画像から注目領域が検出される。注目領域が検出された場合は、表示画像内で注目領域が枠で囲われて、検出が報知される(図5参照)。注目領域の検出が報知されると、その後の内視鏡10の動き量に応じて、報知の態様が変更される。すなわち、枠の強調度合が変更される。以下、注目領域の検出から報知まで、及び、報知後の動作について説明する。
図7は、注目領域の検出から報知までの処理手順を示すフローチャートである。
同図に示すように、まず、内視鏡10で撮影された内視鏡画像が取得される(ステップS1)。次いで、注目領域の検出が行われる(ステップS2)。すなわち、取得された内視鏡画像に基づいて、画像内から注目領域が検出される。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される(ステップS3)。
ここで、注目領域が検出されていない場合(ステップS3がNOの場合)は、次に、撮影が終了したか否かが判定される(ステップS4)。撮影が終了したか否かは、たとえば、次のフレームの内視鏡画像の有無により判定される。画像取得部40Aにおいて、次のフレームの内視鏡画像が取得されていない場合は、撮影が終了していると判定される。撮影が終了している場合(ステップS4がYESの場合)は、処理を終了する。一方、撮影が終了していない場合(ステップS4がNOの場合)は、ステップS1に戻り、次のフレームの画像が取得される。
注目領域が検出されている場合(ステップS3がYESの場合)は、注目領域の検出が報知される(ステップS5)。すなわち、図5に示すように、表示中の内視鏡画像内で注目領域Xが枠Fで囲われて表示される。この際、枠Fが第1の太さ(基準の太さ)で表示される。
図8は、注目領域の検出の報知後の処理手順を示すフローチャートである。
報知後、まず、次のフレームの内視鏡画像が取得される(ステップS11)。次いで、注目領域の検出が行われる(ステップS12)。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される(ステップS13)。
ここで、注目領域が検出されなかった場合(ステップS13がNOの場合)は、報知が終了される(ステップS19)。すなわち、枠Fの表示が消される(注目領域の強調がオフされる)。
一方、注目領域が検出された場合(ステップS13がYESの場合)は、画像から内視鏡10の動き量が推定される(ステップS14)。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値以上か否かが判定される(ステップS15)。閾値は、あらかじめ定められる。
推定された動き量が閾値以上の場合(ステップS15がYESの場合)、図6に示すように、注目領域Xを囲う枠Fが第2の太さで表示される(ステップS16)。すなわち、強調の度合が強められて、枠Fが表示される。
一方、推定された動き量が閾値未満の場合(ステップS15がNOの場合)、第1の太さで枠Fが表示される(ステップS17)。すなわち、図5に示すように、強調度合を強めずに枠Fが表示される。
この後、撮影が終了したか否かが判定される(ステップS18)。撮影が終了している場合(ステップS18がYESの場合)は、処理が終了される。撮影が終了していない場合(ステップS18がNOの場合)は、ステップS11に戻り、次のフレームの内視鏡画像が取得される。
このように、本実施の形態の内視鏡システム1によれば、注目領域の検出を報知する枠Fの表示態様が、検出後の内視鏡10の動き量に応じて変更される。すなわち、動き量が大きい場合は、強調の度合が強められて表示される。
一般に、術者が病変部を発見した場合、術者は詳細に観察するため、内視鏡10の動きが小さくなる傾向にある。一方で、術者が病変部を探索している場合には、見落としがないように観察を続けるため、内視鏡10の動きが大きくなる傾向にある。
自動で注目領域を検出した場合に、内視鏡10の動きが大きい場合は、術者が気付かず通り過ぎている場合と想定される。したがって、このような場合は、見逃し防止のために強調の度合を強める。これにより、注目領域の検出を適切に報知できる。
また、本実施の形態の内視鏡システム1によれば、注目領域が検出された場合に限り、動き量の推定処理が行われる。これにより、処理負荷を軽減でき、よりスムーズな診断を行うことができる。
なお、処理負荷を考慮しなくてよい場合などには、撮影開始から継続して、内視鏡の動き量を推定する構成とすることもできる。
[第1の実施の形態の内視鏡システムの変形例]
[1]枠を用いて注目領域を強調する場合の強調度合の変更方法の変形例
上記実施の形態では、枠の線の太さを変えて、強調度合を変える構成としているが、強調度合を変更する方法は、これに限定されるものではない。この他、たとえば、枠の線種、色、形状、点滅度合及び明るさ等を変えて、注目領域の強調度合を変更することができる。
ここで、枠の線種を変えて強調度合を変更する場合とは、たとえば、破線を基準の線種(注目領域が検出された場合に最初に表示される線種)とし、閾値以上の動き量が推定された場合に実線に変更する場合などが例示される。あるいは、実線を基準の線種とし、閾値以上の動き量が推定された場合に二重線に変更する場合などが例示される。
また、枠の色を変えて強調度合を変更する場合とは、枠の色をより視認しやすい色(目立つ色)に変更する場合などである。たとえば、白を基準の色(注目領域が検出された場合に最初に表示される枠の色)とし、閾値以上の動き量が推定された場合に赤色又は黄色に変更する態様などが例示される。
また、枠の形状を変えて強調度合を変更する場合とは、枠の形状をより視認しやすい形状(目立つ形状)に変更する場合などである。
図9は、枠の形状を変えて強調度合を変更する場合の表示画像の一例を示す図である。同図(A)は、注目領域が検出された場合に表示装置50に表示される画像の一例を示している。また、同図(B)は、注目領域の検出後の動き量が閾値以上の場合に表示装置50に表示される画像の一例を示している。
図9(A)に示すように、内視鏡画像内から注目領域Xが検出された場合は、矩形の四隅のみを囲う形状の枠F(基準形状の枠)を表示する。一方、その基準形状の枠Fの表示後に、閾値以上の動き量が推定された場合は、同図(B)に示すように、注目領域Xの周囲を完全に囲う形状の枠Fに変更する。
また、点滅度合を変更するとは、枠を点滅させて表示させる場合において、点滅の速さ(点滅速度)を変更することをいう。たとえば、注目領域が検出された場合は、第1の点滅速度(基準の点滅速度)で枠を点滅させて表示し、閾値以上の動き量が推定された場合は、第1の点滅速度よりも速い第2の点滅速度で枠を点滅させて表示させる。この他、たとえば、注目領域が検出された場合は、点滅させずに枠を表示し、閾値以上の動き量が推定された場合に点滅させて表示させる態様が例示される。
また、枠の明るさを変えて強調度合を変更する場合とは、たとえば、注目領域が検出された場合は、第1の明るさ(基準の明るさ)で枠を表示し、閾値以上の動き量が推定された場合は、第1の明るさよりも明るい第2の明るさで枠を表示させる。
これらは組み合わせで使用できる。たとえば、枠の太さと明るさを変えて、注目領域の強調度合を変更することができる。また、たとえば、枠の太さと点滅度合を変えて、注目領域の強調度合を変更することができる。更に、枠の太さと明るさと点滅度合を変えて、注目領域の強調度合を変更することができる。
[2]動き量に応じた強調度合の変更方法の変形例
上記実施の形態では、推定された動き量を閾値と比較し、閾値以上の場合に強調度合を強める(枠を太くする)構成としているが、動き量に応じた強調度合の変更方法は、これに限定されるものではない。以下、動き量に応じた強調度合の変更方法の変形例について説明する。
(a)動き量に応じた強調度合の変更方法の変形例1
本変形例では、内視鏡の動き量が閾値未満の場合、注目領域の強調度合を弱くする。すなわち、枠Fの線の太さを細くする。以下、本手法で内視鏡画像を表示する場合の処理手順について説明する。なお、注目領域の検出から報知までの処理手順は、上記実施の形態と同じである(図7参照)。したがって、ここでは、報知後の処理についてのみ説明する。
図10は、本変形例における注目領域の検出の報知後の処理手順を示すフローチャートである。
報知後、まず、次のフレームの内視鏡画像が取得される(ステップS21)。次いで、注目領域の検出が行われる(ステップS22)。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される(ステップS23)。
ここで、注目領域が検出されなかった場合(ステップS23がNOの場合)は、報知が終了される(ステップS29)。すなわち、枠Fの表示が消される(注目領域の強調がオフされる)。
一方、注目領域が検出された場合(ステップS23がYESの場合)は、画像から内視鏡10の動き量が推定される(ステップS24)。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値未満か否かが判定される(ステップS25)。閾値は、あらかじめ定められる。
推定された動き量が閾値未満の場合(ステップS25がYESの場合)、注目領域Xを囲う枠Fが第3の太さで表示される(ステップS26)。第3の太さは、第1の太さよりも細く設定される(第3の太さ<第1の太さ)。図11は、動き量が閾値未満の場合に表示装置に表示される画像の一例を示す図である。同図に示すように、注目領域Xを囲う枠Fの太さが細くなり、強調の度合が弱められる。
一方、推定された動き量が閾値以上の場合(ステップS25がNOの場合)、第1の太さで枠Fが表示される(ステップS27)。すなわち、図5に示すように、強調度合を弱めずに枠Fが表示される。
この後、撮影が終了したか否かが判定される(ステップS28)。撮影が終了している場合(ステップS28がYESの場合)は、処理が終了される。撮影が終了していない場合(ステップS28がNOの場合)は、ステップS21に戻り、次のフレームの内視鏡画像が取得される。
このように、本変形例では、注目領域を強調して表示した後の内視鏡の動き量が小さい場合に、注目領域の強調度合が弱められる(注目領域を囲う枠の線が細くされる)。上記のように、術者が病変部を発見した場合、術者は詳細に観察するため、内視鏡10の動きが小さくなる傾向にある。注目領域の検出後に内視鏡10の動きが小さくなった場合は、術者も気づいていると考えられる。よって、注目領域の検出後に内視鏡10の動きが小さくなった場合に、同じ強度で報知を続けると、集中力の低下を招き得る。このため、注目領域の検出後に内視鏡の動き量が小さくなった場合は、注目領域の強調度合を弱める。これにより、注目領域の検出を適切に報知できる。
なお、本例では、推定された動き量が閾値未満の場合に、強調の度合を弱める構成(枠の線を細くする)としているが、強調表示をオフにする構成(枠を消し、報知を終了する)とすることもできる。
また、本例では、枠の線の太さを変えて強調度合を変える例で説明したが、枠の線種、枠の点滅度合又は枠の明るさ等を変えて、強調度合を変更することもできる。
(b)動き量に応じた強調度合の変更方法の変形例2
本変形例では、内視鏡の動き量が第1の閾値以上の場合、注目領域の強調度合を強くし、第2の閾値未満の場合、注目領域の強調度合を弱くする。なお、注目領域の検出から報知までの処理の手順は、上記実施の形態と同じである(図7参照)。したがって、ここでは、報知後の処理についてのみ説明する。
図12は、本変形例における注目領域の検出の報知後の処理手順を示すフローチャートである。
まず、内視鏡画像が取得される(ステップS31)。次いで、注目領域の検出が行われる(ステップS32)。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される(ステップS33)。
ここで、注目領域が検出されなかった場合(ステップS33がNOの場合)は、報知が終了される(ステップS41)。すなわち、枠Fの表示が消される(注目領域の強調がオフされる)。
一方、注目領域が検出された場合(ステップS33がYESの場合)は、画像から内視鏡10の動き量が推定される(ステップS34)。そして、推定された動き量と第1の閾値とが比較され、推定された動き量が第1閾値以上か否かが判定される(ステップS35)。第1の閾値は、あらかじめ定められる。
推定された動き量が第1の閾値以上の場合(ステップS35がYESの場合)、注目領域Xを囲う枠Fが第2の太さ(第1の太さ<第2の太さ)で表示される(ステップS36)。すなわち、図6に示すように、より太い太さの枠Fで注目領域Xが囲われて表示され、注目領域Xの強調度合が強められる。
一方、推定された動き量が、第1の閾値未満の場合(ステップS35がNOの場合)は、推定された動き量と第2の閾値とが比較され、推定された動き量が第2閾値未満か否かが判定される(ステップS37)。第2の閾値は、あらかじめ定められる。第2の閾値は、第1の閾値よりも小さい値に設定される(第2の閾値<第1の閾値)。
推定された動き量が第2の閾値未満の場合(ステップS37がYESの場合)、注目領域Xを囲う枠Fが第3の太さ(第3の太さ<第1の太さ)で表示される(ステップS38)。すなわち、図11に示すように、より細い太さの枠Fで注目領域Xが囲われて表示され、注目領域Xの強調度合が弱められる。
一方、推定された動き量が第2の閾値以上の場合(ステップS37がNOの場合)、注目領域Xを囲う枠Fが第1の太さ(第3の太さ<第1の太さ<第2の太さ)で表示される(ステップS39)。すなわち、図5に示すように、強調度合は変更されず、基準の太さ(第1の太さ)で枠Fが表示される。
この後、撮影が終了したか否かが判定される(ステップS40)。撮影が終了している場合(ステップS40がYESの場合)は、処理が終了される。撮影が終了していない場合(ステップS40がNOの場合)は、ステップS31に戻り、次の内視鏡画像が取得される。
このように、本変形例では、注目領域を強調して表示した後に内視鏡10の動き量が推定され、推定された内視鏡10の動き量が大きい場合は、強調の度合が強められる(枠Fの線が太くされる)。また、推定された内視鏡10の動き量が小さい場合は、強調の度合が弱められる(枠Fの線が細くされる)。
自動で注目領域を検出した場合に、内視鏡10の動きが大きい場合は、術者が気付かず通り過ぎている場合と想定される。よって、この場合は、見逃し防止のために、強調の度合を強める。一方で、注目領域の検出後に内視鏡10の動きが小さくなった場合は、術者も気づいていると想定される。よって、この場合は、集中力の低下を防ぐために、強調の度合を弱める。これにより、注目領域の検出を適切に報知できる。
なお、本例では、推定された動き量が、第2の閾値未満の場合に、強調の度合を弱める構成(枠の線を細くする)としているが、強調表示をオフにする構成(枠を消す)とすることもできる。
また、本例では、枠の線の太さを変えて強調度合を変える例で説明したが、枠の線種、枠の点滅度合又は枠の明るさ等を変えて、強調度合を変更することもできる。
(c)動き量に応じた強調度合の変更方法の変形例3
上記実施の形態では、強調度合を二段階で変更させる構成としているが、更に多段階で変更させる構成とすることもできる。すなわち、内視鏡10の動き量に応じて段階的に強調の度合を変更させる構成とすることもできる。たとえば、枠の線の太さを変えて強調の度合を変更する場合には、動き量に応じて、枠の線の太さを段階的に変更させることもできる。
[第2の実施の形態]
[構成]
本実施の形態では、内視鏡画像内から注目領域が検出された場合に、その検出を音で術者に報知する。そして、報知後は、内視鏡の動き量に応じて音量を変更する。
図13は、本実施の形態の内視鏡システムのシステム構成図である。
同図に示すように、本実施の形態の内視鏡システム1は、更にスピーカ60を備える点で上記第1の実施の形態の内視鏡システム1と相違する。
図14は、内視鏡画像処理装置が有する機能のブロック図である。
同図に示すように、本実施の形態の内視鏡画像処理装置40は、スピーカ60から発生させる音声の出力を制御する音声出力制御部40Eの機能を更に有する点で上記第1の実施の形態の内視鏡画像処理装置40と相違する。以下においては、第1の実施の形態の内視鏡画像処理装置40との主な相違点についてのみ説明する。
本実施の形態の内視鏡システム1では、内視鏡画像内から注目領域が検出された場合に、検出された注目領域Xが枠Fで囲われた内視鏡画像が表示装置50に表示される(図5参照)。また、これと同時に所定の報知音(注目領域の検出を報知する音声)がスピーカ60から出力される。報知音は、その後の内視鏡の動き量に応じて、音量が変更される。具体的には、動き量推定部40Cで推定される内視鏡10の動き量が、あらかじめ定められた閾値以上の場合、音量が大きくされる。
上記のように、スピーカ60から発生させる音声の出力は、音声出力制御部40Eによって制御される。音声出力制御部40Eは、注目領域検出部40Bによる注目領域の検出結果、及び、動き量推定部40Cによる内視鏡の動き量の推定結果に基づいて、スピーカ60からの報知音の出力を制御する。具体的には、以下の処理を実施する。音声出力制御部40Eは、注目領域検出部40Bによって注目領域が検出されると、あらかじめ定められた第1の音量で報知音をスピーカ60から出力させる。その後、音声出力制御部40Eは、動き量推定部40Cで推定される内視鏡の動き量に応じて、報知音の音量を変化させる。具体的には、動き量が閾値以上になると、第1の音量よりも大きな第2の音量(第1の音量<第2の音量)に変更する。
本実施の形態の内視鏡システム1において、音声出力制御部40E及びスピーカ60は、報知部の一例である。
[動作]
注目領域の検出から報知までの処理の手順は、枠を表示させて検出を報知する場合と同じなので、ここでは、検出の報知後の処理についてのみ説明する。
なお、本実施の形態の内視鏡システムでは、音で注目領域の検出を報知するので、注目領域が検出されると、スピーカ60からの報知音が出力される。この際、第1の音量で報知音が出力されて、注目領域の検出が報知される。
図15は、注目領域の検出の報知後の処理手順を示すフローチャートである。
報知後、まず、次のフレームの内視鏡画像が取得される(ステップS51)。次いで、注目領域の検出が行われる(ステップS52)。次いで、注目領域の検出結果に基づいて、注目領域が検出されたか否かが判定される(ステップS53)。
ここで、注目領域が検出されなかった場合(ステップS53がNOの場合)は、報知音の出力がオフされる(ステップS59)。
一方、注目領域が検出された場合(ステップS53がYESの場合)、画像から内視鏡10の動き量が推定される(ステップS54)。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値以上か否かが判定される(ステップS55)。閾値は、あらかじめ定められる。
推定された動き量が閾値以上の場合(ステップS55がYESの場合)、報知音が、より大きな音量である第2の音量でスピーカ60から出力される(ステップS56)。
一方、推定された動き量が閾値未満の場合(ステップS55がNOの場合)、報知音が、第1の音量でスピーカ60から出力される(ステップS57)。
この後、撮影が終了しているか否かが判定される(ステップS58)。撮影が終了している場合(ステップS58がYESの場合)は、処理が終了される。撮影が終了していない場合(ステップS58がNOの場合)は、ステップS51に戻り、次の内視鏡画像が取得される。
このように、本実施の形態の内視鏡システム1によれば、注目領域の検出を音で報知する場合において、その音量が、検出後の内視鏡10の動き量に応じて変更される。これにより、自動で注目領域を検出した場合に、その見逃しを適切に防止できる。
なお、本実施の形態では、注目領域の検出を音でのみ報知する場合を例に説明したが、画面上での報知と組み合わせて使用することもできる。すなわち、音による報知とは別に、内視鏡画像を表示する表示画面上で注目領域を強調表示して、検出の結果を表示することもできる。
[第2の実施の形態の内視鏡システムの変形例]
上記実施の形態では、動き量に応じて、報知音の音量を変更する構成としているが、その他、報知音の音色又は種類を変更する構成とすることもできる。また、音量、音色及び種類の組み合わせを変更する構成とすることもできる。
また、上記実施の形態では、推定された動き量を閾値と比較し、閾値以上の場合に報知音の音量を大きくする構成としているが、音量を変更する態様は、これに限定されるものではない。たとえば、推定された動き量を閾値と比較し、閾値未満の場合に報知音の音量を小さく、又は、報知音をオフにする構成とすることもできる。また、推定された動き量を第1の閾値及び第2の閾値(第2の閾値<第1の閾値)と比較し、内視鏡の動き量が第1の閾値以上の場合に音量を大きくし、第2の閾値未満の場合に音量を小さくする、又は、報知音をオフにする構成とすることもできる。
また、動き量に応じて、報知音の音量を段階的に変化させる構成とすることもできる。また、音と共に注目領域の表示態様も変化させてもよい。
[第3の実施の形態]
本実施の形態の内視鏡システムでは、撮影した内視鏡画像から注目領域を自動で検出する場合において、注目領域が検出された場合に、その後の内視鏡の動き量に基づいて検出結果を示す画像が表示される。すなわち、検出後に一定以上の動き量で内視鏡が動かされた場合に、検出結果を示す画像が表示される。
内視鏡システムの基本構成は、第1の実施の形態と同じである。内視鏡画像処理装置40が有する機能が異なる。したがって、ここでは、内視鏡画像処理装置40の有する機能についてのみ説明する。
図16は、本実施の形態の内視鏡画像処理装置が有する機能のブロック図である。
同図に示すように、内視鏡画像処理装置40は、注目領域の検出結果を示す画像を生成する画像生成部40F、及び、その画像生成部40Fで生成された画像を記憶する画像記憶部40Gの機能を更に有する点で上記第1の実施の形態の内視鏡画像処理装置40と相違する。
画像生成部40Fは、注目領域の検出結果を示す画像として、内視鏡画像内で注目領域を強調した画像(強調画像)を生成する。画像生成部40Fは、注目領域検出部40Bによる注目領域の検出結果に基づいて、画像取得部40Aで取得される内視鏡画像から強調画像を生成する。図17は、強調画像の一例を示す図である。同図に示すように、強調画像im3は、内視鏡画像im内で注目領域(同図において斜線で示す楕円形の領域)Xを矩形の枠Fで囲った画像で構成される。画像生成部40Fは、情報生成部の一例である。また、強調画像は、注目領域の検出結果を示す情報の一例である。
画像記憶部40Gは、画像生成部40Fで生成された強調画像を記憶する。画像記憶部40Gは、画像生成部40Fで順次生成される強調画像を順次書き換えながら記憶する。したがって、画像記憶部40Gには、最新の強調画像が記憶される。画像記憶部40Gは、RAMで構成される。画像記憶部40Gは、記憶部の一例である。
表示制御部40Dは、画像取得部40Aで取得される内視鏡画像(内視鏡10で撮影された画像)を表示装置50に表示させる。この際、表示制御部40Dは、表示装置50の画面内に設定された第1表示領域A1に内視鏡画像を表示させる。また、表示制御部40Dは、一定の条件下で画像記憶部40Gに記憶された強調画像を表示装置50に表示させる。強調画像を表示させる条件は、次のとおりである。すなわち、注目領域検出部40Bにおいて注目領域が検出され、かつ、その後の内視鏡10の動き量が閾値以上の場合である。内視鏡10の動き量は、注目領域の検出後に動き量推定部40Cで推定される内視鏡10の動き量である。この条件を満たす場合に、強調画像が表示装置50に表示される。強調画像は、表示装置50の画面内に設定された第2表示領域A2に表示される。第2表示領域A2は、第1表示領域A1とは異なる領域である。
図18は、通常の表示状態での表示画像の一例を示す図である。なお、ここでの「通常の表示状態」とは、強調画像を表示していない状態をいう。
同図に示すように、通常の表示状態では、内視鏡10で撮影された内視鏡画像imのみが画面に表示される。内視鏡画像imは、第1表示領域A1に表示される。
図19は、強調画像を表示した場合の表示画像の一例を示す図である。
同図に示すように、内視鏡10で撮影された内視鏡画像imが第1表示領域A1に表示され、かつ、強調画像im3が第2表示領域A2に表示される。
図18及び図19に示す例では、画面左寄りの位置に大きく第1表示領域A1(いわゆるメインウインドウ)を設定し、画面右下の位置に小さく第2表示領域A2(いわゆるサブウインドウ)を設定した場合の例を示している。
表示制御部40Dは、動き量推定部40Cで推定される内視鏡10の動き量に基づいて、強調画像の表示の要否を判定する。具体的には、動き量推定部40Cで推定される内視鏡10の動き量と閾値とを比較し、動き量が閾値以上の場合に強調画像を第2表示領域A2に表示させると判定する。
なお、動き量推定部40Cは、注目領域検出部40Bで注目領域が検出された場合に、動き量の推定処理を行う。したがって、表示制御部40Dには、注目領域が検出された場合にのみ、以後の内視鏡10の動き量の推定結果が出力される。
[動作]
図20は、本実施の形態の内視鏡システムにおける内視鏡画像の表示の処理手順を示すフローチャートである。
まず、内視鏡10で撮影された内視鏡画像が取得される(ステップS61)。そして、取得された内視鏡画像が表示装置50に表示される(ステップS62)。内視鏡画像は、図18に示すように、第1表示領域A1に表示される。また、取得された内視鏡画像から注目領域の検出が行われる(ステップS63)。そして、その検出結果に基づいて、注目領域が検出されたか否かが判定される(ステップS64)。
注目領域が検出されなかった場合(ステップS64がNOの場合)は、ステップS69に進み、撮影が終了したか否かが判定される。一方、注目領域が検出された場合(ステップS64がYESの場合)は、強調画像が生成され、生成された強調画像が画像記憶部40Gに記憶される(ステップS65)。
また、注目領域が検出されると、画像から内視鏡10の動き量が推定される(ステップS66)。そして、推定された動き量と閾値とが比較され、推定された動き量が閾値以上か否かが判定される(ステップS67)。
推定された動き量が閾値未満の場合(ステップS67がNOの場合)は、ステップS69に進み、撮影が終了したか否かが判定される。一方、推定された動き量が閾値以上の場合(ステップS67がYESの場合)、図19に示すように、第2表示領域A2に強調画像im3が表示された画像が表示装置50に表示される(ステップS68)。この後、撮影が終了しているか否かが判定される(ステップS69)。撮影が終了している場合(ステップS69がYESの場合)は、処理が終了される。撮影が終了していない場合(ステップS69がNOの場合)は、ステップS61に戻り、次の内視鏡画像が取得される。
なお、第2表示領域A2に表示された強調画像は、最後に表示されてから一定時間経過後に消去される。消去されるまでの時間は、あらかじめ定められる(たとえば、6秒)。なお、この時間を術者が任意に設定できるようにしてもよい。
このように、本実施の形態の内視鏡システムによれば、一定以上の動き量で内視鏡10が動かされた場合にのみ注目領域の検出結果を示す画像が表示装置50に表示される。
注目領域が検出されたフレームがわずかな場合に、術者が気付いていない病変では見逃してしまう可能性がある。この場合、注目領域の検出結果を示す画像を表示装置50に表示することで、見逃しを低減できる。一方で、術者が気付いている場合にも、当該画像が表示されると、冗長な情報となり、集中力の低下を招き得る。
本実施の形態の内視鏡システムでは、一定以上の動き量で内視鏡10が動かされた場合にのみ注目領域の検出結果を示す画像が表示装置50に表示されるので、適切に検出を報知できる。すなわち、見逃している可能性が高い場合のみ結果が表示されるので、適切に検出を報知できる。見逃している可能性が高い場合とは、注目領域の自動検出後に内視鏡10が大きく動かされている場合である。これにより、診断に影響することなく、見逃しを低減できる。
[第3の実施の形態の内視鏡システムの変形例]
上記実施の形態では、動き量に応じて、報知音の音量を変更する構成としているが、その他、報知音の音色又は種類を変更する構成とすることもできる。また、音量、音色及び種類の組み合わせを変更する構成とすることもできる。
また、上記実施の形態では、推定された動き量を閾値と比較し、閾値以上の場合に報知音の音量を大きくする構成としているが、音量を変更する態様は、これに限定されるものではない。たとえば、推定された動き量を閾値と比較し、閾値未満の場合に報知音の音量を小さく、又は、報知音をオフにする構成とすることもできる。また、推定された動き量を第1の閾値及び第2の閾値(第2の閾値<第1の閾値)と比較し、内視鏡の動き量が第1の閾値以上の場合に音量を大きくし、第2の閾値未満の場合に音量を小さくする、又は、報知音をオフにする構成とすることもできる。
また、動き量に応じて、報知音の音量を段階的に変化させる構成とすることもできる。また、音と共に注目領域の表示態様も変化させてもよい。
[第3の実施の形態の内視鏡システムの変形例]
[強調画像の変形例]
上記実施の形態では、強調画像として、内視鏡画像内で注目領域を枠で囲った画像を生成する場合を例に説明したが、強調画像の構成は、これに限定されるものではない。内視鏡画像内で注目領域を識別可能な画像であればよい。
[注目領域の検出結果を示す情報の変形例]
上記実施の形態では、注目領域の検出結果を示す情報として、強調画像を生成する場合を例に説明したが、注目領域の検出結果を示す情報の形態は、これに限定されるものではない。この他、たとえば、内視鏡画像から注目領域を切り出した画像(いわゆるクロップ画像)を注目領域の検出結果を示す情報として生成してもよい。図21は、クロップ画像の生成の概念図である。同図に示すように、内視鏡画像imから注目領域Xを含んだ領域Wの画像を切り出して、クロップ画像im4を生成する。注目領域の検出結果を示す情報を表示する場合は、このクロップ画像im4を第2表示領域A2に表示する。
[音による注目領域の報知]
注目領域が検出された場合に、その検出を音で報知してもよい。音の報知を利用する場合であっても、画面上での注目領域を認識できない場合が考えられる。このような場合にも、報知後に動き量が低下しない場合には、見逃していると判断して、注目領域の検出結果を表示することにより、適切に見逃しを防止できる。
[その他の実施の形態]
[動き量の推定方法について]
上記実施の形態では、内視鏡(医療画像を撮像する機器)の動き量を推定する際、前後のフレーム間での画像全体の移動量に基づいて、内視鏡の動き量を推定する構成としているが、内視鏡の動き量を推定する方法は、これに限定されるものではない。この他、たとえば、内視鏡画像内における注目領域の移動量に基づいて、内視鏡の動き量を推定することもできる。注目領域の移動量については、たとえば、まず、前後のフレームにおいて、それぞれ対応する特徴点を注目領域から抽出する。そして、抽出した特徴点の位置関係から注目領域の動きベクトルを求める。求めた動きベクトルの大きさを注目領域の移動量として取得する。特徴点を複数抽出する場合には、各特徴点から求められる動きベクトルの大きさの平均値を算出し、注目領域の移動量として取得する。
この他、内視鏡画像から内視鏡(医療画像を撮像する機器)の動き量を推定する方法については、各種公知の手法(時系列の画像(動画)から撮像部の動き量を推定する手法)を採用できる。
[その他の医療画像処理システムへの適用について]
上記実施の形態では、医療画像として内視鏡で撮影された画像(内視鏡画像)を処理するシステム(内視鏡システム)に本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。この他、たとえば、医療画像として超音波診断画像を処理するシステム(超音波診断システム)等にも適用できる。超音波診断システムでは、内視鏡システムと同様に、超音波プローブ(医療画像を撮像する機器)を動かしながら病変を探す操作が行われる。したがって、内視鏡システムと同様に、本発明が有効に作用する。超音波診断システム以外にも、機器を動かしながら病変等を探す操作が行われるシステムであれば、同様に適用でき、かつ、有効に機能させることができる。
[内視鏡画像処理装置のハードウェア構成について]
内視鏡画像処理装置の諸機能は、各種のプロセッサ(processor)で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。たとえば、1つの処理部は、複数のFPGA、又は、CPU及びFPGAの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
また、内視鏡画像処理装置の機能は、内視鏡装置を構成するプロセッサ装置に搭載することもできる。
[照明光について]
照明光は、白色光、あるいは、1又は複数の特定の波長帯域の光、あるいは、これらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
特定の波長帯域の第1例は、たとえば、可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下の波長帯域又は530nm以上550nm以下の波長帯域を含み、かつ、第1例の光は、390nm以上450nm以下の波長帯域内又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、たとえば、可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下の波長帯域又は610nm以上730nm以下の波長帯域を含み、かつ、第2例の光は、585nm以上615nmの波長帯域内以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nmの波長帯域、470±10nmの波長帯域、又は600nm以上750nm以下の波長帯域を含み、かつ、第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、390nmから470nmである。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下の波長帯域又は905nm以上970nm以下の波長帯域を含み、かつ、第5例の光は、790nm以上820nm以下の波長帯域内又は905nm以上970nm以下の波長帯域内にピーク波長を有する。
[照明光の切り替えについて]
光源の種類は、レーザ光源、キセノン光源、若しくは、LED光源(LED:Light-Emitting Diode)、又は、これらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び/又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
[撮像部について]
内視鏡の撮像部に備えられるイメージセンサは、各画素に対しカラーフィルタが配設されたカラーイメージセンサに限定されるものではなく、モノクロイメージセンサでもよい。モノクロイメージセンサを用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、白色光を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は、波長の異なる2波長以上の赤外光でもよい。
[特殊光画像の生成例]
プロセッサ装置は、白色光を用いて撮像して得られた画像(いわゆる通常光画像)に基づいて、特定の波長帯域の情報を有する画像(いわゆる特殊光画像)を生成してもよい。プロセッサ装置は、たとえば、通常光画像に含まれる赤(Red、R)、緑(Green、G)及び青(Blue、B)、又は、シアン(Cyan,C)、マゼンタ(Magenta,M)及びイエロー(Yellow,Y)の色情報に基づく演算を行うことで、特定の波長帯域の信号を取得できる。
[コンピュータに内視鏡画像処理装置の機能を実現させるプログラムについて]
上記の実施形態で説明した内視鏡画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
また、上記の実施形態で説明した内視鏡画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
[実施形態及び変形例等の組み合わせについて]
上記実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
1 内視鏡システム
10 内視鏡
12 挿入部
12A 先端部
12B 湾曲部
12C 軟性部
12a 撮像部
14 操作部
14A アングルノブ
14B 送気送水ボタン
14C 吸引ボタン
14D シャッタボタン
16 接続部
16A コネクタ
16B コネクタ
20 光源装置
30 プロセッサ装置
40 内視鏡画像処理装置
40A 画像取得部
40B 注目領域検出部
40C 動き量推定部
40D 表示制御部
40E 音声出力制御部
40F 画像生成部
40G 画像記憶部
50 表示装置
60 スピーカ
A 表示領域
A1 第1表示領域
A2 第2表示領域
F 枠
W クロップ画像を切り取る領域
X 注目領域
im 内視鏡画像
im1 内視鏡画像
im2 内視鏡画像
im3 強調画像
im4 クロップ画像
S1~S5 注目領域の検出から報知までの処理手順
S11~S19 注目領域の検出の報知後の処理手順
S21~S29 注目領域の検出の報知後の処理手順
S31~S41 注目領域の検出の報知後の処理手順
S51~S59 注目領域の検出の報知後の処理手順
S61~S69 内視鏡画像の表示の処理手順

Claims (23)

  1. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値以上の場合に前記注目領域の強調度合を強くする、
    医療画像処理システム。
  2. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値未満の場合に前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフする、
    医療画像処理システム。
  3. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が第1の閾値以上の場合に前記注目領域の強調度合を強くし、第2の閾値未満の場合に前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフする、
    医療画像処理システム。
  4. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値以上の場合に前記音の音量を大きくする、
    医療画像処理システム。
  5. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフする、
    医療画像処理システム。
  6. 医療画像を取得する画像取得部と、
    前記医療画像を表示する表示部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
    を備え、
    前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が第1の閾値以上の場合に前記音の音量を大きくし、第2の閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフする、
    医療画像処理システム。
  7. 前記報知部は、前記表示部に表示される前記医療画像内で前記注目領域を枠で囲って前記注目領域を強調する、
    請求項1から3のいずれか1項に記載の医療画像処理システム。
  8. 前記報知部は、前記枠の太さ、線種、色、形状、点滅度合及び明るさの少なくとも一つを変えて、前記注目領域の強調度合を変更する、
    請求項に記載の医療画像処理システム。
  9. 前記動き量推定部は、前記注目領域が検出された場合に前記動き量を推定する、
    請求項1から8のいずれか1項に記載の医療画像処理システム。
  10. 医療画像を取得する画像取得部と、
    前記医療画像内から注目領域を検出する注目領域検出部と、
    前記注目領域が検出された場合に検出結果を示す情報を生成する情報生成部と、
    前記情報生成部で生成された画像を記憶する記憶部と、
    前記注目領域が検出された場合に前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
    画面内に第1表示領域及び第2表示領域を有する表示部と、
    前記画像取得部で取得される前記医療画像を前記第1表示領域に表示する一方、前記注目領域が検出された場合において、前記注目領域の検出後に前記動き量推定部で推定される前記動き量が閾値以上の場合に、前記記憶部に記憶された情報を前記第2表示領域に表示する表示制御部と、
    を備えた医療画像処理システム。
  11. 前記情報生成部は、前記注目領域の検出結果を示す情報として、前記医療画像内で前記注目領域を強調した画像を生成する、
    請求項10に記載の医療画像処理システム。
  12. 前記情報生成部は、前記医療画像内で前記注目領域を枠で囲って強調した画像を生成する、
    請求項11に記載の医療画像処理システム。
  13. 前記情報生成部は、前記注目領域の検出結果を示す情報として、前記医療画像から前記注目領域を切り出した画像を生成する、
    請求項10に記載の医療画像処理システム。
  14. 前記動き量推定部は、あらかじめ定められたフレーム間隔で前記動き量を推定する、
    請求項1から13のいずれか一項に記載の医療画像処理システム。
  15. 前記動き量推定部は、画像全体の移動量に基づいて前記動き量を推定する、
    請求項14に記載の医療画像処理システム。
  16. 前記動き量推定部は、前記注目領域の移動量に基づいて前記動き量を推定する、
    請求項14に記載の医療画像処理システム。
  17. 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値以上の場合に、前記表示制御部が、前記注目領域の強調度合を強めるステップと、
    を含む医療画像処理装置の作動方法
  18. 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値未満の場合に、前記表示制御部が、前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフするステップと、
    を含む医療画像処理装置の作動方法
  19. 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が第1の閾値以上の場合に、前記表示制御部が、前記注目領域の強調度合を強くし、第2の閾値未満の場合に、前記表示制御部が、前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフするステップと、
    を含む医療画像処理装置の作動方法
  20. 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値以上の場合に、前記音声出力制御部が、前記音の音量を大きくするステップと、
    を含む医療画像処理装置の作動方法
  21. 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値未満の場合に、前記音声出力制御部が、前記音の音量を小さくする、又は、前記音をオフするステップと、
    を含む医療画像処理装置の作動方法
  22. 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が第1の閾値以上の場合に、前記音声出力制御部が、前記音の音量を大きくし、第2の閾値未満の場合に、前記音声出力制御部が、第2の閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフするステップと、
    を含む医療画像処理装置の作動方法
  23. 画像取得部と、注目領域検出部と、情報生成部と、動き量推定部と、表示制御部と、を備える医療画像処理装置の作動方法であって、
    前記画像取得部が、医療画像を取得するステップと、
    前記表示制御部が、前記医療画像を表示部の画面内に設定された第1表示領域に表示するステップと、
    前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
    前記注目領域が検出された場合に、前記情報生成部が検出結果を示す情報を生成するステップと、
    生成された前記注目領域の検出結果を示す情報を記憶部に記憶するステップと、
    前記注目領域が検出された場合に、前記動き量推定部が、前記医療画像を撮像する機器の動き量を推定するステップと、
    推定された前記動き量が閾値以上の場合に、前記表示制御部が、前記記憶部に記憶された情報を前記表示部の前記画面内に設定された第2表示領域に表示するステップと、
    を含む医療画像処理装置作動方法。
JP2021542746A 2019-08-27 2020-08-14 医療画像処理システム及び医療画像処理装置の作動方法 Active JP7225417B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019154640 2019-08-27
JP2019154640 2019-08-27
PCT/JP2020/030875 WO2021039438A1 (ja) 2019-08-27 2020-08-14 医療画像処理システム及びその動作方法

Publications (3)

Publication Number Publication Date
JPWO2021039438A1 JPWO2021039438A1 (ja) 2021-03-04
JPWO2021039438A5 JPWO2021039438A5 (ja) 2022-05-19
JP7225417B2 true JP7225417B2 (ja) 2023-02-20

Family

ID=74684555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021542746A Active JP7225417B2 (ja) 2019-08-27 2020-08-14 医療画像処理システム及び医療画像処理装置の作動方法

Country Status (3)

Country Link
US (1) US20220172827A1 (ja)
JP (1) JP7225417B2 (ja)
WO (1) WO2021039438A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136899A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
US20240206703A1 (en) * 2021-03-31 2024-06-27 Riken Tomographic image processing device, tomographic image processing method, program, information recording medium, and puncture member

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096279A1 (ja) 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2014091964A1 (ja) 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
WO2016199273A1 (ja) 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2018198161A1 (ja) 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6150554B2 (ja) * 2013-02-26 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6833870B2 (ja) * 2016-12-07 2021-02-24 オリンパス株式会社 画像処理装置
JP2020024286A (ja) * 2018-08-07 2020-02-13 オリンパス株式会社 計測装置、計測装置の作動方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096279A1 (ja) 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2014091964A1 (ja) 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
WO2016199273A1 (ja) 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2018198161A1 (ja) 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Also Published As

Publication number Publication date
US20220172827A1 (en) 2022-06-02
WO2021039438A1 (ja) 2021-03-04
JPWO2021039438A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
US8734333B2 (en) Endoscope system, endoscope video processor and method of driving endoscope system
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7225417B2 (ja) 医療画像処理システム及び医療画像処理装置の作動方法
JP2023080276A (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
US12035879B2 (en) Medical image processing apparatus, endoscope system, and medical image processing method
CN111526773B (zh) 内窥镜图像获取系统及方法
CN112654283B (zh) 医疗图像处理装置、医疗图像处理方法、内窥镜系统及记录介质
US20240304311A1 (en) Medical image processing apparatus, medical image proces sing method, program, and diagnosis support apparatus
JP6807469B2 (ja) 内視鏡システム及び内視鏡プロセッサ
JP7507797B2 (ja) 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体
JP2023014288A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP2022136171A (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112689469A (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
JP2006192058A (ja) 画像処理装置
US20220151467A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and program
WO2022186109A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP7029281B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US20140240673A1 (en) Image processing apparatus, ophthalmologic imaging apparatus, ophthalmologic imaging system, ophthalmologic imaging method, and non-transitory tangible medium having program stored thereon
CN115315210A (zh) 图像处理装置、图像处理方法、导航方法以及内窥镜系统
US20230245304A1 (en) Medical image processing device, operation method of medical image processing device, medical image processing program, and recording medium
WO2022186111A1 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R150 Certificate of patent or registration of utility model

Ref document number: 7225417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150