JP7225417B2 - 医療画像処理システム及び医療画像処理装置の作動方法 - Google Patents
医療画像処理システム及び医療画像処理装置の作動方法 Download PDFInfo
- Publication number
- JP7225417B2 JP7225417B2 JP2021542746A JP2021542746A JP7225417B2 JP 7225417 B2 JP7225417 B2 JP 7225417B2 JP 2021542746 A JP2021542746 A JP 2021542746A JP 2021542746 A JP2021542746 A JP 2021542746A JP 7225417 B2 JP7225417 B2 JP 7225417B2
- Authority
- JP
- Japan
- Prior art keywords
- attention area
- unit
- medical image
- motion
- motion amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 105
- 238000000034 method Methods 0.000 title claims description 78
- 238000001514 detection method Methods 0.000 claims description 146
- 238000002059 diagnostic imaging Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 20
- 230000004397 blinking Effects 0.000 claims description 16
- 230000003313 weakening effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 20
- 230000003902 lesion Effects 0.000 description 13
- 238000005286 illumination Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 6
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Description
ここでは、医療画像として内視鏡で撮影された画像(内視鏡画像)を処理するシステム(内視鏡システム)に本発明を適用した場合を例に説明する。
図1は、本実施の形態の内視鏡システムのシステム構成図である。
以下、本実施の形態の内視鏡システム1の動作(動作方法)について説明する。本実施の形態の内視鏡システム1では、内視鏡10で撮影すると、撮影した画像(内視鏡画像)が表示装置50に表示される(図4参照)。また、撮影した内視鏡画像から注目領域が検出される。注目領域が検出された場合は、表示画像内で注目領域が枠で囲われて、検出が報知される(図5参照)。注目領域の検出が報知されると、その後の内視鏡10の動き量に応じて、報知の態様が変更される。すなわち、枠の強調度合が変更される。以下、注目領域の検出から報知まで、及び、報知後の動作について説明する。
[1]枠を用いて注目領域を強調する場合の強調度合の変更方法の変形例
上記実施の形態では、枠の線の太さを変えて、強調度合を変える構成としているが、強調度合を変更する方法は、これに限定されるものではない。この他、たとえば、枠の線種、色、形状、点滅度合及び明るさ等を変えて、注目領域の強調度合を変更することができる。
上記実施の形態では、推定された動き量を閾値と比較し、閾値以上の場合に強調度合を強める(枠を太くする)構成としているが、動き量に応じた強調度合の変更方法は、これに限定されるものではない。以下、動き量に応じた強調度合の変更方法の変形例について説明する。
本変形例では、内視鏡の動き量が閾値未満の場合、注目領域の強調度合を弱くする。すなわち、枠Fの線の太さを細くする。以下、本手法で内視鏡画像を表示する場合の処理手順について説明する。なお、注目領域の検出から報知までの処理手順は、上記実施の形態と同じである(図7参照)。したがって、ここでは、報知後の処理についてのみ説明する。
本変形例では、内視鏡の動き量が第1の閾値以上の場合、注目領域の強調度合を強くし、第2の閾値未満の場合、注目領域の強調度合を弱くする。なお、注目領域の検出から報知までの処理の手順は、上記実施の形態と同じである(図7参照)。したがって、ここでは、報知後の処理についてのみ説明する。
上記実施の形態では、強調度合を二段階で変更させる構成としているが、更に多段階で変更させる構成とすることもできる。すなわち、内視鏡10の動き量に応じて段階的に強調の度合を変更させる構成とすることもできる。たとえば、枠の線の太さを変えて強調の度合を変更する場合には、動き量に応じて、枠の線の太さを段階的に変更させることもできる。
[構成]
本実施の形態では、内視鏡画像内から注目領域が検出された場合に、その検出を音で術者に報知する。そして、報知後は、内視鏡の動き量に応じて音量を変更する。
注目領域の検出から報知までの処理の手順は、枠を表示させて検出を報知する場合と同じなので、ここでは、検出の報知後の処理についてのみ説明する。
上記実施の形態では、動き量に応じて、報知音の音量を変更する構成としているが、その他、報知音の音色又は種類を変更する構成とすることもできる。また、音量、音色及び種類の組み合わせを変更する構成とすることもできる。
本実施の形態の内視鏡システムでは、撮影した内視鏡画像から注目領域を自動で検出する場合において、注目領域が検出された場合に、その後の内視鏡の動き量に基づいて検出結果を示す画像が表示される。すなわち、検出後に一定以上の動き量で内視鏡が動かされた場合に、検出結果を示す画像が表示される。
図20は、本実施の形態の内視鏡システムにおける内視鏡画像の表示の処理手順を示すフローチャートである。
上記実施の形態では、動き量に応じて、報知音の音量を変更する構成としているが、その他、報知音の音色又は種類を変更する構成とすることもできる。また、音量、音色及び種類の組み合わせを変更する構成とすることもできる。
[強調画像の変形例]
上記実施の形態では、強調画像として、内視鏡画像内で注目領域を枠で囲った画像を生成する場合を例に説明したが、強調画像の構成は、これに限定されるものではない。内視鏡画像内で注目領域を識別可能な画像であればよい。
上記実施の形態では、注目領域の検出結果を示す情報として、強調画像を生成する場合を例に説明したが、注目領域の検出結果を示す情報の形態は、これに限定されるものではない。この他、たとえば、内視鏡画像から注目領域を切り出した画像(いわゆるクロップ画像)を注目領域の検出結果を示す情報として生成してもよい。図21は、クロップ画像の生成の概念図である。同図に示すように、内視鏡画像imから注目領域Xを含んだ領域Wの画像を切り出して、クロップ画像im4を生成する。注目領域の検出結果を示す情報を表示する場合は、このクロップ画像im4を第2表示領域A2に表示する。
注目領域が検出された場合に、その検出を音で報知してもよい。音の報知を利用する場合であっても、画面上での注目領域を認識できない場合が考えられる。このような場合にも、報知後に動き量が低下しない場合には、見逃していると判断して、注目領域の検出結果を表示することにより、適切に見逃しを防止できる。
[動き量の推定方法について]
上記実施の形態では、内視鏡(医療画像を撮像する機器)の動き量を推定する際、前後のフレーム間での画像全体の移動量に基づいて、内視鏡の動き量を推定する構成としているが、内視鏡の動き量を推定する方法は、これに限定されるものではない。この他、たとえば、内視鏡画像内における注目領域の移動量に基づいて、内視鏡の動き量を推定することもできる。注目領域の移動量については、たとえば、まず、前後のフレームにおいて、それぞれ対応する特徴点を注目領域から抽出する。そして、抽出した特徴点の位置関係から注目領域の動きベクトルを求める。求めた動きベクトルの大きさを注目領域の移動量として取得する。特徴点を複数抽出する場合には、各特徴点から求められる動きベクトルの大きさの平均値を算出し、注目領域の移動量として取得する。
上記実施の形態では、医療画像として内視鏡で撮影された画像(内視鏡画像)を処理するシステム(内視鏡システム)に本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。この他、たとえば、医療画像として超音波診断画像を処理するシステム(超音波診断システム)等にも適用できる。超音波診断システムでは、内視鏡システムと同様に、超音波プローブ(医療画像を撮像する機器)を動かしながら病変を探す操作が行われる。したがって、内視鏡システムと同様に、本発明が有効に作用する。超音波診断システム以外にも、機器を動かしながら病変等を探す操作が行われるシステムであれば、同様に適用でき、かつ、有効に機能させることができる。
内視鏡画像処理装置の諸機能は、各種のプロセッサ(processor)で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
照明光は、白色光、あるいは、1又は複数の特定の波長帯域の光、あるいは、これらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
光源の種類は、レーザ光源、キセノン光源、若しくは、LED光源(LED:Light-Emitting Diode)、又は、これらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び/又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
内視鏡の撮像部に備えられるイメージセンサは、各画素に対しカラーフィルタが配設されたカラーイメージセンサに限定されるものではなく、モノクロイメージセンサでもよい。モノクロイメージセンサを用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、白色光を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は、波長の異なる2波長以上の赤外光でもよい。
プロセッサ装置は、白色光を用いて撮像して得られた画像(いわゆる通常光画像)に基づいて、特定の波長帯域の情報を有する画像(いわゆる特殊光画像)を生成してもよい。プロセッサ装置は、たとえば、通常光画像に含まれる赤(Red、R)、緑(Green、G)及び青(Blue、B)、又は、シアン(Cyan,C)、マゼンタ(Magenta,M)及びイエロー(Yellow,Y)の色情報に基づく演算を行うことで、特定の波長帯域の信号を取得できる。
上記の実施形態で説明した内視鏡画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
上記実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
10 内視鏡
12 挿入部
12A 先端部
12B 湾曲部
12C 軟性部
12a 撮像部
14 操作部
14A アングルノブ
14B 送気送水ボタン
14C 吸引ボタン
14D シャッタボタン
16 接続部
16A コネクタ
16B コネクタ
20 光源装置
30 プロセッサ装置
40 内視鏡画像処理装置
40A 画像取得部
40B 注目領域検出部
40C 動き量推定部
40D 表示制御部
40E 音声出力制御部
40F 画像生成部
40G 画像記憶部
50 表示装置
60 スピーカ
A 表示領域
A1 第1表示領域
A2 第2表示領域
F 枠
W クロップ画像を切り取る領域
X 注目領域
im 内視鏡画像
im1 内視鏡画像
im2 内視鏡画像
im3 強調画像
im4 クロップ画像
S1~S5 注目領域の検出から報知までの処理手順
S11~S19 注目領域の検出の報知後の処理手順
S21~S29 注目領域の検出の報知後の処理手順
S31~S41 注目領域の検出の報知後の処理手順
S51~S59 注目領域の検出の報知後の処理手順
S61~S69 内視鏡画像の表示の処理手順
Claims (23)
- 医療画像を取得する画像取得部と、
前記医療画像を表示する表示部と、
前記医療画像内から注目領域を検出する注目領域検出部と、
前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
を備え、
前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値以上の場合に前記注目領域の強調度合を強くする、
医療画像処理システム。 - 医療画像を取得する画像取得部と、
前記医療画像を表示する表示部と、
前記医療画像内から注目領域を検出する注目領域検出部と、
前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
を備え、
前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値未満の場合に前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフする、
医療画像処理システム。 - 医療画像を取得する画像取得部と、
前記医療画像を表示する表示部と、
前記医療画像内から注目領域を検出する注目領域検出部と、
前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
前記注目領域が検出された場合に前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記注目領域の強調度合を変更する報知部と、
を備え、
前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が第1の閾値以上の場合に前記注目領域の強調度合を強くし、第2の閾値未満の場合に前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフする、
医療画像処理システム。 - 医療画像を取得する画像取得部と、
前記医療画像を表示する表示部と、
前記医療画像内から注目領域を検出する注目領域検出部と、
前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
を備え、
前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値以上の場合に前記音の音量を大きくする、
医療画像処理システム。 - 医療画像を取得する画像取得部と、
前記医療画像を表示する表示部と、
前記医療画像内から注目領域を検出する注目領域検出部と、
前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
を備え、
前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフする、
医療画像処理システム。 - 医療画像を取得する画像取得部と、
前記医療画像を表示する表示部と、
前記医療画像内から注目領域を検出する注目領域検出部と、
前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
前記注目領域が検出された場合に音を発生させて前記注目領域の検出を報知し、かつ、報知後に前記動き量推定部で推定される前記動き量に応じて前記音の音量を変更する報知部と、
を備え、
前記報知部は、前記注目領域の検出を報知後、前記動き量推定部で推定される前記動き量が第1の閾値以上の場合に前記音の音量を大きくし、第2の閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフする、
医療画像処理システム。 - 前記報知部は、前記表示部に表示される前記医療画像内で前記注目領域を枠で囲って前記注目領域を強調する、
請求項1から3のいずれか1項に記載の医療画像処理システム。 - 前記報知部は、前記枠の太さ、線種、色、形状、点滅度合及び明るさの少なくとも一つを変えて、前記注目領域の強調度合を変更する、
請求項7に記載の医療画像処理システム。 - 前記動き量推定部は、前記注目領域が検出された場合に前記動き量を推定する、
請求項1から8のいずれか1項に記載の医療画像処理システム。 - 医療画像を取得する画像取得部と、
前記医療画像内から注目領域を検出する注目領域検出部と、
前記注目領域が検出された場合に検出結果を示す情報を生成する情報生成部と、
前記情報生成部で生成された画像を記憶する記憶部と、
前記注目領域が検出された場合に前記医療画像に基づいて、前記医療画像を撮像する機器の動き量を推定する動き量推定部と、
画面内に第1表示領域及び第2表示領域を有する表示部と、
前記画像取得部で取得される前記医療画像を前記第1表示領域に表示する一方、前記注目領域が検出された場合において、前記注目領域の検出後に前記動き量推定部で推定される前記動き量が閾値以上の場合に、前記記憶部に記憶された情報を前記第2表示領域に表示する表示制御部と、
を備えた医療画像処理システム。 - 前記情報生成部は、前記注目領域の検出結果を示す情報として、前記医療画像内で前記注目領域を強調した画像を生成する、
請求項10に記載の医療画像処理システム。 - 前記情報生成部は、前記医療画像内で前記注目領域を枠で囲って強調した画像を生成する、
請求項11に記載の医療画像処理システム。 - 前記情報生成部は、前記注目領域の検出結果を示す情報として、前記医療画像から前記注目領域を切り出した画像を生成する、
請求項10に記載の医療画像処理システム。 - 前記動き量推定部は、あらかじめ定められたフレーム間隔で前記動き量を推定する、
請求項1から13のいずれか一項に記載の医療画像処理システム。 - 前記動き量推定部は、画像全体の移動量に基づいて前記動き量を推定する、
請求項14に記載の医療画像処理システム。 - 前記動き量推定部は、前記注目領域の移動量に基づいて前記動き量を推定する、
請求項14に記載の医療画像処理システム。 - 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
前記画像取得部が、医療画像を取得するステップと、
前記表示制御部が、前記医療画像を表示部に表示するステップと、
前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
推定された前記動き量が閾値以上の場合に、前記表示制御部が、前記注目領域の強調度合を強めるステップと、
を含む医療画像処理装置の作動方法。 - 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
前記画像取得部が、医療画像を取得するステップと、
前記表示制御部が、前記医療画像を表示部に表示するステップと、
前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
推定された前記動き量が閾値未満の場合に、前記表示制御部が、前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフするステップと、
を含む医療画像処理装置の作動方法。 - 画像取得部と、表示制御部と、注目領域検出部と、動き量推定部と、を備える医療画像処理装置の作動方法であって、
前記画像取得部が、医療画像を取得するステップと、
前記表示制御部が、前記医療画像を表示部に表示するステップと、
前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
前記注目領域が検出された場合に、前記表示制御部が、前記表示部に表示される前記医療画像内で前記注目領域を強調して前記注目領域の検出を報知するステップと、
前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
推定された前記動き量が第1の閾値以上の場合に、前記表示制御部が、前記注目領域の強調度合を強くし、第2の閾値未満の場合に、前記表示制御部が、前記注目領域の強調度合を弱くする、又は、前記注目領域の強調をオフするステップと、
を含む医療画像処理装置の作動方法。 - 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
前記画像取得部が、医療画像を取得するステップと、
前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
推定された前記動き量が閾値以上の場合に、前記音声出力制御部が、前記音の音量を大きくするステップと、
を含む医療画像処理装置の作動方法。 - 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
前記画像取得部が、医療画像を取得するステップと、
前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
推定された前記動き量が閾値未満の場合に、前記音声出力制御部が、前記音の音量を小さくする、又は、前記音をオフするステップと、
を含む医療画像処理装置の作動方法。 - 画像取得部と、音声出力制御部と、注目領域検出部と、動き量推定部と、報知部と、を備える医療画像処理装置の作動方法であって、
前記画像取得部が、医療画像を取得するステップと、
前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
前記注目領域が検出された場合に、前記音声出力制御部が、スピーカから音を発生させて前記注目領域の検出を報知するステップと、
前記注目領域が検出された場合に、前記動き量推定部が前記医療画像を撮像する機器の動き量を推定するステップと、
推定された前記動き量が第1の閾値以上の場合に、前記音声出力制御部が、前記音の音量を大きくし、第2の閾値未満の場合に、前記音声出力制御部が、第2の閾値未満の場合に前記音の音量を小さくする、又は、前記音をオフするステップと、
を含む医療画像処理装置の作動方法。 - 画像取得部と、注目領域検出部と、情報生成部と、動き量推定部と、表示制御部と、を備える医療画像処理装置の作動方法であって、
前記画像取得部が、医療画像を取得するステップと、
前記表示制御部が、前記医療画像を表示部の画面内に設定された第1表示領域に表示するステップと、
前記注目領域検出部が、前記医療画像内から注目領域を検出するステップと、
前記注目領域が検出された場合に、前記情報生成部が検出結果を示す情報を生成するステップと、
生成された前記注目領域の検出結果を示す情報を記憶部に記憶するステップと、
前記注目領域が検出された場合に、前記動き量推定部が、前記医療画像を撮像する機器の動き量を推定するステップと、
推定された前記動き量が閾値以上の場合に、前記表示制御部が、前記記憶部に記憶された情報を前記表示部の前記画面内に設定された第2表示領域に表示するステップと、
を含む医療画像処理装置の作動方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019154640 | 2019-08-27 | ||
JP2019154640 | 2019-08-27 | ||
PCT/JP2020/030875 WO2021039438A1 (ja) | 2019-08-27 | 2020-08-14 | 医療画像処理システム及びその動作方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021039438A1 JPWO2021039438A1 (ja) | 2021-03-04 |
JPWO2021039438A5 JPWO2021039438A5 (ja) | 2022-05-19 |
JP7225417B2 true JP7225417B2 (ja) | 2023-02-20 |
Family
ID=74684555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021542746A Active JP7225417B2 (ja) | 2019-08-27 | 2020-08-14 | 医療画像処理システム及び医療画像処理装置の作動方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220172827A1 (ja) |
JP (1) | JP7225417B2 (ja) |
WO (1) | WO2021039438A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020136899A (ja) * | 2019-02-19 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、電子機器、および撮像方法 |
US20240206703A1 (en) * | 2021-03-31 | 2024-06-27 | Riken | Tomographic image processing device, tomographic image processing method, program, information recording medium, and puncture member |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011096279A1 (ja) | 2010-02-05 | 2011-08-11 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理方法 |
WO2014091964A1 (ja) | 2012-12-13 | 2014-06-19 | オリンパス株式会社 | 蛍光観察装置 |
WO2016199273A1 (ja) | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
WO2018198161A1 (ja) | 2017-04-24 | 2018-11-01 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6150554B2 (ja) * | 2013-02-26 | 2017-06-21 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
JP6833870B2 (ja) * | 2016-12-07 | 2021-02-24 | オリンパス株式会社 | 画像処理装置 |
JP2020024286A (ja) * | 2018-08-07 | 2020-02-13 | オリンパス株式会社 | 計測装置、計測装置の作動方法、およびプログラム |
-
2020
- 2020-08-14 WO PCT/JP2020/030875 patent/WO2021039438A1/ja active Application Filing
- 2020-08-14 JP JP2021542746A patent/JP7225417B2/ja active Active
-
2022
- 2022-02-15 US US17/672,247 patent/US20220172827A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011096279A1 (ja) | 2010-02-05 | 2011-08-11 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理方法 |
WO2014091964A1 (ja) | 2012-12-13 | 2014-06-19 | オリンパス株式会社 | 蛍光観察装置 |
WO2016199273A1 (ja) | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
WO2018198161A1 (ja) | 2017-04-24 | 2018-11-01 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220172827A1 (en) | 2022-06-02 |
WO2021039438A1 (ja) | 2021-03-04 |
JPWO2021039438A1 (ja) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8734333B2 (en) | Endoscope system, endoscope video processor and method of driving endoscope system | |
JP7337073B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP7225417B2 (ja) | 医療画像処理システム及び医療画像処理装置の作動方法 | |
JP2023080276A (ja) | 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム | |
US12035879B2 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
CN111526773B (zh) | 内窥镜图像获取系统及方法 | |
CN112654283B (zh) | 医疗图像处理装置、医疗图像处理方法、内窥镜系统及记录介质 | |
US20240304311A1 (en) | Medical image processing apparatus, medical image proces sing method, program, and diagnosis support apparatus | |
JP6807469B2 (ja) | 内視鏡システム及び内視鏡プロセッサ | |
JP7507797B2 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体 | |
JP2023014288A (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
JP2022136171A (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP2023026480A (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
CN112689469A (zh) | 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法 | |
JP2006192058A (ja) | 画像処理装置 | |
US20220151467A1 (en) | Medical image processing apparatus, endoscope system, medical image processing method, and program | |
WO2022186109A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム | |
JP7029281B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
US20140240673A1 (en) | Image processing apparatus, ophthalmologic imaging apparatus, ophthalmologic imaging system, ophthalmologic imaging method, and non-transitory tangible medium having program stored thereon | |
CN115315210A (zh) | 图像处理装置、图像处理方法、导航方法以及内窥镜系统 | |
US20230245304A1 (en) | Medical image processing device, operation method of medical image processing device, medical image processing program, and recording medium | |
WO2022186111A1 (ja) | 医用画像処理装置、医用画像処理方法、及びプログラム | |
WO2022181748A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220406 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7225417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |