JP7137629B2 - 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム - Google Patents
医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム Download PDFInfo
- Publication number
- JP7137629B2 JP7137629B2 JP2020549257A JP2020549257A JP7137629B2 JP 7137629 B2 JP7137629 B2 JP 7137629B2 JP 2020549257 A JP2020549257 A JP 2020549257A JP 2020549257 A JP2020549257 A JP 2020549257A JP 7137629 B2 JP7137629 B2 JP 7137629B2
- Authority
- JP
- Japan
- Prior art keywords
- emphasis
- attention
- area
- region
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 100
- 238000011017 operating method Methods 0.000 title 1
- 238000003860 storage Methods 0.000 claims description 76
- 238000001514 detection method Methods 0.000 claims description 31
- 230000005484 gravity Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 32
- 230000010354 integration Effects 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 21
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000003780 insertion Methods 0.000 description 13
- 230000037431 insertion Effects 0.000 description 13
- 230000003902 lesion Effects 0.000 description 13
- 238000003672 processing method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 238000005452 bending Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000009795 derivation Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000404068 Cotula Species 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Signal Processing (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
図1は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。図1に示す内視鏡システム9は、内視鏡10、光源装置11、プロセッサ装置12、表示装置13、医用画像処理装置14、入力装置15、及びモニタ装置16を備える。実施形態に記載の内視鏡システム9は、内視鏡装置の一例である。
図2は医用画像処理装置のハードウェア構成を示すブロック図である。図2に示す医用画像処理装置14は、制御部120、メモリ122、ストレージ装置124、ネットワークコントローラ126、電源装置128、ディスプレイコントローラ130、入出力インターフェース132、及び入力コントローラ134を備える。なお、図2に示すI/Oは入出力インターフェース132を表す。
制御部120は、医用画像処理装置14の全体制御部、各種演算部、及び記憶制御部として機能する。制御部120は、メモリ122に具備されるROM(read only memory)に記憶されているプログラムを実行する。
メモリ122は、図示しないROM、及び図示しないRAMを備える。ROMは、医用画像処理装置14において実行される各種プログラムを記憶する。ROMは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。RAMは、データの一時記憶領域、及び制御部120のワーク領域等として機能する。
ストレージ装置124は、各種データを非一時的に記憶する。ストレージ装置124は、医用画像処理装置14の外部に外付けされてもよい。ストレージ装置124に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
ネットワークコントローラ126は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ126を介して接続されるネットワーク140は、LANなどの公知のネットワークを適用し得る。
電源装置128は、UPS(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置128は停電等に起因して商用電源が遮断された際に、医用画像処理装置14の各部へ電源を供給する。
ディスプレイコントローラ130は、制御部120から送信される指令信号に基づいてモニタ装置16を制御するディスプレイドライバーとして機能する。
入出力インターフェース132は、医用画像処理装置14と外部機器との通信可能に接続する。入出力インターフェース132は、USB(Universal Serial Bus)などの通信規格を適用し得る。
入力コントローラ134は、入力装置15を用いて入力された信号の形式を医用画像処理装置14の処理に適した形式に変換する。入力コントローラ134を介して入力装置15から入力された情報は、制御部120を介して各部へ送信される。
〔機能ブロックの説明〕
図3は第一実施形態に係る医用画像処理装置の機能ブロック図である。医用画像処理装置14は、画像取得部40、注目領域検出部41、強調領域設定部42、表示制御部44、及び記憶部46を備える。
図4は注目領域検出及び強調候補領域設定の説明図である。図4に示すフレーム画像38bは、動画像38a構成する任意のフレーム画像である。以下の説明において、フレーム画像38bの説明は、静止画像39の説明に置き替えることが可能である。すなわち、実施形態に示すフレーム画像38bは静止画像の一例である。
強調領域調整部42bは、強調領域152のサイズを調整する機能を備えてもよい。換言すると強調領域設定部42は強調領域のサイズを調整するサイズ調整部を備え得る。こここでいう調整は、サイズの初期設定を含み得る。例えば、注目領域の重心間距離Lに応じて強調領域152のサイズを調整してもよい。
複数の注目領域の距離として、注目領域の重心間距離Lに代わり、注目領域の縁間距離の最小値を適用してもよい。すなわち、強調領域調整部42bは注目領域の外形を示す閉曲線の座標値から、注目領域の縁間距離の最小値を算出し得る。
強調領域調整部42bは三つ以上の強調候補領域を統合してもよい。例えば、図5に示すフレーム画像38bにおいて、第三注目領域が検出され、第三注目領域に対して第三強調候補領域が設定された場合を考える。
図7は第一実施形態に係る医用画像処理方法のフローチャートである。第一実施形態に係る医用画像処理方法は、内視鏡画像取得工程S10、注目領域検出工程S12、強調候補領域設定工程S14、注目領域間距離導出工程S16、統合判定工程S18、非統合工程S20、統合工程S22、最終フレーム画像判定工程S24を含んで構成される。非統合工程S20と統合工程S22とをまとめて強調領域調整工程としてもよい。
上記の如く構成された第一実施形態に係る医用画像処理装置14によれば、以下の作用効果を得ることが可能である。
二以上の注目領域が検出された場合に、注目領域ごとに強調候補領域が設定される。注目領域の間の距離に応じて、複数の強調候補領域が統合された強調領域を設定する。二以上の注目領域に対して一つの強調領域が設定される。これにより、複数の強調候補領域がまとめられるので、内視鏡画像38における注目領域を報知する際に、内視鏡画像の視認の阻害を抑制し得る。
規定の閾値を用いて複数の強調候補領域を統合するか否かを判定する。これにより、予め規定した基準を適用した複数の強調候補領域の統合処理を実施し得る。
注目領域の間の距離は、注目領域の重心間の距離が適用される。これにより、様々な形状を有する注目領域について、注目領域の間の距離の導出が可能となる。
複数の強調候補領域が統合された強調領域は、各強調候補領域に対応する複数の注目領域の全てを包含する形状を有する。これにより、注目領域と強調領域との重なりが回避されるので、複数の注目領域の視認の阻害を抑制し、かつ、複数の注目領域の強調が可能となる。
複数の強調候補領域が統合された強調領域は、複数の強調候補領域を合成した形状よりも小さくする。これにより、複数の強調候補領域が統合された強調領域が必要以上に大きくなることを抑制し得る。
次に、第二実施形態に係る医用画像処理装置について説明する。第二実施形態に係る医用画像処理装置は、図2に示すハードウェア構成及び図3に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
第二実施形態に係る医用画像処理装置によれば、第一実施形態に係る医用画像処理装置14と同様の作用効果を得ることが可能である。また、複数の注目領域の間の距離として、複数の強調候補領域の重複度を適用して、複数の強調候補領域を統合するか否かを判定し得る。
次に、第三実施形態に係る医用画像処理装置について説明する。第三実施形態に係る医用画像処理装置は、図2に示すハードウェア構成及び図3に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
第三実施形態に係る医用画像処理装置によれば、動画像38aを構成する複数のフレーム画像38bの間において複数の注目領域が検出される場合に、注目領域の間の距離に応じて強調候補領域を統合する。これにより、第一実施形態に係る医用画像処理装置14と同様の作用効果を得ることが可能である。
次に、第四実施形態に係る医用画像処理装置について説明する。第四実施形態に係る医用画像処理装置は、図2に示すハードウェア構成及び図3に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
第四実施形態に係る医用画像処理装置によれば、注目領域の特徴量に基づいて複数の注目領域に対して一つの強調候補領域を設定する。これにより、複数の注目領域を一つの注目領域として取り扱うことが可能となる。
〔プロセッサ装置の変形例〕
プロセッサ装置12は、医用画像処理装置14の機能を有してもよい。すなわち、プロセッサ装置12は、医用画像処理装置14と一体に構成されてもよい。かかる態様では、表示装置13はモニタ装置16と兼用し得る。プロセッサ装置12は入力装置15を接続させる接続端子を備え得る。
本実施形態に示す内視鏡システム9を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。
特定の波長帯域の第1例は、可視域の青色帯域又は緑色帯域である。第1例の波長帯域は、390ナノメートル以上450ナノメートル以下、又は530ナノメートル以上550ナノメートル以下の波長帯域を含み、かつ第1例の光は、390ナノメートル以上450ナノメートル以下、又は530ナノメートル以上550ナノメートル以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、可視域の赤色帯域である。第2例の波長帯域は、585ナノメートル以上615ナノメートル以下、又は610ナノメートル以上730ナノメートル以下の波長帯域を含み、かつ第2例の光は、585ナノメートル以上615ナノメートル以下、又は610ナノメートル以上730ナノメートル以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10ナノメートル、440±10ナノメートル、470±10ナノメートル、又は600ナノメートル以上750ナノメートル以下の波長帯域を含み、かつ第3例の光は、400±10ナノメートル、440±10ナノメートル、470±10ナノメートル、又は600ナノメートル以上750ナノメートル以下の波長帯域にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、390ナノメートル以上470ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790ナノメートル以上820ナノメートル以下、又は905ナノメートル以上970ナノメートル以下の波長帯域を含み、かつ第5例の光は、790ナノメートル以上820ナノメートル以下、又は905ナノメートル以上970ナノメートル以下の波長帯域にピーク波長を有する。
プロセッサ装置12は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置12は、特殊光画像取得部として機能する。そして、プロセッサ装置12は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
上述した医用画像処理方法は、コンピュータを用いて、医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、医用画像を取得する画像取得機能、医用画像から注目領域を検出する注目領域検出機能、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を注目領域のそれぞれに設定する強調候補領域設定機能、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する強調領域調整機能、及び二以上の注目領域ごとの強調候補領域を統合した強調領域を表示装置に表示させる表示制御機能を実現させるプログラムを構成し得る。
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
10 内視鏡
11 光源装置
12 プロセッサ装置
13 表示装置
14 医用画像処理装置
15 入力装置
16 モニタ装置
20 挿入部
21 操作部
22 ユニバーサルコード
25 軟性部
26 湾曲部
27 先端部
27a 先端面
28 撮像素子
29 湾曲操作ノブ
30 送気送水ボタン
31 吸引ボタン
32 静止画像撮像指示部
33 処置具導入口
35 ライトガイド
36 信号ケーブル
37a コネクタ
37b コネクタ
38 内視鏡画像
38a 動画像
38b フレーム画像
38b1 フレーム画像
38b2 フレーム画像
38b11 第一フレーム画像
38b12 第二フレーム画像
38c フレーム画像
39 静止画像
40 画像取得部
41 注目領域検出部
42 強調領域設定部
42a 強調候補領域設定部
42b 強調領域調整部
44 表示制御部
46 記憶部
47 内視鏡画像記憶部
48 注目領域記憶部
49 強調領域記憶部
120 制御部
122 メモリ
124 ストレージ装置
126 ネットワークコントローラ
128 電源装置
130 ディスプレイコントローラ
132 入出力インターフェース
134 入力コントローラ
136 バス
140 ネットワーク
152 強調領域
154 重心
156 重複領域
160 病変
381 符号
382 符号
383 符号
384 符号
385 符号
386 符号
1500 注目領域
1501 第一注目領域
1502 第二注目領域
1520 強調候補領域
1521 第一強調候補領域
1522 第二強調候補領域
1541 重心
1542 重心
L 重心間距離
S10からS24 医用画像処理方法の各工程
Claims (11)
- 医用画像を取得する画像取得部と、
前記医用画像から注目領域を検出する注目領域検出部と、
表示装置を用いて前記医用画像を表示する際に前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
前記強調領域を前記表示装置に表示させる表示制御部と、
を備え、
前記画像取得部は、前記医用画像として動画像を取得し、
前記強調領域調整部は、前記動画像を構成する二以上の異なるフレーム画像の間において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する、医用画像処理装置。 - 前記強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、前記第一フレーム画像の後の第二フレーム画像において二以上の前記注目領域として検出された場合に、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項1に記載の医用画像処理装置。
- 前記強調領域調整部は、前記二以上の注目領域のそれぞれの間の距離が、0を超え規定の閾値以下の場合に前記二以上の注目領域ごとの前記強調候補領域を統合する請求項1に記載の医用画像処理装置。
- 前記強調領域調整部は、前記二以上の注目領域の重心間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項1から3のいずれか一項に記載の医用画像処理装置。
- 前記強調領域調整部は、前記二以上の注目領域ごとの前記強調候補領域の重複度に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項1から4のいずれか一項に記載の医用画像処理装置。
- 前記強調領域調整部は、前記注目領域の特徴量に応じて前記二以上の注目領域ごとの前記強調候補領域を統合する請求項1から5のいずれか一項に記載の医用画像処理装置。
- 前記強調領域調整部は、統合対象の前記二以上の注目領域を全て包含する前記強調領域を設定する請求項1から6のいずれか一項に記載の医用画像処理装置。
- 内視鏡装置を制御する内視鏡制御部と、
前記内視鏡装置から医用画像を取得する画像取得部と、
前記医用画像から注目領域を検出する注目領域検出部と、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
前記強調領域を前記表示装置に表示させる表示制御部と、
を備え、
前記画像取得部は、前記医用画像として動画像を取得し、
前記強調領域調整部は、前記動画像を構成する二以上の異なるフレーム画像の間において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する、プロセッサ装置。 - 画像取得部、注目領域検出部、強調候補領域設定部、強調領域調整部及び表示制御部を備える医用画像処理装置の作動方法であって、
前記画像取得部が、医用画像を取得するステップ、
前記注目領域検出部が、前記医用画像から注目領域を検出するステップ、
前記強調候補領域設定部が、表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定するステップ、
前記強調領域調整部が、二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定するステップ、
前記表示制御部が、前記強調領域を前記表示装置に表示させるステップ、
を行い、
前記画像取得部が行うステップは、前記医用画像として動画像を取得し、
前記強調領域調整部が行うステップは、前記動画像を構成する二以上の異なるフレーム画像の間において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する、医用画像処理装置の作動方法。 - コンピュータに、
医用画像を取得する画像取得機能、
前記医用画像から注目領域を検出する注目領域検出機能、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
前記強調領域を前記表示装置に表示させる表示制御機能を実現させるプログラムであって、
前記画像取得機能は、前記医用画像として動画像を取得し、
前記強調領域調整機能は、前記動画像を構成する二以上の異なるフレーム画像の間において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合することを含む、プログラム。 - 非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
医用画像を取得する画像取得機能、
前記医用画像から注目領域を検出する注目領域検出機能、
表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
前記強調領域を前記表示装置に表示させる表示制御機能をコンピュータに実行させる記憶媒体であって、
前記画像取得機能は、前記医用画像として動画像を取得し、
前記強調領域調整機能は、前記動画像を構成する二以上の異なるフレーム画像の間において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合することを含む、記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018180301 | 2018-09-26 | ||
JP2018180301 | 2018-09-26 | ||
PCT/JP2019/037477 WO2020067100A1 (ja) | 2018-09-26 | 2019-09-25 | 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020067100A1 JPWO2020067100A1 (ja) | 2021-09-30 |
JP7137629B2 true JP7137629B2 (ja) | 2022-09-14 |
Family
ID=69950159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020549257A Active JP7137629B2 (ja) | 2018-09-26 | 2019-09-25 | 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210209398A1 (ja) |
JP (1) | JP7137629B2 (ja) |
WO (1) | WO2020067100A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3832491A1 (en) * | 2019-12-06 | 2021-06-09 | Idemia Identity & Security France | Methods for processing a plurality of candidate annotations of a given instance of an image, and for learning parameters of a computational model |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002325754A (ja) | 2001-04-27 | 2002-11-12 | Canon Inc | 画像処理方法および装置 |
WO2012169119A1 (ja) | 2011-06-10 | 2012-12-13 | パナソニック株式会社 | 物体検出枠表示装置及び物体検出枠表示方法 |
WO2013057904A1 (ja) | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | 蝟集判定装置及び蝟集判定方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070161854A1 (en) * | 2005-10-26 | 2007-07-12 | Moshe Alamaro | System and method for endoscopic measurement and mapping of internal organs, tumors and other objects |
US8331641B2 (en) * | 2008-11-03 | 2012-12-11 | Siemens Medical Solutions Usa, Inc. | System and method for automatically classifying regions-of-interest |
JP5220705B2 (ja) * | 2009-07-23 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP5658873B2 (ja) * | 2009-11-13 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP5662082B2 (ja) * | 2010-08-23 | 2015-01-28 | 富士フイルム株式会社 | 画像表示装置および方法、並びに、プログラム |
EP2443992A2 (en) * | 2010-10-25 | 2012-04-25 | Fujifilm Corporation | Diagnosis support apparatus, diagnosis support method, lesioned part detection apparatus, and lesioned part detection method |
JP5735479B2 (ja) * | 2012-12-14 | 2015-06-17 | 富士フイルム株式会社 | 内視鏡及装置びその作動方法 |
JP5810251B1 (ja) * | 2014-04-09 | 2015-11-11 | パナソニック株式会社 | 情報端末の制御方法及びプログラム |
US10643333B2 (en) * | 2018-04-12 | 2020-05-05 | Veran Medical Technologies | Apparatuses and methods for navigation in and Local segmentation extension of anatomical treelike structures |
-
2019
- 2019-09-25 WO PCT/JP2019/037477 patent/WO2020067100A1/ja active Application Filing
- 2019-09-25 JP JP2020549257A patent/JP7137629B2/ja active Active
-
2021
- 2021-03-19 US US17/206,140 patent/US20210209398A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002325754A (ja) | 2001-04-27 | 2002-11-12 | Canon Inc | 画像処理方法および装置 |
WO2012169119A1 (ja) | 2011-06-10 | 2012-12-13 | パナソニック株式会社 | 物体検出枠表示装置及び物体検出枠表示方法 |
WO2013057904A1 (ja) | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | 蝟集判定装置及び蝟集判定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210209398A1 (en) | 2021-07-08 |
JPWO2020067100A1 (ja) | 2021-09-30 |
WO2020067100A1 (ja) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7166430B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
JP7270626B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体 | |
EP2926718B1 (en) | Endoscope system | |
JP7143504B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
CN112770662B (zh) | 医用图像处理装置、医用图像处理方法、及程序、诊断辅助装置以及内窥镜系统 | |
JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
JP7387859B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
CN111295124B (zh) | 内窥镜系统、内窥镜图像的生成方法和处理器 | |
JP7122328B2 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
WO2020054542A1 (ja) | 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム | |
JP7137629B2 (ja) | 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム | |
WO2020059445A1 (ja) | 画像処理装置及び画像処理方法 | |
CN112689469A (zh) | 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法 | |
US20230200626A1 (en) | Image processing apparatus, processor apparatus, endoscope system, image processing method, and program | |
JP7284814B2 (ja) | 画像処理装置 | |
JP7148625B2 (ja) | 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム | |
JP5481203B2 (ja) | 内視鏡装置 | |
CN112488925A (zh) | 用于减少图像中的烟雾的系统和方法 | |
JP7196196B2 (ja) | 内視鏡システム | |
JP2023521057A (ja) | 画像処理システム及びその使用方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7137629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |