JPWO2020067100A1 - 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム - Google Patents

医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2020067100A1
JPWO2020067100A1 JP2020549257A JP2020549257A JPWO2020067100A1 JP WO2020067100 A1 JPWO2020067100 A1 JP WO2020067100A1 JP 2020549257 A JP2020549257 A JP 2020549257A JP 2020549257 A JP2020549257 A JP 2020549257A JP WO2020067100 A1 JPWO2020067100 A1 JP WO2020067100A1
Authority
JP
Japan
Prior art keywords
emphasis
region
area
attention
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020549257A
Other languages
English (en)
Other versions
JP7137629B2 (ja
Inventor
麻依子 遠藤
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020067100A1 publication Critical patent/JPWO2020067100A1/ja
Application granted granted Critical
Publication of JP7137629B2 publication Critical patent/JP7137629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

医用画像における注目領域を報知する際に、医用画像の視認の阻害を抑制し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供する。内視鏡画像（３８）を取得する画像取得部（４０）と、注目領域を検出する注目領域検出部（４１）と、モニタ装置（１６）を用いて内視鏡画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を注目領域のそれぞれに設定する強調候補領域設定部（４２ａ）と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した前記強調領域を設定する強調領域調整部（４２ｂ）と、強調領域を表示装置に表示させる表示制御部（４４）とを備える。

Description

本発明は医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムに係り、特に検出結果の報知に関する。
特許文献１は、記憶媒体から符号化されたＸ線医療画像を読み出す際に、診断に有効な領域を自動決定して、その領域に係わるデータを優先的に読み出し、表示する画像処理装置が記載されている。
同文献に記載の装置は、陽性と判定された複数の陰影パターンが近接する場合には、一つの陽性領域としている。また、同文献に記載の装置は、符号化された領域を指定するために陽性領域を矩形化している。
特許文献２は、特殊光画像から注目候補領域を検出し、注目候補領域が注目領域であることの確からしさを示す信頼度を算出し、信頼度から注目領域を設定し、通常光画像の対応注目領域に対して加工処理を行う内視鏡システムが記載されている。同文献に記載のシステムは、注目領域及び優先して表示すべき度合いを表す優先度に基づいてアラート領域を設定する。
同文献に記載のシステムは、アラート領域の数が上限数を超えると予測される場合は、上限数を超えるアラート領域を非表示とし、ドクターが一度に認識するには多すぎる数のアラート領域が表示されてしまう事態を抑止している。
特許文献３は、注目領域の検出結果に応じて、注目領域に対応するアラート画像を表示すべきか否かの判定を行い、アラート画像を表示すべきと判定された注目領域である表示対象注目領域に対応するアラート画像を表示させる画像処理装置が記載されている。
同文献に記載の発明は、注目領域の数が少ない場合はサイズが閾値を超える注目領域についてアラート画像を非表示とし、注目領域の数が多い場合はサイズが閾値以下の注目領域についてアラート画像を非表示としている。
特許第５６９３５５０号公報 特許第５６５８８７３号公報 特開２０１１−２５５００６号公報
病変部を自動検出する医療診断システムにおいて複数の病変が検出された場合は、病変の検出位置ごとに病変の検出位置を報知する報知部分が複数存在し得る。多数の病変が検出され多数の報知部分が存在すると医用画像の表示画面が煩雑になり、医師の診断の妨げになる懸念がある。
特許文献１に記載の発明では、最終的に一つの陽性領域として取り扱われる範囲内の複数の陽性領域を一つの陽性領域として取り扱うものであり、陽性領域を報知する報知部分が多数存在する場合に病変の視認を妨げるという課題に着目して、かかる課題を解決するものではない。
特許文献２に記載の発明は、上限数を超えるアラート領域を非表示としているため、表示すべきアラート領域が非表示となることがあり得る。
特許文献３に記載の発明は、注目領域の数及び注目領域のサイズに応じてアラート画像を非表示としているため、表示すべきアラート領域が非表示となることがあり得る。
本発明はこのような事情に鑑みてなされたもので、医用画像における注目領域を報知する際に、医用画像の視認の阻害を抑制し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第１態様に係る医用画像処理装置は、医用画像を取得する画像取得部と、医用画像から注目領域を検出する注目領域検出部と、表示装置を用いて医用画像を表示する際に注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定部と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整部と、強調領域を表示装置に表示させる表示制御部と、を備えた医用画像処理装置である。
第１態様によれば、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域が統合された強調領域を設定する。これにより、注目領域を強調する強調領域が整理されるので、医用画像の視認の阻害を抑制し得る。
強調候補調整領域は、二以上の注目領域間の距離に応じて強調候補領域を統合してもよいし、二以上の注目領域間の距離に基づいて変化する物理量に応じて強調候補領域を統合してもよい。
第２態様は、第１態様の医用画像処理装置において、画像取得部は、医用画像として静止画像を取得し、強調領域調整部は、静止画像において二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
静止画像は、動画像を構成する各フレーム画像が含まれ得る。
第３態様は、第１態様の医用画像処理装置において、画像取得部は、医用画像として動画像を取得し、強調領域調整部は、動画像を構成する二以上の異なるフレーム画像において二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
動画像の異なるフレーム画像において二以上の注目領域が検出された場合には、第一フレーム画像において第一注目領域が検出され、第一フレーム画像に後続する第二フレーム画像において第二注目領域が検出された場合が含まれ得る。
第４態様は、第３態様の医用画像処理装置において、強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、第一フレーム画像の後の第二フレームにおいて二以上の注目領域として検出された場合に、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
強調領域調整部は、第一フレーム画像の注目領域の特徴量及び第二フレーム画像の注目領域の特徴量に基づいて、第一フレーム画像の強調候補領域と第二フレーム画像の強調候補領域とを統合するか否かを判定し得る。
第５態様は、第２態様又は第３態様の医用画像処理装置において、強調領域調整部は、二以上の注目領域のそれぞれの間の距離が、０を超え規定の閾値以下の場合に二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
第６態様は、第１態様から第５態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、二以上の注目領域の重心間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
第７態様は、第１態様から第５態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、二以上の注目領域ごとの強調候補領域の重複度に応じて、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
強調候補領域の重複度として強調候補領域の重なりの面積が適用される場合、強調候補領域の重なりの面積が規定の面積閾値以上が、注目領域の間の距離が０を超え規定の閾値以下に相当する。
第８態様は、第１態様から第７態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、注目領域の特徴量に応じて二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
第９態様は、第１態様から第８態様のいずれか一態様の医用画像処理装置において、強調領域調整部は、統合対象の二以上の注目領域を全て包含する強調領域を設定する構成としてもよい。
第１０態様に係るプロセッサ装置は、内視鏡装置を制御する内視鏡制御部と、内視鏡装置から医用画像を取得する画像取得部と、医用画像から注目領域を検出する注目領域検出部と、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定部と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整部と、強調領域を表示装置に表示させる表示制御部と、を備えたプロセッサ装置である。
第１０態様によれば、第１態様と同様の効果を得ることができる。
第１０態様において、第２態様から第９態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。
第１１態様に係る医用画像処理方法は、医用画像を取得する画像取得工程と、医用画像から注目領域を検出する注目領域検出工程と、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定工程と、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整工程と、強調領域を表示装置に表示させる表示制御工程と、を備えた医用画像処理方法である。
第１１態様によれば、第１態様と同様の効果を得ることができる。
第１１態様において、第２態様から第９態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理方法の構成要素として把握することができる。
第１２態様に係るプログラムは、コンピュータに、医用画像を取得する画像取得機能、医用画像から注目領域を検出する注目領域検出機能、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を、注目領域のそれぞれに設定する強調候補領域設定機能、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合した強調領域を設定する強調領域調整機能、及び強調領域を表示装置に表示させる表示制御機能を実現させるプログラムである。
第１２態様によれば、第１態様と同様の効果を得ることができる。
第１２態様において、第２態様から第９態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
本発明によれば、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域が統合された強調領域を設定する。これにより、注目領域を強調する強調領域が整理されるので、医用画像の視認の阻害を抑制し得る。
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。 図２は医用画像処理装置のハードウェア構成を示すブロック図である。 図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。 図４は注目領域検出及び強調候補領域設定の説明図である。 図５は注目領域の重心間距離導出の説明図である。 図６は重心間距離に基づく強調候補領域統合の説明図である。 図７は第一実施形態に係る医用画像処理方法のフローチャートである。 図８は強調候補領域の重複度導出の説明図である。 図９は重複度に基づく強調候補領域の統合の説明図である。 図１０は第三実施形態に係る医用画像処理装置に適用される強調候補領域の統合の説明図である。 図１１は注目領域の間の距離の導出の説明図である。 図１２は注目領域の間の距離に基づく強調候補領域の統合の説明図である。 図１３は注目領域の特徴量に基づく複数の強調候補領域の統合の模式図である。 図１４は注目領域の特徴量に基づく複数の強調候補領域の統合の他の例の模式図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。
［内視鏡システムの全体構成］
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。図１に示す内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、医用画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。実施形態に記載の内視鏡システム９は、内視鏡装置の一例である。
図１に示す内視鏡１０は電子内視鏡であり、かつ軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。
挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。
撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。
先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓は図示しないカバーが取り付けられる。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。
操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、二種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、観察者、及びユーザなどと呼ばれることがあり得る。
操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。
操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。静止画像は符号３９を付して図３に図示する。
ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。
また、ユニバーサルコード２２の先端部は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。
コネクタ３７ａを光源装置１１に接続すると、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。
その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。
コネクタ３７ｂをプロセッサ装置１２に接続すると、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。
本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。
光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。
白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。
プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。
プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像３９が含まれてもよい。なお、動画像は符号３８ａを付して図３に図示する。実施形態に示す内視鏡画像３８は医用画像の一例である。
プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。静止画像３９は、動画像の解像度に対して高解像度に生成されていてもよい。
内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。実施形態に示すプロセッサ装置は、内視鏡を制御する内視鏡制御部を備えるプロセッサ装置の一例である。
プロセッサ装置１２は、内視鏡画像３８を表示装置１３及び医用画像処理装置１４のそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、図示しないネットワークを介して、図示しない記憶装置へ内視鏡画像３８を出力してもよい。なお、ネットワークは図２に示すネットワーク１４０を適用し得る。
表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。
医用画像処理装置１４は、コンピュータが用いられる。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。
医用画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医用画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
医用画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。医用画像処理装置１４は、モニタ装置１６の再生制御を行う。なお、本明細書における画像という用語は、画像を表す電気信号、及び画像を表す情報等の画像データという意味が含まれている。本明細書における画像という用語は、画像自身、及び画像データの少なくともいずれかを意味している。
また、画像の記憶という用語は、画像の保存、及び画像の格納等と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。医用画像処理装置１４は画像を一時記憶する一時記憶用のメモリを備えてもよい。
入力装置１５は、医用画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医用画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、医用画像処理装置１４における各種情報の表示部として機能してもよい。
医用画像処理装置１４は、図１に図示しないネットワークを介して、図示しない記憶装置と接続され得る。画像の格納形式、及びネットワークを経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。
図示しない記憶装置は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。
［医用画像処理装置のハードウェア構成］
図２は医用画像処理装置のハードウェア構成を示すブロック図である。図２に示す医用画像処理装置１４は、制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、電源装置１２８、ディスプレイコントローラ１３０、入出力インターフェース１３２、及び入力コントローラ１３４を備える。なお、図２に示すＩ／Ｏは入出力インターフェースを表す。
制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、ディスプレイコントローラ１３０、及び入出力インターフェース１３２は、バス１３６を介してデータ通信が可能に接続される。
〔制御部〕
制御部１２０は、医用画像処理装置１４の全体制御部、各種演算部、及び記憶制御部として機能する。制御部１２０は、メモリ１２２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。
制御部１２０は、ネットワークコントローラ１２６を介して、図示しない外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１４０を介して医用画像処理装置１４と通信可能に接続されていてもよい。
制御部１２０は、メモリ１２２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、医用画像処理装置１４の各種機能が実現される。
制御部１２０は、ストレージ装置１２４からのデータの読み出し、及びストレージ装置１２４へのデータの書き込みを制御する。制御部１２０は、ネットワークコントローラ１２６を介して、外部の記憶装置から各種データを取得してもよい。制御部１２０は、取得した各種データを用いて、演算等の各種処理を実行可能である。
制御部１２０は、一つ又は二つ以上のプロセッサ（processor）が含まれてもよい。プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。
プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
制御部１２０は、同じ種類の二つ以上のプロセッサを適用可能である。例えば、制御部１２０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。制御部１２０は、異なる種類の二つ以上プロセッサを適用してもよい。例えば、制御部１２０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。
複数の制御部１２０を備える場合、複数の制御部１２０は一つのプロセッサを用いて構成してもよい。複数の制御部１２０を一つのプロセッサで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数の制御部１２０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
複数の制御部１２０を一つのプロセッサで構成する他の例として、複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
このように、制御部１２０は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。
〔メモリ〕
メモリ１２２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、医用画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１２０のワーク領域等として機能する。
〔ストレージ装置〕
ストレージ装置１２４は、各種データを非一時的に記憶する。ストレージ装置１２４は、医用画像処理装置１４の外部に外付けされてもよい。ストレージ装置１２４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
〔ネットワークコントローラ〕
ネットワークコントローラ１２６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１２６を介して接続されるネットワーク１４０は、ＬＡＮなどの公知のネットワークを適用し得る。
〔電源装置〕
電源装置１２８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１２８は停電等に起因して商用電源が遮断された際に、医用画像処理装置１４の各部へ電源を供給する。
〔ディスプレイコントローラ〕
ディスプレイコントローラ１３０は、制御部１２０から送信される指令信号に基づいてモニタ装置１６を制御するディスプレイドライバーとして機能する。
〔入出力インターフェース〕
入出力インターフェース１３２は、医用画像処理装置１４と外部機器との通信可能に接続する。入出力インターフェース１３２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。
〔入力コントローラ〕
入力コントローラ１３４は、入力装置１５を用いて入力された信号の形式を医用画像処理装置１４の処理に適した形式に変換する。入力コントローラ１３４を介して入力装置１５から入力された情報は、制御部１２０を介して各部へ送信される。
なお、図２に示す医用画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。また、図２に示す医用画像処理装置１４のハードウェア構成は、以下に説明する各実施形態及び変形例に適用し得る。
［第一実施形態に係る医用画像処理装置］
〔機能ブロックの説明〕
図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。医用画像処理装置１４は、画像取得部４０、注目領域検出部４１、強調領域設定部４２、表示制御部４４、及び記憶部４６を備える。
画像取得部４０は、プロセッサ装置１２から内視鏡画像３８を取得する。画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部４７へ記憶する。
画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置１２から内視鏡画像３８を取得してもよい。画像取得部４０は、図２に示すネットワーク１４０を介して内視鏡画像３８を取得してもよい。
画像取得部４０は、時系列のフレーム画像３８ｂから構成される動画像３８ａを取得し得る。画像取得部４０は動画像３８ａの撮像途中に静止画撮像が実施された場合に、静止画像３９を取得し得る。
注目領域検出部４１は、内視鏡画像３８から注目領域を検出する。注目領域検出部４１は、内視鏡画像３８を構成するフレーム画像３８ｂを複数の局所領域に分割し、局所領域ごとに特徴量を算出し、局所領域ごとの特徴量に基づいて注目領域を検出し得る。
強調領域設定部４２は、内視鏡画像３８から検出された注目領域を強調する強調領域を設定する。強調領域設定部４２は、強調候補領域設定部４２ａ及び強調領域調整部４２ｂを備える。
強調候補領域設定部４２ａは、強調領域の候補となる強調候補領域を設定する。複数の注目領域が設定された場合、強調候補領域設定部４２ａは注目領域ごとに強調候補領域を設定する。強調候補領域設定部４２ａは注目領域が検出されたすべての内視鏡画像３８について強調候補領域を設定し得る。なお、強調候補領域は、内視鏡画像３８の表示画面に表示されるオブジェクトではなく、表示画面には表示されない演算上のオブジェクトである。
強調候補領域設定部４２ａは、注目領域の座標値に基づいて強調候補領域の位置を設定し得る。強調候補領域設定部４２ａは、注目領域の座標値として注目領域の重心の座標値を取得し得る。強調候補領域設定部４２ａは、注目領域の座標値として注目領域の縁を構成する閉曲線上の座標値を取得し得る。強調候補領域設定部４２ａは、注目領域の縁を構成する閉曲線が内接する四角形を強調候補領域の外形として設定し得る。四角形は円又は四角形以外の多角形を適用し得る。
強調領域調整部４２ｂは、複数の強調候補領域が設定された場合に、注目領域の間の距離に応じて複数の強調候補領域を統合し、複数の注目領域に対して一つの強調領域を設定する。また、強調領域調整部４２ｂは、他の強調候補領域と統合されない強調候補領域を強調領域として設定する。
図示を省略するが、医用画像処理装置１４は、複数の強調候補領域を統合するか否かを判定する際の閾値を設定する閾値設定部を備え得る。閾値設定部は、予め閾値が記憶されている閾値記憶部から閾値を読み出し得る。閾値設定部は、入力装置１５から入力される閾値の情報に基づいて閾値を設定し得る。
表示制御部４４は、内視鏡画像３８及び強調領域をモニタ装置１６へ表示させる表示制御信号をモニタ装置１６へ送信する。表示制御部４４は、規定の更新間隔を適用して内視鏡画像３８の表示及び強調領域の表示を更新する。
モニタ装置１６は、内視鏡画像３８及び強調領域を表示する。モニタ装置１６は強調領域を内視鏡画像３８に重畳表示し得る。強調領域の表示は、内視鏡画像３８の視認を阻害しない態様が適用される。
記憶部４６は、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９を備える。記憶部４６は、図示しない閾値記憶部を備え得る。内視鏡画像記憶部４７は、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。
注目領域記憶部４８は、注目領域の情報を記憶する。注目領域記憶部４８は、注目領域を検出した内視鏡画像３８と関連付けされた注目領域の情報を記憶し得る。注目領域の情報は内視鏡画像３８における注目領域の座標値を適用し得る。注目領域の座標値は、強調領域を設定する際に適用される注目領域の座標値と同一である。
強調領域記憶部４９は、強調候補領域及び強調領域の情報を記憶する。強調領域記憶部４９は、強調候補領域又は強調領域が設定された内視鏡画像３８と関連付けされた強調候補領域又は強調領域の情報を記憶し得る。
記憶部４６は、一つ以上の記憶素子を適用し得る。すなわち、記憶部４６は、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９のそれぞれに対応する三つの記憶素子を備え得る。また、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９は、それぞれ複数の記憶素子を適用し得る。さらに、内視鏡画像記憶部４７、注目領域記憶部４８、及び強調領域記憶部４９のうち二つ又は全てを、一つの記憶素子を用いて構成し得る。
〔強調候補領域の統合〕
図４は注目領域検出及び強調候補領域設定の説明図である。図４に示すフレーム画像３８ｂは、動画像３８ａ構成する任意のフレーム画像である。以下の説明において、フレーム画像３８ｂの説明は、静止画像３９の説明に置き替えることが可能である。すなわち、実施形態に示すフレーム画像３８ｂは静止画像の一例である。
注目領域検出部４１は、図４に示すフレーム画像３８ｂから第一注目領域１５０１及び第二注目領域１５０２を検出する。強調候補領域設定部４２ａは、第一注目領域１５０１について第一強調候補領域１５２１を設定し、第二注目領域１５０２について第二強調候補領域１５２２を設定する。
強調候補領域設定部４２ａは、第一注目領域１５０１の重心１５４１の座標値及び第一注目領域１５０１の縁を表す閉曲線の座標値を取得する。強調候補領域設定部４２ａは、第一注目領域１５０１の重心１５４１の座標値を第一強調候補領域１５２１の座標値に設定する。
また、強調候補領域設定部４２ａは、第一注目領域１５０１の縁を表す閉曲線の座標値に基づき、第一注目領域１５０１の縁を表す閉曲線を囲む枠を第一強調候補領域１５２１の外形として設定する。
強調候補領域設定部４２ａは、第二注目領域１５０２の重心１５４２の座標値を第二強調候補領域１５２２の重心の座標値に設定する。強調候補領域設定部４２ａは、第二注目領域１５０２の縁を表す閉曲線の座標値に基づき、第二注目領域１５０２の縁を表す閉曲線を囲む枠を第二強調候補領域１５２２の外形として設定する。フレーム画像３８ｂに適用される座標系は、二次元直交座標系を適用し得る。
なお、座標値は画素位置に置き替えることが可能である。すなわち、強調候補領域設定部４２ａは、第一強調候補領域１５２１を設定する際に、第一注目領域１５０１の重心の画素位置、及び第一注目領域１５０１の縁を表す閉曲線を構成する画素位置を特定してもよい。第一強調候補領域１５２１についても同様である。
強調領域調整部４２ｂは、フレーム画像３８ｂにおける注目領域の個数を判定する。複数の注目領域が検出された場合、複数の注目領域の間の距離に応じて、複数の注目領域のそれぞれに設定された強調候補領域を統合するか否かを判定する。複数の注目領域の間の距離は、注目領域の重心間の距離を適用し得る。
すなわち、強調領域調整部４２ｂは、フレーム画像３８ｂから第一注目領域１５０１及び第二注目領域１５０２が検出された場合、第一注目領域１５０１の重心１５４１の座標値及び第二注目領域１５０２の重心１５４２の座標値を取得する。強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との距離を表す重心間距離Ｌを算出する。
強調領域調整部４２ｂは、注目領域の重心間距離Ｌに基づいて第一強調候補領域１５２１と第二強調候補領域１５２２とを統合するか否かを判定する。
図５は強調候補領域が統合される場合の注目領域及び強調候補領域の模式図である。図５には、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との重心間距離Ｌが規定の閾値ＴＨ以下となるフレーム画像３８ｂを示す。実施形態に記載の規定の閾値ＴＨ以下は閾値以下の一例である。
強調領域調整部４２ｂは、第一注目領域１５０１と第二注目領域１５０２との重心間距離Ｌが規定の閾値ＴＨ以下の場合に、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合する。
一方、強調領域調整部４２ｂは、第一注目領域１５０１と第二注目領域１５０２との重心間距離Ｌが規定の閾値ＴＨを超える場合は、第一強調候補領域１５２１を第一注目領域１５０１の強調領域として設定する。同様に、強調領域調整部４２ｂは、第二強調候補領域１５２２を第二注目領域１５０２の強調領域として設定する。
図６は強調候補領域が統合される場合の強調候補領域及び強調領域の模式図である。強調領域調整部４２ｂは、第一注目領域１５０１及び第二注目領域１５０２に対して、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合した強調領域１５２を設定する。
強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１の座標値と、第二注目領域１５０２の重心１５４２の座標値との中心位置の座標値を算出し、算出した座標値を強調領域１５２の重心１５４の座標値に設定する。
図６に示す強調領域１５２は、重心１５４を中心とする四角形の枠が適用される。強調領域１５２の四角形を構成する各辺は、第一注目領域１５０１及び第二注目領域１５０２の少なくともいずれかに接している。
換言すると、第一注目領域１５０１及び第二注目領域１５０２に設定された強調領域１５２は、第一注目領域１５０１及び第二注目領域１５０２を全て包含し、面積が最小となる四角形の枠を適用し得る。実施形態に記載の第一注目領域１５０１及び第二注目領域１５０２を全て包含する最小の四角形の枠は、統合対象の二以上の注目領域を全て包含する強調領域の一例である。
強調領域１５２は、第一強調候補領域１５２１の形状を適用してもよいし、第二強調候補領域１５２２の形状を適用してもよい。強調領域１５２は、第一強調候補領域１５２１及び第二強調候補領域１５２２の全てを包含する四角形を適用してもよい。
但し、内視鏡画像３８の視認を阻害しないという観点、及び強調領域１５２が不必要に大きくなり過ぎないという観点から、強調領域１５２は図６に示す態様が好ましい。なお、強調候補領域の形状とは、強調候補領域の形及び強調候補領域の大きさの概念を含み得る。
本実施形態では、動画像３８ａを構成するフレーム画像３８ｂにおける強調候補領域の統合を例示したが、本実施形態に係る強調候補領域の統合は静止画像３９にも適用し得る。
〈第一変形例〉
強調領域調整部４２ｂは、強調領域１５２のサイズを調整する機能を備えてもよい。換言すると強調領域設定部４２は強調領域のサイズを調整するサイズ調整部を備え得る。こここでいう調整は、サイズの初期設定を含み得る。例えば、注目領域の重心間距離Ｌに応じて強調領域１５２のサイズを調整してもよい。
また、強調領域調整部４２ｂは、強調候補領域及び強調領域１５２の形を設定する機能を備えてもよい。換言すると強調領域設定部４２は強調領域の形を設定する形設定部を備え得る。
〈第二変形例〉
複数の注目領域の距離として、注目領域の重心間距離Ｌに代わり、注目領域の縁間距離の最小値を適用してもよい。すなわち、強調領域調整部４２ｂは注目領域の外形を示す閉曲線の座標値から、注目領域の縁間距離の最小値を算出し得る。
〈第三変形例〉
強調領域調整部４２ｂは三つ以上の強調候補領域を統合してもよい。例えば、図５に示すフレーム画像３８ｂにおいて、第三注目領域が検出され、第三注目領域に対して第三強調候補領域が設定された場合を考える。
第一注目領域１５０１及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨ以下の場合、強調領域調整部４２ｂは第一強調候補領域１５２１、第二強調候補領域１５２２、及び第三強調候補領域を統合する。
また、第二注目領域１５０２及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨ以下の場合、強調領域調整部４２ｂは第一強調候補領域１５２１、第二強調候補領域１５２２、及び第三強調候補領域を統合する。
一方、第一注目領域１５０１及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨを超え、かつ、第二注目領域１５０２及び第三強調候補領域における注目領域の重心間距離Ｌが閾値ＴＨを超える場合、強調領域調整部４２ｂは第一強調候補領域１５２１及び第二強調候補領域１５２２を統合し、第一強調候補領域１５２１及び第二強調候補領域１５２２に対して第三強調候補領域を非統合とする。
〔医用画像処理方法のフローチャート〕
図７は第一実施形態に係る医用画像処理方法のフローチャートである。第一実施形態に係る医用画像処理方法は、内視鏡画像取得工程Ｓ１０、注目領域検出工程Ｓ１２、強調候補領域設定工程Ｓ１４、注目領域間距離導出工程Ｓ１６、統合判定工程Ｓ１８、非統合工程Ｓ２０、統合工程Ｓ２２、最終フレーム画像判定工程Ｓ２４を含んで構成される。非統合工程Ｓ２０と統合工程Ｓ２２とをまとめて強調領域調整工程としてもよい。
内視鏡画像取得工程Ｓ１０では、図３に示す医用画像処理装置１４は、画像取得部４０を用いて内視鏡システム９から内視鏡画像３８を構成するフレーム画像３８ｂを取得する。画像取得部４０は内視鏡画像記憶部４７へフレーム画像３８ｂを記憶する。内視鏡画像取得工程Ｓ１０の後に注目領域検出工程Ｓ１２へ進む。
注目領域検出工程Ｓ１２では、注目領域検出部４１は、フレーム画像３８ｂから注目領域を検出し、注目領域の位置及び形状を特定する。注目領域検出部４１は、注目領域の情報として注目領域の位置を表す座標値の情報及び注目領域の形状の情報を注目領域記憶部４８へ記憶する。注目領域検出工程Ｓ１２の後に強調候補領域設定工程Ｓ１４へ進む。
なお、ここでいう注目領域は、図４等に示す第一注目領域１５０１等の総称である。また、後述する強調候補領域は、図４等に示す第一強調候補領域１５２１等の総称である。
強調候補領域設定工程Ｓ１４では、強調候補領域設定部４２ａは、注目領域検出工程Ｓ１２において検出された注目領域の位置及び形状に基づいて強調候補領域の位置及び形状を設定する。強調候補領域設定部４２ａは、強調候補領域の情報として強調候補領域の位置の情報及び強調候補領域の形状の情報を強調領域記憶部４９へ記憶する。強調候補領域設定工程Ｓ１４の後に注目領域間距離導出工程Ｓ１６へ進む。
注目領域間距離導出工程Ｓ１６では、強調領域調整部４２ｂは、注目領域の重心間距離Ｌを導出する。強調領域調整部４２ｂは、注目領域の重心間距離Ｌを強調領域記憶部４９へ記憶する。注目領域間距離導出工程Ｓ１６の後に統合判定工程Ｓ１８へ進む。
統合判定工程Ｓ１８では、強調領域調整部４２ｂは、注目領域の重心間距離Ｌと規定の閾値ＴＨとを比較する。統合判定工程Ｓ１８の前の工程として、閾値設定工程が実施されてもよい。
強調領域調整部４２ｂが注目領域の重心間距離Ｌが閾値ＴＨを超えると判定した場合はＮｏ判定となり非統合工程Ｓ２０へ進む。一方、強調領域調整部４２ｂが注目領域の重心間距離Ｌが閾値ＴＨ以下と判定した場合はＹｅｓ判定となり統合工程Ｓ２２へ進む。
非統合工程Ｓ２０では、強調領域調整部４２ｂは強調候補領域を統合せずに、それぞれの強調候補領域を強調領域１５２として設定する。強調領域調整部４２ｂは強調領域１５２の情報を強調領域記憶部４９へ記憶する。非統合工程Ｓ２０の後に最終フレーム画像判定工程Ｓ２４へ進む。
統合工程Ｓ２２では、強調領域調整部４２ｂは複数の強調候補領域を統合し、強調領域１５２を設定する。強調領域調整部４２ｂは強調領域１５２の情報を強調領域記憶部４９へ記憶する。統合工程Ｓ２２の後の工程として、複数の強調候補領域が統合された強調領域のサイズを調整するサイズ調整工程が実施されてもよい。また、統合工程Ｓ２２の後の工程として、複数の強調候補領域が統合された強調領域の形を設定する形設定工程が実施されてもよい。
非統合工程Ｓ２０及び統合工程Ｓ２２の後の工程として、表示制御部４４が注目領域及び強調領域１５２を表す信号をモニタ装置１６へ送信する表示制御工程が実施されてもよい。統合工程Ｓ２２の後に最終フレーム画像判定工程Ｓ２４へ進む。
最終フレーム画像判定工程Ｓ２４では、画像取得部４０は、内視鏡画像取得工程Ｓ１０において取得したフレーム画像３８ｂが最終のフレーム画像３８ｂであるか否かを判定する。画像取得部４０は、フレーム画像３８ｂを取得した後に、次のフレーム画像３８ｂが入力されない期間が規定の期間以上の場合に、最終のフレーム画像３８ｂを取得したと判定し得る。画像取得部４０は、内視鏡画像３８の送信終了を表す信号を受信した際に、最終のフレーム画像３８ｂを取得したと判定し得る。
最終フレーム画像判定工程Ｓ２４において、画像取得部４０が最終のフレーム画像３８ｂではないフレーム画像３８ｂを取得したと判定した場合はＮｏ判定となり、内視鏡画像取得工程Ｓ１０へ進む。以降、最終フレーム画像判定工程Ｓ２４においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から最終フレーム画像判定工程Ｓ２４までの各工程を繰り返し実施する。
一方、最終フレーム画像判定工程Ｓ２４において、画像取得部４０が最終のフレーム画像３８ｂを取得したと判定した場合はＹｅｓ判定となり、規定の終了処理が実施された後に医用画像処理方法を終了する。
［第一実施形態の作用効果］
上記の如く構成された第一実施形態に係る医用画像処理装置１４によれば、以下の作用効果を得ることが可能である。
〔１〕
二以上の注目領域が検出された場合に、注目領域ごとに強調候補領域が設定される。注目領域の間の距離に応じて、複数の強調候補領域が統合された強調領域を設定する。二以上の注目領域に対して一つの強調領域が設定される。これにより、複数の強調候補領域がまとめられるので、内視鏡画像３８における注目領域を報知する際に、内視鏡画像の視認の阻害を抑制し得る。
〔２〕
規定の閾値を用いて複数の強調候補領域を統合するか否かを判定する。これにより、予め規定した基準を適用した複数の強調候補領域の統合処理を実施し得る。
〔３〕
注目領域の間の距離は、注目領域の重心間の距離が適用される。これにより、様々な形状を有する注目領域について、注目領域の間の距離の導出が可能となる。
〔４〕
複数の強調候補領域が統合された強調領域は、各強調候補領域に対応する複数の注目領域の全てを包含する形状を有する。これにより、注目領域と強調領域との重なりが回避されるので、複数の注目領域の視認の阻害を抑制し、かつ、複数の注目領域の強調が可能となる。
〔５〕
複数の強調候補領域が統合された強調領域は、複数の強調候補領域を合成した形状よりも小さくする。これにより、複数の強調候補領域が統合された強調領域が必要以上に大きくなることを抑制し得る。
［第二実施形態に係る医用画像処理装置］
次に、第二実施形態に係る医用画像処理装置について説明する。第二実施形態に係る医用画像処理装置は、図２に示すハードウェア構成及び図３に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
第二実施形態に係る医用画像処理装置は、注目領域の間の距離として、強調候補領域の重複度を適用する。必ずしも、第一実施形態に示す注目領域の重心間距離Ｌを算出しなくても、複数の注目領域の間の距離に基づき複数の強調候補領域を統合するか否かを判定し得る。
強調候補領域の重複度とは、複数の強調候補領域の重なりの度合いを表す指標である。複数の注目領域の間の距離が相対的に小さくなると、重複度が相対的に大きくなる。一方、複数の注目領域の間の距離が相対的に大きくなると、重複度が相対的に小さくなる。すなわち、強調候補領域の重複度は、複数の注目領域の間の距離として観念し得る。
図８は強調候補領域の重複度導出の説明図である。強調領域調整部４２ｂは、第一強調候補領域１５２１と第二強調候補領域１５２２との重複領域１５６の面積を導出する。すなわち、重複度として重複領域１５６の面積が適用される。強調領域調整部４２ｂは、重複領域１５６の面積に基づいて第一強調候補領域１５２１と第二強調候補領域１５２２とを統合するか否かを判定する。
図９は重複度に基づく強調候補領域の統合の説明図である。図９に示すように、強調領域調整部４２ｂは、図８に示す重複領域１５６の面積が規定の閾値以上の場合は、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合する。強調領域調整部４２ｂは、第一注目領域１５０１及び第二注目領域１５０２に対して強調領域１５２を設定する。
一方、強調領域調整部４２ｂは、重複領域１５６の面積が規定の閾値未満の場合は、第一強調候補領域１５２１と第二強調候補領域１５２２とを非統合とする。強調領域調整部４２ｂは、重複領域１５６の面積が規定の閾値未満の場合は、第一注目領域１５０１の強調領域として第一強調候補領域１５２１を設定し、第二注目領域１５０２の強調領域として第二強調候補領域１５２２を設定する。
第二実施形態は、第一実施形態に示す第一変形例及び第三変形例を適用可能である。すなわち、強調領域調整部４２ｂは強調候補領域の重複度に応じて強調領域１５２のサイズを調整し得る。また、三つ以上の注目領域が検出された場合に、強調候補領域の重複度に基づいて、強調候補領域を統合するか否かを判定し、強調候補領域を統合し得る。
三つ以上の注目領域に対して、各注目領域に対応する強調候補領域が統合された一つの強調領域を設定し得る。
［第二実施形態の作用効果］
第二実施形態に係る医用画像処理装置によれば、第一実施形態に係る医用画像処理装置１４と同様の作用効果を得ることが可能である。また、複数の注目領域の間の距離として、複数の強調候補領域の重複度を適用して、複数の強調候補領域を統合するか否かを判定し得る。
［第三実施形態に係る医用画像処理装置］
次に、第三実施形態に係る医用画像処理装置について説明する。第三実施形態に係る医用画像処理装置は、図２に示すハードウェア構成及び図３に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
第三実施形態に係る医用画像処理装置は、動画像３８ａを構成する複数のフレーム画像３８ｂ間において複数の注目領域が検出された場合に、複数の注目領域の間の距離に応じて、複数の注目領域のそれぞれに対応する強調候補領域を統合する。
図１０は第三実施形態に係る医用画像処理装置に適用される強調候補領域の統合の説明図である。符号３８ｂ２は自フレームを示す。自フレームとは任意のタイミングにおいて注目しているフレーム画像３８ｂである。符号３８ｂ１は自フレームの一つ前のフレーム画像３８ｂを示す。
図１０に示すフレーム画像３８ｂ１は、第一注目領域１５０１が検出される。強調候補領域設定部４２ａは、第一注目領域１５０１に対して第一強調候補領域１５２１を設定する。フレーム画像３８ｂ２は、第二注目領域１５０２が検出される。強調候補領域設定部４２ａは、第二注目領域１５０２に対して第二強調候補領域１５２２を設定する。
強調候補領域設定部４２ａは、フレーム画像３８ｂごとに注目領域の情報を注目領域記憶部４８へ記憶する。強調候補領域設定部４２ａは、フレーム画像３８ｂごとに強調候補領域の情報を強調領域記憶部４９へ記憶する。
図１０には動画像３８ａを構成する複数のフレーム画像３８ｂのうち、二枚のフレーム画像３８ｂに対する処理を例示したが、強調候補領域設定部４２ａは、三枚以上のフレーム画像３８ｂについても同じ処理を適用し得る。
強調領域調整部４２ｂは、フレーム画像３８ｂ２について、一つ前のフレーム画像３８ｂ１との間の注目領域の変動について確認する。すなわち、強調領域調整部４２ｂは、フレーム画像３８ｂ２の第二注目領域１５０２と、フレーム画像３８ｂ１の第一注目領域１５０１との距離を導出する。
第一注目領域１５０１と第二注目領域１５０２との距離は、第一実施形態に示す重心間距離Ｌ又は第二実施形態に示す重複度を適用し得る。フレーム画像３８ｂ２において注目領域１５０２が検出されている場合は、一つ前のフレーム画像３８ｂ１において検出されている注目領域１５０１と距離が近いもの同士は同じ注目領域の可能性がある。そこで、一つ前のフレーム画像３８ｂ１において検出されている注目領域１０５１と距離が近いもの同士をフレーム画像３８ｂ２における注目領域１５０２の間の距離の導出対象とする。
強調領域調整部４２ｂは、第一閾値を用いて注目領域の重心間距離を導出する対象の強調候補領域を特定し、第一閾値未満の第二閾値を用いて複数の強調候補領域を統合するか否かを判定し得る。
図１１は注目領域の間の距離の導出の説明図である。図１１には、図１０に示すフレーム画像３８ｂ１とフレーム画像３８ｂ２とを合成した仮想的なフレーム画像３８ｃを示す。図１１に示す例では、注目領域の間の距離は、注目領域の重心間距離Ｌが適用される。
強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との重心間距離Ｌを導出する。重心間距離Ｌの導出には、第一実施形態と同様に二次元直交座標系の座標値を適用し得る。
図１２は注目領域の間の距離に基づく強調候補領域の統合の説明図である。強調領域調整部４２ｂは、第一注目領域１５０１の重心１５４１と第二注目領域１５０２の重心１５４２との重心間距離Ｌが規定の閾値ＴＨ以下の場合に、第一強調候補領域１５２１と第二強調候補領域１５２２とを統合し、フレーム画像３８ｂ２において強調領域１５２を設定する。
第一強調候補領域１５２１と第二強調候補領域１５２２との統合は、第一実施形態において説明したとおりである。図１２には、第一強調候補領域１５２１及び第二強調候補領域１５２２の全てを包含する強調領域１５２を示したが、複数の強調候補領域が統合された強調領域１５２に適用可能な形状は、第一実施形態において説明したとおりである。
［第三実施形態の作用効果］
第三実施形態に係る医用画像処理装置によれば、動画像３８ａを構成する複数のフレーム画像３８ｂの間において複数の注目領域が検出される場合に、注目領域の間の距離に応じて強調候補領域を統合する。これにより、第一実施形態に係る医用画像処理装置１４と同様の作用効果を得ることが可能である。
また、注目領域の間の距離として、複数の強調候補領域の重複度を適用する。これにより、第二実施形態に係る医用画像処理装置と同様の作用効果を得ることが可能である。
フレーム画像３８ｂごとに強調領域の有無、及び強調領域の位置が変化すると、内視鏡画像３８を表示する表示画面にちらつきが発生し得る。複数の注目領域に対して一つの強調領域を設定することにより、内視鏡画像３８を表示する表示画面にちらつきを抑制し得る。
［第四実施形態］
次に、第四実施形態に係る医用画像処理装置について説明する。第四実施形態に係る医用画像処理装置は、図２に示すハードウェア構成及び図３に示す機能ブロックを適用可能である。ここでは、医用画像処理装置のハードウェア構成の説明及び機能ブロックの説明を省略する。
第四実施形態に係る医用画像処理装置は、注目領域の特徴量に基づく複数の強調候補領域の統合を併用する。
図１３は注目領域の特徴量に基づく複数の強調候補領域の統合の模式図である。図１３の符号３８１は、細長い病変１６０が存在するフレーム画像３８ｂの模式図である。図１３の符号３８２は、符号３８１に示すフレーム画像３８ｂにおける注目領域の検出結果の模式図である。図１３の符号３８３は、複数の注目領域のそれぞれの特徴量に基づいて、複数の注目領域について一つの強調候補領域を設定したフレーム画像３８ｂの模式図である。
図１３の符号３８１に示すような細長い病変１６０が存在する場合、符号３８２に示すように、一つの注目領域として検出することができずに、符号３８２に示す第一注目領域１５０１と第二注目領域１５０２とのように、複数の注目領域が検出されることがあり得る。
そこで、第一注目領域１５０１と第二注目領域１５０２との粘膜構造を比較して、粘膜構造が同一又は類似する複数の注目領域について、一つの強調候補領域を設定する。これにより、複数の注目領域を一つの注目領域として視認することが可能となる。
強調候補領域設定部４２ａは、第一注目領域１５０１の特徴量及び第二注目領域１５０２の特徴量を導出し、それぞれの特徴量に基づいて、第一注目領域１５０１の粘膜構造と第二注目領域１５０２の粘膜構造とが同一又は類似するか否かを判定する。
強調候補領域設定部４２ａは、第一注目領域１５０１の粘膜構造と第二注目領域１５０２の粘膜構造とが同一又は類似する場合は、第一注目領域１５０１及び第二注目領域１５０２について、一つの強調候補領域１５２０を設定する。
図１４は注目領域の特徴量に基づく複数の強調候補領域の統合の他の例の模式図である。図１４には、先の第一フレーム画像３８ｂ１１において一つの注目領域１５００として検出され、第一フレーム画像３８ｂ１１の後の第二フレーム画像３８ｂ１２において複数の注目領域として検出された場合の強調候補領域の統合を模式的に示す。
図１４の符号３８１は、図１３と同様に、細長い病変１６０が存在するフレーム画像３８ｂの模式図である。符号３８４は、任意のタイミングにおける第一フレーム画像３８ｂ１１の模式図である。第一フレーム画像３８ｂ１１では、符号３８１の病変１６０に対応する注目領域１５００が検出されている。また、第一フレーム画像３８ｂ１１では、注目領域１５００に対応する強調候補領域１５２０が設定されている。
符号３８５は、第一フレーム画像３８ｂ１１の後の第二フレーム画像３８ｂ１２の模式図である。第二フレーム画像３８ｂ１２では、第一フレーム画像３８ｂ１１において注目領域１５００として検出された病変１６０が、第一注目領域１５０１及び第二注目領域１５０２として検出されている。
このような場合は、第一注目領域１５０１に対応する第一強調候補領域１５２１及び第二注目領域１５０２に対応する第二強調候補領域１５２２が設定されるものの、本来は、符号３８４に示す強調候補領域１５２０が設定されるべきである。
そこで、第一注目領域１５０１の特徴量と第二注目領域１５０２の特徴量とを比較して、両者が同一又は類似する粘膜構造を有する場合は、第一強調候補領域１５２１と第二注目領域１５０２とを統合する。
符号３８６に示す第二フレーム画像３８ｂ１２では、第一注目領域１５０１及び第二注目領域１５０２に対して、第一強調候補領域１５２１と第二強調候補領域１５２２とが統合され、一つの強調候補領域１５２０が設定されている。
［第四実施形態の作用効果］
第四実施形態に係る医用画像処理装置によれば、注目領域の特徴量に基づいて複数の注目領域に対して一つの強調候補領域を設定する。これにより、複数の注目領域を一つの注目領域として取り扱うことが可能となる。
また、第一強調候補領域１５２１と第二強調候補領域１５２２とのそれぞれが強調領域として設定された場合と比較して、強調領域のちらつきを抑制し得る。
［内視鏡システムの変形例］
〔プロセッサ装置の変形例〕
プロセッサ装置１２は、医用画像処理装置１４の機能を有してもよい。すなわち、プロセッサ装置１２は、医用画像処理装置１４と一体に構成されてもよい。かかる態様では、表示装置１３はモニタ装置１６と兼用し得る。プロセッサ装置１２は入力装置１５を接続させる接続端子を備え得る。
〔照明光の変形例〕
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の他の例として、特定の波長領域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。
〈第一変形例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
〈第二変形例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
〈第三変形例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
〈第四変形例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
〈第五変形例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
〔特殊光画像の生成例〕
プロセッサ装置１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。
〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理方法は、コンピュータを用いて、医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、医用画像を取得する画像取得機能、医用画像から注目領域を検出する注目領域検出機能、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調候補領域を注目領域のそれぞれに設定する強調候補領域設定機能、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する強調領域調整機能、及び二以上の注目領域ごとの強調候補領域を統合した強調領域を表示装置に表示させる表示制御機能を実現させるプログラムを構成し得る。
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
９ 内視鏡システム
１０ 内視鏡
１１ 光源装置
１２ プロセッサ装置
１３ 表示装置
１４ 医用画像処理装置
１５ 入力装置
１６ モニタ装置
２０ 挿入部
２１ 操作部
２２ ユニバーサルコード
２５ 軟性部
２６ 湾曲部
２７ 先端部
２７ａ 先端面
２８ 撮像素子
２９ 湾曲操作ノブ
３０ 送気送水ボタン
３１ 吸引ボタン
３２ 静止画像撮像指示部
３３ 処置具導入口
３５ ライトガイド
３６ 信号ケーブル
３７ａ コネクタ
３７ｂ コネクタ
３８ 内視鏡画像
３８ａ 動画像
３８ｂ フレーム画像
３８ｂ１ フレーム画像
３８ｂ２ フレーム画像
３８ｂ１１ 第一フレーム画像
３８ｂ１２ 第二フレーム画像
３８ｃ フレーム画像
３９ 静止画像
４０ 画像取得部
４１ 注目領域検出部
４２ 強調領域設定部
４２ａ 強調候補領域設定部
４２ｂ 強調領域調整部
４４ 表示制御部
４６ 記憶部
４７ 内視鏡画像記憶部
４８ 注目領域記憶部
４９ 強調領域記憶部
１２０ 制御部
１２２ メモリ
１２４ ストレージ装置
１２６ ネットワークコントローラ
１２８ 電源装置
１３０ ディスプレイコントローラ
１３２ 入出力インターフェース
１３４ 入力コントローラ
１３６ バス
１４０ ネットワーク
１５２ 強調領域
１５４ 重心
１５６ 重複領域
１６０ 病変
３８１ 符号
３８２ 符号
３８３ 符号
３８４ 符号
３８５ 符号
３８６ 符号
１５００ 注目領域
１５０１ 第一注目領域
１５０２ 第二注目領域
１５２０ 強調候補領域
１５２１ 第一強調候補領域
１５２２ 第二強調候補領域
１５４１ 重心
１５４２ 重心
Ｌ 重心間距離
Ｓ１０からＳ２４ 医用画像処理方法の各工程
強調候補調整部は、二以上の注目領域間の距離に応じて強調候補領域を統合してもよいし、二以上の注目領域間の距離に基づいて変化する物理量に応じて強調候補領域を統合してもよい。
第４態様は、第３態様の医用画像処理装置において、強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、第一フレーム画像の後の第二フレーム画像において二以上の注目領域として検出された場合に、二以上の注目領域ごとの強調候補領域を統合する構成としてもよい。
白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域の光は、特殊光と呼ばれる場合がある。
［医用画像処理装置のハードウェア構成］
図２は医用画像処理装置のハードウェア構成を示すブロック図である。図２に示す医用画像処理装置１４は、制御部１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、電源装置１２８、ディスプレイコントローラ１３０、入出力インターフェース１３２、及び入力コントローラ１３４を備える。なお、図２に示すＩ／Ｏは入出力インターフェース１３２を表す。
複数の制御部１２０を一つのプロセッサで構成する他の例として、複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部１２０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On a Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
なお、座標値は画素位置に置き替えることが可能である。すなわち、強調候補領域設定部４２ａは、第一強調候補領域１５２１を設定する際に、第一注目領域１５０１の重心１５４１の画素位置、及び第一注目領域１５０１の縁を表す閉曲線を構成する画素位置を特定してもよい。第二強調候補領域１５２２についても同様である。
〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理方法は、コンピュータを用いて、医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、医用画像を取得する画像取得機能、医用画像から注目領域を検出する注目領域検出機能、表示装置を用いて医用画像を表示する際に、注目領域を強調する強調領域の候補である強調候補領域を注目領域のそれぞれに設定する強調候補領域設定機能、二以上の注目領域が検出された場合に、二以上の注目領域のそれぞれの間の距離に応じて、二以上の注目領域ごとの強調候補領域を統合する強調領域調整機能、及び二以上の注目領域ごとの強調候補領域を統合した強調領域を表示装置に表示させる表示制御機能を実現させるプログラムを構成し得る。

Claims (13)

  1. 医用画像を取得する画像取得部と、
    前記医用画像から注目領域を検出する注目領域検出部と、
    表示装置を用いて前記医用画像を表示する際に前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
    二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
    前記強調領域を前記表示装置に表示させる表示制御部と、
    を備えた医用画像処理装置。
  2. 前記画像取得部は、前記医用画像として静止画像を取得し、
    前記強調領域調整部は、前記静止画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１に記載の医用画像処理装置。
  3. 前記画像取得部は、前記医用画像として動画像を取得し、
    前記強調領域調整部は、前記動画像を構成する二以上の異なるフレーム画像において二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１に記載の医用画像処理装置。
  4. 前記強調領域調整部は、第一フレーム画像において一つの注目領域として検出された注目領域が、前記第一フレーム画像の後の第二フレーム画像において二以上の前記注目領域として検出された場合に、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項３に記載の医用画像処理装置。
  5. 前記強調領域調整部は、前記二以上の注目領域のそれぞれの間の距離が、０を超え規定の閾値以下の場合に前記二以上の注目領域ごとの前記強調候補領域を統合する請求項２又は３に記載の医用画像処理装置。
  6. 前記強調領域調整部は、前記二以上の注目領域の重心間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から５のいずれか一項に記載の医用画像処理装置。
  7. 前記強調領域調整部は、前記二以上の注目領域ごとの前記強調候補領域の重複度に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から５のいずれか一項に記載の医用画像処理装置。
  8. 前記強調領域調整部は、前記注目領域の特徴量に応じて前記二以上の注目領域ごとの前記強調候補領域を統合する請求項１から７のいずれか一項に記載の医用画像処理装置。
  9. 前記強調領域調整部は、統合対象の前記二以上の注目領域を全て包含する前記強調領域を設定する請求項１から８のいずれか一項に記載の医用画像処理装置。
  10. 内視鏡装置を制御する内視鏡制御部と、
    前記内視鏡装置から医用画像を取得する画像取得部と、
    前記医用画像から注目領域を検出する注目領域検出部と、
    表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定部と、
    二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整部と、
    前記強調領域を前記表示装置に表示させる表示制御部と、
    を備えたプロセッサ装置。
  11. 医用画像を取得する画像取得工程と、
    前記医用画像から注目領域を検出する注目領域検出工程と、
    表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定工程と、
    二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整工程と、
    前記強調領域を前記表示装置に表示させる表示制御工程と、
    を備えた医用画像処理方法。
  12. コンピュータに、
    医用画像を取得する画像取得機能、
    前記医用画像から注目領域を検出する注目領域検出機能、
    表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
    二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
    前記強調領域を前記表示装置に表示させる表示制御機能を実現させるプログラム。
  13. 非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
    医用画像を取得する画像取得機能、
    前記医用画像から注目領域を検出する注目領域検出機能、
    表示装置を用いて前記医用画像を表示する際に、前記注目領域を強調する強調領域の候補である強調候補領域を、前記注目領域のそれぞれに設定する強調候補領域設定機能、
    二以上の前記注目領域が検出された場合に、前記二以上の注目領域のそれぞれの間の距離に応じて、前記二以上の注目領域ごとの前記強調候補領域を統合した前記強調領域を設定する強調領域調整機能、及び
    前記強調領域を前記表示装置に表示させる表示制御機能をコンピュータに実行させる記憶媒体。
JP2020549257A 2018-09-26 2019-09-25 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム Active JP7137629B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018180301 2018-09-26
JP2018180301 2018-09-26
PCT/JP2019/037477 WO2020067100A1 (ja) 2018-09-26 2019-09-25 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020067100A1 true JPWO2020067100A1 (ja) 2021-09-30
JP7137629B2 JP7137629B2 (ja) 2022-09-14

Family

ID=69950159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020549257A Active JP7137629B2 (ja) 2018-09-26 2019-09-25 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210209398A1 (ja)
JP (1) JP7137629B2 (ja)
WO (1) WO2020067100A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3832491A1 (en) * 2019-12-06 2021-06-09 Idemia Identity & Security France Methods for processing a plurality of candidate annotations of a given instance of an image, and for learning parameters of a computational model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325754A (ja) * 2001-04-27 2002-11-12 Canon Inc 画像処理方法および装置
WO2012169119A1 (ja) * 2011-06-10 2012-12-13 パナソニック株式会社 物体検出枠表示装置及び物体検出枠表示方法
WO2013057904A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 蝟集判定装置及び蝟集判定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070161854A1 (en) * 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
US8331641B2 (en) * 2008-11-03 2012-12-11 Siemens Medical Solutions Usa, Inc. System and method for automatically classifying regions-of-interest
JP5220705B2 (ja) * 2009-07-23 2013-06-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5662082B2 (ja) * 2010-08-23 2015-01-28 富士フイルム株式会社 画像表示装置および方法、並びに、プログラム
US20120101372A1 (en) * 2010-10-25 2012-04-26 Fujifilm Corporation Diagnosis support apparatus, diagnosis support method, lesioned part detection apparatus, and lesioned part detection method
JP5735479B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡及装置びその作動方法
WO2015155807A1 (ja) * 2014-04-09 2015-10-15 パナソニック株式会社 情報端末の制御方法及びプログラム
US10643333B2 (en) * 2018-04-12 2020-05-05 Veran Medical Technologies Apparatuses and methods for navigation in and Local segmentation extension of anatomical treelike structures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325754A (ja) * 2001-04-27 2002-11-12 Canon Inc 画像処理方法および装置
WO2012169119A1 (ja) * 2011-06-10 2012-12-13 パナソニック株式会社 物体検出枠表示装置及び物体検出枠表示方法
WO2013057904A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 蝟集判定装置及び蝟集判定方法

Also Published As

Publication number Publication date
WO2020067100A1 (ja) 2020-04-02
US20210209398A1 (en) 2021-07-08
JP7137629B2 (ja) 2022-09-14

Similar Documents

Publication Publication Date Title
EP2926718B1 (en) Endoscope system
JP7346693B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
WO2020012872A1 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
US20210342592A1 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
CN112770662A (zh) 医用图像处理装置、医用图像处理方法、及程序、诊断辅助装置以及内窥镜系统
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
US20220285010A1 (en) Medical image processing apparatus, medical image processing method, and program
CN109152520B (zh) 图像信号处理装置、图像信号处理方法以及记录介质
JP7122328B2 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
JPWO2020067100A1 (ja) 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
CN112752535A (zh) 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
JP7148625B2 (ja) 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
CN114786558A (zh) 医学图像生成装置、医学图像生成方法和医学图像生成程序
WO2020017211A1 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
US20230347170A1 (en) Phototherapy device, phototherapy method, and computer-readable recording medium
CN113196130A (zh) 内窥镜系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R150 Certificate of patent or registration of utility model

Ref document number: 7137629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150