JP6850225B2 - 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 - Google Patents
医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 Download PDFInfo
- Publication number
- JP6850225B2 JP6850225B2 JP2017168754A JP2017168754A JP6850225B2 JP 6850225 B2 JP6850225 B2 JP 6850225B2 JP 2017168754 A JP2017168754 A JP 2017168754A JP 2017168754 A JP2017168754 A JP 2017168754A JP 6850225 B2 JP6850225 B2 JP 6850225B2
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- red blood
- short
- image processing
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 83
- 238000001839 endoscopy Methods 0.000 title 1
- 210000003743 erythrocyte Anatomy 0.000 claims description 184
- 238000004364 calculation method Methods 0.000 claims description 56
- 230000033001 locomotion Effects 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 38
- 230000003902 lesion Effects 0.000 claims description 18
- 210000004400 mucous membrane Anatomy 0.000 claims description 17
- 230000009087 cell motility Effects 0.000 claims description 13
- 208000022559 Inflammatory bowel disease Diseases 0.000 claims description 8
- 210000004877 mucosa Anatomy 0.000 claims description 5
- 230000002496 gastric effect Effects 0.000 claims description 3
- 206010009900 Colitis ulcerative Diseases 0.000 description 16
- 201000006704 Ulcerative Colitis Diseases 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 13
- 238000010191 image analysis Methods 0.000 description 12
- 210000004204 blood vessel Anatomy 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000000740 bleeding effect Effects 0.000 description 5
- 208000027866 inflammatory disease Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 208000011231 Crohn disease Diseases 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 210000003750 lower gastrointestinal tract Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- WLDHEUZGFKACJH-UHFFFAOYSA-K amaranth Chemical compound [Na+].[Na+].[Na+].C12=CC=C(S([O-])(=O)=O)C=C2C=C(S([O-])(=O)=O)C(O)=C1N=NC1=CC=C(S([O-])(=O)=O)C2=CC=CC=C12 WLDHEUZGFKACJH-UHFFFAOYSA-K 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 208000028299 esophageal disease Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 208000027686 extensive ulcer Diseases 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14503—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue invasive, e.g. introduced into the body by a catheter or needle or using implanted sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14535—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring haematocrit
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Endoscopes (AREA)
Description
本発明は、医療画像の解析結果を用いる医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置に関する。
従来、医療に係る装置（以下、医療装置という）のうち、被写体の画像（以下、医療画像という）を取得するものは、取得した医療画像を医師に提示する。そして、医師は、医療装置から得る医療画像を判断材料の１つとして使用し、診断等をする。当然ながら、診断の際に医療画像を用いてする被写体の状態等の鑑別は、医師の技量及び経験等に基づく。
近年においては、画像解析技術が進歩したので、医療画像を解析することで、医療画像から様々な客観的な情報を得ることができる。このため、医療画像の解析結果を医師等に提示することにより、鑑別及び診断等を支援する医療装置が増えてきている。また、内視鏡装置においては、血液の移動速度または血液の移動方向を特定し、血液の移動速度または血液の移動方向の分布を示すデータを出力する装置が知られている（特許文献１）。
近年の医療装置においては、医療画像の解析結果を提示することが求められているが、病変の種類または進行度等によっては、病変の有無または進行度（いわゆるステージ）に関する解析結果を容易には得られない場合がある。具体的には、内視鏡画像を用いた診断においては、炎症性疾患について進行度を判別し得る正確な解析結果を得ることが難しい場合がある。
ところで、血液の流れが、病変の有無または進行度等の判別に有用である場合がある。このため、内視鏡画像において、血液、特に、血液が含む赤血球を検出することができれば、炎症性疾患の進行度を従来よりも正確に判別し得る解析結果が得られる可能性がある。
特許文献１に係る発明は赤血球の移動速度または移動方向を検出するが、使用する内視鏡画像は極めて限定的な被写体を写したものである。このため、特許文献１に係る発明が使用する方法で、消化管等を撮影する他の内視鏡で撮影した内視鏡画像から赤血球を検出することは困難である。
具体的には、特許文献１に係る発明が検出する赤血球は、糸球体という赤血球ほぼ１個分の太さしかない毛細血管を流れる赤血球である。さらに、特許文献１に係る発明は、少なくとも緑色波長帯域を含む広帯域な光を糸状体に照射し、かつ、緑色のカラーフィルタを介して撮影する。しかし、消化管等を撮影した内視鏡画像においては、緑色波長帯域を含む広帯域な光を照射する場合、緑色のカラーフィルタを介して被写体を撮影しても、赤血球を検出することは困難である。
本発明は、大腸等を撮影した内視鏡画像を用いて赤血球を検出し得る医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置を提供することを目的とする。
本発明の医療画像処理装置は、被写体像を含む医療画像であって、可視域の青色帯域または紫色帯域にあり、ピークが３９０ｎｍ以上４５０ｎｍ以下にある短波長帯域の光を照射した被写体を撮影して得る短波長医療画像を取得する医療画像取得部と、短波長医療画像を用いて、消化管粘膜内の赤血球を検出する赤血球検出部と、を備える。
赤血球検出部は、短波長医療画像を用いて、高周波であり、顆粒状であり、かつ、高濃度の領域を赤血球として検出することが好ましい。
短波長医療画像において検出した赤血球の数量を算出する赤血球数量算出部と、短波長医療画像において検出した赤血球の移動量を算出する赤血球移動量算出部と、赤血球の数量及び移動量を用いて、病変の進行度を表す指標を算出する指標算出部と、を備えることが好ましい。
赤血球移動量算出部は、赤血球検出部が赤血球を検出した一連の短波長医療画像を用いて赤血球の移動量を算出することが好ましい。
赤血球移動量算出部は、連続して撮影した２つの短波長医療画像、または、特定の間隔をおいて撮影した２つの前記短波長医療画像を用いて赤血球の移動量を算出することが好ましい。
指標算出部は、炎症性腸疾患の進行度と相関がある指標を算出することが好ましい。
指標算出部は、数量と移動量とを重み付け加算して指標を算出することが好ましい。
短波長医療画像を表示する表示部と、表示部に表示する短波長医療画像の表示色を調節する表示制御部と、を備えることが好ましい。
表示制御部は、粘膜の色を緑色の色相にすることが好ましい。
病変の進行度と、指標と、を対応付けて表示する表示部を備えることが好ましい。
短波長医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部を備え、赤血球検出部は、注目領域において赤血球を検出することが好ましい。
本発明の内視鏡装置は、上記医療画像処理装置と、短波長帯域の光を照射して画像を取得する内視鏡と、を含む。
本発明の診断支援装置は、上記医療画像処理装置を含む。
本発明の医療業務支援装置は、上記医療画像処理装置を含む。
本発明の医療画像処理装置は、被写体像を含む医療画像であって、緑色波長帯域よりも短波長帯域の光を照射した被写体を撮影して得る短波長医療画像を取得する医療画像取得部と、短波長医療画像を用いて赤血球を検出する赤血球検出部と、短波長医療画像において検出した赤血球の数量を算出する赤血球数量算出部と、短波長医療画像において検出した赤血球の移動量を算出する赤血球移動量算出部と、赤血球の数量及び移動量を用いて、病変の進行度を表す指標を算出する指標算出部と、を備え、指標算出部は、炎症性腸疾患の進行度と相関がある指標を算出する。
本発明の医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置は、大腸等を撮影した内視鏡画像を用いて赤血球を検出できる。
図１に示すように、医療画像処理装置１０は、医療画像取得部１１、医療画像解析処理部１２、表示部１３、表示制御部１５、入力受信部１６、統括制御部１７を備える。
医療画像取得部１１は、医療装置である内視鏡装置２１から直接に、または、ＰＡＣＳ（Picture Archiving and Communication System）２２等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像である内視鏡画像（以下、医療画像という）を取得する。なお、医療画像は静止画像または動画である。医療画像が動画である場合、医療画像の表示には、動画を構成する１つの代表フレームの静止画を表示することのほか、動画を１または複数回、再生することを含む。
医療画像取得部１１は、複数種類の医療画像を取得し得る場合、これらの医療画像のうち少なくとも短波長医療画像６１，６２（図６及び図７参照）を取得する。短波長医療画像６１，６２とは、緑色波長帯域よりも短波長帯域の光を照射した被写体を撮影して得た医療画像である。「緑色波長帯域」とは概ね５００ｎｍ以上５７０ｎｍ以下程度の波長帯域をいう。また、「緑色波長帯域よりも短波長帯域」とは約５００ｎｍ未満の波長をいう。したがって、医療画像取得部１１が取得する短波長医療画像６１，６２は、実質的に約５００ｎｍ未満の波長帯域の成分を含む光を照明光として使用して撮影した医療画像である。但し、短波長医療画像６１，６２の撮影に使用する照明光は、約５００ｎｍ未満の波長帯域の光を使用して撮影した場合における被写体像の特徴を失わない限度において、約５００ｎｍ未満の波長帯域の成分の他に、約５００ｎｍ以上の波長帯域の成分（緑色光）を含むことができる。医療画像取得部１１は、例えば、ピークが３９０ｎｍ以上４５０ｎｍ以下にある波長帯域がごく狭い（例えば±１０ｎｍ程度）の狭帯域な光を照明光として使用して撮影した短波長医療画像を取得し、医療画像解析処理部１２においてはこの短波長医療画像６１，６２を使用する。
また、医療画像取得部１１は、一連の短波長医療画像６１，６２を取得する。一連の短波長医療画像６１，６２とは、連続して撮影した２つの短波長医療画像６１，６２、または、特定の間隔をおいて撮影した２つの短波長医療画像６１，６２をいう。より具体的には、静止画である場合、一連の短波長医療画像６１，６２とは、１回の診察において同じ被写体を順次に撮影して得た２以上の医療画像である。また、動画である場合、一連の短波長医療画像６１，６２とは、その動画が含む２フレーム（コマ）以上の医療画像、または、１回の診察において同じ被写体を順次に撮影して得た複数の動画から任意に取得し得る２フレーム以上の医療画像である。また、医療画像取得部１１は、静止画の短波長医療画像と、動画が含む１フレーム以上の短波長医療画像と、が１回の診察において同じ被写体を順次に撮影して得たものである場合、これらを一連の短波長医療画像として取得することができる。なお、一連の短波長医療画像が含む個々の短波長医療画像同士の撮影間隔は任意に設定または選択できる。本実施形態においては、医療画像取得部１１は、撮影の時系列に沿って、最初に撮影した短波長医療画像６１（図６参照）と、短波長医療画像６１よりも後に撮影した短波長医療画像６２（図７参照）と、を取得する。
なお、内視鏡装置２１またはＰＡＣＳ２２等に複数の医療画像がある場合、医療画像取得部１１は、これら複数の医療画像の全部を、または、一部（例えば短波長医療画像だけ）を選択して取得することができる。内視鏡装置２１またはＰＡＣＳ２２等にある複数の医療画像から、一部の医療画像を選択して取得する場合、医師等のユーザ操作にしたがって手動で医療画像を選択することができる。また、医療画像取得部１１は、撮影日時、撮影部位、または、その他の予め設定する条件（撮影に使用した照明光の種類等）にしたがって自動的に、取得する医療画像を選択することができる。
本実施形態においては、医療画像処理装置１０は、内視鏡装置２１と接続し、内視鏡装置２１から医療画像を取得する。図２に示すように、本実施形態において医療画像処理装置１０が接続する内視鏡装置２１は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより画像を取得する内視鏡３１、内視鏡３１を介して被写体内に照明光を照射する光源装置３２、プロセッサ装置３３、及び、内視鏡３１を用いて撮影した内視鏡画像等を表示するモニタ３４を有する。内視鏡３１が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。プロセッサ装置３３は、内視鏡画像を生成する画像生成部３６を備える。医療画像処理装置１０は上記プロセッサ装置３３と接続する。そして、医療画像取得部１１は、内視鏡装置２１の画像生成部３６から直接に短波長医療画像６１，６２を取得する。
医療画像解析処理部１２は、医療画像取得部１１が取得した短波長医療画像６１，６２を用いて解析処理をする。具体的には、図３に示すように、医療画像解析処理部１２は、赤血球検出部４１と、赤血球数量算出部４２と、赤血球移動量算出部４３と、指標算出部４４と、を含む。
赤血球検出部４１は、短波長医療画像６１，６２を用いて赤血球７１（図６等参照）を検出する。赤血球検出部４１の検出対象は、１つの赤血球７１または複数の赤血球７１が集まった塊（集合体）である。具体的には、赤血球検出部４１は、短波長医療画像６１，６２を用いて、高周波であり、顆粒状であり、かつ、高濃度の領域を赤血球７１（または赤血球７１の塊である。以下、同じ。）として検出する。
高周波とは、短波長医療画像６１，６２をフーリエ変換した場合に、短波長医療画像６１，６２において被写体である粘膜７２（図６等参照）が含む血管及びピットパターン等の構造（以下、組織等構造という）の空間周波数と比較して高い空間周波数を有することをいう。すなわち、赤血球検出部４１は、組織等構造よりも微細なパターンを赤血球７１の候補にする。なお、赤血球７１のサイズはほぼ一定であるから、赤血球検出部４１は、赤血球７１の候補とするパターンのサイズを、短波長医療画像６１，６２における被写体の撮影倍率（拡大率）を用いて定める。
顆粒状とは、パターンの形状が微小な点（小面積の面を含む）であることをいう。すなわち、赤血球検出部４１は、血管のような線状のパターン、及び、粘膜７２の面積に比して比較的大きな面積を有するパターンを赤血球の候補から除く。そして、赤血球検出部４１は、斑点のパターンを赤血球７１の候補にする。
高濃度とは、短波長医療画像６１，６２において大部分を占める粘膜７２に対して区別し得るコントラストを有することをいう。すなわち、赤血球検出部４１は、粘膜７２に対して所定以上のコントラストを有しているパターンを赤血球７１の候補にする。このため、赤血球検出部４１は、短波長医療画像６１，６２を反転した場合も赤血球７１を検出できる。
より具体的には、赤血球検出部４１は、円構造を用いたボトムハットフィルタ、または、Ｑｕｏｉｔフィルタ等を用いて、短波長医療画像６１，６２から赤血球７１を検出する。また、赤血球は直径が７〜８μｍ、厚さが２μｍ程度であり、いくつかの赤血球が集まっていた場合でも非常に微細であることから被写体を極めて大きく拡大し、赤血球７１を巨視的に視認できる特殊な撮影状況である場合を除けば、医療画像（内視鏡画像）を用いて赤血球の検出するのは難しい。また、医療画像（内視鏡画像）を用いて赤血球７１を検出できるとしてもノイズとの区別が難しい。一方、赤血球検出部４１が短波長医療画像６１，６２を用いてノイズと区別しつつ赤血球を検出できるのは、短波長医療画像６１，６２が緑色波長帯域よりも短波長帯域の光を照射した被写体を撮影して得た医療画像（内視鏡画像）であることによる。特に、本実施形態においては、緑色波長帯域よりも短波長の光であり、かつ、波長帯域がごく狭い狭帯域な光を照射した被写体を撮影して短波長医療画像６１，６２を得ているので、特殊な撮影状況でなくても、ある程度被写体を拡大して撮影していれば、赤血球７１を検出できる。また、白色光等を被写体に照射し、緑色波長帯域の光を透過するフィルタを介して撮影する場合と比較すると、特にノイズが少ない状態で正確に赤血球７１を検出できる。
赤血球数量算出部４２は、赤血球検出部４１の検出結果を用いて、短波長医療画像６１，６２において検出した赤血球７１の数量を算出する。赤血球７１の数量とは、赤血球７１の個数または個数に相関がある量（面積等）である。
赤血球移動量算出部４３は、赤血球検出部４１が赤血球７１を検出した一連の短波長医療画像６１，６２を用いて、短波長医療画像６１，６２において検出した赤血球７１の移動量を算出する。赤血球７１の移動量とは、赤血球７１の移動距離、または、赤血球７１の移動距離に相関がある量（移動距離の合計または平均等）である。本実施形態においては、赤血球移動量算出部４３は、医療画像取得部１１が取得した一連の短波長医療画像のうち、少なくとも２つの短波長医療画像の差分を画素ごとに算出する。そして、赤血球移動量算出部４３は、各画素における画素値の差分を、画像全体または画像内に定める一部領域において合計等（平均その他統計量を算出することを含む）し、その絶対値を、赤血球７１の移動量とする。２つの短波長医療画像が、赤血球７１の移動量を算出できる程度に短時間のうちに順次撮影したものであれば、粘膜７２の大局的な動きは小さいので、差分の合計等は、移動が速い赤血球７１の移動距離に相関がある。すなわち、２つの短波長医療画像の差分の合計等は、実質的に赤血球７１の移動距離が大きいほど、値が大きくなる。
指標算出部４４は、赤血球数量算出部４２が算出した赤血球７１の数量、及び、赤血球移動量算出部４３が算出した赤血球７１の移動量を用いて、病変の進行度を表す指標を算出する。病変とは例えば炎症性疾患、より具体的には下部消化管において発症する潰瘍性大腸炎またはクローン病等の炎症性腸疾患である。このため、指標算出部４４は、炎症性腸疾患の進行度と相関がある指標を算出する。
特に、本実施形態においては、指標算出部４４は、潰瘍性大腸炎の進行度を表す指標を算出する。潰瘍性大腸炎は、内視鏡所見分類のＭａｙｏ分類が知られている。Ｍａｙｏ分類にはＭａｙｏ０、Ｍａｙｏ１、Ｍａｙｏ２、及び、Ｍａｙｏ３の４段階のグレードがある。Ｍａｙｏ０は、正常または非活動性（寛解期を含む）を表すグレードである。Ｍａｙｏ１は、軽症を表すグレードであり、一般に、発赤、血管像不明瞭、または、軽度の易出血性が認められる状態である。Ｍａｙｏ２は、中等症を表すグレードであり、一般に、顕著な発赤、血管像の消失、易出血性、膿性分泌物の付着、粘膜粗造、糜爛、または、部分的な潰瘍等が認められる状態である。Ｍａｙｏ３は重症（活動期）を表すグレードであり、一般に、明らかな自然出血、浮腫、潰瘍（広範な潰瘍を含む）等が認められる状態である。
潰瘍性大腸炎の進行度がＭａｙｏ０程度の場合、短波長医療画像６１，６２においては、通常、赤血球７１は血管内に密集して移動するので、赤血球検出部４１における赤血球７１の検出からは除外される。潰瘍性大腸炎の進行度がＭａｙｏ１からＭａｙｏ２程度の場合、粘膜７２外への出血まで至らない場合でも、粘膜７２内に赤血球７１が漏出する。このため、短波長医療画像６１，６２においては、血管に沿わずに移動する赤血球７１を検出することができる。潰瘍性大腸炎の進行度がＭａｙｏ３の状態は、赤血球７１の検出等をするまでもなく、病態が明らかである。したがって、本実施形態の医療画像処理装置１０は、Ｍａｙｏ０、Ｍａｙｏ１、及び、Ｍａｙｏ２の範囲で、各グレードを判別し、または、どのグレードに近い状態にあるかを示す指標を算出する。
指標算出部４４は、病変の進行度を表す指標として、例えば、赤血球７１の数量と、赤血球７１の移動量と、を重み付け加算した値（以下、スコアという）を算出することができる。病変が潰瘍性大腸炎である場合に、赤血球７１の数量が「Ｐ１」であり、赤血球７１の移動量が「Ｑ１」であり、赤血球７１の数量Ｐに対する重み係数を「α」とし、かつ、赤血球７１の移動量Ｑに対する重み係数を「β」とすると、潰瘍性大腸炎の進行度と相関があるスコアＸ１は、Ｘ１＝α×Ｐ１＋β×Ｑ１により算出する。このスコアＸ１の値は、Ｍａｙｏ分類のグレードと相関があり（例えば値が大きくなるほどＭａｙｏ２に近くなる）、重み係数α、βの値を調節することで、Ｍａｙｏ分類のグレードと相関をより強くすることができる。
また、指標算出部４４は、赤血球７１の数量及び赤血球７１の移動量と、病変の進行度と、を対応付けたマップ（数値テーブル等である場合を含む）を参照し、赤血球７１の数量及び赤血球７１の移動量から病変の進行度を求めることができる。例えば、図４に示すように、赤血球７１の数量及び赤血球７１の移動量と、潰瘍性大腸炎の進行度と、を対応付けたマップ５１を参照すれば、潰瘍性大腸炎の進行度としてＭａｙｏ分類のグレードを求めることができる。この場合、Ｍａｙｏ分類のグレードが指標算出部４４が算出する指標である。例えば、赤血球７１の数量が「Ｐ１」であり、赤血球７１の移動量が「Ｑ１」である場合、指標算出部４４が算出する指標は「Ｍａｙｏ２」である。
上記指標の算出態様は任意に切り替えることができる。また、スコアＸ１の算出に使用する重み係数α及びβも任意に設定または変更できる。
表示部１３は、医療画像取得部１１が取得した医療画像、及び、医療画像解析処理部１２の解析結果を表示するディスプレイである。医療画像処理装置１０が接続するデバイス等が含むモニタまたはディスプレイを共用し、医療画像処理装置１０の表示部１３として使用できる。表示制御部１５は、表示部１３における医療画像及び解析結果の表示態様を制御する。
入力受信部１６は、医療画像処理装置１０に付属するマウス、キーボード、その他操作デバイスからの入力を受け付ける。医療画像処理装置１０の各部の動作はこれらの操作デバイスを用いて制御することができる。
統括制御部１７は、医療画像処理装置１０の各部の動作を統括的に制御する。入力受信部１６が操作デバイスを用いた操作入力を受信した場合には、統括制御部１７は、その操作入力にしたがって医療画像処理装置１０の各部を制御する。
以下、医療画像処理装置１０の動作の流れを説明する。図５に示すように、医療画像取得部１１は、自動的にまたは手動選択により、一連の短波長医療画像６１，６２を取得する（ステップＳ１０）。図６に示すように、一連の短波長医療画像６１，６２のうち、最初に撮影した短波長医療画像６１は、粘膜７２内に漏出した赤血球７１を検出可能である。また、図７に示すように、一連の短波長医療画像６１，６２のうち、２番目に撮影した短波長医療画像６２は、最初の短波長医療画像６１と比較して、赤血球７１の位置が移動している。
医療画像取得部１１が一連の短波長医療画像６１，６２を取得すると、赤血球検出部４１は、これら一連の短波長医療画像６１，６２の各々において赤血球７１を検出する（ステップＳ１１）。赤血球検出部４１が一連の短波長医療画像６１，６２において赤血球７１を検出すると、赤血球数量算出部４２は赤血球７１の数量を算出し（ステップＳ１２）、かつ、赤血球数量算出部４２は赤血球７１の移動量を算出する（ステップＳ１３）。その後、指標算出部４４は、赤血球７１の数量と、赤血球７１の移動量と、を用いて、潰瘍性大腸炎の進行度と相関があるスコアＸ１、または、Ｍａｙｏ分類のグレードを指標として算出する（ステップＳ１４）。
指標算出部４４がスコアまたはＭａｙｏ分類のグレードを指標として算出すると、表示制御部１５は、一連の短波長医療画像６１，６２のうち少なくとも１つの短波長医療画像と、指標算出部４４が算出した指標と、を表示部１３に表示する。指標算出部４４が潰瘍性大腸炎の進行度と相関があるスコアＸ１を算出する場合、図８に示すように、表示制御部１５は、例えば短波長医療画像６１と、スコアＸ１と、を表示部１３に表示する。また、指標算出部４４がＭａｙｏ分類のグレードを算出する場合、図９に示すように、表示制御部１５は、例えば短波長医療画像６１と、Ｍａｙｏ分類のグレードと、を表示部１３に表示する。
上記のように、医療画像処理装置１０は、緑色波長帯域よりも短波長帯域の光を照射した被写体を撮影して得た一連の短波長医療画像６１，６２を使用することで、通常は、精度良く検出することが困難である粘膜７２内に漏出した赤血球７１を検出することができる。その結果、医療画像処理装置１０は、検出した赤血球７１の数量及び移動量を用いて、潰瘍性大腸炎の進行度等、従来においては判別の難しかった病変の進行度等に係る解析結果を得ることができる。特に、潰瘍性大腸炎及びクローン病等の炎症性腸疾患においては、軽症から中等症程度の正確な判別が特に困難であったが、医療画像処理装置１０は、これらを従来よりも正確に判別し得る指標を提供できる。上記実施形態においては、医療画像処理装置１０が算出する指標を用いれば、潰瘍性大腸炎におけるＭａｙｏ１とＭａｙｏ２とを、Ｍａｙｏ０とＭａｙｏ１とを、または、どの程度各グレードに近いか（Ｍａｙｏ２に近いＭａｙｏ１なのか、Ｍａｙｏ０に近いＭａｙｏ１なのか等）を、具体的かつ客観的に判別することができる。
上記実施形態においては、赤血球移動量算出部４３は、２つの短波長医療画像６１，６２の差分の合計し、その絶対値を赤血球７１の移動量としているが、赤血球移動量算出部４３は、上記第１実施形態とは別の方法で赤血球７１の移動量を算出することができる。例えば、最初に撮影した短波長医療画像６１と、２番目に撮影した短波長医療画像６２とのパターンマッチングを行い、対応する赤血球７１を検出することにより、各赤血球７１の移動量を算出しても良い。
上記実施形態においては、一連の短波長医療画像６１，６２の撮影倍率は任意であるが、一連の短波長医療画像６１，６２は、１９インチの表示画面において被写体を６０倍以上に拡大して撮影した短波長医療画像であることが好ましい。この場合、一連の短波長医療画像６１，６２を用いて赤血球７１をより正確に検出することができる。なお、上記撮影倍率は、一般的なズーム機能を有する消化管用内視鏡において１段階ズームする程度の撮影倍率である。
上記実施形態においては、表示制御部１５は、短波長医療画像６１と、スコアＸ１またはＭａｙｏ分類のグレードと、を表示部１３に表示しているが、これらの表示態様は一例であり、別の表示態様でこれらの情報を表示部１３に表示することができる。例えば、表示制御部１５は、スコアＸ１、または、Ｍａｙｏ分類のグレードのどちらを指標として算出する場合においても、図１０に示すように、例えば短波長医療画像６１と、赤血球７１の数量及び移動量とＭａｙｏ分類のグレードを対応付けるマップ５１と、を、マップ５１に赤血球７１の具体的な数量「Ｐ１」移動量「Ｑ１」及び該当するマップ５１中の位置（星印）を示して表示部１３に表示することができる。少なくとも図９及び図１０に示す表示部１３の表示形態は、病変の進行度を直接的に知得し得る表示形態であるという点において、病変の進行度と、指標と、を対応付けて表示する表示形態である。
上記実施形態においては、表示制御部１５は、短波長医療画像６１はいわゆる狭帯域光を用いて撮影した画像なのでほぼＢチャンネル（青色チャンネル）にしか情報を持たないため、グレースケールで表示部１３に表示するが、表示制御部１５は、短波長医療画像６１，６２をカラーで表示部１３に表示することができる。
短波長医療画像６１，６２をカラーで表示部１３に表示する場合、表示制御部１５は、表示部１３に表示する短波長医療画像６１，６２の表示色を調節する表示色調整部として機能する。例えば、短波長医療画像６１を表示部１３に表示する場合、図１１に示すように、表示制御部１５は、表示部１３に表示する短波長医療画像６１を、表示用のＢチャンネル（青色チャンネル）、Ｇチャンネル（緑色チャンネル）、及び、Ｒチャンネル（赤色チャンネル）に割り当てる。この際、表示制御部１５は、少なくとも１つの色チャンネルについて、入力元であるグレースケールの短波長医療画像６１に各色チャンネル用の補正をしてから各色チャンネルに出力する。すなわち、表示制御部１５は、入力元の短波長医療画像６１から、Ｂチャンネル用補正後のＢチャンネル用画像７６と、Ｇチャンネル用補正後のＧチャンネル用画像７７と、Ｒチャンネル用画像７８を生成し、これらを用いて表示部１３に疑似カラー化した短波長医療画像６１を表示する。
より具体的には、表示制御部１５は、例えば、Ｂチャンネル及びＲチャンネルについては、図１２に示すように入力画素値と出力画素値を線形に対応付ける。このため、Ｂチャンネル及びＲチャンネルには実質的に補正せずに入力元の短波長医療画像６１をそのまま出力する。そして、Ｇチャンネルについては、例えば図１３に示すように入力画素値と出力画素値を非線形に対応付ける補正をする。これらの結果、粘膜７２の色は緑色の色相になる。一方、赤血球７１は短波長帯域の光を良く吸収するので、入力元であるグレースケールの短波長医療画像６１においてはほぼ黒色である。このため、上記補正を経た後も、赤血球７１の色はほぼ黒色である。その結果、図１４に示すように、粘膜７２の色を緑色の色相にした表示用画像８１は、元の短波長医療画像６１と比較して、粘膜７２に対する赤血球７１のコントラストが高くなり、赤血球７１を認識しやすくできる。これは、人間の視覚のバランスを考慮したＬａｂ色空間において、表示用画像８１における粘膜７２の緑色と赤血球７１の黒色との色差が、グレースケールの短波長医療画像６１における粘膜７２の白色と赤血球７１の黒色との色差よりも大きいことからも明らかである。なお、医師等は、血管等を強調した医療画像（いわゆる狭帯域観察画像等）を見慣れており、こうした医療画像は粘膜７２の色が緑色系統の色相である場合が多い。このため、上記のように、表示用画像８１において粘膜７２を緑色の色相にすることで、擬似的にカラー化しつつも、他の一般的な表示形態の医療画像と比較しても違和感が少ない表示にできるという利点もある。
なお、非線形に対応付ける補正は上記の例に限られるものではなく、例えば、図１５に示すように中間濃度の信号の視認性を上げるため、Ｓ字調のカーブを用いてもよい。この場合においても、図１６に示すように、Ｒチャンネル、Ｇチャンネル及びＢチャンネルの各チャンネルに別々の変換テーブルを割り当ててもよい。この他、入力元であるグレースケールの短波長医療画像６１に各色チャンネル用の補正としてゲインをかけて調整してもよい。この場合、Ｇチャンネルに割り当てるゲインを高くし、かつ、Ｒチャンネル及びＢチャンネルに割り当てるゲインを低くする。
上記実施形態及び変形例においては、短波長医療画像６１または短波長医療画像６１を擬似カラー化した表示用画像８１を表示部１３に表示しているが、表示制御部１５は、他の医療画像を表示部１３に表示することができる。例えば、医療画像取得部１１は、一連の短波長医療画像６１，６２の他に、表示部１３への表示に用いる医療画像を取得する。表示部１３への表示に用いる医療画像は、例えば、被写体に白色光を照射して撮影した医療画像であり、一連の短波長医療画像６１，６２のいずれかとほぼ同時に（粘膜７２等に大きな変化がない程度の時間間隔で）撮影した内視鏡画像（以下、白色光画像という）である。この場合、表示制御部１５は、赤血球７１の検出等に使用する一連の短波長医療画像６１，６２の代わりに、白色光画像を表示部１３に表示することができる。また、表示制御部１５は、赤血球検出部４１の検出結果を、白色光画像に重畳（オーバレイ）して表示部１３に表示することで、白色光画像上において赤血球７１の位置を強調表示することができる。
上記実施形態においては、医療画像処理装置１０と内視鏡装置２１は別個の装置であるが、内視鏡装置２１は、医療画像処理装置１０を含むことができる。この場合、図１７に示すように、医療画像処理装置１０を構成する各部２２０は、プロセッサ装置３３に設ける。但し、表示部１３は、内視鏡装置２１のモニタ３４を共用することができるので、プロセッサ装置３３には表示部１３以外の各部を設ければ足りる。また、上記実施形態及びその他変形例の医療画像処理装置１０と、図２の内視鏡装置２１と、の全体で新たな内視鏡装置を構成することができる。
内視鏡装置２１は、基本的にリアルタイムに被写体を観察する装置であるから、上記のように、内視鏡装置２１が医療画像処理装置１０を含む場合、赤血球７１の検出及び指標の算出は、自動的または手動設定により、任意のタイミングで行うことができる。
また、図１８に示すように、内視鏡装置２１その他モダリティと組み合わせて使用する診断支援装置６１０は、上記実施形態及びその他変形例の医療画像処理装置１０を含むことができる。また、図１９に示すように、例えば内視鏡装置２１を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６２３等の各種検査装置と任意のネットワーク６２６を介して接続する医療業務支援装置６３０は、上記実施形態及びその他変形例の医療画像処理装置１０を含むことができる。
この他、医療画像処理装置１０、及び、医療画像処理装置１０を含む各種装置、及び、医療画像処理装置１０の機能を内包する各種装置またはシステムは、以下の種々の変更等をして使用することができる。
短波長医療画像６１，６２の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部を備える場合、赤血球検出部４１は、注目領域において赤血球７１を検出することができる。
内視鏡装置２１については、内視鏡３１はカプセル内視鏡を使用することができる。この場合、光源装置３２と、プロセッサ装置３３の一部と、はカプセル内視鏡に搭載することができる。
また、指標算出部４４は、上記実施形態及び変形例において示した指標以外の指標を算出することができる。例えば、指標算出部４４は、一連の短波長医療画像６１，６２、または医療画像取得部１１が取得する他の医療画像を用いて、血管の太さ、本数、または密度等の血管に関する情報（以下、血管情報という）を算出することができる。このように、指標算出部４４が、血管情報等の上記実施形態及び変形例において示した指標以外の指標を算出する場合、表示制御部１５は上記実施形態及び変形例において示した指標以外の指標を、上記実施形態及び変形例において示した指標とともに表示部１３に表示することができる。また、上記実施形態及び変形例において示した指標以外の指標の表示または非表示はユーザの設定または操作によって任意に切り替えることができる。
医療画像処理装置１０が、医療画像解析処理部１２の解析結果（赤血球７１の位置、赤血球７１の数量、赤血球７１の移動量、及びこれらを用いて算出した指標）を、ＰＡＣＳ２２その他の任意のストレージに保存することができる。この場合、解析に使用した一連の短波長医療画像６１，６２と、解析結果と、を関連付けて保存することができる。
上記実施形態及び変形例において、医療画像取得部１１、医療画像解析処理部１２及び医療画像解析処理部１２を構成する各部、表示制御部１５、入力受信部１６、統括制御部１７、並びに、画像生成部３６といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
上記実施形態及び変形例の医療画像処理装置１０は、炎症性疾患の進行度を判別する目的の他、手術後の縫合部からの出血の有無を確認する用途にも好適に使用できる。また、医療画像処理装置１０は、下部消化管の炎症性腸疾患の他、食道等の上部消化管における炎症性疾患の進行度等を判別する際にも好適である。
上記図１１から図１４に示す医療画像の表示形態は、医療画像処理装置１０の赤血球７１の検出機能等とは別に利用できる。上記図１１から図１４に示す医療画像の表示形態は、グレースケールの内視鏡画像を表示部１３等に表示する際に有用である。例えば、一般的な内視鏡装置２１において、グレースケールの内視鏡画像をモニタ３４に表示する場合に、上記図１１から図１４に示す医療画像の表示形態で疑似カラー化して表示することができる。この場合、赤血球７１が写ってなくても、元のグレースケールの医療画像において概ね黒色である部分の視認性を向上することができる。また、上記実施形態等においては、入力元であるグレースケールの短波長医療画像６１を、表示部１３に表示する際に、表示制御部１５が表示色の調節をするが、予め表示用画像８１を生成することができる。すなわち、入力元であるグレースケールの画像を複数の色チャンネル（ＲＧＢまたはＣＭＹＫ等）に割り当てる際に、各色チャンネルに対応する補正をする補正部と、補正後の画像を用いて、元のグレースケールの画像を疑似カラー化した新たな画像を生成する疑似カラー画像生成部と、を設ける。そして、疑似カラー画像生成部が生成した疑似カラー画像（表示用画像８１）を表示制御部１５が表示部１３に表示しても良い。当然ながら、医療画像処理装置１０においても、上記補正部及び疑似カラー画像生成部を設けることができる。
１０ 医療画像処理装置
１１ 医療画像取得部
１２ 医療画像解析処理部
１３ 表示部
１５ 表示制御部
１６ 入力受信部
１７ 統括制御部
２１ 内視鏡装置
２２ ＰＡＣＳ
３１ 内視鏡
３２ 光源装置
３３ プロセッサ装置
３４ モニタ
３６ 画像生成部
４１ 赤血球検出部
４２ 赤血球数量算出部
４３ 赤血球移動量算出部
４４ 指標算出部
５１ マップ
６１，６２ 短波長医療画像
７１ 赤血球
７２ 粘膜
７６ Ｂチャンネル用画像
７７ Ｇチャンネル用画像
７８ Ｒチャンネル用画像
８１ 表示用画像
２２０ 医療画像処理装置を構成する各部
６１０ 診断支援装置
６２１ 第１検査装置
６２２ 第２検査装置
６２３ 第Ｎ検査装置
６２６ ネットワーク
６３０ 医療業務支援装置
Ｐ１ 赤血球の数量
Ｑ１ 赤血球の移動量
Ｘ１ スコア
１１ 医療画像取得部
１２ 医療画像解析処理部
１３ 表示部
１５ 表示制御部
１６ 入力受信部
１７ 統括制御部
２１ 内視鏡装置
２２ ＰＡＣＳ
３１ 内視鏡
３２ 光源装置
３３ プロセッサ装置
３４ モニタ
３６ 画像生成部
４１ 赤血球検出部
４２ 赤血球数量算出部
４３ 赤血球移動量算出部
４４ 指標算出部
５１ マップ
６１，６２ 短波長医療画像
７１ 赤血球
７２ 粘膜
７６ Ｂチャンネル用画像
７７ Ｇチャンネル用画像
７８ Ｒチャンネル用画像
８１ 表示用画像
２２０ 医療画像処理装置を構成する各部
６１０ 診断支援装置
６２１ 第１検査装置
６２２ 第２検査装置
６２３ 第Ｎ検査装置
６２６ ネットワーク
６３０ 医療業務支援装置
Ｐ１ 赤血球の数量
Ｑ１ 赤血球の移動量
Ｘ１ スコア
Claims (15)
- 被写体像を含む医療画像であって、可視域の青色帯域または紫色帯域にあり、ピークが３９０ｎｍ以上４５０ｎｍ以下にある短波長帯域の光を照射した被写体を撮影して得る短波長医療画像を取得する医療画像取得部と、
前記短波長医療画像を用いて、消化管粘膜内の赤血球を検出する赤血球検出部と、
を備える医療画像処理装置。 - 前記赤血球検出部は、前記短波長医療画像を用いて、高周波であり、顆粒状であり、かつ、高濃度の領域を赤血球として検出する請求項１に記載の医療画像処理装置。
- 前記短波長医療画像において検出した赤血球の数量を算出する赤血球数量算出部と、
前記短波長医療画像において検出した赤血球の移動量を算出する赤血球移動量算出部と、
赤血球の前記数量及び前記移動量を用いて、病変の進行度を表す指標を算出する指標算出部と、
を備える請求項１または２に記載の医療画像処理装置。 - 前記赤血球移動量算出部は、前記赤血球検出部が赤血球を検出した一連の前記短波長医療画像を用いて赤血球の移動量を算出する請求項３に記載の医療画像処理装置。
- 前記赤血球移動量算出部は、連続して撮影した２つの前記短波長医療画像、または、特定の間隔をおいて撮影した２つの前記短波長医療画像を用いて赤血球の移動量を算出する請求項４に記載の医療画像処理装置。
- 前記指標算出部は、炎症性腸疾患の進行度と相関がある前記指標を算出する請求項３〜５のいずれか１項に記載の医療画像処理装置。
- 前記指標算出部は、前記数量と前記移動量とを重み付け加算して前記指標を算出する請求項３〜６のいずれか１項に記載の医療画像処理装置。
- 前記短波長医療画像を表示する表示部と、
前記表示部に表示する前記短波長医療画像の表示色を調節する表示制御部と、
を備える請求項１〜７のいずれか１項に記載の医療画像処理装置。 - 前記表示制御部は、粘膜の色を緑色の色相にする請求項８に記載の医療画像処理装置。
- 病変の進行度と、前記指標と、を対応付けて表示する表示部を備える請求項３〜７のいずれか１項に記載の医療画像処理装置。
- 前記短波長医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部を備え、
前記赤血球検出部は、前記注目領域において赤血球を検出する請求項１〜１０のいずれか１項に記載の医療画像処理装置。 - 請求項１〜１１のいずれか１項に記載の医療画像処理装置と、
前記短波長帯域の光を照射して画像を取得する内視鏡と、
を含む内視鏡装置。 - 請求項１〜１１のいずれか１項に記載の医療画像処理装置を含む診断支援装置。
- 請求項１〜１１のいずれか１項に記載の医療画像処理装置を含む医療業務支援装置。
- 被写体像を含む医療画像であって、緑色波長帯域よりも短波長帯域の光を照射した被写体を撮影して得る短波長医療画像を取得する医療画像取得部と、
前記短波長医療画像を用いて赤血球を検出する赤血球検出部と、
前記短波長医療画像において検出した赤血球の数量を算出する赤血球数量算出部と、
前記短波長医療画像において検出した赤血球の移動量を算出する赤血球移動量算出部と、
赤血球の前記数量及び前記移動量を用いて、病変の進行度を表す指標を算出する指標算出部と、
を備え、
前記指標算出部は、炎症性腸疾患の進行度と相関がある前記指標を算出する医療画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017168754A JP6850225B2 (ja) | 2017-09-01 | 2017-09-01 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
| EP18189880.0A EP3449800B1 (en) | 2017-09-01 | 2018-08-21 | Medical image processing apparatus, endoscope apparatus, diagnostic support apparatus, and medical service support apparatus |
| US16/109,677 US11010891B2 (en) | 2017-09-01 | 2018-08-22 | Medical image processing apparatus, endoscope apparatus, diagnostic support apparatus, and medical service support apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017168754A JP6850225B2 (ja) | 2017-09-01 | 2017-09-01 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019042157A JP2019042157A (ja) | 2019-03-22 |
| JP6850225B2 true JP6850225B2 (ja) | 2021-03-31 |
Family
ID=63350375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017168754A Active JP6850225B2 (ja) | 2017-09-01 | 2017-09-01 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11010891B2 (ja) |
| EP (1) | EP3449800B1 (ja) |
| JP (1) | JP6850225B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7048628B2 (ja) | 2016-11-28 | 2022-04-05 | アダプティブエンドウ エルエルシー | 分離可能使い捨てシャフト付き内視鏡 |
| JP6858672B2 (ja) * | 2017-08-29 | 2021-04-14 | 富士フイルム株式会社 | 医療画像処理システム及び内視鏡システム |
| EP3716207B1 (en) * | 2019-03-26 | 2023-11-29 | Active Medical B.V. | Method and apparatus for diagnostic analysis of the function and morphology of microcirculation alterations |
| EP3960065A4 (en) * | 2019-04-23 | 2022-09-14 | FUJIFILM Corporation | IMAGE PROCESSING DEVICE AND METHODS OF OPERATING THEREOF |
| WO2021006121A1 (ja) * | 2019-07-08 | 2021-01-14 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 |
| JP7214886B2 (ja) * | 2019-10-23 | 2023-01-30 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
| USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
| US11877897B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Situational awareness of instruments location and individualization of users to control displays |
| US20220104713A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Tiered-access surgical visualization system |
| US11883022B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information |
| WO2022071413A1 (ja) * | 2020-10-02 | 2022-04-07 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム |
| US20220104765A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Surgical visualization and particle trend analysis system |
| US11672534B2 (en) | 2020-10-02 | 2023-06-13 | Cilag Gmbh International | Communication capability of a smart stapler |
| US11963683B2 (en) | 2020-10-02 | 2024-04-23 | Cilag Gmbh International | Method for operating tiered operation modes in a surgical system |
| US11911030B2 (en) | 2020-10-02 | 2024-02-27 | Cilag Gmbh International | Communication capability of a surgical device with component |
| US11877792B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Smart energy combo control options |
| US11830602B2 (en) | 2020-10-02 | 2023-11-28 | Cilag Gmbh International | Surgical hub having variable interconnectivity capabilities |
| US11748924B2 (en) | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
| US11992372B2 (en) | 2020-10-02 | 2024-05-28 | Cilag Gmbh International | Cooperative surgical displays |
| US11883052B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | End effector updates |
| USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5928251B2 (ja) * | 1975-09-03 | 1984-07-11 | 株式会社日立製作所 | 白血球分類装置 |
| AU738223B2 (en) * | 1995-10-23 | 2001-09-13 | Cytometrics, Inc. | Method and apparatus for reflected imaging analysis |
| IL124814A (en) | 1998-06-08 | 2003-04-10 | Grinvald Amiram | System and method for imaging and analysis of the movement of individual red blood corpuscles |
| AU2003227315A1 (en) * | 2002-04-02 | 2003-10-13 | Yeda Research And Development Co. Ltd. | Characterization of moving objects in a stationary background |
| JP2006519032A (ja) * | 2002-12-02 | 2006-08-24 | エダ リサーチ アンド ディベロップメント カンパニー リミティド | 光学的な画像化による動脈硬化症の特徴付け |
| JP4139276B2 (ja) | 2003-06-17 | 2008-08-27 | オリンパス株式会社 | 電子内視鏡装置及び信号処理装置 |
| US20080021331A1 (en) * | 2004-09-29 | 2008-01-24 | Yeda Research And Development Co. Ltd. | Characterization of moving objects in a stationary background |
| JP2008104628A (ja) * | 2006-10-25 | 2008-05-08 | Tokyo Institute Of Technology | 眼球の結膜強膜撮像装置 |
| JP5446074B2 (ja) * | 2007-06-11 | 2014-03-19 | 株式会社日立製作所 | 血流の計測および評価装置 |
| US9602777B2 (en) * | 2008-04-25 | 2017-03-21 | Roche Diagnostics Hematology, Inc. | Systems and methods for analyzing body fluids |
| JP5582520B2 (ja) * | 2009-02-18 | 2014-09-03 | 国立大学法人名古屋大学 | 血流観測装置 |
| JP6027803B2 (ja) * | 2012-07-17 | 2016-11-16 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
| JP6198410B2 (ja) * | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP6200168B2 (ja) * | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP6097629B2 (ja) * | 2013-04-26 | 2017-03-15 | Hoya株式会社 | 病変評価情報生成装置 |
| JP6140056B2 (ja) | 2013-09-26 | 2017-05-31 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 |
| JP6196922B2 (ja) * | 2014-03-17 | 2017-09-13 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6584090B2 (ja) | 2015-02-23 | 2019-10-02 | Hoya株式会社 | 画像処理装置 |
| JP2017067524A (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 有核赤血球の選別方法および有核赤血球の選別装置 |
| TW201725314A (zh) | 2016-01-05 | 2017-07-16 | 三宅圀博 | 雙殼式流體發電裝置及其轉子組件 |
| JP6234648B1 (ja) | 2016-01-15 | 2017-11-22 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
-
2017
- 2017-09-01 JP JP2017168754A patent/JP6850225B2/ja active Active
-
2018
- 2018-08-21 EP EP18189880.0A patent/EP3449800B1/en active Active
- 2018-08-22 US US16/109,677 patent/US11010891B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20190073769A1 (en) | 2019-03-07 |
| US11010891B2 (en) | 2021-05-18 |
| EP3449800B1 (en) | 2024-01-17 |
| EP3449800A1 (en) | 2019-03-06 |
| JP2019042157A (ja) | 2019-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6850225B2 (ja) | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 | |
| JP6920931B2 (ja) | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 | |
| JP4487535B2 (ja) | 健康度測定システムおよびプログラム | |
| EP2821006A1 (en) | Funduscopic device | |
| JP7411618B2 (ja) | 医療画像処理装置 | |
| CN112512398B (zh) | 医疗图像处理装置 | |
| US20180206738A1 (en) | Endoscope system and method of operating endoscope system | |
| JP6785990B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
| US11961228B2 (en) | Medical image processing system | |
| KR102393661B1 (ko) | 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
| JP6834019B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
| JP2010099348A (ja) | 医用画像処理装置 | |
| EP4183311A1 (en) | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device | |
| JP6866497B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
| WO2022009478A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
| WO2023026538A1 (ja) | 医療支援システム、医療支援方法及び評価支援装置 | |
| WO2022230607A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
| US20220245808A1 (en) | Image processing apparatus, image processing system, image processing method, and computer-readable recording medium | |
| JP2005137680A (ja) | 器官色計測システムおよびプログラム | |
| JP2023011303A (ja) | 医療画像処理装置及びその作動方法 | |
| CN117119941A (zh) | 内窥镜系统及其工作方法 | |
| JP2022090759A (ja) | 医用画像処理システム、医用画像処理システムの作動方法 | |
| JPWO2020080299A1 (ja) | 医療画像処理システム及び学習方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6850225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |