JPWO2020059445A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2020059445A1 JPWO2020059445A1 JP2020548220A JP2020548220A JPWO2020059445A1 JP WO2020059445 A1 JPWO2020059445 A1 JP WO2020059445A1 JP 2020548220 A JP2020548220 A JP 2020548220A JP 2020548220 A JP2020548220 A JP 2020548220A JP WO2020059445 A1 JPWO2020059445 A1 JP WO2020059445A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- image processing
- polygon
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Endoscopes (AREA)
Abstract
Description
図1は、第1の実施形態に係る内視鏡システム10(内視鏡装置、画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡装置)、プロセッサ200(プロセッサ、画像処理装置、医療画像処理装置)、光源装置300(光源装置)、及びモニタ400(表示装置)から構成される。
内視鏡本体100は、手元操作部102(手元操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタン141、吸引ボタン142、及び各種の機能を割り付けられる機能ボタン143、及び撮影指示操作(静止画像、動画像)を受け付ける撮影ボタン144が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。すなわち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(撮像部)、照明部123、鉗子口126等が設けられる(図1〜図2参照)。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、観察光をライトガイド170に入射させる。光源310は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源310R、緑色光源310G、青色光源310B、及び紫色光源310Vを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源310による観察光の照度は光源制御部350により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
光源310は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(生体内画像)が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は画像取得部、取得指示受付部、画像取得制御部、表示制御部、分類部、注目領域検出部、分類結果保存部、画像処理部、パラメータ算出部、画像生成部としての機能を有する。通信制御部205は、図示せぬ病院内システム(HIS:Hospital Information System)、病院内LAN(Local Area Network)等との通信制御を行う。記録部207には、被写体の画像(医用画像、撮影画像)、注目領域の検出及び/または分類結果を示す情報等が記録される。音声処理部209は、CPU210及び画像処理部204の制御により、注目領域の検出及び/または分類の結果に応じたメッセージ(音声)等をスピーカ209Aから出力する。
図3は画像処理部204(医療画像取得部、医療画像解析処理部、医療画像解析結果取得部)の機能構成を示す図である。画像処理部204は画像入力部204A(画像入力部)、情報取得部204B(情報取得部)、図形算出部204C(図形算出部)、表示制御部204D(表示制御部)、及び条件設定部204E(条件設定部)を有する。情報取得部204Bは医療画像解析処理部としても動作する。
プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長(白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか)を設定することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作、あるいは動画像、静止画像の撮影指示(取得指示)を行うことができる(動画像、静止画像の撮影指示は撮影ボタン144により行ってもよい)。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。
記録部207(記録装置)は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示する図形の情報等を互いに関連付けて記録する。これらの画像及び情報は、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示される図形等を表示する。また、モニタ400は撮影条件設定操作及び/または表示条件設定操作を行うための図示せぬタッチパネルを有する。
上述した構成の内視鏡システム10を用いた画像処理方法について説明する。図4は第1の実施形態に係る画像処理方法の手順を示すフローチャートである。
条件設定部204Eは、操作部208を介したユーザの指示入力に基づいて、図形算出部が算出する多角形または楕円、及び/または表示制御部が表示させる図形を設定する(ステップS100:条件設定工程)。図5は条件設定画面(ユーザに指示入力させる画面)の例である。図5では、設定可能な条件の各項目について条件名(領域501A〜505A)、設定条件の内容(領域501B〜505B)、及び条件設定用のボタン501C〜505Cが示されている。画面下部に設けられたボタン511は表示条件確定用、ボタン512は条件変更のキャンセル用、ボタン513は条件変更のクリア(初期値に戻す)用のボタンである。図5の画面はモニタ400に表示され、モニタ400のタッチパネル、及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により条件を設定することができる。このような条件設定は、処理開始前だけでなく図4のフローチャートの実行中、あるいは実行後に随時行ってよい。なお、以下に説明する条件設定画面のレイアウト及び項目は条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
画像入力部204Aは、内視鏡システム10(内視鏡装置)で取得した被検体の時系列画像を入力する(ステップS110:画像入力工程)。また、情報取得部204Bは、時系列画像を構成する各フレームについて注目領域(関心領域ともいう)の情報(注目領域の位置、大きさ、形状等)を取得する(ステップS120:情報取得工程)。あらかじめ取得されている情報を取得してもよいし、入力した時系列画像を解析して注目領域を検出してもよい。
注目領域の検出は、情報取得部204Bが例えばCADシステム(CAD:Computer Aided Diagnosis)を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、注目領域(注目すべき領域である注目領域)及び注目領域における対象(注目すべき対象)の有無を抽出することができる。この場合、情報取得部204Bは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。情報取得部204Bは検出対象画像の局所領域ごとに局所領域内の画素の特徴量(例えば色相)を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。
注目領域の検出は、機械学習により構築された学習器(学習済みモデル)により行ってもよい。例えば、新たな画像が記録部207に記録されるごとに(または新たな画像が撮影されるごとに)、情報取得部204Bが機械学習アルゴリズムに基づき画像解析処理を行うことにより、時系列画像の各フレームに注目領域が含まれるか否かを解析する。機械学習アルゴリズムは、例えばコンボリューションニューラルネットワーク(畳み込みニューラルネットワーク)の手法、すなわち入力層と、中間層(畳み込み層及びプーリング層の繰り返し;注目領域の鑑別を行う場合は全結合層を有することが好ましい)と、出力層とを経て、画像に注目領域が含まれているか否かを認識するアルゴリズムを用いることができる。注目領域のセグメンテーションを行う場合、出力層は、中間層から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。一方、物体検出を行う場合は画素レベルでの判断は必要なく、出力層が対象物の位置情報を出力する。機械学習を用いた画像解析処理においては、「注目領域である」あるいは「注目領域ではない」とのラベルを付した画像を教師データとして与えて生成した学習器を用いてもよい。「このような機械学習を行うか否か」、及び/または「学習結果を利用するか否か」を、操作部208及びモニタ400を介したユーザの操作に応じて設定してもよい。
画像に図形を重畳表示する場合、図7に示すように画像に対し外接矩形600(注目領域552に外接する矩形であって、時系列画像800の水平軸に平行な2辺と時系列画像800の垂直軸に平行な他の2辺とで構成される矩形)あるいは外接矩形600より大きい図形をそのまま重畳すると、注目領域550以外の部分(左上部分及び右下部分)が多くなり、観察の妨げとなる。そこで、第1の実施形態に係る内視鏡システム10では、「外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円」に基づく図形を画像に重畳表示する図形として算出し(ステップS130:図形算出工程)、重畳表示する(ステップS140:表示制御工程)。なお、図7における領域700は内視鏡の視野(撮影画角が広いため円形に近くなっている)を示す(以下の図でも同様である)。
図形算出部204Cは、外接矩形の面積以下の面積を有し注目領域を囲む多角形または楕円を算出する(ステップS130:図形算出工程)。外接矩形の面積未満の面積を有する多角形または楕円を算出してもよい。算出は、ステップS100で設定した条件に従って行う。算出する多角形または楕円は、水平軸及び垂直軸に対し傾いていてもよい。また、多角形としての四角形を算出する場合、矩形(長方形)を算出してもよいし、平行四辺形を算出してもよい。例えば、図8の(a)部分に示すように注目領域552を囲む斜めの矩形602を算出してもよいし、同図の(b)部分に示すように注目領域550を囲む斜めの平行四辺形604を算出してもよい。なお、観察を妨げないようにするため、注目領域と重ならない多角形または楕円を算出することが好ましい。
ステップS130で多角形を算出する場合、図形算出部204Cは、注目領域に対し第1の軸と、第1の軸と交わる第2の軸と、を設定し、第1の軸に平行な2辺と第2の軸に平行な2辺とで構成される四角形を多角形として算出する(ステップS130:図形算出工程)。第1の軸及び第2の軸は、例えば第1の軸または第2の軸を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に第1の軸及び/または第2の軸を設定する、等様々な方向に設定することができる。図9は第1の軸及び第2の軸の設定例を示す図である。図9の(a)部分は、注目領域550に対し第1の軸901(第1の軸)及び第1の軸901に直交する第2の軸902(第2の軸)を設定し、第1の軸901に平行な2辺と第2の軸902に平行な2辺で構成される矩形610(多角形、四角形、矩形)を算出する様子を示している。一方、図9の(b)部分は、注目領域550に対し第1の軸903(第1の軸)及び第2の軸904(第2の軸)を設定し、第1の軸903に平行な2辺と第2の軸904に平行な2辺で構成される平行四辺形612(多角形、四角形、平行四辺形)を算出する様子を示している。
ステップS130において、図形算出部204Cは、注目領域を楕円近似して楕円の長軸及び短軸を算出することにより楕円または多角形(四角形)を算出することができる(ステップS130:図形算出工程)。例えば図10に示すように、図形算出部204Cは、注目領域550に対し長軸905(長軸)及び長軸905に直交する短軸906(短軸)を有する楕円614を算出することができる。長軸及び短軸は、多角形を算出する場合と同様に、一方を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に設定する、等様々な方向に設定することができる。また、多角形を算出する場合と同様に、注目領域と重ならない楕円を算出することが好ましい。また、図形算出部204Cは、このようにして算出した長軸と短軸とのうち一方を第1の軸とし他方を第2の軸として、第1の軸に平行な2辺と第2の軸に平行な2辺とで構成される四角形を多角形として算出してもよい。このように、楕円近似は楕円算出方法の一態様であり、また多角形(四角形)を規定する2軸の算出手法の一態様でもある。
表示制御部204Dは、図形算出部204Cが算出した多角形または楕円に基づく図形を時系列画像に重畳してモニタ400(表示装置)に表示させる(ステップS140:表示制御工程)。具体的には、算出した多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を表示させる。以下、重畳表示する図形の例を説明する。
(例1)
図11の(a)部分は注目領域552を囲む矩形(多角形)の辺に配置された図形616を重畳表示した様子を示した図であり、同図の(b)部分は矩形の頂点に配置された図形618(L字型の図形4つ)を重畳表示した様子を示す図である。図11の(b)部分に示す例では、大きさ及び形状が頂点における内角に依存しない図形618(4つの図形618が全て等しい)を表示している。
図12の(a)部分は注目領域550を囲む矩形(多角形)の辺により構成される図形620を重畳表示した様子を示した図であり、同図の(b)部分は矩形の辺の一部により構成される図形622(点線で描画された、全体として矩形の図形)を重畳表示した様子を示す図である。また、図12の(c)部分は同図の(a)部分と同様に矩形の辺により構成される図形624を重畳表示した様子を示す図であるが、図形624は図形620よりも大きくし、注目領域550と図形624の間の余白を確保している。なお、他の表示例においても図12の(c)部分と同様に余白を確保することができる。
図13の(a)部分は注目領域550を囲む平行四辺形(多角形)の辺により構成される図形626を重畳表示した様子を示した図であり、同図の(b)部分は平行四辺形の辺の一部により構成される図形628(点線で描画された、全体として平行四辺形の図形)を重畳表示した様子を示す図である。また、図13の(c)部分は、平行四辺形の頂点に配置され頂点における内角に応じて形状を変化させた図形630を重畳表示した様子を示している。
図14の(a)部分は注目領域550を囲む平行四辺形(多角形)の頂点に配置され頂点における内角に応じて形状を変化させた図形632(L字型、あるいはV字型の図形4つ)を重畳表示した様子を示した図であり、同図の(b)部分は平行四辺形の頂点に配置され大きさ及び形状が頂点における内角に依存しない図形634(平行四辺形の中心方向を向く楔形の図形4つ)を重畳表示した様子を示す図である。
図15の(a)部分は注目領域550を囲む楕円の辺により構成される図形636を重畳表示した様子を示した図であり、同図の(b)部分は楕円の辺の一部により構成される図形638(点線で描画された、全体として楕円の図形)を重畳表示した様子を示す図である。また、図15の(c)部分は、楕円の円周上の複数の位置に配置され形状及び大きさが円周上の位置に依存しない図形640(楕円の中心方向を向く楔形の図形4つ)を重畳表示した様子を示している。
図16の(a)部分は注目領域550を囲む三角形(多角形の一態様)の辺により構成される図形642を重畳表示した様子を示した図であり、同図の(b)部分は楕円の辺の一部により構成される図形644(点線で描画された、全体として三角形の図形)を重畳表示した様子を示す図である。また、図16の(c)部分は、三角形の頂点に配置され形状及び大きさが頂点における内角に依存しない図形646(楔形の図形646が3つ)を重畳表示した様子を示しており、同図の(d)部分は三角形の頂点に配置され頂点における内角に応じて形状を変化させた図形648(楔形の図形648が3つ)を重畳表示した様子を示している。
注目領域の一部だけが時系列画像に映っている場合は、その映っている部分について図形を重畳表示すればよい。例えば、図17の(a)部分に示すように注目領域550の一部が映っている場合は、図形652のように矩形の辺の一部により構成される図形を重畳表示することができる。同様に、図17の(b)部分に示す図形654や、同図の(c)部分に示す図形656のような図形を表示してもよい。
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
蛍光は、ピークが390以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮影光学系
132 撮影レンズ
134 撮像素子
136 駆動回路
138 AFE
141 送気送水ボタン
142 吸引ボタン
143 機能ボタン
144 撮影ボタン
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
204A 画像入力部
204B 情報取得部
204C 図形算出部
204D 表示制御部
204E 条件設定部
205 通信制御部
206 ビデオ出力部
207 記録部
208 操作部
209 音声処理部
209A スピーカ
210 CPU
211 ROM
212 RAM
300 光源装置
310 光源
310B 青色光源
310G 緑色光源
310R 赤色光源
310V 紫色光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
501A 領域
501B 領域
501C ボタン
502A 領域
502B 領域
502C ボタン
503A 領域
503B 領域
503C ボタン
504A 領域
504B 領域
504C ボタン
505A 領域
505B 領域
505C ボタン
511 ボタン
512 ボタン
513 ボタン
550 注目領域
552 注目領域
600 外接矩形
602 矩形
604 平行四辺形
610 矩形
612 平行四辺形
614 楕円
616 図形
618 図形
620 図形
622 図形
624 図形
626 図形
628 図形
630 図形
632 図形
634 図形
636 図形
638 図形
640 図形
642 図形
644 図形
646 図形
648 図形
652 図形
654 図形
656 図形
700 領域
800 時系列画像
901 第1の軸
902 第2の軸
903 第1の軸
904 第2の軸
905 長軸
906 短軸
S100〜S150 画像処理方法の各ステップ
光源310は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、その特定の波長帯域は、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、その特定の波長帯域は、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(生体内画像)が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は画像入力部、情報取得部、図形算出部、表示制御部、及び条件設定部としての機能を有する。通信制御部205は、図示せぬ病院内システム(HIS:Hospital Information System)、病院内LAN(Local Area Network)等との通信制御を行う。記録部207には、被写体の画像(医用画像、撮影画像)、注目領域の検出及び/または分類結果を示す情報等が記録される。音声処理部209は、CPU210及び画像処理部204の制御により、注目領域の検出及び/または分類の結果に応じたメッセージ(音声)等をスピーカ209Aから出力する。
条件設定部204Eは、操作部208を介したユーザの指示入力に基づいて、図形算出部204Cが算出する多角形または楕円、及び/または表示制御部204Dが表示させる図形を設定する(ステップS100:条件設定工程)。図5は条件設定画面(ユーザに指示入力させる画面)の例である。図5では、設定可能な条件の各項目について条件名(領域501A〜505A)、設定条件の内容(領域501B〜505B)、及び条件設定用のボタン501C〜505Cが示されている。画面下部に設けられたボタン511は表示条件確定用、ボタン512は条件変更のキャンセル用、ボタン513は条件変更のクリア(初期値に戻す)用のボタンである。図5の画面はモニタ400に表示され、モニタ400のタッチパネル、及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により条件を設定することができる。このような条件設定は、処理開始前だけでなく図4のフローチャートの実行中、あるいは実行後に随時行ってよい。なお、以下に説明する条件設定画面のレイアウト及び項目は条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
画像に図形を重畳表示する場合、図7に示すように画像に対し外接矩形600(注目領域550に外接する矩形であって、時系列画像800の水平軸に平行な2辺と時系列画像800の垂直軸に平行な他の2辺とで構成される矩形)あるいは外接矩形600より大きい図形をそのまま重畳すると、注目領域550以外の部分(左上部分及び右下部分)が多くなり、観察の妨げとなる。そこで、第1の実施形態に係る内視鏡システム10では、「外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円」に基づく図形を画像に重畳表示する図形として算出し(ステップS130:図形算出工程)、重畳表示する(ステップS140:表示制御工程)。なお、図7における領域700は内視鏡の視野(撮影画角が広いため円形に近くなっている)を示す(以下の図でも同様である)。
図16の(a)部分は注目領域550を囲む三角形(多角形の一態様)の辺により構成される図形642を重畳表示した様子を示した図であり、同図の(b)部分は三角形の辺の一部により構成される図形644(点線で描画された、全体として三角形の図形)を重畳表示した様子を示す図である。また、図16の(c)部分は、三角形の頂点に配置され形状及び大きさが頂点における内角に依存しない図形646(楔形の図形646が3つ)を重畳表示した様子を示しており、同図の(d)部分は三角形の頂点に配置され頂点における内角に応じて形状を変化させた図形648(楔形の図形648が3つ)を重畳表示した様子を示している。
蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
Claims (11)
- 時系列画像を入力する画像入力部と、
前記時系列画像における注目領域の情報を取得する情報取得部と、
前記注目領域に外接する矩形であって、前記時系列画像の水平軸に平行な2辺と前記時系列画像の垂直軸に平行な他の2辺とで構成される矩形である外接矩形の面積以下の面積を有し、前記注目領域を囲む多角形または楕円を算出する図形算出部と、
前記多角形または前記楕円に基づく図形であって、前記多角形の辺または頂点に配置された図形、または前記楕円の円周または円周上の複数の位置に配置された図形を前記時系列画像に重畳して表示装置に表示させる表示制御部と、
を備える画像処理装置。 - 前記表示制御部は、前記多角形の頂点に配置され前記頂点における内角に応じて形状を変化させた図形を前記図形として前記表示装置に表示させる請求項1に記載の画像処理装置。
- 前記表示制御部は、前記多角形の頂点に配置され、大きさ及び/または形状が前記頂点における内角に依存しない図形を前記図形として前記表示装置に表示させる請求項1に記載の画像処理装置。
- 前記表示制御部は前記多角形の前記辺または前記辺の一部により構成される図形、または前記楕円の前記円周または前記円周の一部により構成される図形を前記図形として前記表示装置に表示させる請求項1から3のいずれか1項に記載の画像処理装置。
- 前記図形算出部は、前記注目領域に対し第1の軸と、前記第1の軸と交わる第2の軸と、を設定し、前記第1の軸に平行な2辺と前記第2の軸に平行な2辺とで構成される四角形を前記多角形として算出する請求項1から4のいずれか1項に記載の画像処理装置。
- 前記図形算出部は前記注目領域を楕円近似して前記楕円の長軸及び短軸を算出することにより前記多角形または前記楕円を算出する請求項5に記載の画像処理装置。
- 前記図形算出部は前記四角形として矩形を算出する請求項5または6に記載の画像処理装置。
- 前記画像入力部は内視鏡装置で取得した被検体の画像を前記時系列画像として入力する請求項1から7のいずれか1項に記載の画像処理装置。
- 前記情報取得部は前記時系列画像を解析して前記注目領域の前記情報を取得する請求項1から8のいずれか1項に記載の画像処理装置。
- 前記図形算出部が算出する前記多角形または前記楕円、及び/または前記表示制御部が表示させる前記図形をユーザの指示入力に基づいて設定する条件設定部をさらに備える請求項1から9のいずれか1項に記載の画像処理装置。
- 時系列画像を入力する画像入力工程と、
前記時系列画像における注目領域の情報を取得する情報取得工程と、
前記注目領域に外接する矩形であって、前記時系列画像の水平軸に平行な2辺と前記時系列画像の垂直軸に平行な他の2辺とで構成される矩形である外接矩形の面積以下の面積を有し、前記注目領域を囲む多角形または楕円を算出する図形算出工程と、
前記多角形または前記楕円に基づく図形であって、前記多角形の辺または頂点に配置された図形、または前記楕円の円周または円周上の複数の位置に配置された図形を前記時系列画像に重畳して表示装置に表示させる表示制御工程と、
を有する画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018177437 | 2018-09-21 | ||
JP2018177437 | 2018-09-21 | ||
PCT/JP2019/033598 WO2020059445A1 (ja) | 2018-09-21 | 2019-08-28 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020059445A1 true JPWO2020059445A1 (ja) | 2021-08-30 |
JP7125499B2 JP7125499B2 (ja) | 2022-08-24 |
Family
ID=69888768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548220A Active JP7125499B2 (ja) | 2018-09-21 | 2019-08-28 | 画像処理装置及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210196101A1 (ja) |
JP (1) | JP7125499B2 (ja) |
WO (1) | WO2020059445A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7105369B2 (ja) | 2019-03-28 | 2022-07-22 | オリンパス株式会社 | トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法 |
JP7105370B2 (ja) * | 2019-03-28 | 2022-07-22 | オリンパス株式会社 | トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法 |
CN114926440A (zh) * | 2022-05-26 | 2022-08-19 | 之江实验室 | 一种基于同心椭圆弦长比的单晶硅直径检测方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318546A (ja) * | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
JP2009237836A (ja) * | 2008-03-27 | 2009-10-15 | Sanyo Electric Co Ltd | 手書き入力パネルを備えた車載用電子装置 |
JP2012257021A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
JP2013143594A (ja) * | 2012-01-06 | 2013-07-22 | Fuji Xerox Co Ltd | 画像処理装置、指定印推定装置、及びプログラム |
JP2015059768A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社Ntec | 段差計測装置、段差計測方法及びプログラム |
WO2017073337A1 (ja) * | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 内視鏡装置 |
WO2017212653A1 (ja) * | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017115442A1 (ja) * | 2015-12-28 | 2018-10-18 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
-
2019
- 2019-08-28 JP JP2020548220A patent/JP7125499B2/ja active Active
- 2019-08-28 WO PCT/JP2019/033598 patent/WO2020059445A1/ja active Application Filing
-
2021
- 2021-03-15 US US17/200,914 patent/US20210196101A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318546A (ja) * | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
JP2009237836A (ja) * | 2008-03-27 | 2009-10-15 | Sanyo Electric Co Ltd | 手書き入力パネルを備えた車載用電子装置 |
JP2012257021A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
JP2013143594A (ja) * | 2012-01-06 | 2013-07-22 | Fuji Xerox Co Ltd | 画像処理装置、指定印推定装置、及びプログラム |
JP2015059768A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社Ntec | 段差計測装置、段差計測方法及びプログラム |
WO2017073337A1 (ja) * | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 内視鏡装置 |
WO2017212653A1 (ja) * | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020059445A1 (ja) | 2020-03-26 |
US20210196101A1 (en) | 2021-07-01 |
JP7125499B2 (ja) | 2022-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7430287B2 (ja) | 医用画像処理装置及び内視鏡システム | |
US20210343011A1 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
US20210196101A1 (en) | Image processing apparatus and image processing method | |
JP7278202B2 (ja) | 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置 | |
US20210076917A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
US11948080B2 (en) | Image processing method and image processing apparatus | |
JP2020069300A (ja) | 医療診断支援装置、内視鏡システム、及び医療診断支援方法 | |
WO2019220859A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
WO2020170809A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
US20220151462A1 (en) | Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program | |
US20220327702A1 (en) | Medical image processing apparatus, method for operating medical image processing apparatus, and endoscope system | |
JP2020141995A (ja) | 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置 | |
US20200383553A1 (en) | Image processing device, endoscope system, and image processing method | |
US20230157768A1 (en) | Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program | |
US20220151461A1 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
US20230410303A1 (en) | Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program | |
US20230389774A1 (en) | Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program | |
JP7507797B2 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210513 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7125499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |