JPWO2019049503A1 - 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 - Google Patents
診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 Download PDFInfo
- Publication number
- JPWO2019049503A1 JPWO2019049503A1 JP2019540798A JP2019540798A JPWO2019049503A1 JP WO2019049503 A1 JPWO2019049503 A1 JP WO2019049503A1 JP 2019540798 A JP2019540798 A JP 2019540798A JP 2019540798 A JP2019540798 A JP 2019540798A JP WO2019049503 A1 JPWO2019049503 A1 JP WO2019049503A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- detection information
- unit
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
Description
図1は、第1の実施形態に係る内視鏡システム10(診断支援システム、診断支援装置、内視鏡システム、プロセッサ、医療画像処理装置)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ、医療画像処理装置)、光源装置300、及びモニタ400(表示装置)から構成される。
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタンBT1、吸引ボタンBT2、及び各種の機能を割り付けられる機能ボタンBT3、及び撮影指示操作を受け付ける撮影ボタンBT4が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。すなわち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(医用画像取得部、医用画像撮影部、撮影装置、撮像部)、照明部123、鉗子口126等が設けられる(図1〜図3参照)。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は光源制御部350により制御され、必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
光源310(可視光源310A)は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202及び画像入力インタフェース205を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(生体内画像)が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は医用画像取得部、表示制御部、第1の検出部、第2の検出部、第1の検出情報付与部、第2の検出情報付与部、関心領域判定部、特徴指定部としての機能を有する。記憶部207には、被写体の画像(医用画像、撮影画像)及び後述する検出情報(第1,第2の検出情報)が記憶される。音声処理部209は、CPU210及び画像処理部204の制御により、表示条件設定の際の警告メッセージ(音声)等をスピーカ209Aから出力する。
図4は画像処理部204(医療画像取得部、医療画像解析処理部、医療画像解析結果取得部)の機能構成を示す図である。画像処理部204は医用画像取得部204A、表示制御部204B、第1の検出部204C、第2の検出部204D、第1の検出情報付与部204E、第2の検出情報付与部204F、特徴指定部204G、記憶制御部204Hを有する。第1の検出部204C及び第2の検出部204Dは医療画像解析処理部としても動作する。
また、上述した各種のプロセッサには、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、可視光及び/または赤外光の照射を操作することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作を行うことができる(後述)。なお、操作モードの設定は、上述のように手元操作部102の機能ボタンBT3(図1参照)に操作モード設定機能を割り付けて行ってもよい。
記憶部207(記録装置)はCD(Compact Disk)、DVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体により構成され、図5に示す画像及び情報を互いに関連付けて記憶する。図5に示すように、記憶部207には撮影画像207A、第1の検出情報207B、第2の検出情報207C、指定画像207D、及び関連付け情報207Eが記憶される。撮影画像207A、指定画像207Dと第1の検出情報207B及び/または第2の検出情報207Cとは、関連付け情報207Eにより例えば図6に示すように対応させて記録される。図6において、「i101」等は画像の識別情報である。撮影画像207A、指定画像207D、第1の検出情報207B、及び第2の検出情報207Cは、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により撮影画像(医用画像)、撮影条件設定画面、表示条件設定画面、第1の検出情報、第2の検出情報等を表示する(図9〜11等を参照)。また、モニタ400は撮影条件設定操作及び/または表示条件設定操作を行うための図示せぬタッチパネルを有する。
内視鏡システム10を用いた被検体の診断支援方法について説明する。図7,8は第1の実施形態に係る診断支援方法の処理を示すフローチャートである。
図7,8のフローチャートでは、撮影に先立って、ユーザ指示に基づいて撮影条件及び表示条件の設定を行う(ステップS100,S102)。ただしこの設定は撮影中、あるいは撮影後に行ってもよい。図9は撮影条件設定画面の例を示す図である。図9では、撮影条件の各項目について条件名(領域C01〜C06)、設定条件の内容(領域V01〜V06)、及びプルダウン用のボタン(ボタンA01〜A06)が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は初期設定に戻すためのボタンである。図9の画面はモニタ400に表示され、モニタ400のタッチパネル及び/または操作部208のキーボード及び/またはマウスを介したユーザの操作により表示条件を設定することができる。
図10は一覧表示条件設定画面の例を示す図である。領域C07,V07は検出された薬剤の表示態様を示しており、ボタンA07を介した選択操作により名称の文字表示、記号表示等を指定することができる。領域C08,V08は検出された器材の表示態様を示しており、ボタンA08を介した選択操作により名称表示、手技名表示等を指定することができる。領域C09,V09は関心領域が検出された画像の識別表示態様を示しており、ボタンA09を介した選択操作により枠(図形)付与、文字及び/または数字付与、色彩付与等を指定することができる。領域C10,V10は「関心領域が検出された画像のみを表示するか否か」を示しており、ボタンA10を介した選択操作によりONまたはOFFを指定することができる。領域C11,V11は「薬剤の種類ごとに画像を表示するか否か」を示しており、ボタンA11を介した選択操作によりONまたはOFFを指定することができる。領域C12,V12は「特定種類の薬剤のみ画像を表示するか否か」を示しており、ボタンA12を介した選択操作によりONまたはOFFを指定することができる。
ステップS110までの処理で複数の医用画像が取得されたら、画像処理部204(第1の検出部204C)は取得した複数の医用画像から画像認識により薬剤及び/または器材を検出する(ステップS112:第1の検出工程)。また、第2の検出部204D(第2の検出部)は取得した複数の医用画像から画像認識により関心領域を検出する(ステップS114:第2の検出工程)。ステップS112,S114はどちらを先に行ってもよい。
ステップS112における薬剤(色素剤、染色剤を含む)の検出は、例えば上述した特許文献1(特開2016−62488号公報)に記載されている手法を用いて、色調特徴量に基づいて行うことができる。具体的には、画像処理部204(第1の検出部204C)は医用画像の各画素におけるR(赤色),G(緑色),B(青色)の画素値に基づいて暗部画素及びハレーション画素を除外し、除外されなかった各画素について色調特徴量(G/R、B/G)を算出して、医用画像を分割した小ブロックごとに色調特徴量の平均値を算出する。G/Rについての平均値をμGRとし、B/Gについての平均値をμBGとしてμGR、μBGをプロットすると、プロット結果は個々の薬剤(色素剤、染色剤等)により異なる分布を示す。したがって、検出対象薬剤についてのプロット結果(特徴量空間における位置)を個々の薬剤についての分布と比較することにより、取得した医用画像において使用されている薬剤を判別することができる。検出結果(例えば薬剤の種類、名称)に対しその種類を用いて行う処置、手技の内容等をあらかじめ関連付けておき、画像に付与する検出情報(第1の検出情報)に含めてもよい。
ステップS112における器材の検出も、上述した特許文献1に記載されている手法を用いて行うことができる。具体的には、各処置具を鉗子チャネル(鉗子口126に連通する不図示の管路)に挿通した際の内視鏡画像をテンプレート画像とし、第1の検出部204Cがテンプレート画像と検査時の内視鏡画像とを照合することにより、いずれかの処置具が使用されたことを検出する。テンプレート画像は処置具ごとに、鉗子チャネル方向、突出長、開閉状態が異なる画像を複数用意する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる画像を複数用意する。
ステップS114における関心領域の検出は、第2の検出部204Dが例えば公知のCADシステム(CAD:Computer Aided Diagnosis)を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、関心領域(注目すべき領域である注目領域)及び関心領域における対象(注目すべき対象)の有無を抽出することができる。この場合、第2の検出部204Dが検出対象画像を複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。第2の検出部204Dは検出対象画像の局所領域ごとに局所領域内の画素の特徴量(例えば色相)を算出し、各局所領域の中から特定の色相を有する局所領域を関心領域として決定する。
ステップS112,S114で薬剤及び/または器材、関心領域を検出したら、画像処理部204(第1の検出情報付与部204E、第2の検出情報付与部204F)は検出結果に基づいて撮影画像に第1,第2の検出情報を付与する(ステップS116:第1の検出情報付与工程、第2の検出情報付与工程)。検出情報の付与について、図11を参照して説明する。
第1,第2の検出情報の処理が終了すると、表示制御部204B(表示制御部)は撮影画像(複数の医用画像)をモニタ400に一覧表示する(ステップS118:表示制御工程)。一覧表示の条件は、図9について上述した撮影条件の設定と同様に、図10に示す表示条件設定画面を介して行うことができる。ユーザは操作部208により表示条件設定操作を行い、その操作に基づいて表示制御部204Bが表示条件を設定する。表示条件の設定は撮影前、撮影中、撮影後のいずれでもよい。なお、図10に示す項目及び内容は表示条件の一例であり、他の項目及び内容を採用してもよい。
図12は一覧表示の態様1を示す図である。態様1では、ステップS116で付与された第1,第2の検出情報を文字及び/または記号で付与して画像をモニタ400(表示装置)に一覧表示する。具体的には、図12の(a)部分に示す例では第1の検出情報(薬剤の名称、手技の内容)を画像に文字情報として付与しており、図12の(b)部分に示す例は(a)部分と同じ画像について第1の検出情報を記号として付与している。これらの文字及び記号は内容に応じて異なる数字、色を付してもよい。このような画像の表示制御は、表示制御部204Bが行う。
態様2では、表示制御部204Bは薬剤及び/または器材の特徴に応じた配置で画像(複数の医用画像)をモニタ400に一覧表示する。例えば、図12と同じ画像の場合、態様2では図13に示すように薬剤及び/または器材の種類に応じて画像の表示位置を領域R1〜R4に分ける。また表示の際、属する画像の数に応じて表示位置を変更している(画像の数が多い種類を上に表示している)。
態様3では、表示する画像の特徴(薬剤及び/または器材の種類、手技の内容、関心領域の有無等)をユーザの操作に基づいて指定し、指定された特徴を有する画像のみを表示制御部204Bが一覧表示する。具体的には、ユーザは操作部208のキーボード及び/またはマウス、モニタ400のタッチパネルを介して特徴指定の操作を行い、この操作にしたがって特徴指定部204G(特徴指定部)が表示する画像の特徴を指定して、指定された特徴により表示制御部204Bが画像をモニタ400に一覧表示する。図14は態様3による表示の例である。図14の(a)部分は「処置なし」の画像のみを一覧表示した様子を示しており、指定された画像の特徴(「処置なし」)が画面左上の領域R5に示されている。また、画面右下には他の種類(「生検画像」)の画像を表示させるためのボタンB06が表示されており、ユーザが操作部208を介してボタンB06を操作すると、画像の特徴として「生検」が指定されて図14の(b)部分のように生検画像のみが一覧表示される。これに合わせて、表示制御部204Bは領域R5に一覧表示されている画像の種類を「生検」に変更し、またボタンB06の表示を他の特徴(この場合、「切除」)に変更する。
態様4では、表示制御部204Bは関心領域が検出された画像のみを一覧表示する。表示の際は、関心領域の特徴(例えば、大きさ)に応じて表示位置を変更する。具体的には、図15の例に示すように関心領域が検出された画像のみを、関心領域の大きさ(図15の例では、「5mm以上」と「3mm以上5mm未満」)に応じて一覧表示する。一覧表示する関心領域の大きさの設定は、例えば図16に示す画面(チェックされた種類の大きさの関心領域が検出された画像を表示する;黒丸印がチェックされた種類を示す)を介して行うことができる。関心領域の大きさは第2の検出部204Dが撮影条件(撮影倍率、関心領域の画素数等)等に基づいて算出することができるが、第2の検出部204Dでの大きさ算出に代えて、またはこれに加えて、大きさ計測用のスケール、あるいはマーカを画像と共に表示してもよい。
ステップS118における画像の一覧表示が終了したら、画像処理部204(記憶制御部204H)は保存する画像の指定があるか否かを判断する(図8のステップS120)。この判断は、図17の例に示すように一覧表示された画像i1〜i6に対しチェックボックスCBを設け、ボタンB07が操作された時点でチェックされている画像があるか否かを記憶制御部204Hが判断することにより行うことができる。なお、ボタンB08はキャンセルボタンである。記憶制御部204Hは、チェックボックスCBがチェックされている画像(図17の例では、画像i1,i3,i4,i5,i6)を指定画像207Dとして記憶部207に保存する(ステップS122)。これらの画像は例えば診断レポートのひな形に添付する(関連付ける)ことができ、これによりレポート作成を効率的に行うことができる。
医用画像の撮影及び表示の他の態様について説明する。以下で説明する態様は、撮影条件設定画面(図9)、表示条件設定画面(図10)を介した設定に応じて実行される。
図9の撮影条件設定画面において「関心領域検出」(領域V01)及び「関心領域検出時の自動撮影」(領域V02)がONの場合、関心領域の検出及び検出時の自動撮影が実行される。具体的には、第2の検出部204Dがフレーム画像(複数のフレーム画像により構成される、ライブビュー画像または記録用動画像のフレーム画像)から関心領域を検出したら(図18のステップS105−1でYES)、撮影光学系130及び医用画像取得部204Aにより医用画像が取得される(ステップS108)。関心領域の検出により自動撮影された画像は、表示制御部204Bにより上述した図15のように一覧表示することができる。関心領域(病変候補等)の検出は、ステップS114で上述したのと同様に行うことができる。
上述した態様では、図7,8に示すフローチャートにおいてライブビュー画像を取得、表示させ(ステップS104)ユーザの指示に応じて静止画像を撮影する(ステップS106,S108)場合について説明したが、画像の撮影はこのような態様に限定されるものではない。動画を撮影しつつ、ユーザの指示に応じて静止画を撮影してもよい。具体的には例えば図19のフローチャートに示すように、ステップS104でのライブビュー画像表示開始後、操作部208及び/または撮影ボタンBT4を介した動画撮影指示に応じて(ステップS105−2でYES)、医用画像取得部204Aが動画撮影を開始する(ステップS105−3)。また、医用画像取得部204Aは操作部208及び/または撮影ボタンBT4を介した動画撮影指示に応じて(ステップS105−4でYES)静止画を撮影し(ステップS105−5)、静止画及び動画撮影が終了する(ステップS105−6でYES)までステップS105−4,S105−5の処理を繰り返す。静止画及び動画撮影が終了したら(ステップS105−6でYES)図7のステップS112へ進む。このような態様によれば、連続的な観察のための動画像を撮影しつつ特に注目すべき状況で静止画を撮影することができる。
上述した第1の実施形態では実際に薬剤及び/または器材、関心領域が実際に検出された画像に対して第1,第2の検出情報を付与している(図11参照)が、第2の実施形態では、条件を満たす場合は実際に薬剤及び/または器材が検出されない画像に対しても第1の検出情報を付与する。このような第2の実施形態における検出情報の付与について、以下説明する。なお、第2の実施形態における内視鏡システムの構成は画像処理部204が関心領域判定部204I(関心領域判定部;図20参照)を備えている点で異なるが、他の要素については第1の実施形態と同様であるので、同一の要素については同一の参照符号を付し詳細な説明を省略する。
実際に薬剤及び/または器材が映っている画像のみに第1の検出情報を付与する場合、病変部(関心領域)に対する薬剤散布前、処置前等に撮影したこと等により薬剤及び/または器材が映っていない画像には検出情報を付与することができない。しかしながら、そのような薬剤及び/または器材が映っていない画像であっても、「関心領域に対する処置に関連する画像である」ことが把握できるようにすることが好ましい。そこで態様1では、一覧表示する複数の画像において「薬剤及び/または器材が検出された画像に含まれるのと同一の関心領域が映っているか否か」の判定を行い、同一の関心領域が映っている画像の場合は薬剤及び/または器材が検出されていなくても第1の検出情報を付与する。画像の一覧表示はこのようにして付与した第1の検出情報に基づいて行われる。したがって態様1によれば、ユーザは薬剤及び/または器材が映っていない画像であっても「関心領域に対する処置に関連する画像である」ことを把握することができる。
上述した態様1では一覧表示する複数の画像において1つの画像を他の画像と比較した結果に基づいて検出情報を付与するが、態様2では、一覧表示する複数の医用画像に含まれる個々の画像(対象画像)を、動画像を構成する複数のフレーム画像であって薬剤及び/または器材が検出された画像(比較画像)と比較して検出情報を付与する。
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
蛍光は、ピークが390以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮影光学系
132 撮影レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
204A 医用画像取得部
204B 表示制御部
204C 第1の検出部
204D 第2の検出部
204E 第1の検出情報付与部
204F 第2の検出情報付与部
204G 特徴指定部
204H 記憶制御部
204I 関心領域判定部
205 画像入力インタフェース
206 ビデオ出力部
207 記憶部
207A 撮影画像
207B 第1の検出情報
207C 第2の検出情報
207D 指定画像
207E 関連付け情報
208 操作部
209 音声処理部
209A スピーカ
210 CPU
211 ROM
212 RAM
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
A01 ボタン
A02 ボタン
A03 ボタン
A04 ボタン
A05 ボタン
A06 ボタン
A07 ボタン
A08 ボタン
A09 ボタン
A10 ボタン
A11 ボタン
A12 ボタン
B01 ボタン
B02 ボタン
B03 ボタン
B04 ボタン
B05 ボタン
B06 ボタン
B07 ボタン
B08 ボタン
BT1 送気送水ボタン
BT2 吸引ボタン
BT3 機能ボタン
BT4 撮影ボタン
C01 領域
C02 領域
C03 領域
C04 領域
C05 領域
C06 領域
C07 領域
C08 領域
C09 領域
C10 領域
C11 領域
C12 領域
CB チェックボックス
FR 鉗子
R1 領域
R2 領域
R3 領域
R4 領域
R5 領域ROI 関心領域
S100〜S124 診断支援方法の各ステップ
V01 領域
V02 領域
V03 領域
V04 領域
V05 領域
V06 領域
V07 領域
V08 領域
V09 領域
V10 領域
V11 領域
V12 領域
i1 画像
i2 画像
i3 画像
i4 画像
i5 画像
i6 画像
i7 画像
i8 画像
Claims (14)
- 複数の医用画像を取得する医用画像取得部と、
前記複数の医用画像を表示装置に一覧表示させる表示制御部と、
前記複数の医用画像を撮影する際に使用された薬剤及び/または器材を前記複数の医用画像から画像認識により検出する第1の検出部と、
前記複数の医用画像における関心領域を画像認識により検出する第2の検出部と、
前記検出された前記薬剤及び/または器材を示す第1の検出情報を前記薬剤及び/または器材が検出された医用画像に付与する第1の検出情報付与部と、
前記検出された前記関心領域を示す第2の検出情報を前記関心領域が検出された医用画像に付与する第2の検出情報付与部と、
を備え、
前記表示制御部は、前記第1の検出情報及び前記第2の検出情報に応じた態様で前記複数の医用画像を一覧表示する診断支援システム。 - 前記複数の医用画像のうちの画像である対象画像に含まれる関心領域と同一の関心領域が、前記複数の医用画像のうちの他の医用画像であって前記薬剤及びまたは器材が検出された医用画像である比較画像に含まれているか否かを判定する関心領域判定部をさらに備え、
前記第1の検出情報付与部は、前記比較画像に前記同一の関心領域が含まれる場合は、前記対象画像から前記薬剤及び/または器材が検出されない場合においても前記対象画像に前記第1の検出情報を付与する請求項1に記載の診断支援システム。 - 前記医用画像取得部は複数のフレーム画像から構成される動画像を取得し、
前記第2の検出部は前記複数のフレーム画像から画像認識により前記関心領域を検出し、
前記複数の医用画像のうちの画像である対象画像に含まれる関心領域と同一の関心領域が、前記複数のフレーム画像に含まれる画像であって前記薬剤及びまたは器材が検出された画像である比較画像に含まれているか否かを判定する関心領域判定部をさらに備え、
前記第1の検出情報付与部は、前記比較画像に前記同一の関心領域が含まれる場合は、前記対象画像から前記薬剤及び/または器材が検出されない場合においても前記対象画像に前記第1の検出情報を付与する請求項1に記載の診断支援システム。 - 前記医用画像取得部はユーザの撮影指示操作に応じて前記複数の医用画像を構成する医用画像を取得する請求項1から3のいずれか1項に記載の診断支援システム。
- 前記医用画像取得部は前記薬剤及び/または器材の検出に応じて前記複数の医用画像を取得する請求項1から4のいずれか1項に記載の診断支援システム。
- 前記医用画像取得部は前記関心領域の検出に応じて前記複数の医用画像を取得する請求項1から5のいずれか1項に記載の診断支援システム。
- 前記表示制御部は前記関心領域が検出された医用画像のみを一覧表示する請求項1から6のいずれか1項に記載の診断支援システム。
- 前記表示制御部は、前記薬剤及び/または器材が検出された医用画像に前記第1の検出情報に応じて文字、数字、記号、色彩のうち少なくとも1つを付し、前記関心領域が検出された医用画像に前記第2の検出情報に応じて文字、数字、記号、色彩のうち少なくとも1つを付して前記複数の医用画像を一覧表示させる請求項1から7のいずれか1項に記載の診断支援システム。
- 前記表示制御部は、前記薬剤及び/または器材の特徴に応じた配置で前記複数の医用画像を一覧表示する請求項1から8のいずれか1項に記載の診断支援システム。
- 前記表示制御部は、前記関心領域の特徴に応じた配置で前記複数の医用画像を一覧表示する請求項1から9のいずれか1項に記載の診断支援システム。
- 前記薬剤及び/または器材の特徴を指定する特徴指定部をさらに備え、
前記表示制御部は前記指定された特徴を有する前記薬剤及び/または器材が検出された医用画像のみを一覧表示する請求項1から10のいずれか1項に記載の診断支援システム。 - 請求項1から11のいずれか1項に記載の診断支援システムと、
前記表示装置と、
被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、被写体の光学像を結像させる撮影レンズと、前記光学像が結像される撮像素子と、を備える撮像部と、を有し前記撮影レンズが前記先端硬質部に設けられた内視鏡と、
を備える内視鏡システムであって、
前記医用画像取得部は前記撮像部により前記複数の医用画像を取得する内視鏡システム。 - 請求項12に記載の内視鏡システムのプロセッサであって、
前記表示制御部と、前記第1の検出部と、前記第2の検出部と、前記第1の検出情報付与部と、前記第2の検出情報付与部と、を備えるプロセッサ。 - 複数の医用画像を取得する医用画像取得工程と、
前記複数の医用画像を表示装置に一覧表示させる表示制御工程と、
前記複数の医用画像を撮影する際に使用された薬剤及び/または器材を前記複数の医用画像から画像認識により検出する第1の検出工程と、
前記複数の医用画像における関心領域を画像認識により検出する第2の検出工程と、
前記検出された前記薬剤及び/または器材を示す第1の検出情報を前記薬剤及び/または器材が検出された医用画像に付与する第1の検出情報付与工程と、
前記検出された前記関心領域を示す第2の検出情報を前記関心領域が検出された医用画像に付与する第2の検出情報付与工程と、
を備え、
前記表示制御工程では、前記第1の検出情報及び前記第2の検出情報に応じた態様で前記複数の医用画像を一覧表示する診断支援方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017172325 | 2017-09-07 | ||
JP2017172325 | 2017-09-07 | ||
PCT/JP2018/025873 WO2019049503A1 (ja) | 2017-09-07 | 2018-07-09 | 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019049503A1 true JPWO2019049503A1 (ja) | 2020-10-15 |
JP7091349B2 JP7091349B2 (ja) | 2022-06-27 |
Family
ID=65634781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019540798A Active JP7091349B2 (ja) | 2017-09-07 | 2018-07-09 | 診断支援システム、内視鏡システム、プロセッサ、及び診断支援システムの作動方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11398033B2 (ja) |
EP (1) | EP3679853A4 (ja) |
JP (1) | JP7091349B2 (ja) |
CN (1) | CN111065314B (ja) |
WO (1) | WO2019049503A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7373335B2 (ja) * | 2019-09-18 | 2023-11-02 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム |
US11759110B2 (en) * | 2019-11-18 | 2023-09-19 | Koninklijke Philips N.V. | Camera view and screen scraping for information extraction from imaging scanner consoles |
WO2023149013A1 (ja) * | 2022-02-01 | 2023-08-10 | 富士フイルム株式会社 | 医療支援装置、内視鏡装置、医療支援方法、及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009008125A1 (ja) * | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
WO2012132840A1 (ja) * | 2011-03-30 | 2012-10-04 | オリンパスメディカルシステムズ株式会社 | 画像管理装置、方法、及びプログラム、並びにカプセル型内視鏡システム |
WO2015194580A1 (ja) * | 2014-06-19 | 2015-12-23 | オリンパス株式会社 | 内視鏡システム |
JP2016007444A (ja) * | 2014-06-25 | 2016-01-18 | オリンパス株式会社 | 画像記録装置 |
JP2016062488A (ja) * | 2014-09-19 | 2016-04-25 | オリンパス株式会社 | 内視鏡業務支援システム |
JP2016067782A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム |
JP2016158752A (ja) * | 2015-02-27 | 2016-09-05 | オリンパス株式会社 | 内視鏡業務支援システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101043843A (zh) * | 2004-06-30 | 2007-09-26 | 詹姆士·V·西茨曼 | 用于微创手术和其它内部处置的医疗装置 |
EP1780651A1 (en) * | 2005-10-25 | 2007-05-02 | Bracco Imaging, S.P.A. | Method and system for automatic processing and evaluation of images, particularly diagnostic images |
US9147174B2 (en) * | 2008-08-08 | 2015-09-29 | Snap-On Incorporated | Image-based inventory control system using advanced image recognition |
WO2012107041A1 (de) * | 2011-02-11 | 2012-08-16 | Olaf Christiansen | Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen |
JP5784859B2 (ja) * | 2013-08-30 | 2015-09-24 | オリンパス株式会社 | 画像管理装置 |
JP6458732B2 (ja) * | 2013-09-10 | 2019-01-30 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2017086685A (ja) * | 2015-11-13 | 2017-05-25 | オリンパス株式会社 | 内視鏡業務支援システム |
CN114019990A (zh) * | 2016-02-24 | 2022-02-08 | 深圳市大疆创新科技有限公司 | 用于控制可移动物体的系统和方法 |
WO2018211590A1 (ja) * | 2017-05-16 | 2018-11-22 | オリンパス株式会社 | 内視鏡のための画像処理装置及び内視鏡システム |
-
2018
- 2018-07-09 EP EP18853256.8A patent/EP3679853A4/en active Pending
- 2018-07-09 CN CN201880057372.4A patent/CN111065314B/zh active Active
- 2018-07-09 WO PCT/JP2018/025873 patent/WO2019049503A1/ja unknown
- 2018-07-09 JP JP2019540798A patent/JP7091349B2/ja active Active
-
2020
- 2020-02-19 US US16/795,522 patent/US11398033B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009008125A1 (ja) * | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
WO2012132840A1 (ja) * | 2011-03-30 | 2012-10-04 | オリンパスメディカルシステムズ株式会社 | 画像管理装置、方法、及びプログラム、並びにカプセル型内視鏡システム |
WO2015194580A1 (ja) * | 2014-06-19 | 2015-12-23 | オリンパス株式会社 | 内視鏡システム |
JP2016007444A (ja) * | 2014-06-25 | 2016-01-18 | オリンパス株式会社 | 画像記録装置 |
JP2016062488A (ja) * | 2014-09-19 | 2016-04-25 | オリンパス株式会社 | 内視鏡業務支援システム |
JP2016067782A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム |
JP2016158752A (ja) * | 2015-02-27 | 2016-09-05 | オリンパス株式会社 | 内視鏡業務支援システム |
Also Published As
Publication number | Publication date |
---|---|
EP3679853A4 (en) | 2020-10-14 |
WO2019049503A1 (ja) | 2019-03-14 |
US11398033B2 (en) | 2022-07-26 |
CN111065314A (zh) | 2020-04-24 |
US20200193602A1 (en) | 2020-06-18 |
CN111065314B (zh) | 2022-06-07 |
JP7091349B2 (ja) | 2022-06-27 |
EP3679853A1 (en) | 2020-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7346285B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
JP6907324B2 (ja) | 診断支援システム、内視鏡システム及び診断支援方法 | |
WO2019198637A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7383105B2 (ja) | 医療画像処理装置及び内視鏡システム | |
JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
CN112105284B (zh) | 图像处理装置、内窥镜系统及图像处理方法 | |
JP7278202B2 (ja) | 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置 | |
JP7091349B2 (ja) | 診断支援システム、内視鏡システム、プロセッサ、及び診断支援システムの作動方法 | |
JP7062068B2 (ja) | 画像処理方法及び画像処理装置 | |
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
JP7326308B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
JP7015385B2 (ja) | 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム | |
JP7146925B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
CN117481579A (zh) | 内窥镜系统及其工作方法 | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
US20220007942A1 (en) | Medical imaging systems and methods that facilitate use of different fluorescence imaging agents | |
WO2020112726A1 (en) | Medical imaging systems and methods | |
WO2019088008A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び内視鏡システム | |
WO2021111756A1 (ja) | 内視鏡システム、制御プログラム、及び表示方法 | |
CN114269221A (zh) | 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序 | |
JP2021045337A (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム | |
CN113747826A (zh) | 利用窄带成像的医学仪器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7091349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |