JP7150855B2 - 医療画像処理装置 - Google Patents

医療画像処理装置 Download PDF

Info

Publication number
JP7150855B2
JP7150855B2 JP2020538186A JP2020538186A JP7150855B2 JP 7150855 B2 JP7150855 B2 JP 7150855B2 JP 2020538186 A JP2020538186 A JP 2020538186A JP 2020538186 A JP2020538186 A JP 2020538186A JP 7150855 B2 JP7150855 B2 JP 7150855B2
Authority
JP
Japan
Prior art keywords
interest
region
medical image
time
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538186A
Other languages
English (en)
Other versions
JPWO2020039685A1 (ja
Inventor
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020039685A1 publication Critical patent/JPWO2020039685A1/ja
Application granted granted Critical
Publication of JP7150855B2 publication Critical patent/JP7150855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、医療画像の解析結果を用いる医療画像処理装置に関する。
医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医療画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。
近年、医療画像を用いた画像診断においては、医療画像を医療画像処理装置によって解析して臓器内の病変や腫瘍など注意して観察すべき関心領域を自動的に認識処理することが行われつつある。特に、ディープラーニングなどの機械学習を行うことによって、過去の医療画像から関心領域に関する情報を学習し、学習により取得した情報に基づいて医療画像処理装置が関心領域を認識処理する精度が飛躍的に向上している。
例えば、下記特許文献１には、関心領域を検出した場合にアラートを表示する内視鏡（医療画像処理装置）が記載されている。また、下記特許文献１には、関心領域が画面外に出た場合であっても、アラートの表示を継続させる構成が記載されている。こうすることで、関心領域が検出されたにも関わらず見落としてしまうといった問題を防止できる。
特開２０１１－１６０８４８
しかしながら、上記特許文献１記載の装置では、関心領域の見落とし対策が十分とは言い難い。つまり、上記特許文献１は、関心領域が画面外に出てしまってもアラートの表示が継続されるため、この点においては、見落としを防止できる。しかし、関心領域が連続して検出され、先に検出された関心領域には気付いたが、後に検出された関心領域には気づかなかったなどの場合、後に検出されたアラートの表示が継続されていても、先に検出された関心領域のアラートであると勘違いしてアラートを無視してしまい、後に検出された関心領域を見落としてしまう場合がある。特に、関心領域が検出されていた時間（関心領域が検出されている検出状態となってから関心領域が検出されていない未検出状態となるまでの時間（関心領域検出時間））が短いと、見落としの問題はより深刻となる。
本発明は、上記背景を鑑みてなされたものであり、関心領域の見落としをより確実に防止することを目的としている。
上記課題を解決するために、本発明の医療画像処理装置は、
観察対象を撮像して得られる医療画像を取得する医療画像取得部と、
医療画像から、観察対象のうち注目対象を含む関心領域を検出する関心領域検出部と、
関心領域が検出されている検出状態となってから関心領域が検出されていない未検出状態となるまでの時間である関心領域検出時間を測定する測定部と、
関心領域検出時間を、表示部に表示させる表示制御部と、を備える。
関心領域検出時間の長短を判定するために用いられる閾値を記憶した閾値記憶部を備え、
表示制御部は、関心領域検出時間が閾値以下であるか否かを判定し、閾値以下であると判定された場合に、表示を行うものでもよい。
測定部は、検出状態中に未検出状態となった場合であっても、未検出状態となったフレーム数または時間が閾値以下である場合には、検出状態が継続しているとみなして関心領域検出時間の測定を行うものでもよい。
表示制御部は、同一の注目対象について検出された関心領域に関する関心領域検出時間を表示するものでもよい。
表示制御部は、関心領域が検出されている検出状態となってからの経過時間を表示部に表示するものでもよい。
表示制御部は、経過時間に応じて長さが変化するタイムバーの形態で経過時間を表示するものでもよい。
表示制御部は、経過時間に応じてタイムバーの長さを増加させるものでもよい。
表示制御部は、経過時間に応じてタイムバーの長さを減少させるものでもよい。
表示制御部は、数値または文字により経過時間を表示するものでもよい。
医療画像取得部は、一定周期で連続して撮像を行うことにより、複数の医療画像を取得し、
経過時間は、関心領域が検出されている検出状態となってから取得された医療画像の画像数を用いて算出されるものでもよい。
表示制御部は、関心領域検出時間の測定結果の履歴を表示するものでもよい。
本発明によれば、関心領域検出時間を表示するので、表示された関心領域検出時間の違いにより、他の関心領域との取り違い（ユーザーが気付いていない関心領域についての関心領域検出時間を表示しているにも関わらず、ユーザーが気付いた関心領域についての関心領域検出時間を表示していると勘違いすること）を防止でき、より確実に見落としを防止できる。
医療画像処理装置と内視鏡装置などを示すブロック図である。 内視鏡装置を示すブロック図である。 医療画像解析処理部の機能を示すブロック図である。 検出状態となってからの経過時間の表示態様を示す説明図である。 検出状態となってからの経過時間の表示態様を示す説明図である。 検出状態となってからの経過時間の表示態様を示す説明図である。 関心領域検出時間の表示態様を示す説明図である。 関心領域検出時間の表示態様を示す説明図である。 関心領域検出時間の表示態様を示す説明図である。 関心領域検出時間の表示態様を示す説明図である。 関心領域検出時間の表示態様を示す説明図である。 医療画像処理装置を含む診断支援装置である。 医療画像処理装置を含む医療業務支援装置である。
図１に示すように、医療画像処理装置１０は、医療画像取得部１１、医療画像解析処理部１２、表示部１３、表示制御部１５、入力受信部１６、統括制御部１７、及び、保存部１８を備える。
医療画像取得部１１は、内視鏡装置２１等から直接、または、ＰＡＣＳ（Picture Archiving and Communication System）２２等の管理システムもしくはその他情報システムを介して、医療画像（患者の体腔内などの観察対象を撮像して得られた画像）を取得する。医療画像は静止画像または動画（いわゆる検査動画）である。医療画像が動画である場合、医療画像取得部１１は、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する１つの代表フレームの静止画像を表示することのほか、動画を１または複数回、再生することを含む。また、医療画像取得部１１が取得する医療画像には、内視鏡装置２１等の医療装置を用いて医師が撮影した画像の他、内視鏡装置２１等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。なお、本実施形態では、医療画像処理装置１０及び内視鏡装置２１ともに医療画像を用いて画像処理を行うことから、医療画像処理装置１０及び内視鏡装置２１はいずれも本発明の医療画像処理装置に相当する。
医療画像取得部１１は、複数の医療画像を取得し得る場合、これらの医療画像のうち１または複数の医療画像を選択的に取得できる。また、医療画像取得部１１は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部１１は、任意に医療画像を取得できる。
本実施形態においては、被写体像を含む医療画像を複数取得する。より具体的には、１回の特定の検査において撮影した医療画像を取得し、かつ、１回の特定の検査において撮影した医療画像が複数ある場合には、一連の医療画像のうち複数の医療画像を取得する。また、本実施形態においては、医療画像処理装置１０は、内視鏡装置２１と接続し、内視鏡装置２１から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。
表示部１３は、医療画像取得部１１が取得した医療画像、及び、医療画像解析処理部１２の解析結果を表示するディスプレイである。医療画像処理装置１０が接続するデバイス等が含むモニタまたはディスプレイを共用し、医療画像処理装置１０の表示部１３として使用できる。表示制御部１５は、表示部１３における医療画像及び解析結果の表示態様を制御する。
入力受信部１６は、医療画像処理装置１０に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。医療画像処理装置１０の各部の動作はこれらの操作デバイスを用いて制御できる。
統括制御部１７は、医療画像処理装置１０の各部の動作を統括的に制御する。入力受信部１６が操作デバイスを用いた操作入力を受信した場合には、統括制御部１７は、その操作入力にしたがって医療画像処理装置１０の各部を制御する。
保存部１８は、医療画像処理装置１０が含むメモリ等の記憶デバイス（図示しない）、または、内視鏡装置２１等の医療装置もしくはＰＡＣＳ２２が含む記憶デバイス（図示しない）に、医療画像の静止画等を保存する。
図２に示すように、本実施形態において医療画像処理装置１０が接続する内視鏡装置２１は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより画像を取得する内視鏡３１、内視鏡３１を介して被写体内に照明光を照射する光源装置３２、プロセッサ装置３３、及び、内視鏡３１を用いて撮影した内視鏡画像等を表示する表示部３４を有する。内視鏡３１が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。
プロセッサ装置３３は、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７を備えている。医療画像取得部３５は、内視鏡３１から出力される医療画像を取得する。医療画像解析処理部３６は、医療画像取得部３５で取得した医療画像に対して、解析処理を行う。医療画像解析処理部３６での処理内容は、医療画像処理装置１０の医療画像解析処理部１２での処理内容と同様である。表示制御部３７は、医療画像解析処理部３６で得られた医療画像を表示部３４に表示する。プロセッサ装置３３は医療画像処理装置１０と接続される。なお、表示部３４は表示部１３と同等であり、医療画像取得部３５は医療画像取得部１１と同様であり、医療画像解析処理部３６は医療画像解析処理部１２と同様であり、表示制御部３７は表示制御部１５と同様である。
医療画像解析処理部３６は、医療画像取得部１１が取得した医療画像を用いて解析処理をする。図３に示すように、医療画像解析処理部３６は、関心領域検出部３８と、測定部３９と、メモリ４０と、表示態様決定部４２と、を含む。関心領域検出部３８では、医療画像から関心領域（観察対象のうち注目対象を含む領域）を検出する関心領域検出処理を行う。関心領域検出処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストなどを用いてもよい。また、関心領域検出処理として、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、関心領域４７の検出を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。
なお、関心領域検出部３８で検出される関心領域４７は、例えば、がんに代表される病変部、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップや鉗子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が関心領域４７になり得る。内視鏡装置２１においては、関心領域検出部３８は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を関心領域４７として検出する。
測定部３９は、関心領域が検出されている検出状態となってからの経過時間、及び、関心領域が検出されている検出状態となってからこの関心領域が検出されていない未検出状態となるまでの時間である関心領域検出時間を測定する。本実施形態において、測定部３９は、医療画像処理装置１０、または、内視鏡装置２１等の医療装置もしくはＰＡＣＳ２２に内蔵された内蔵時計（図示せず）を用いて測定（計時）を行う。なお、医療画像が、一定周期で連続して撮像を行うことにより得られた複数の画像からなる動画像などである場合、検出状態となってから得られた画像の数を用いて、検出状態となってからの経過時間を算出できる。同様に、検出状態となってから未検出状態となるまでに得られた画像の数を用いて、関心領域検出時間を算出できる。このように、計時対象となる期間中に得られた画像の数に基づいて計時を行ってもよい。
検出状態となってからの経過時間、及び、関心領域検出時間が測定（計時）されると、測定により得られた情報がメモリ４０に記憶される。また、メモリ４０には、関心領域検出時間の長短を判定するための閾値も記憶されている。すなわち、メモリ４０は、本発明の閾値記憶部として機能する。
なお、関心領域検出時間の測定は、同一の注目対象について検出された関心領域毎に行われ、メモリ４０には、同一の注目対象について検出された関心領域毎の関心領域検出時間が、測定が行われる毎に順次記憶される。ここで、本実施形態では、１枚の医療画像内には１つの注目対象のみが存在するものとみなし、単純に検出状態から未検出状態となるまでの時間を、同一の注目対象について検出された関心領域に関する関心領域検出時間としているが、関心領域の位置、形状、大きさ、及び/または色などの特徴を用いて、検出された関心領域が同一の注目対象について検出された関心領域であるか否かを判定し、同一の注目対象について検出された関心領域が検出状態となってから未検出状態となるまでの時間を関心領域検出時間としてもよい。
さらに、同一の注目対象に関する関心領域を検出中であるにも関わらず、撮影画像に不良画像が交じるなどにより、短時間（例えば、２フレーム）だけ未検出状態となるといったことも考えられる。このため、未検出状態となった時間が短時間、具体的には、閾値以下（例えば、１０フレーム以内、または、０．１秒以内など）であれば、未検出状態を挟んで同一の注目領域に関する関心領域が検出されたとみなしてもよい。また、前述のように検出状態中に未検出状態となった場合であっても、未検出状態が短時間、具体的には、閾値以下である場合には、検出状態が継続しているとみなして関心領域検出時間を計測してもよい。
表示態様決定部４２は、医療画像、関心領域検出時間、及び、関心領域が検出されてからの経過時間の表示態様を決定する。表示制御部３７は、決定された表示態様に従ってこれら医療画像、関心領域検出時間、及び、経過時間を表示部３４に表示する。
図４～図７に示すように、本実施形態では、例えば表示部３４に表示される表示画面４４（以下単に画面と称する場合がある）に、医療画像４３を表示するための第１領域４５と、関心領域検出時間及び経過時間を表示するための第２領域４６とが設けられており、表示態様決定部４２は、これら第１、第２領域４５、４６に表示する画像の表示態様を決定する。なお、図４～図７は、内視鏡検査に伴って順次取得される一連の医療画像４３を画面内（第１領域４５内）に表示した表示画面４４を取得順に並べたものであり、図４、図５、図６は、関心領域４７が検出されている検出状態を示し、図７は、関心領域４７が検出されていない未検出状態を示している。
第１領域４５には、検出状態においては、関心領域４７をハッチングして表示することにより関心領域４７（検出状態であること）が報知される（図４、図５、図６参照）。また、第１領域４５には、未検出状態においては、医療画像４３のみが表示される（図７参照）。
なお、本実施形態では、ハッチングにより関心領域４７を報知しているが、本発明はこれに限定されない。関心領域４７を着色して報知してもよい。また、関心領域４７の輪郭を着色または強調することにより報知してもよい。さらに、関心領域４７または関心領域４７の輪郭を点滅表示させるなどにより報知してもよい。また、関心領域４７を枠で囲むなどにより報知してもよい。さらに、視覚的に報知する形態に限定されず、報知音を出力するなどして聴覚的に報知してもよい。このように、関心領域４７の報知態様については自由に設定できる。
第２領域４６には、検出状態においては、関心領域４７が検出されてからの経過時間が表示される（図４、図５、図６参照）。本実施形態では、経過時間は、バー４８（タイムバー）の形態で表示される。このバー４８は、初め（未検出状態では）長さが０であり（バー４８が消失しており）、未検出状態から検出状態へと移行すると、時間の経過に伴ってその長さが増加する。これにより、バー４８の長さを確認することで検出状態へと移行してからの経過時間が判る。なお、経過時間が長くなり、バー４８の長さ第２領域４６内に収まらない場合は、第２領域４６を拡大してもよい。また、バー４８を２段表示にしてもよい。さらに、経過時間が長くなるに従って、単位時間あたりのバー４８の増加量を小さくしてもよい。
また、第２領域４６に表示されたバー４８は、検出状態から未検出状態へと移行すると長さが固定された状態で表示が継続される（図７参照）。こうすることで、現在は関心領域４７が検出されていない未検出状態であっても、過去に関心領域４７が検出されていたことが判る。また、バー４８の長さは関心領域４７が検出されていた時間（関心領域検出時間）であるため、未検出状態であっても、バー４８の長さから関心領域検出時間が判る。バー４８の表示は、新たな関心領域４７が検出されて検出状態となるまで継続され、検出状態となると長さ０からの経過時間に応じて増加する状態（図４、図５、図６参照）へと戻る。
なお、上記実施形態では、検出状態となってからの経過時間によらず、未検出状態となると関心領域検出時間を表示（バー４８の長さを固定したまま継続表示）する例で説明をしたが、本発明はこれに限定されない。検出状態となってからの経過時間が短い関心領域４７については見落とす可能性が高いが、検出状態となってからの経過時間が長い関心領域４７については見落とす可能性が低い。このため、検出状態となってからの経過時間がメモリ４０に記憶された閾値以下である場合にのみ関心領域検出時間を表示し、検出状態となってからの経過時間が閾値を上回る場合には関心領域検出時間を表示しない構成としてもよい。
また、上記実施形態では、検出状態となってからの経過時間が長くなるほど、バー４８の長さが長くなる、すなわち、バー４８の長さが長いほど関心領域検出時間が長いことを示す構成を例に説明をしたが、本発明はこれに限定されない。検出状態となったときにバー４８の長さを最長とし、検出状態となってからの経過時間が長くなるほどバー４８の長さを短くし、未検出状態となった後はバー４８の長さを固定したままバー４８の表示を維持する構成、つまり、バー４８の長さが短いほど関心領域検出時間が長いことを示す構成としてもよい。
また、上記実施形態では、直線状のバー４８により関心領域検出時間を示す例で説明をしたが、図８に示すように、円形のバー４９により関心領域検出時間を示してもよい。なお、図８以降の図面を用いた説明では、上述した実施形態と同様の部材については同様の符号を付して説明を省略している。
また、図９に示すように、数値により関心領域検出時間を示してもよい。図９では、現在は未検出状態であるが、過去に３秒間に渡って検出状態であった関心領域が存在していたことを示している。もちろん、文字によって関心領域検出時間を示してもよい。さらに、図１０に示すように、画像数により関心領域検出時間を示してもよい。図１０では、５０フレーム分、すなわち、５０枚（コマ）の画像が撮像される間に渡って検出状態であった関心領域が存在していたことを示している。
また、上記実施形態では、測定された関心領域検出時間のうち、最新のもののみを表示する構成を例に説明をしたが、図１１に示すように、関心領域検出時間の測定結果の履歴を表示、具体的には、複数の関心領域検出時間を、測定された順番に並べて表示する構成としてもよい。図１１では、最新のものから順に、２秒間、１０秒間、３秒間、１秒間、１４秒間に渡って検出状態であった５つの関心領域が存在していたことを示している。
また、上記実施形態では、検出状態中は、時間の経過に従ってバーを長くするなどして、検出状態となってからの経過時間を表示し、未検出状態となった後に関心領域検出時間を表示する（バーの長さを固定してバーの表示を維持する）構成を例に説明をしたが、本発明はこれに限定されない。検出状態中は経過時間（関心領域検出時間）の測定のみを行って経過時間の表示は行わず、未検出状態となった後に関心領域検出時間を表示する構成としてもよい。
なお、図１２に示すように、内視鏡装置２１その他モダリティやＰＡＣＳ２２とを組み合わせて使用する診断支援装置６１０は、上記実施形態及びその他変形例の医療画像処理装置１０を含むことができる。また、図１３に示すように、例えば内視鏡装置２１を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６２３等の各種検査装置と任意のネットワーク６２６を介して接続する医療業務支援装置６３０は、上記実施形態及びその他変形例の医療画像処理装置１０を含むことができる。
この他、医療画像処理装置１０、内視鏡装置２１、及び、医療画像処理装置１０を含む各種装置またはシステムは、以下の種々の変更等をして使用できる。
医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、可視域の赤色帯域である。
特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍまたは６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。
医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
また、蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る蛍光を利用できる。
医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍまたは９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。
医療画像取得部１１は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。
特定の波長帯域の信号は、通常光画像に含むＲＧＢまたはＣＭＹの色情報に基づく演算により得ることができる。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。
内視鏡装置２１については、内視鏡３１としてカプセル内視鏡を使用できる。この場合、光源装置３２と、プロセッサ装置３３の一部と、はカプセル内視鏡に搭載できる。
上記実施形態及び変形例において、医療画像取得部１１、医療画像解析処理部１２及び医療画像解析処理部１２を構成する各部、表示制御部１５、入力受信部１６、統括制御部１７、並びに、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７、関心領域検出部３８、表示態様決定部４２といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０ 医療画像処理装置
１１ 医療画像取得部
１２ 医療画像解析処理部
１３ 表示部
１５ 表示制御部
１６ 入力受信部
１７ 統括制御部
１８ 保存部
２１ 内視鏡装置
２２ ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）
３１ 内視鏡
３２ 光源装置
３３ プロセッサ装置
３４ 表示部
３５ 医療画像取得部
３６ 医療画像解析処理部
３７ 表示制御部
３８ 関心領域検出部
３９ 測定部
４０ メモリ
４２ 表示態様決定部
４３ 医療画像
４４ 表示画面
４５ 第１領域
４６ 第２領域
４７ 関心領域
４８ バー
４９ バー
６１０ 診断支援装置
６２１ 第１検査装置
６２２ 第２検査装置
６２３ 第Ｎ検査装置
６２６ ネットワーク
６３０ 医療業務支援装置

Claims (13)

  1. 観察対象を撮像して得られる医療画像を取得する医療画像取得部と、
    前記医療画像から、前記観察対象のうち注目対象を含む関心領域を検出する関心領域検出部と、
    前記関心領域が検出されている検出状態となってから前記関心領域が検出されていない未検出状態となるまでの時間である関心領域検出時間を測定する測定部と、
    前記関心領域検出時間を、表示部に表示させる表示制御部と、
    前記関心領域検出時間の長短を判定するために用いられる閾値を記憶した閾値記憶部を備え、
    前記表示制御部は、前記関心領域検出時間が前記閾値以下であるか否かを判定し、前記閾値以下であると判定された場合に、前記表示を行う医療画像処理装置。
  2. 観察対象を撮像して得られる医療画像を取得する医療画像取得部と、
    前記医療画像から、前記観察対象のうち注目対象を含む関心領域を検出する関心領域検出部と、
    前記関心領域が検出されている検出状態となってから前記関心領域が検出されていない未検出状態となるまでの時間である関心領域検出時間を測定する測定部と、
    前記関心領域検出時間を、表示部に表示させる表示制御部と、を備え、
    前記測定部は、前記検出状態中に前記未検出状態となった場合であっても、前記未検出状態となったフレーム数または時間が閾値以下である場合には、前記検出状態が継続しているとみなして前記関心領域検出時間の測定を行う医療画像処理装置。
  3. 観察対象を撮像して得られる医療画像を取得する医療画像取得部と、
    前記医療画像から、前記観察対象のうち注目対象を含む関心領域を検出する関心領域検出部と、
    前記関心領域が検出されている検出状態となってから前記関心領域が検出されていない未検出状態となるまでの時間である関心領域検出時間を測定する測定部と、
    前記関心領域検出時間を、表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記関心領域が検出されている検出状態となってからの経過時間を前記表示部に表示し、
    前記医療画像取得部は、一定周期で連続して前記撮像を行うことにより、複数の前記医療画像を取得し、
    前記経過時間は、前記関心領域が検出されている検出状態となってから取得された前記医療画像の画像数を用いて算出される医療画像処理装置。
  4. 前記関心領域検出時間の長短を判定するために用いられる閾値を記憶した閾値記憶部を備え、
    前記表示制御部は、前記関心領域検出時間が前記閾値以下であるか否かを判定し、前記閾値以下であると判定された場合に、前記表示を行う請求項２または３記載の医療画像処理装置。
  5. 前記測定部は、前記検出状態中に前記未検出状態となった場合であっても、前記未検出状態となったフレーム数または時間が閾値以下である場合には、前記検出状態が継続しているとみなして前記関心領域検出時間の測定を行う請求項１または３記載の医療画像処理装置。
  6. 前記表示制御部は、同一の前記注目対象について検出された前記関心領域に関する前記関心領域検出時間を表示する請求項１～５のいずれか１項に記載の医療画像処理装置。
  7. 前記表示制御部は、前記関心領域が検出されている検出状態となってからの経過時間を前記表示部に表示する請求項１、２、４～６のいずれか１項に記載の医療画像処理装置。
  8. 前記医療画像取得部は、一定周期で連続して前記撮像を行うことにより、複数の前記医療画像を取得し、
    前記経過時間は、前記関心領域が検出されている検出状態となってから取得された前記医療画像の画像数を用いて算出される請求項７に記載の医療画像処理装置。
  9. 前記表示制御部は、前記経過時間に応じて長さが変化するタイムバーの形態で前記経過時間を表示する請求項３または７または８記載の医療画像処理装置。
  10. 前記表示制御部は、前記経過時間に応じて前記タイムバーの長さを増加させる請求項９記載の医療画像処理装置。
  11. 前記表示制御部は、前記経過時間に応じて前記タイムバーの長さを減少させる請求項９記載の医療画像処理装置。
  12. 前記表示制御部は、数値または文字により前記経過時間を表示する請求項７～１１のいずれか１項に記載の医療画像処理装置。
  13. 前記表示制御部は、前記関心領域検出時間の測定結果の履歴を表示する請求項１～１２のいずれか１項に記載の医療画像処理装置。
JP2020538186A 2018-08-20 2019-06-03 医療画像処理装置 Active JP7150855B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018153823 2018-08-20
JP2018153823 2018-08-20
PCT/JP2019/022046 WO2020039685A1 (ja) 2018-08-20 2019-06-03 医療画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020039685A1 JPWO2020039685A1 (ja) 2021-08-10
JP7150855B2 true JP7150855B2 (ja) 2022-10-11

Family

ID=69592552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538186A Active JP7150855B2 (ja) 2018-08-20 2019-06-03 医療画像処理装置

Country Status (5)

Country Link
US (1) US11950757B2 (ja)
EP (1) EP3841959A4 (ja)
JP (1) JP7150855B2 (ja)
CN (1) CN112584740B (ja)
WO (1) WO2020039685A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
US20230337893A1 (en) * 2020-03-31 2023-10-26 Nec Corporation Information processing device, display method, and non-transitory computer-readable medium for storing program
JPWO2022163514A1 (ja) * 2021-01-27 2022-08-04

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001120538A (ja) 1999-10-29 2001-05-08 Toshiba Corp Ｃｔ装置およびｃｔ装置のエラー処理方法
JP2009233177A (ja) 2008-03-27 2009-10-15 Hitachi Medical Corp 医用画像診断装置及びそのプログラム
JP2012232144A (ja) 2012-06-25 2012-11-29 Toshiba Corp 検査データ処理装置
JP2013135776A (ja) 2011-12-28 2013-07-11 Toshiba Corp 超音波診断装置
JP2016508758A (ja) 2012-12-21 2016-03-24 ヴォルカノ コーポレイションＶｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ マルチセンサ医療デバイスのための表示制御
JP2017042219A (ja) 2015-08-24 2017-03-02 株式会社日立製作所 Ｘ線画像診断装置
WO2018078724A1 (ja) 2016-10-25 2018-05-03 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8900124B2 (en) * 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2009142552A (ja) * 2007-12-17 2009-07-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP5220780B2 (ja) 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
KR102307356B1 (ko) * 2014-12-11 2021-09-30 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001120538A (ja) 1999-10-29 2001-05-08 Toshiba Corp Ｃｔ装置およびｃｔ装置のエラー処理方法
JP2009233177A (ja) 2008-03-27 2009-10-15 Hitachi Medical Corp 医用画像診断装置及びそのプログラム
JP2013135776A (ja) 2011-12-28 2013-07-11 Toshiba Corp 超音波診断装置
JP2012232144A (ja) 2012-06-25 2012-11-29 Toshiba Corp 検査データ処理装置
JP2016508758A (ja) 2012-12-21 2016-03-24 ヴォルカノ コーポレイションＶｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ マルチセンサ医療デバイスのための表示制御
JP2017042219A (ja) 2015-08-24 2017-03-02 株式会社日立製作所 Ｘ線画像診断装置
WO2018078724A1 (ja) 2016-10-25 2018-05-03 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Also Published As

Publication number Publication date
JPWO2020039685A1 (ja) 2021-08-10
US11950757B2 (en) 2024-04-09
WO2020039685A1 (ja) 2020-02-27
EP3841959A1 (en) 2021-06-30
EP3841959A4 (en) 2022-03-02
US20210153821A1 (en) 2021-05-27
CN112584740B (zh) 2024-04-05
CN112584740A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
JP7125987B2 (ja) 医療画像処理装置
JP7235912B2 (ja) 医療画像処理システム、内視鏡システム
JP7150855B2 (ja) 医療画像処理装置
US11862327B2 (en) Medical image processing system
WO2020040087A1 (ja) 医療画像処理システム
US11867896B2 (en) Endoscope system and medical image processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220928

R150 Certificate of patent or registration of utility model

Ref document number: 7150855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150