JP7114347B2 - 断層画像予測装置および断層画像予測方法 - Google Patents

断層画像予測装置および断層画像予測方法 Download PDF

Info

Publication number
JP7114347B2
JP7114347B2 JP2018106908A JP2018106908A JP7114347B2 JP 7114347 B2 JP7114347 B2 JP 7114347B2 JP 2018106908 A JP2018106908 A JP 2018106908A JP 2018106908 A JP2018106908 A JP 2018106908A JP 7114347 B2 JP7114347 B2 JP 7114347B2
Authority
JP
Japan
Prior art keywords
brain
tomographic image
tomographic
prediction
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018106908A
Other languages
English (en)
Other versions
JP2019211307A (ja
Inventor
政作 古森
祐一 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018106908A priority Critical patent/JP7114347B2/ja
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to PCT/JP2019/021637 priority patent/WO2019235367A1/ja
Priority to US15/734,318 priority patent/US20210196125A1/en
Priority to CN201980037277.2A priority patent/CN112219138A/zh
Priority to KR1020207032270A priority patent/KR20210018214A/ko
Priority to EP19815564.0A priority patent/EP3805807A4/en
Priority to TW108119283A priority patent/TWI827610B/zh
Publication of JP2019211307A publication Critical patent/JP2019211307A/ja
Application granted granted Critical
Publication of JP7114347B2 publication Critical patent/JP7114347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)

Description

本発明は、断層画像を予測する装置および方法に関するものである。
高齢化が進み認知症患者の数が増加しつつあり、被験者の認知症の程度を診断する技術が求められている。被験者の認知症の程度は、その被験者の言動から診断することができる他、脳の断層画像を医師が見ることにより診断することもできる。特許文献1には、ニューラルネットワークを用いて被験者の脳の断層画像から該被験者の脳の状態を診断する発明が開示されている。
国際公開第2008/056638号
特許文献1に開示された発明は、被験者の現在の脳の断層画像から現在の認知症の程度を診断する。被験者の現在の認知症の程度を診断することができれば、該被験者の介護または治療に有用である。しかし、被験者の現在の認知症の程度が分かるのみでは、該被験者の現在から将来に亘る介護、治療または予防の方針を立てるには十分ではない。
本発明は、上記問題点を解消する為になされたものであり、被験者の将来の治療等の方針の立案に有用な断層画像予測装置および断層画像予測方法を提供することを目的とする。
本発明の断層画像予測装置は、(1) 被験者の脳の断層画像を入力する入力部と、(2) 入力部に入力された脳の断層画像に基づいて、深層ニューラルネットワークにより、その断層画像の取得時より後の被験者の脳の断層画像を予測する予測部と、(3) 予測部による予測の結果を出力する出力部と、を備える。本発明の断層画像予測装置は、複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースを用いて深層ニューラルネットワークを学習させる学習部を更に備えるのが好適である。
本発明の断層画像予測装置において、予測部は、予測した被験者の脳の断層画像に基づいて被験者の脳の健康状態を予測するのが好適である。予測部は、入力部に入力された脳の断層画像の取得時より後の複数の時点それぞれの脳の断層画像を予測するのが好適である。出力部は、予測部により予測された複数の時点それぞれの脳の断層画像を動画として表示するのが好適である。
本発明の断層画像予測装置において、出力部は、予測部により予測された脳の断層画像と入力部に入力された脳の断層画像との間の差分を表す差分画像を求めて、この差分画像を出力するのが好適である。予測部は、複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースのうち経時変化の速さが互いに異なる断層画像のデータベースを用いて学習した深層ニューラルネットワークにより、入力部に入力された脳の断層画像の取得時より後の脳の断層画像を予測するのが好適である。
本発明の断層画像予測装置において、予測部は、複数の時点それぞれに取得された被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測するのが好適である。予測部は、複数種類の断層画像取得装置それぞれにより取得された被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測するのが好適である。予測部は、入力部に入力された脳の断層画像および被験者に関する他の情報に基づいて、その断層画像の取得時より後の脳の断層画像を予測するのが好適である。
本発明の断層画像予測方法は、(1) 被験者の脳の断層画像を入力する入力ステップと、(2) 入力ステップで入力された脳の断層画像に基づいて、深層ニューラルネットワークにより、その断層画像の取得時より後の被験者の脳の断層画像を予測する予測ステップと、(3) 予測ステップにおける予測の結果を出力する出力ステップと、を備える。本発明の断層画像予測方法は、複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースを用いて深層ニューラルネットワークを学習させる学習ステップを更に備えるのが好適である。
本発明の断層画像予測方法において、予測ステップは、予測した被験者の脳の断層画像に基づいて被験者の脳の健康状態を予測するのが好適である。予測ステップは、入力ステップで入力された脳の断層画像の取得時より後の複数の時点それぞれの脳の断層画像を予測するのが好適である。出力ステップは、予測ステップで予測された複数の時点それぞれの脳の断層画像を動画として表示するのが好適である。
本発明の断層画像予測方法において、出力ステップは、予測ステップで予測された脳の断層画像と入力ステップで入力された脳の断層画像との間の差分を表す差分画像を求めて、この差分画像を出力するのが好適である。予測ステップは、複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースのうち経時変化の速さが互いに異なる断層画像のデータベースを用いて学習した深層ニューラルネットワークにより、入力ステップで入力された脳の断層画像の取得時より後の脳の断層画像を予測するのが好適である。
本発明の断層画像予測方法において、予測ステップは、複数の時点それぞれに取得された被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測するのが好適である。予測ステップは、複数種類の断層画像取得装置それぞれにより取得された被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測するのが好適である。予測ステップは、入力ステップで入力された脳の断層画像および被験者に関する他の情報に基づいて、その断層画像の取得時より後の脳の断層画像を予測するのが好適である。
本発明によれば、被験者の将来の脳の断層画像を予測することで、該被験者の現在から将来に亘る介護、治療または予防について、より有効な方針を立てることができる。
図1は、断層画像予測装置1の構成を示す図である。 図2は、深層ニューラルネットワークが学習済みである断層画像予測装置1の構成を示す図である。 図3は、断層画像予測装置1Aの構成を示す図である。 図4は、入力部11に入力される断層画像(入力画像I1)、出力部13から出力される出力画像I2a~I2d、および、出力部13から出力される差分画像の例を示す図である。 図5は、実際の断層画像と予測された断層画像とを対比して示す図である。 図6は、最悪シナリオおよび最良シナリオそれぞれで予測された断層画像を対比して示す図である。 図7は、断層画像予測装置1Bの構成を示す図である。 図8は、断層画像予測装置1Cの構成を示す図である。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
図1は、断層画像予測装置1の構成を示す図である。断層画像予測装置1は、被験者の脳の断層画像を入力画像I1として入力し、その断層画像の取得時より後の該被験者の脳の断層画像を深層ニューラルネットワークにより予測して、その予測した断層画像を出力画像I2として出力する。また、断層画像予測装置1は、断層画像データベース15を用いて深層ニューラルネットワークを学習させることができる。断層画像予測装置1は、入力部11、予測部12、出力部13および学習部14を備える。
入力部11は、被験者の脳の断層画像を入力画像I1として入力する。断層画像は、PET(Positron Emission Tomography)装置により取得されるPET画像、SPECT(Single Photon Emission Computed Tomography)装置により取得されるSPECT画像、および、MRI(Magnetic Resonance Imaging)装置により取得されるMRI画像の何れであってもよい。また、断層画像は、1スライスまたは複数スライスの二次元断層画像であってもよいし、三次元断層画像であってもよい。
予測部12は、入力部11に入力された脳の断層画像(入力画像I1)に基づいて、深層ニューラルネットワーク(Deep Neural Network)により、その断層画像の取得時より後の被験者の脳の断層画像等を予測する。また、予測部12は、その予測した被験者の脳の断層画像に基づいて該被験者の脳の健康状態をも予測するのが好適である。脳の健康状態は、例えば認知症の程度であり、数値化されたZスコアで表すことができ、或いは、危険度レベル(要精密検査、要注意、要経過観察、等)で表すこともできる。
この深層ニューラルネットワークは畳み込みニューラルネットワーク(Convolutional Neural Network)であるのが好適である。畳み込みニューラルネットワークでは、特徴量を抽出する畳み込み層と、特徴量を圧縮するプーリング層とが、交互に設けられている。予測部12は、深層ニューラルネットワークにおける処理をCPU(Central Processing Unit)により行ってもよいが、より高速な処理が可能なDSP(Digital Signal Processor)またはGPU(Graphics Processing Unit)により行うのが好適である。
出力部13は、予測部12による予測の結果を出力する。出力部13は、予測部12が予測した被験者の脳の断層画像を出力画像I2として出力する。また、予測部12が被験者の脳の健康状態をも予測する場合には、出力部13は、予測部12が予測した被験者の脳の健康状態をも出力する。出力部13は、画像を表示するディスプレイを含むのが好適である。
学習部14は、断層画像データベース15を用いて予測部12の深層ニューラルネットワークを学習させる。断層画像データベース15は、複数の被験者について複数の時点それぞれに取得された脳の断層画像データを格納している。断層画像データベース15は、例えば、略1年間隔で取得した各被験者の脳の断層画像データを格納している。学習部14は、各被験者の或る年に取得された断層画像を入力画像I1とし、その入力画像I1に対する出力画像I2および該被験者の次の年(または、一定年数経過後の年)に取得された断層画像に基づいて、予測部12の深層ニューラルネットワークを学習させる。このような深層ニューラルネットワークの学習は深層学習(Deep Learning)と呼ばれる。
このような断層画像予測装置1を用いた断層画像予測方法は、入力部11による入力ステップ、予測部12による予測ステップ、出力部13による出力ステップ、および、学習部14による学習ステップを備える。すなわち、入力ステップにおいて、被験者の脳の断層画像を入力画像I1として入力する。予測ステップにおいて、入力ステップで入力された脳の断層画像(入力画像I1)に基づいて、深層ニューラルネットワークにより、その断層画像の取得時より後の被験者の脳の断層画像等を予測する。また、予測ステップにおいて、その予測した被験者の脳の断層画像に基づいて該被験者の脳の健康状態をも予測するのが好適である。出力ステップにおいて、予測ステップで予測した被験者の脳の断層画像を出力画像I2として出力し、また、予測ステップで予測した被験者の脳の健康状態をも出力する。学習ステップにおいて、断層画像データベース15を用いて深層ニューラルネットワークを学習させる。
学習ステップにおいて深層ニューラルネットワークの学習を一度行っておけば、以降は入力、予測および出力の一連のステップを繰り返して行うことができるので、入力、予測および出力の一連のステップを行う度に学習ステップを行う必要はない。同様の理由で、深層ニューラルネットワークが学習済みであれば学習部14は必要ではない。ただし、深層ニューラルネットワークが学習済みであっても、更に高精度の予測を可能にする為に更に学習を行う場合には、学習ステップおよび学習部14があってもよい。
図2は、深層ニューラルネットワークが学習済みである断層画像予測装置1の構成を示す図である。断層画像予測装置1は、被験者の脳の断層画像を入力画像I1として入力し、その断層画像の取得時より後(例えば、一年後、一定年数経過後、等)の該被験者の脳の断層画像を深層ニューラルネットワークにより予測して出力画像I2として出力することができ、また、その予測した被験者の脳の断層画像に基づいて該被験者の脳の健康状態をも予測することができる。被験者の将来の脳の断層画像(および脳の健康状態)を予測することができるので、該被験者の現在から将来に亘る介護、治療または予防について、より有効な方針を立てることができる。
被験者の将来の脳の断層画像(および脳の健康状態)を予測することで、例えば次のような対処が可能となる。予測された断層画像から、正常圧水頭症、脳腫瘍、慢性硬膜下血腫などの疑いがあると判断される場合には、脳外科的処置により症状を改善することができる。また、甲状腺ホルモンの異常が原因であると判断される場合は、内科的処置により症状を改善することができる。予測された断層画像からアルツハイマー型の疑いがあると判断される場合には、薬の投与により症状の進行を遅らせることができる。早期発見により、将来に生じる可能性がある生活上の障害等のトラブルに事前に対応することができ、早期に今後の治療、終末医療、介護などの方針を決めることができる。
断層画像予測装置1および断層画像予測方法は、1つの入力画像I1を入力して1つの出力画像I2を出力する態様に限られるものではなく、様々な態様が可能である。以下では、断層画像予測装置の他の態様について説明する。
図3は、断層画像予測装置1Aの構成を示す図である。断層画像予測装置1Aでは、予測部12Aは、入力部11に入力された脳の断層画像(入力画像I1)の取得時より後の複数の時点それぞれの脳の断層画像を予測する。出力部13は、予測部12Aにより予測された複数の時点それぞれの脳の断層画像(出力画像I2a~I2e)を個々に表示してもよいし、好適には、これら複数の時点それぞれの脳の断層画像を順に表示することで動画表示してもよい。
例えば、出力画像I2aは、入力画像I1の取得時より1年経過後の予測画像である。出力画像I2bは、入力画像I1の取得時より2年経過後の予測画像である。出力画像I2cは、入力画像I1の取得時より3年経過後の予測画像である。出力画像I2dは、入力画像I1の取得時より4年経過後の予測画像である。また、出力画像I2eは、入力画像I1の取得時より5年経過後の予測画像である。このように将来の複数時点それぞれにおける脳の断層画像を予測することで、脳の健康状態の変化の把握が容易となる。
予測部12Aは、入力画像I1から出力画像I2aを予測し、この出力画像I2aから出力画像I2bを予測し、この出力画像I2bから出力画像I2cを予測し、この出力画像I2cから出力画像I2dを予測し、この出力画像I2dから出力画像I2eを予測してもよい。或いは、入力画像から出力画像I2a~I2dを予測することができるように深層ニューラルネットワークを学習させておいてもよい。
図4は、入力部11に入力される断層画像(入力画像I1)、出力部13から出力される出力画像I2a~I2d、および、出力部13から出力される差分画像の例を示す図である。この図に示されるように、出力部13は、予測部12Aにより予測された脳の断層画像(出力画像I2a~I2d等)と入力部11に入力された脳の断層画像(入力画像I1)との間の差分を表す差分画像(I2a-I1、I2b-I1、I2c-I1、I2d-I1、等)を求めて、この差分画像を出力するのも好適である。このように将来の複数時点それぞれにおける脳の差分画像を表示することで、脳の健康状態の変化の把握(例えば悪化していく場所および様子の把握)が更に容易となる。
図5は、実際の断層画像と予測された断層画像とを対比して示す図である。ここでは、或る時点のPET画像と1年後のPET画像とを1組として、470組のPET画像データを格納する断層画像データベースを用い、深層ニューラルネットワークを学習させた。この図は、或る特定の被験者の脳の実際の1年目から5年目までのPET画像を示すとともに、その特定の被験者の脳の予測された1年目から5年目までのPET画像をも示す。また、この図は、実際の5年目のPET画像と1年目のPET画像との差分を表す差分画像を示すとともに、予測された5年目のPET画像と1年目のPET画像との差分を表す差分画像をも示す。
実際と予測とを対比すると、実際の或る年のPET画像と、予測された同年のPET画像との間で、活性が低下している部位が共通していた。また、その活性が低下する部位は、被験者によって異なっていた。このことは、或る時点の脳の断層画像から将来の脳の断層画像を被験者毎に予測することが可能であることを示している。このような結果は、従来の統計的な処理では困難である。
図6は、最悪シナリオおよび最良シナリオそれぞれで予測された断層画像を対比して示す図である。この図に示されるように、予測部12Aは、最悪シナリオおよび最良シナリオそれぞれについて、入力部11に入力された脳の断層画像の取得時より後の脳の断層画像を予測するのも好適である。このとき、深層ニューラルネットワークは、断層画像データベースのうち経時変化の速さが互いに異なる断層画像のデータベースを用いて学習している。経時変化が速い断層画像(例えば、アルツハイマー型認知症に近い被験者の断層画像)のデータベースを用いて深層ニューラルネットワークを学習させておけば、最悪シナリオで将来の脳の断層画像を予測することができる。経時変化が遅い断層画像(例えば、健常者の断層画像)のデータベースを用いて深層ニューラルネットワークを学習させておけば、最良シナリオで将来の脳の断層画像を予測することができる。このように最悪シナリオおよび最良シナリオそれぞれで被験者の将来の脳の断層画像を予測することにより、該被験者の現在から将来に亘る介護、治療または予防について様々な方針を立てることができる。
図7は、断層画像予測装置1Bの構成を示す図である。断層画像予測装置1Bでは、入力部11Bは、被験者の脳の複数の断層画像(入力画像I1a,I1b)を入力する。予測部12Bは、入力部11Bに入力された被験者の脳の複数の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測する。被験者の脳の複数の断層画像(入力画像I1a,I1b)から出力画像I2a~I2eを予測することができるように深層ニューラルネットワークを学習させておく。
被験者の脳の複数の断層画像とは、複数の時点それぞれに取得された被験者の脳の断層画像(例えば、或る年に取得された断層画像と、次の年に取得された断層画像)である。或いは、被験者の脳の複数の断層画像とは、複数種類の断層画像取得装置それぞれにより取得された被験者の脳の断層画像(例えば、PET画像、SPECT画像、MRI画像)である。このように、被験者の脳の複数の断層画像に基づいて将来の脳の断層画像を予測することにより、予測の精度を向上させることができる。
図8は、断層画像予測装置1Cの構成を示す図である。断層画像予測装置1Cでは、入力部11Cは、被験者の脳の断層画像(入力画像I1)を入力するだけでなく、該被験者に関する他の情報をも入力する。予測部12Cは、入力部11Cに入力された被験者の脳の断層画像および該被験者に関する他の情報に基づいて、その断層画像の取得時より後の脳の断層画像を予測する。被験者の脳の断層画像および該被験者に関する他の情報から出力画像I2a~I2eを予測することができるように深層ニューラルネットワークを学習させておく。
被験者に関する他の情報とは、脳の健康状態と関係があり得る情報であり、例えば、年齢、性別、遺伝子情報、既往歴、生活習慣等の情報である。このように、被験者の脳の断層画像および該被験者に関する他の情報に基づいて将来の脳の断層画像を予測することにより、予測の精度を向上させることができる。
本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、これまでに説明した様々な態様のうちの任意の態様を組み合わせてもよい。
断層画像取得装置(PET装置、SPECT装置、MRI装置)を備えて被験者の脳の断層画像を取得する医療機関と、断層画像予測装置を備えて被験者の将来の脳の断層画像を予測する機関(以下「予測機関」という。)とは、別個であってもよい。この場合、医療機関と予測機関との間の通信回線により、医療機関において取得された被験者の脳の断層画像が予測機関へ送られ、予測機関において予測された将来の脳の断層画像が医療機関へ送られる。そして、医療機関では、医師等は、予測機関から送られてきた将来の脳の断層画像に基づいて、被験者の現在から将来に亘る介護、治療または予防について有効な方針を立てることができる。
1,1A~1C…断層画像予測装置、11,11B,11C…入力部、12,12A~12C…予測部、13…出力部、14…学習部、15…断層画像データベース。

Claims (20)

  1. 被験者の脳の断層画像を入力する入力部と、
    前記入力部に入力された脳の断層画像に基づいて、深層ニューラルネットワークにより、その断層画像の取得時より後の前記被験者の脳の断層画像を予測する予測部と、
    前記予測部による予測の結果を出力する出力部と、
    を備える断層画像予測装置。
  2. 複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースを用いて前記深層ニューラルネットワークを学習させる学習部を更に備える、
    請求項1に記載の断層画像予測装置。
  3. 前記予測部は、予測した前記被験者の脳の断層画像に基づいて前記被験者の脳の健康状態を予測する、
    請求項1または2に記載の断層画像予測装置。
  4. 前記予測部は、前記入力部に入力された脳の断層画像の取得時より後の複数の時点それぞれの脳の断層画像を予測する、
    請求項1~3の何れか1項に記載の断層画像予測装置。
  5. 前記出力部は、前記予測部により予測された複数の時点それぞれの脳の断層画像を動画として表示する、
    請求項4に記載の断層画像予測装置。
  6. 前記出力部は、前記予測部により予測された脳の断層画像と前記入力部に入力された脳の断層画像との間の差分を表す差分画像を求めて、この差分画像を出力する、
    請求項1~5の何れか1項に記載の断層画像予測装置。
  7. 前記予測部は、複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースのうち経時変化の速さが互いに異なる断層画像のデータベースを用いて学習した前記深層ニューラルネットワークにより、前記入力部に入力された脳の断層画像の取得時より後の脳の断層画像を予測する、
    請求項1~6の何れか1項に記載の断層画像予測装置。
  8. 前記予測部は、複数の時点それぞれに取得された前記被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測する、
    請求項1~7の何れか1項に記載の断層画像予測装置。
  9. 前記予測部は、複数種類の断層画像取得装置それぞれにより取得された前記被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測する、
    請求項1~8の何れか1項に記載の断層画像予測装置。
  10. 前記予測部は、前記入力部に入力された脳の断層画像および前記被験者に関する他の情報に基づいて、その断層画像の取得時より後の脳の断層画像を予測する、
    請求項1~9の何れか1項に記載の断層画像予測装置。
  11. 被験者の脳の断層画像を入力する入力ステップと、
    前記入力ステップで入力された脳の断層画像に基づいて、深層ニューラルネットワークにより、その断層画像の取得時より後の前記被験者の脳の断層画像を予測する予測ステップと、
    前記予測ステップにおける予測の結果を出力する出力ステップと、
    を備える断層画像予測方法。
  12. 複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースを用いて前記深層ニューラルネットワークを学習させる学習ステップを更に備える、
    請求項11に記載の断層画像予測方法。
  13. 前記予測ステップは、予測した前記被験者の脳の断層画像に基づいて前記被験者の認知症の程度を数値化して表すZスコアを予測する、
    請求項11または12に記載の断層画像予測方法。
  14. 前記予測ステップは、前記入力ステップで入力された脳の断層画像の取得時より後の複数の時点それぞれの脳の断層画像を予測する、
    請求項11~13の何れか1項に記載の断層画像予測方法。
  15. 前記出力ステップは、前記予測ステップで予測された複数の時点それぞれの脳の断層画像を動画として表示する、
    請求項14に記載の断層画像予測方法。
  16. 前記出力ステップは、前記予測ステップで予測された脳の断層画像と前記入力ステップで入力された脳の断層画像との間の差分を表す差分画像を求めて、この差分画像を出力する、
    請求項11~15の何れか1項に記載の断層画像予測方法。
  17. 前記予測ステップは、複数の被験者について複数の時点それぞれに取得された脳の断層画像のデータベースのうち経時変化の速さが互いに異なる断層画像のデータベースを用いて学習した前記深層ニューラルネットワークにより、前記入力ステップで入力された脳の断層画像の取得時より後の脳の断層画像を予測する、
    請求項11~16の何れか1項に記載の断層画像予測方法。
  18. 前記予測ステップは、複数の時点それぞれに取得された前記被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測する、
    請求項11~17の何れか1項に記載の断層画像予測方法。
  19. 前記予測ステップは、複数種類の断層画像取得装置それぞれにより取得された前記被験者の脳の断層画像に基づいて、それらの断層画像の取得時より後の脳の断層画像を予測する、
    請求項11~18の何れか1項に記載の断層画像予測方法。
  20. 前記予測ステップは、前記入力ステップで入力された脳の断層画像および前記被験者に関する他の情報に基づいて、その断層画像の取得時より後の脳の断層画像を予測する、
    請求項11~19の何れか1項に記載の断層画像予測方法。
JP2018106908A 2018-06-04 2018-06-04 断層画像予測装置および断層画像予測方法 Active JP7114347B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018106908A JP7114347B2 (ja) 2018-06-04 2018-06-04 断層画像予測装置および断層画像予測方法
US15/734,318 US20210196125A1 (en) 2018-06-04 2019-05-30 Tomographic image prediction device and tomographic image prediction method
CN201980037277.2A CN112219138A (zh) 2018-06-04 2019-05-30 断层图像预测装置及断层图像预测方法
KR1020207032270A KR20210018214A (ko) 2018-06-04 2019-05-30 단층 화상 예측 장치 및 단층 화상 예측 방법
PCT/JP2019/021637 WO2019235367A1 (ja) 2018-06-04 2019-05-30 断層画像予測装置および断層画像予測方法
EP19815564.0A EP3805807A4 (en) 2018-06-04 2019-05-30 METHOD AND DEVICE FOR TOMOGRAPHIC IMAGE PREDICTION
TW108119283A TWI827610B (zh) 2018-06-04 2019-06-04 斷層圖像預測裝置及斷層圖像預測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018106908A JP7114347B2 (ja) 2018-06-04 2018-06-04 断層画像予測装置および断層画像予測方法

Publications (2)

Publication Number Publication Date
JP2019211307A JP2019211307A (ja) 2019-12-12
JP7114347B2 true JP7114347B2 (ja) 2022-08-08

Family

ID=68769302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018106908A Active JP7114347B2 (ja) 2018-06-04 2018-06-04 断層画像予測装置および断層画像予測方法

Country Status (7)

Country Link
US (1) US20210196125A1 (ja)
EP (1) EP3805807A4 (ja)
JP (1) JP7114347B2 (ja)
KR (1) KR20210018214A (ja)
CN (1) CN112219138A (ja)
TW (1) TWI827610B (ja)
WO (1) WO2019235367A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102582293B1 (ko) * 2020-09-09 2023-09-25 사회복지법인 삼성생명공익재단 내이기관의 내림프수종 비율 측정 방법 및 그 장치
JP7116445B1 (ja) * 2021-10-01 2022-08-10 株式会社CogSmart 認知症予防支援装置、認知症予防支援プログラムおよび認知症予防支援方法
CN115661152B (zh) * 2022-12-27 2023-04-07 四川大学华西医院 基于模型预测的目标发展情况分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008157640A (ja) 2006-12-20 2008-07-10 Fujifilm Ri Pharma Co Ltd 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体
US20130116540A1 (en) 2010-03-15 2013-05-09 Shi-Jiang Li Systems and methods for detection and prediction of brain disorders based on neural network interaction
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
WO2017223560A1 (en) 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US20180144466A1 (en) 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image acquisition

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
US9492114B2 (en) * 2004-06-18 2016-11-15 Banner Health Systems, Inc. Accelerated evaluation of treatments to prevent clinical onset of alzheimer's disease
US7929737B2 (en) * 2005-09-29 2011-04-19 General Electric Company Method and system for automatically generating a disease severity index
WO2007062135A2 (en) * 2005-11-23 2007-05-31 Junji Shiraishi Computer-aided method for detection of interval changes in successive whole-body bone scans and related computer program product and system
JP5051472B2 (ja) 2006-11-06 2012-10-17 国立大学法人徳島大学 脳画像診断支援方法、プログラムおよび記録媒体
US9563950B2 (en) * 2013-03-20 2017-02-07 Cornell University Methods and tools for analyzing brain images
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9324022B2 (en) * 2014-03-04 2016-04-26 Signal/Sense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US10546233B1 (en) * 2014-07-23 2020-01-28 Hrl Laboratories, Llc Method and system to predict and interpret conceptual knowledge in the brain
WO2016182551A1 (en) * 2015-05-11 2016-11-17 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
WO2017006764A1 (ja) * 2015-07-08 2017-01-12 株式会社日立製作所 画像演算装置、画像演算方法、および、断層画像撮影装置
CN105718952B (zh) * 2016-01-22 2018-10-30 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的系统
CN109690554B (zh) * 2016-07-21 2023-12-05 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN107451609A (zh) * 2017-07-24 2017-12-08 上海交通大学 基于深度卷积神经网络的肺结节图像识别系统
CN107616796B (zh) * 2017-08-31 2020-09-11 北京医拍智能科技有限公司 基于深度神经网络的肺结节良恶性检测方法及装置
US11918333B2 (en) * 2017-12-29 2024-03-05 Analytics For Life Inc. Method and system to assess disease using phase space tomography and machine learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008157640A (ja) 2006-12-20 2008-07-10 Fujifilm Ri Pharma Co Ltd 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体
US20130116540A1 (en) 2010-03-15 2013-05-09 Shi-Jiang Li Systems and methods for detection and prediction of brain disorders based on neural network interaction
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
WO2017223560A1 (en) 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US20180144466A1 (en) 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image acquisition

Also Published As

Publication number Publication date
KR20210018214A (ko) 2021-02-17
US20210196125A1 (en) 2021-07-01
TW202011895A (zh) 2020-04-01
EP3805807A1 (en) 2021-04-14
WO2019235367A1 (ja) 2019-12-12
EP3805807A4 (en) 2022-02-23
TWI827610B (zh) 2024-01-01
JP2019211307A (ja) 2019-12-12
CN112219138A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
Eavani et al. Heterogeneity of structural and functional imaging patterns of advanced brain aging revealed via machine learning methods
Harper et al. MRI visual rating scales in the diagnosis of dementia: evaluation in 184 post-mortem confirmed cases
US20200035349A1 (en) Diagnosis support system, information processing method, and program
EP2713292A2 (en) Tissue disorder imaging analysis
US20160073969A1 (en) Medical Imaging System Providing Disease Prognosis
WO2020218460A1 (ja) 診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデル
JP7114347B2 (ja) 断層画像予測装置および断層画像予測方法
Zhan et al. Boosting brain connectome classification accuracy in Alzheimer's disease using higher-order singular value decomposition
US20210358126A1 (en) Trained model, learning method, learning program, medical information acquisition device, medical information acquisition method, and medical information acquisition program
JP7339270B2 (ja) 医用画像処理装置、方法およびプログラム
WO2022054711A1 (ja) コンピュータプログラム、情報処理装置、端末装置、情報処理方法、学習済みモデル生成方法及び画像出力装置
Combès et al. A clinically-compatible workflow for computer-aided assessment of brain disease activity in multiple sclerosis patients
Lachinov et al. Learning spatio-temporal model of disease progression with NeuralODEs from longitudinal volumetric data
US11967070B2 (en) Systems and methods for automated image analysis
JP7109345B2 (ja) 優先度判定装置、方法およびプログラム
US20180004901A1 (en) Systems and methods for holistic analysis of medical conditions
US11328414B2 (en) Priority judgement device, method, and program
Pankowska et al. Visual Tract Degradation in Bilateral Normal-Tension Glaucoma—Cortical Thickness Maps and Volumetric Study of Visual Pathway Areas
JP7485512B2 (ja) 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
Barlow-Krelina et al. Enhanced recruitment during executive control processing in cognitively preserved patients with pediatric-onset MS
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
Romano et al. Deep learning for risk-based stratification of cognitively impaired individuals
KR20220082869A (ko) 진단 툴
WO2023167157A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
WO2023276563A1 (ja) 診断支援装置、コンピュータプログラム及び診断支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R150 Certificate of patent or registration of utility model

Ref document number: 7114347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150