JPWO2019044078A1 - 脳画像正規化装置、方法およびプログラム - Google Patents

脳画像正規化装置、方法およびプログラム Download PDF

Info

Publication number
JPWO2019044078A1
JPWO2019044078A1 JP2019538975A JP2019538975A JPWO2019044078A1 JP WO2019044078 A1 JPWO2019044078 A1 JP WO2019044078A1 JP 2019538975 A JP2019538975 A JP 2019538975A JP 2019538975 A JP2019538975 A JP 2019538975A JP WO2019044078 A1 JPWO2019044078 A1 JP WO2019044078A1
Authority
JP
Japan
Prior art keywords
brain image
landmark
brain
alignment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019538975A
Other languages
English (en)
Other versions
JP6785976B2 (ja
Inventor
王 彩華
彩華 王
潤 桝本
潤 桝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019044078A1 publication Critical patent/JPWO2019044078A1/ja
Application granted granted Critical
Publication of JP6785976B2 publication Critical patent/JP6785976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Abstract

脳画像正規化装置、方法およびプログラムにおいて、脳および脳の近傍に含まれる解剖学的構造物をも正規化できるようにする。ランドマーク検出部22が、脳画像B0から左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出する。位置合わせ部23が、ランドマーク検出部22により検出された基準ランドマークと、標準脳画像Bsにおける検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う。正規化部24が、位置合わせの結果に基づいて、脳画像B0を正規化する。

Description

本発明は、脳画像に基づいて認知症等を判別する判別器への入力、または判別器の学習等のために脳画像を正規化する脳画像正規化装置、方法およびプログラムに関するものである。
高齢化社会の到来により、認知症疾患の患者が年々増加している。認知症は脳にアミロイドβと呼ばれるタンパク質が蓄積することによって脳の萎縮が進行し、認知能力が低下することにより発症する。認知症の治療法は存在しないため、脳の萎縮を早期に発見し、認知症の進行を遅らせるための治療を早期に開始することが生活の質を維持する上で重要である。
このような要望に応えるべく、近年、SPECT(Single Photon Emission Computed Tomography)およびPET(Positron Emission Tomography)等の核医学検査、並びにCT(Computerized Tomography)装置により取得されるCT画像およびMRI(Magnetic Resonance Imaging)装置により取得されるMRI画像によって脳の状態に関する情報が取得可能になってきている。例えば、脳の局所的な部位の血流および代謝の低下は、SPECTおよびPETの画像を用いて、脳の局所的な部位の経時的な変化を求めることにより発見することができる。
一方、脳の萎縮については、MRI画像によって脳の特定部位の容積を求め、容積の経時的な変化を比較することにより発見することができる。例えば、特許文献1には、撮影日時が異なる2つの脳画像の位置合わせを行い、その後2つの脳画像のそれぞれを組織領域(灰白質および白質)に領域分割し、組織領域毎に変化量を取得する手法が提案されている。
また、機械学習により正常な脳画像と認知症の脳画像とを自動的に判別する手法も提案されている(非特許文献1)。このような判別を行う判別器の学習には、多数の正常な脳のサンプル画像と、認知症患者の脳のサンプル画像とが教師データとして用いられる。
特開2014−042684号公報
DeepAD: Alzheimer's Disease Classification via Deep Convolutional Neural Networks using MRI and fMRI、Saman Sarrafaら、first posted online Aug. 21, 2016; doi: http://dx.doi.org/10.1101/070441
上述したような判別器を用いての脳の判別精度を向上させるためには、学習に使用するサンプル画像および判別のために入力する脳画像を正規化する必要がある。非特許文献1においては、判別の対象となる脳画像の全体を標準脳画像に対して位置合わせし、さらにアフィン変換係数を算出して、脳画像を正規化している。これにより、脳画像の形状を標準脳に合わせるように、脳画像を正規化することができる。
一方、脳には様々な解剖学的構造物が含まれている。また、脳の近傍にも目等の解剖学的特徴が含まれている。非特許文献1に記載された手法では、脳の形状を正規化することができるが、脳および脳の近傍に含まれる解剖学的構造物まで正規化することはできない。
本発明は上記事情に鑑みなされたものであり、脳および脳の近傍に含まれる解剖学的構造物をも正規化できるようにすることを目的とする。
本発明による脳画像正規化装置は、被検体の脳を含む脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出するランドマーク検出部と、
検出された基準ランドマークと、標準脳画像に含まれる検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う位置合わせ部と、
位置合わせの結果に基づいて、脳画像を正規化する正規化部とを備える。
「基準ランドマークを検出する」とは、基準ランドマークの領域そのもの、すなわち基準ランドマーク内の全ての画素位置を検出するものであってもよく、基準ランドマークにおける重心、端点および輪郭線等の、基準ランドマーク内の特定の画素位置を検出するものであってもよい。
なお、本発明による脳画像正規化装置においては、ランドマーク検出部は、標準脳画像における基準ランドマークを含むテンプレートと脳画像とのテンプレートマッチングを行うことにより、基準ランドマークを検出するものであってもよい。
また、本発明による脳画像正規化装置においては、ランドマーク検出部は、位置合わせの結果に基づいて、さらに脳画像から少なくとも1つの局所的ランドマークを検出し、
位置合わせ部は、検出された基準ランドマークおよび検出された局所的ランドマークと、標準脳画像に含まれる検出された基準ランドマークおよび検出された局所的ランドマークのそれぞれに対応する基準ランドマークおよび局所的ランドマークとのさらなる位置合わせを行い、
正規化部は、さらなる位置合わせの結果に基づいて、脳画像を正規化するものであってもよい。
「局所的ランドマーク」とは、基準ランドマークとは異なる、脳画像における特徴的な形状を有する領域であり、具体的には脳に含まれる脳溝および脳室等の特徴的な領域の少なくとも1つを局所的ランドマークとして用いることができる。
「局所的ランドマークを検出する」とは、局所的ランドマークの領域そのもの、すなわち局所的ランドマーク内の全ての画素位置を検出するものであってもよく、局所的ランドマークにおける重心、端点および輪郭線等の、局所的ランドマーク内の特定の画素位置を検出するものであってもよい。
また、本発明による脳画像正規化装置においては、位置合わせ部は、相似変換により位置合わせを行うものであってもよい。なお、位置合わせにはさらなる位置合わせも含む。
また、本発明による脳画像正規化装置においては、位置合わせ部は、非線形変換により位置合わせを行うものであってもよい。なお、位置合わせにはさらなる位置合わせも含む。
また、本発明による脳画像正規化装置においては、位置合わせ部は、位置合わせの後、脳画像の全体と標準脳画像の全体との追加の位置合わせを行うものであってもよい。
本発明による脳画像正規化方法は、被検体の脳を含む脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出し、
検出された基準ランドマークと、標準脳画像に含まれる検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行い、
位置合わせの結果に基づいて、脳画像を正規化する。
なお、本発明による脳画像正規化方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による他の脳画像正規化装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
被検体の脳を含む脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出し、
検出された基準ランドマークと、標準脳画像に含まれる検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行い、
位置合わせの結果に基づいて、脳画像を正規化する処理を実行する。
本発明によれば、被検体の脳を含む脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークが検出され、検出された基準ランドマークと、標準脳画像に含まれる検出された基準ランドマークに対応する基準ランドマークとの位置合わせが行われ、位置合わせの結果に基づいて、脳画像が正規化される。このため、脳の形状のみならず、脳画像に含まれる左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの解剖学的領域を正規化することができる。したがって、脳画像を精度よく正規化することができる。
本発明の実施形態による脳画像正規化装置を適用した、診断支援システムの概要を示すハードウェア構成図 脳画像正規化装置の概略構成を示す図 脳画像における左目および右目、間脳並びに脳弓のそれぞれが見られる断層面におけるスライス画像を示す図 脳画像の正規化を説明するための図 第1の実施形態において行われる処理を示すフローチャート 局所的ランドマークが設定された標準脳画像のスライス画像を示す図 第2の実施形態において行われる処理を示すフローチャート
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の第1の実施形態による脳画像正規化装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図1に示すように、診断支援システムでは、第1の実施形態による脳画像正規化装置1、3次元画像撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
3次元画像撮影装置2は、被検体である患者の診断対象となる部位を撮影することにより、その部位を表す3次元の医用画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET装置等である。3次元画像撮影装置2により生成された医用画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、3次元画像撮影装置2はMRI装置であり、被検体の脳を含む頭部のMRI画像を3次元の脳画像として生成する。
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された医用画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。なお、本実施形態においては、複数の3次元の脳画像の画像データが画像保管サーバ3に保存されているものとする。また、画像保管サーバ3には、後述する標準脳画像の画像データも保存されているものとする。
脳画像正規化装置1は、1台のコンピュータに、本発明の脳画像正規化プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。脳画像正規化プログラムは、DVD(Digital Versatile Disc)あるいはCD−ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図2は、コンピュータに脳画像正規化プログラムをインストールすることにより実現される脳画像正規化装置の概略構成を示す図である。図2に示すように、脳画像正規化装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)
11、メモリ12およびストレージ13を備えている。また、脳画像正規化装置1には、液晶ディスプレイ等のディスプレイ14、並びにキーボードおよびマウス等の入力部15が接続されている。
ストレージ13は、ハードディスクまたはSSD(Solid State Drive)等のストレージデバイスからなる。ストレージ13には、ネットワーク4を経由して画像保管サーバ3から取得した、被検体の脳画像B0、標準脳画像Bsおよび処理に必要な情報を含む各種情報が記憶されている。
ここで、標準脳画像Bsとは、標準的な形状および大きさ、並びに標準的な濃度(画素値)を有する脳、すなわち標準脳を表す3次元の脳画像である。標準脳画像Bsは、複数の健常者の頭部を3次元画像撮影装置により取得した複数の脳画像から脳を抽出し、抽出した複数の脳を平均することにより生成することができる。また、標準脳画像Bsは、コンピュータグラフィックス等により作成されたものであってもよい。また、一人の健常者の脳画像を標準脳画像Bsとして用いてもよい。
また、メモリ12には、脳画像正規化プログラムが記憶されている。脳画像正規化プログラムは、CPU11に実行させる処理として、被検体の脳を含む脳画像B0を取得する画像取得処理、脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出するランドマーク検出処理、検出された基準ランドマークと標準脳画像Bsに含まれる検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う位置合わせ処理、並びに位置合わせの結果に基づいて、脳画像B0を正規化する正規化処理を規定する。
そして、CPU11がプログラムに従いこれらの処理を実行することにより、コンピュータは、画像取得部21、ランドマーク検出部22、位置合わせ部23および正規化部24として機能する。なお、脳画像正規化装置1は、画像取得処理、ランドマーク検出処理、位置合わせ処理および正規化処理をそれぞれ行う複数のプロセッサまたは処理回路を備えるものであってもよい。
なお、本実施形態においては、脳画像正規化装置1には、脳画像正規化プログラムにより正規化された脳画像を用いて、脳画像が正常か認知症を発症しているかを判別する判別プログラムおよび判別器の学習を行う学習プログラムがインストールされている。CPU11は、判別プログラムおよび学習プログラムに従い判別処理および学習処理を実行することにより、判別器30および学習部31としても機能する。
画像取得部21は、正規化するための脳画像B0を画像保管サーバ3から取得する。なお、脳画像B0が既にストレージ13に記憶されている場合には、画像取得部21は、ストレージ13から脳画像B0を取得するようにしてもよい。ここで、本実施形態においては、画像保管サーバ3に保管されているのは被検体の頭部を撮影することにより取得した脳画像であり、頭蓋骨等の脳以外の構造物も含まれる。また、画像取得部21は、標準脳画像Bsも画像保管サーバ3から取得する。
ランドマーク検出部22は、脳画像B0から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出する。本実施形態においては、左目、右目、間脳および脳弓の4つの基準ランドマークを検出するが、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出するものであれば、これに限定されない。図3は脳画像B0における左目および右目、間脳並びに脳弓のそれぞれが見られる断層面におけるスライス画像を示す図である。図3においてスライス画像G1には左目および右目が含まれ、スライス画像G2には間脳が含まれ、スライス画像G3には脳梁が含まれる。なお、各スライス画像G1〜G3における左右の目、間脳および脳梁を丸で囲んでいる。
ここで、本実施形態においては、基準ランドマークの重心位置を検出するものとするが、基準ランドマークの端部の画素位置または輪郭線上の各画素位置等を検出するものであってもよい。また、基準ランドマークの領域そのもの、すなわち基準ランドマーク内の全ての画素位置を検出するものであってもよい。
基準ランドマークの検出のために、ランドマーク検出部22は、左目、右目、間脳および脳弓のそれぞれを検出するように機械学習がなされた判別器を備える。機械学習は、例えばAda-Boost等の任意の手法を用いる。なお、標準脳画像Bsにおいては、左目、右目、間脳および脳弓の4つの基準ランドマークの位置はすでに検出され、ストレージ13に保存されているものとする。
ここで、基準ランドマークの検出は、3次元の脳画像B0に対して行ってもよいが、脳画像B0のスライス画像に対して行うようにしてもよい。この場合、スライス画像は、サジタル断面、コロナル断面およびアキシャル断面のいずれの断面のスライス画像を用いてもよい。
なお、判別器により基準ランドマークを検出した後、検出した基準ランドマークの周辺領域において、テンプレートマッチングを行うようにしてもよい。この場合、左目、右目、間脳および脳弓のそれぞれの領域を標準脳画像Bsから抽出したテンプレートをストレージ13に記憶しておく。そして、ランドマーク検出部22は、左目、右目、間脳および脳弓のそれぞれのテンプレートと、脳画像B0において検出された基準ランドマークの周辺領域とのテンプレートマッチングを行う。これにより、脳画像B0における基準ランドマークをより精度よく検出することができる。一方、判別器を使用することなく、テンプレートマッチングのみにより基準ランドマークを検出してもよい。
位置合わせ部23は、ランドマーク検出部22により検出された基準ランドマークと、標準脳画像Bsにおける検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う。ここで、脳画像B0から検出した4つの基準ランドマークの脳画像B0における位置をPt1,Pt2,Pt3,Pt4とし、検出された基準ランドマークに対応する標準脳画像Bsにおける基準ランドマークの位置をPs1,Ps2,Ps3,Ps4で表すものとする。なお、以降の説明においては、脳画像B0から検出した基準ランドマークの参照符号としてPt1,Pt2,Pt3,Pt4を使用し、標準脳画像Bsにおける基準ランドマークをPの参照符号としてPs1,Ps2,Ps3,Ps4を使用する場合があるものとする。位置合わせ部23は、下記の式(1)を用いて、脳画像B0における基準ランドマークPt1,Pt2,Pt3,Pt4と、標準脳画像Bsにおける基準ランドマークPs1,Ps2,Ps3,Ps4との間の相似変換の係数を算出する。なお、式(1)はΣ内の値を最小にする係数を算出することを意味する。また、式(1)においては、脳画像B0における基準ランドマークの位置をPti(i=1〜4)、標準脳画像Bsにおける基準ランドマークの位置をPsiで示しているが、実際には3次元の座標値を有する。
ここで、式(1)において算出される係数は、S(sx,sy,sz)、R(θx,θy,θz)およびT(tx,ty,tz)である。S(sx,sy,sz)はx方向、y方向および
z方向の拡大および縮小を表すスケーリングマトリクス、R(θx,θy,θz)は3次元の回転マトリクス、T(tx,ty,tz)は3次元の移動マトリクスである。
正規化部24は、位置合わせの結果に基づいて、脳画像B0を正規化する。すなわち、位置合わせ部23が算出した係数S(sx,sy,sz)、R(θx,θy,θz)およびT(tx,ty,tz)により、脳画像B0を相似変換して正規化脳画像Bd0を生成する。
図4は脳画像の正規化を説明するための図である。図4に示すように3つの脳画像B1〜B3から3つの正規化脳画像Bd1〜Bd3が生成される。3つの正規化脳画像Bd1〜Bd3は基準ランドマークの位置がほぼ一致しており、かつ形状および大きさもほぼ一致するものとなる。なお、図4の正規化脳画像Bd1〜Bd3においては、脳領域のみを抽出している。また、図4は、脳画像および正規化脳画像のサジタル断面におけるスライス画像を示している。
次いで、判別器30および学習部31において行われる処理について説明する。本実施形態においては、判別器30において、脳画像B0を入力とし、正常、軽度認知症およびアルツハイマー病の3つのクラスに脳画像B0を分類するように判別を行うものとする。このため、各クラスについての複数の脳画像B0を用いて、判別器30の学習を行う。各クラスの複数の脳画像B0からは脳画像正規化装置により正規化された複数の正規化脳画像が生成される。学習部31は、判別器30に対して、各クラスの正規化脳画像を入力し、正解となる判別結果を出力するように判別器30の学習を行う。これにより、入力された脳画像を正常、軽度認知症およびアルツハイマー病の3つのクラスに分類する判別器30が生成される。なお、判別器30は、脳画像B0を正常およびアルツハイマー病の2つのクラスに分類するものであってもよい。
次いで、第1の実施形態において行われる処理について説明する。図5は第1の実施形態において行われる処理を示すフローチャートである。なお、図5に示すフローチャートにおいては、判別器30の生成および学習部31における学習の処理は省略している。まず、画像取得部21が、正規化の対象となる脳画像B0を取得する(ステップST1)。そして、ランドマーク検出部22が、脳画像B0から左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出する(ステップST2)。
次いで、位置合わせ部23が、ランドマーク検出部22により検出された基準ランドマークと、標準脳画像Bsにおける検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う(ステップST3)。さらに、正規化部24が、位置合わせの結果に基づいて、脳画像B0を正規化し(ステップST4)、処理を終了する。
このように、第1の実施形態によれば、被検体の脳を含む脳画像B0から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出し、検出された基準ランドマークと標準脳画像Bsに含まれる検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行い、位置合わせの結果に基づいて、脳画像B0を正規化するようにした。このため、脳の形状のみならず、脳画像B0に含まれる左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの解剖学的領域を正規化することができる。したがって、脳画像を精度よく正規化することができる。
次いで、本発明の第2の実施形態について説明する。なお、第2の実施形態による脳画像正規化装置の構成は、上記第1の実施形態における脳画像正規化装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第2の実施形態においては、ランドマーク検出部22において、基準ランドマークを用いた位置合わせの結果に基づいて、さらに脳画像B0から少なくとも1つの局所的ランドマークを検出し、位置合わせ部23において、脳画像B0から検出された基準ランドマークおよび局所的ランドマークと、標準脳画像Bsに含まれる検出された基準ランドマークおよび局所的ランドマークのそれぞれに対応する基準ランドマークおよび局所的ランドマークとの位置合わせを行うようにした点が第1の実施形態と異なる。
第2の実施形態においては、ランドマーク検出部22は、第1の実施形態における基準ランドマークを用いた位置合わせの結果に基づいて、基準ランドマークとは異なる少なくとも1つの局所的ランドマークをさらに検出する。図6は局所的ランドマークの検出を説明するための、標準脳画像Bsのスライス画像Gsを示す図である。第2の実施形態においては、図6に示すように、標準脳画像Bsに対して、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬以外の、局所的ランドマークFsiが設定されている。局所的ランドマークFsiとしては、例えば脳溝、脳溝の端部および脳室等を用いることができる。なお、図6においては4つの局所的ランドマークFs1〜Fs4が設定されている。また、第2の実施形態においては、標準脳画像Bsの局所的ランドマークFsiを含む局所的領域を、テンプレートとしてストレージ13に記憶しておく。
第2の実施形態においては、ランドマーク検出部22は、基準ランドマークを用いた位置合わせの結果、すなわち上記式(1)により算出した係数を用いて、下記の式(2)により標準脳画像Bsに設定した局所的ランドマークFsiを脳画像B0にマッピングして、局所的ランドマークFsiに対応する仮の局所的ランドマークの位置Fptiを脳画像B0に設定する。
次いで、ランドマーク検出部22は、標準脳画像Bsに設定した局所的ランドマークFsiを含む局所的領域のテンプレートと、脳画像B0に設定した仮の局所的ランドマークFptiの周辺領域とのテンプレートマッチングを行う。これにより、ランドマーク検出部22は、局所的ランドマークFsiに対応する局所的ランドマークの正確な位置Ftiを検出する。なお、脳画像B0における局所的ランドマークについても参照符号Ftiを用いる場合があるものとする。
ここで、局所的ランドマークFtiの検出は、3次元の脳画像B0に対して行ってもよいが、脳画像B0のスライス画像に対して行うようにしてもよい。この場合、スライス画像は、サジタル断面、コロナル断面およびアキシャル断面のいずれの断面のスライス画像を用いてもよい。
第2の実施形態において、位置合わせ部23は、脳画像B0から検出された基準ランドマークおよび局所的ランドマークと、標準脳画像Bsに含まれる検出された基準ランドマークおよび局所的ランドマークのそれぞれに対応する基準ランドマークおよび局所的ランドマークとのさらなる位置合わせを行う。具体的には、下記の式(3)を用いて、脳画像B0における基準ランドマークPt1,Pt2,Pt3,Pt4および局所的ランドマークFtiと、標準脳画像Bsにおける基準ランドマークPs1,Ps2,Ps3,Ps4および局所的ランドマークFsiとの間の相似変換の係数を算出する。なお、式(3)は2つのΣ内の値の和を最小にする係数を算出することを意味する。また、式(3)においても、脳画像B0における基準ランドマークの位置をPti、脳画像B0における局所的ランドマークの位置をFti、標準脳画像Bsにおける基準ランドマークの位置をPsi、標準脳画像Bsにおける局所的ランドマークの位置をFsiで示しているが、実際には3次元の座標値を有する。
ここで、式(3)において算出される係数は、S1(sx,sy,sz)、R1(θx,θy,θz)、T1(tx,ty,tz)、S2(sx,sy,sz)、R2(θx,θy,θz)およびT2(tx,ty,tz)である。S1(sx,sy,sz)は基準ランドマークについてのx方向、y方向およびz方向の拡大および縮小を表すスケーリングマトリクス、R1(θx,θy,θz)は基準ランドマークについての3次元の回転マトリクス、T1(tx,ty,tz)は基準ランドマークについての3次元の移動マトリクスである。S2(sx,sy,sz)は局所的ランドマークについてのx方向、y方向およびz方向の拡大および縮小
を表すスケーリングマトリクス、R2(θx,θy,θz)は局所的ランドマークについての3次元の回転マトリクス、T2(tx,ty,tz)は局所的ランドマークについての3次元の移動マトリクスである。なお、第1及び第2の実施形態において、このようなx方向、y方向、及びz方向の拡大及び縮小を表すスケーリングマトリクスSと、回転マトリクスRと、移動マトリクスTとを正確に算出するためには、少なくとも4つの基準ランドマークが必要である。仮に基準ランドマークが3つである場合、例えば係る3つの基準ランドマークにより構成される平面に対する、法線方向の拡大及び縮小を表すスケーリンマトリクスが正確に定まらず、後述の正規化の精度が低くなってしまう。なお、これら少なくとも4つの基準ランドマークが同時に同一平面上には無い必要がある。
第2の実施形態においては、正規化部24は、さらなる位置合わせの結果に基づいて、脳画像B0を正規化する。すなわち、位置合わせ部23が算出した係数S1(sx,sy,sz)、R1(θx,θy,θz)、T1(tx,ty,tz)、S2(sx,sy,sz)、R2(θx,θy,θz)およびT2(tx,ty,tz)により、脳画像B0を相似変換して、正規化脳画像Bd0を生成する。
次いで、第2の実施形態において行われる処理について説明する。図7は第2の実施形態において行われる処理を示すフローチャートである。なお、図7に示すフローチャートにおいては、判別器30の生成および学習部31における学習の処理は省略している。まず、画像取得部21が、正規化の対象となる脳画像B0を取得する(ステップST11)。そして、ランドマーク検出部22が、脳画像B0から左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出する(ステップST12)。
次いで、位置合わせ部23が、ランドマーク検出部22により検出された基準ランドマークと、標準脳画像Bsにおける検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う(ステップST13)。さらに、ランドマーク検出部22が、基準ランドマークを用いた位置合わせの結果に基づいて、脳画像B0から局所的ランドマークを検出する(ステップST14)。
そして、位置合わせ部23が、ランドマーク検出部22により検出された基準ランドマークおよび局所的ランドマークと、標準脳画像Bsにおける検出された基準ランドマークおよび局所的ランドマークのそれぞれに対応する基準ランドマークおよび局所的ランドマークとの位置合わせを行う(ステップST15)。さらに、正規化部24が、さらなる位置合わせの結果に基づいて、脳画像B0を正規化し(ステップST16)、処理を終了する。
なお、上記第1の実施形態においては、脳画像B0から検出した基準ランドマークと標準脳画像Bsにおける基準ランドマークとの位置合わせを相似変換により行っているが、非線形変換により位置合わせを行ってもよい。非線形変換による位置合わせとしては、例えばBスプラインおよびシンプレートスプライン(Thin Plate Spline)等の関数を用いて画素位置を非線形に変換することによる位置合わせが挙げられる。また、第2の実施形態においても、脳画像B0から検出した基準ランドマークおよび局所的ランドマークと標準脳画像Bsにおける基準ランドマークおよび局所的ランドマークとの位置合わせを、非線形変換により行ってもよい。
また、上記第1および第2の実施形態においては、位置合わせを行った後に、さらに脳画像B0の全体、すなわち脳画像B0の形状および大きさを標準脳画像Bsの形状および大きさと一致させるための追加の位置合わせを行ってもよい。追加の位置合わせにおいては、位置合わせ部23は、脳画像B0の形状および大きさを標準脳画像Bsの形状および大きさと一致させるための追加の係数を算出する。この場合、正規化部24は、追加の係数をさらに用いて脳画像B0を正規化する。これにより、脳画像B0に含まれる解剖学的領域に加えて、脳の形状および大きさも精度よく正規化することができる。
また、上記実施形態においては、被検体のMRI画像を脳画像として用いているが、CT画像、PET画像等、MRI画像以外の医用画像を脳画像として用いてもよい。
以下、本実施形態の作用効果について説明する。
標準脳画像における基準ランドマークを含むテンプレートと脳画像とのテンプレートマッチングを行うことによって基準ランドマークを検出することにより、精度よく基準ランドマークを検出することができる。
位置合わせの結果に基づいて、さらに脳画像から少なくとも1つの局所的ランドマークを検出し、検出された基準ランドマークおよび検出された局所的ランドマークと、標準脳画像に含まれる検出された基準ランドマークおよび検出された局所的ランドマークのそれぞれに対応する基準ランドマークおよび局所的ランドマークとのさらなる位置合わせを行い、さらなる位置合わせの結果に基づいて、脳画像を正規化することにより、さらに精度よく脳を正規化することができる。
位置合わせの後、脳画像の全体と標準脳画像の全体との追加の位置合わせを行うことにより、脳およびその周辺に含まれる左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの解剖学的領域に加えて、脳の形状および大きさも精度よく正規化することができる。
1 脳画像正規化装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 ディスプレイ
15 入力部
21 画像取得部
22 ランドマーク検出部
23 位置合わせ部
24 正規化部
30 判別器
31 学習部
B1〜B3 脳画像
Bd1〜Bd3 正規化脳画像
Bs 標準脳画像
Fs1〜Fs4 局所的ランドマーク
G1〜G3、Gs スライス画像

Claims (8)

  1. 被検体の脳を含む脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出するランドマーク検出部と、
    検出された前記基準ランドマークと、標準脳画像に含まれる前記検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う位置合わせ部と、
    前記位置合わせの結果に基づいて、前記脳画像を正規化する正規化部とを備えた脳画像正規化装置。
  2. 前記ランドマーク検出部は、前記標準脳画像における前記基準ランドマークを含むテンプレートと前記脳画像とのテンプレートマッチングを行うことにより、前記基準ランドマークを検出する請求項1に記載の脳画像正規化装置。
  3. 前記ランドマーク検出部は、前記位置合わせの結果に基づいて、さらに前記脳画像から少なくとも1つの局所的ランドマークを検出し、
    前記位置合わせ部は、検出された前記基準ランドマークおよび検出された前記局所的ランドマークと、前記標準脳画像に含まれる前記検出された基準ランドマークおよび前記検出された局所的ランドマークのそれぞれに対応する基準ランドマークおよび局所的ランドマークとのさらなる位置合わせを行い、
    前記正規化部は、前記さらなる位置合わせの結果に基づいて、前記脳画像を正規化する請求項1または2に記載の脳画像正規化装置。
  4. 前記位置合わせ部は、相似変換により前記位置合わせを行う請求項1から3のいずれか1項に記載の脳画像正規化装置。
  5. 前記位置合わせ部は、非線形変換により前記位置合わせを行う請求項1から3のいずれか1項に記載の脳画像正規化装置。
  6. 前記位置合わせ部は、前記位置合わせの後、前記脳画像の全体と前記標準脳画像の全体との追加の位置合わせを行う請求項1から5のいずれか1項に記載の脳画像正規化装置。
  7. 被検体の脳を含む脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出し、
    検出された前記基準ランドマークと、標準脳画像に含まれる前記検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行い、
    前記位置合わせの結果に基づいて、前記脳画像を正規化する脳画像正規化方法。
  8. 被検体の脳を含む脳画像から、左目、右目、間脳、脳弓、脳梁、左海馬および右海馬のうちの少なくとも4つの基準ランドマークを検出する手順と、
    検出された前記基準ランドマークと、標準脳画像に含まれる前記検出された基準ランドマークに対応する基準ランドマークとの位置合わせを行う手順と、
    前記位置合わせの結果に基づいて、前記脳画像を正規化する手順とをコンピュータに実行させる脳画像正規化プログラム。
JP2019538975A 2017-08-28 2018-05-29 脳画像正規化装置、方法およびプログラム Active JP6785976B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017163009 2017-08-28
JP2017163009 2017-08-28
PCT/JP2018/020475 WO2019044078A1 (ja) 2017-08-28 2018-05-29 脳画像正規化装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019044078A1 true JPWO2019044078A1 (ja) 2020-05-28
JP6785976B2 JP6785976B2 (ja) 2020-11-18

Family

ID=65525284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019538975A Active JP6785976B2 (ja) 2017-08-28 2018-05-29 脳画像正規化装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11257227B2 (ja)
JP (1) JP6785976B2 (ja)
WO (1) WO2019044078A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7382306B2 (ja) * 2018-03-09 2023-11-16 日本メジフィジックス株式会社 診断支援装置、プログラム、学習済みモデル、および学習装置
JP7323885B2 (ja) * 2020-03-04 2023-08-09 株式会社Kompath 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム
CN116261428A (zh) * 2020-09-28 2023-06-13 富士胶片株式会社 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013165765A (ja) * 2012-02-14 2013-08-29 Toshiba Corp 画像診断支援装置及び画像診断支援方法
JP2013198763A (ja) * 2005-04-15 2013-10-03 Toshiba Corp 医用画像処理装置
JP2014225105A (ja) * 2013-05-15 2014-12-04 国立大学法人 東京大学 画像処理装置及びプログラム
JP2015205164A (ja) * 2014-04-10 2015-11-19 株式会社東芝 医用画像表示装置および医用画像表示システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240308B1 (en) * 1988-12-23 2001-05-29 Tyrone L. Hardy Method and apparatus for archiving and displaying anatomico-physiological data in a normalized whole brain mapping and imaging system
US7646898B1 (en) * 2000-11-24 2010-01-12 Kent Ridge Digital Labs Methods and apparatus for processing medical images
JP2005197792A (ja) * 2003-12-26 2005-07-21 Canon Inc 画像処理方法、画像処理装置、プログラム、記憶媒体及び画像処理システム
WO2006025963A2 (en) * 2004-07-16 2006-03-09 New York University Method, system and storage medium which includes instruction for analyzing anatomical structures
US8041088B2 (en) * 2007-02-05 2011-10-18 General Electric Company Brain image alignment method and system
US20100259263A1 (en) * 2007-11-14 2010-10-14 Dominic Holland Longitudinal registration of anatomy in magnetic resonance imaging
GB0917154D0 (en) * 2009-09-30 2009-11-11 Imp Innovations Ltd Method and apparatus for processing medical images
US8838201B2 (en) * 2010-06-22 2014-09-16 The Johns Hopkins University Atlas-based analysis for image-based anatomic and functional data of organism
US9064332B2 (en) * 2012-01-12 2015-06-23 Siemens Medical Solutions Usa, Inc. Fused-image visualization for surgery evaluation
JP6036009B2 (ja) 2012-08-28 2016-11-30 大日本印刷株式会社 医用画像処理装置、およびプログラム
US20190350486A1 (en) * 2014-05-17 2019-11-21 The Johns Hopkins University Mri-guided opening of blood-brain barrier
US10478120B2 (en) * 2014-05-17 2019-11-19 The Johns Hopkins University MRI-guided intraarterial catheter-based method for predicting territory of local blood brain barrier opening
US9867566B2 (en) * 2014-11-21 2018-01-16 The Trustees Of Columbia University In The City Of New York Technologies for white matter hyperintensity quantification
JP6932363B2 (ja) * 2016-12-06 2021-09-08 ダルミヤン,インク. 脳障害を特定するための方法及びシステム
US11348227B2 (en) * 2018-09-04 2022-05-31 The Trustees Of The University Of Pennsylvania Image registration using a fully convolutional network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198763A (ja) * 2005-04-15 2013-10-03 Toshiba Corp 医用画像処理装置
JP2013165765A (ja) * 2012-02-14 2013-08-29 Toshiba Corp 画像診断支援装置及び画像診断支援方法
JP2014225105A (ja) * 2013-05-15 2014-12-04 国立大学法人 東京大学 画像処理装置及びプログラム
JP2015205164A (ja) * 2014-04-10 2015-11-19 株式会社東芝 医用画像表示装置および医用画像表示システム

Also Published As

Publication number Publication date
US20200167939A1 (en) 2020-05-28
WO2019044078A1 (ja) 2019-03-07
JP6785976B2 (ja) 2020-11-18
US11257227B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
JP5959699B2 (ja) パノラマエックス線写真を利用した診断支援システム、及びパノラマエックス線写真を利用した診断支援プログラム
JP5607839B2 (ja) 診断支援装置および診断支援方法
JP6785976B2 (ja) 脳画像正規化装置、方法およびプログラム
US11978208B2 (en) Trained model, learning method, learning program, medical information acquisition device, medical information acquisition method, and medical information acquisition program
Li et al. An efficient approach for differentiating Alzheimer's disease from normal elderly based on multicenter MRI using gray-level invariant features
Poh et al. Automatic segmentation of ventricular cerebrospinal fluid from ischemic stroke CT images
JP2020032045A (ja) 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
JP2019195426A (ja) 医用画像処理装置、方法およびプログラム
JP6853369B2 (ja) 医用画像処理装置、方法およびプログラム
WO2019216125A1 (ja) 梗塞領域を判別する判別器の学習装置、方法およびプログラム、梗塞領域を判別する判別器、並びに梗塞領域判別装置、方法およびプログラム
Qiu et al. Longitudinal analysis of pre-term neonatal cerebral ventricles from 3D ultrasound images using spatial-temporal deformable registration
JP6821036B2 (ja) 医用画像処理装置、方法およびプログラム
JP6739658B2 (ja) 医用画像処理装置、方法およびプログラム
JP2019213785A (ja) 医用画像処理装置、方法およびプログラム
JP6788113B2 (ja) 医用画像処理装置、方法およびプログラム
Prabhu et al. Content-based estimation of brain mri tilt in three orthogonal directions
CN111278364B (zh) 信息输出装置、方法及记录介质
JP6765396B2 (ja) 医用画像処理装置、方法およびプログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
Pawar et al. Enhancement in Brain Tumor Diagnosis Using MRI Image Processing Techniques
US20240037738A1 (en) Image processing apparatus, image processing method, and image processing program
Sobhana et al. Automatic Cephalometric Analysis using Machine Learning
JP2023091190A (ja) 医療画像診断支援装置、医療画像診断支援方法及びプログラム
Sikkandar et al. Unsupervised local center of mass based scoliosis spinal segmentation and Cobb angle measurement
Tuncer et al. Determining and Measuring the Amount of Region Having COVID-19 on Lung Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6785976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250