JP7055626B2 - 医用情報処理装置、及びプログラム - Google Patents

医用情報処理装置、及びプログラム Download PDF

Info

Publication number
JP7055626B2
JP7055626B2 JP2017233303A JP2017233303A JP7055626B2 JP 7055626 B2 JP7055626 B2 JP 7055626B2 JP 2017233303 A JP2017233303 A JP 2017233303A JP 2017233303 A JP2017233303 A JP 2017233303A JP 7055626 B2 JP7055626 B2 JP 7055626B2
Authority
JP
Japan
Prior art keywords
medical
thumbnail
thumbnail image
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017233303A
Other languages
English (en)
Other versions
JP2019097961A (ja
Inventor
展樹 諸岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2017233303A priority Critical patent/JP7055626B2/ja
Publication of JP2019097961A publication Critical patent/JP2019097961A/ja
Application granted granted Critical
Publication of JP7055626B2 publication Critical patent/JP7055626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、医用情報処理装置、及びプログラムに関する。
電子カルテシステム、診療情報統合ビューア、又は画像処理装置では、X線CT(Computed Tomography)装置、磁気共鳴イメージング診断装置(MRI:Magnetic Resonance Imaging)、X線診断装置、核医学診断装置、及び超音波診断装置等のモダリティで撮影された医用画像を参照することが可能である。また、場合によっては医用画像のサイズを縮小したサムネイル画像が別途生成され、生成されたサムネイル画像は、例えば、医用画像の一覧表示、又は電子カルテへの埋め込み画像等に使用される。診断医、及び読影医等(以下、読影者と称する)は、表示されたサムネイル画像を視認することにより、当該サムネイル画像に対応する医用画像の内容を、医用画像が表示される前に予め把握することができる。そして、読影者は、表示されている複数のサムネイル画像の中から、把握した医用画像の内容に基づいて比較対象となるサムネイル画像を選択する。
ところで、同一患者について医用画像の比較読影が行われる際に、例えば、電子カルテシステム、診療情報統合ビューア、又は画像処理装置等が備えるディスプレイには、通常、異なる時相で撮影された複数の医用画像に対応する複数のサムネイル画像が表示される。例えば、この複数の医用画像は、同一の患者について、同一の撮影条件で撮影された医用画像である。
しかしながら、サムネイル画像は、対応する医用画像と比して、例えば腫瘍等の解剖学的特徴に関する視認性が低い場合が多い。このため、複数のサムネイル画像が表示されている場合、読影者がサムネイル画像間の差分を視認することは難しい。したがって、読影者は、サムネイル画像を目視するだけでは、当該サムネイル画像が比較読影の対象となる医用画像に対応するサムネイル画像であることを容易に判断することができず、比較読影の対象となる医用画像を特定するのに大きな手間を要していた。
特開2015-16067号公報
本発明が解決しようとする課題は、医用画像の比較読影を支援することにある。
実施形態によれば、医用情報処理装置は、算出部、及び出力制御部を備える。算出部は、異なる時相で撮影された複数の医用画像から生成された複数のサムネイル画像のうち、第1のサムネイル画像と、第2のサムネイル画像との差分を算出する。出力制御部は、前記算出された差分を、前記第1のサムネイル画像、及び前記第2のサムネイル画像と共に出力する。
図1は、実施形態に係る医用情報処理装置が利用される環境を表すブロック図である。 図2は、図1に示される医用情報処理装置の機能構成を示すブロック図である。 図3は、実施形態に係る医用情報処理装置が、サムネイル画像間の比較を容易にする前処理をサムネイル画像に施す際の処理回路の動作を表すフローチャートである。 図4は、実施形態に係るサムネイル画像に施される前処理を説明するための図である。 図5は、実施形態に係る医用情報処理装置が、サムネイル画像間の比較を行って差分を算出する際の処理回路の動作を表すフローチャートである。 図6は、実施形態に係る医用情報処理装置のディスプレイに表示される差分画像を表す図である。 図7は、実施形態に係る医用情報処理装置によるサムネイル画像の生成方法を説明するための図である。 図8は、実施形態に係る医用情報処理装置のディスプレイに表示される差分画像の他の一例を表す図である。 図9は、変形例に係る医用情報処理装置が利用される環境を表すブロック図である。 図10は、図9に示される医用情報処理装置の機能構成を示すブロック図である。
以下、実施の形態について、図面を参照して説明する。
図1は、本実施形態に係る医用情報処理装置1が利用される環境の例を表すブロック図である。図1に示される医用情報処理装置1は、例えば、医療情報を統合的に観察することが可能な装置である。医用情報処理装置1には、例えば統合ビューアが実装されている。統合ビューアは医療情報を統合的にユーザに提示するアプリケーションである。統合ビューアは、Webアプリケーション、ファットクライアントアプリケーション、又は、シンクライアントアプリケーション等、いずれの実装形態を採用しても良い。医用情報処理装置1は、電子カルテシステム2、放射線部門情報管理システム(RIS:Radiology Information System)3、医用画像診断装置4、及び医用画像管理システム5と、例えばLAN(Local Area Network)等の病院内ネットワークを介して互いに通信可能に接続されている。
図1において、電子カルテシステム2は、電子カルテを管理するシステムである。電子カルテは、医師が患者毎に作成する診療記簿である。
電子カルテシステム2は、メモリ21を備えている。メモリ21は、種々の情報を記憶するHDD(Hard disk drive)、SSD(Solid state drive)、及び集積回路記憶装置等の記憶装置である。また、メモリ21は、CD-ROMドライブ、DVDドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。
メモリ21は、電子カルテ情報DB(Data Base)211として機能する。電子カルテ情報DB211には、患者情報が格納されている。患者情報には、例えば患者ID、患者名、性別、身長、体重、年齢、及び血液型等が含まれる。患者IDは、患者毎に付与され、例えば1つの病院内で患者を一意に特定するための識別子である。また、電子カルテ情報DB211には、電子カルテ情報が患者毎に格納されている。
電子カルテ情報には、各診療日における検査オーダ情報が含まれる。検査オーダ情報は、例えば、検査の実施を依頼するための情報である。検査オーダ情報には、例えば検査を識別可能なオーダ番号、患者ID、検査種別、検査部位、及び依頼元情報等が含まれる。オーダ番号は、検査オーダ情報が入力される際に発行される番号であり、例えば1つの病院内で検査オーダ情報を一意に特定するための識別子である。検査種別には、X線検査、CT(Computed Tomography)検査、MR(Magnetic Resonance)検査、及びRI(Radio Isotope)検査等が含まれる。検査部位には、例えば腹部、脳、及び胸部等が含まれる。依頼元情報には、診療科名、及び担当医名等が含まれる。
また、電子カルテ情報には、各診療日における検査実施情報が含まれる。検査実施情報は、検査オーダ情報に従い検査を実施した医用画像診断装置4により生成される。検査実施情報は、医用画像診断装置4において実施された検査を表す情報である。検査実施情報には、オーダ番号、検査UID(Unique ID)、患者ID、モダリティ種別、撮影部位、及び撮影条件等が含まれる。検査UIDは、検査を一意に特定可能な識別子である。モダリティ種別は、撮影に用いたモダリティを表す。モダリティ種別には、例えば、「X線コンピュータ断層撮影装置」、「磁気共鳴イメージング装置」、及び「超音波診断装置」等が含まれる。撮影部位は、検査オーダ情報に含まれる検査部位に対応する。撮影部位には、例えば、腹部、脳、及び胸部等が含まれる。撮影条件には、体位、撮影方向、及び造影剤の使用の有無等が含まれる。なお、患者情報、及び電子カルテ情報は、メモリ21ではなく、ネットワーク上で利用可能な記憶資源に格納されていてもよい。
RIS3は、放射線検査業務に係る検査予約情報を管理するシステムである。RIS3は、例えば診療医から入力される検査オーダ情報に各種設定情報を付加して集積し、集積した情報を検査予約情報として管理する。なお、RIS3は、過去の検査の際に医用画像診断装置4において設定された各種設定情報を記録した照射録を用いて、検査オーダ情報に対して各種設定情報を付加してもよい。RIS3は、検査予約情報に従い検査オーダを医用画像診断装置4へ送信する。また、RIS3は、検査が実施された結果医用画像診断装置4により生成される検査実施情報を、電子カルテシステム2に送信する。
医用画像診断装置4は、患者を撮影等することにより検査を実施する装置である。医用画像診断装置4は、例えばX線コンピュータ断層撮影装置、X線診断装置、磁気共鳴イメージング装置、核医学診断装置、及び超音波診断装置等を含む。医用画像診断装置4は、例えばRIS3から送信される検査オーダに基づいて検査を実施する。医用画像診断装置4は、検査実施情報を生成し、RIS3に送信する。
また、医用画像診断装置4は、検査の実施により医用画像データを生成する。医用画像データは、例えばX線CT画像データ、X線画像データ、MRI画像データ、核医学画像データ、及び超音波画像データ等である。医用画像診断装置4は、生成した医用画像データを例えばDICOM(Digital Imaging and Communication in Medicine)規格に準拠した形式に変換することにより、医用画像ファイルを生成する。医用画像ファイルは、例えば、DICOM規格に準拠した形式のファイルである。医用画像診断装置4は、生成した医用画像ファイルを医用画像管理システム5に送信する。
本実施形態に係る医用画像ファイルは、医用画像に関する医用画像データ、及び、属性情報を含む。属性情報は、例えば、当該画像データを分類し、かつ、当該画像データの出自等を表す。
属性情報には、例えば、生成された医用画像に対応するオーダ番号、検査UID、シリーズUID、患者ID、モダリティコード、検査日時、撮影部位、体位、撮影方向、及び造影剤の使用の有無等の医用画像を特定するための項目が含まれる。シリーズUIDは、例えば撮影部位毎又は撮影条件毎に取得される一連の画像群を、一意に特定可能な識別子である。モダリティコードは、画像種別を特定するための識別子であり、例えば「CT」、「MR」、及び「US」等が規定されている。「CT」、「MR」、及び「US」は、それぞれX線コンピュータ断層撮影装置、磁気共鳴イメージング装置、及び超音波診断装置で撮影された医用画像であることを意味する。検査日時は、医用画像が撮影された日時を特定する識別子である。
また、医用画像ファイルには、医用画像を縮小したサムネイル画像を表すサムネイル画像データが含まれる。サムネイル画像は、例えば、医用画像を比較読影するための画像を選択する際に、異なる時相で撮影された順に複数表示される。読影者は、表示されたサムネイル画像を視認することにより、当該サムネイル画像に対応する医用画像の内容を、医用画像が表示される前に予め把握する。
医用画像管理システム5は、例えば医用画像診断装置4から送信された種々の医用画像ファイルを管理するシステムである。医用画像管理システム5は、PACS(Picture Archiving and Communication System)サーバ51を含む。PACSサーバ51は、医用画像ファイルを記憶する。
なお、医用画像管理システム5は、例えばNAS(Network Attached Storage)と呼ばれるファイルサーバを備えていてもよい。
以下、本実施形態に係る医用情報処理装置1の詳細について説明する。
図2は、図1に示される医用情報処理装置1の機能構成を示すブロック図である。図2に示される医用情報処理装置1は、処理回路11、入力インタフェース12、ディスプレイ13、メモリ14、及び通信インタフェース15を有する。処理回路11、入力インタフェース12、ディスプレイ13、メモリ14、及び通信インタフェース15は、例えば、バスを介して互いに通信可能に接続されている。
処理回路11は、医用情報処理装置1の中枢として機能するプロセッサである。処理回路11は、メモリ14等に記憶されている制御プログラムを実行することにより、当該プログラムに対応する機能を実現する。
入力インタフェース12は、例えば、マウス、キーボード、及び、操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インタフェースは、例えば、操作者からの表示指示を受け付ける。入力インタフェースは、操作者からの表示指示を電気信号へ変換し、電気信号を処理回路へ出力する。
ディスプレイ13は、種々の情報を表示する。ディスプレイ13は、例えば、メモリ14に記憶された画像データに基づいて医用画像を表示する。また、ディスプレイ13は、メモリ14に記憶されたサムネイル画像データに基づいてサムネイル画像を表示する。ディスプレイ13としては、例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、及び当技術分野で知られている他の任意のディスプレイが適宜利用可能である。
メモリ14は、種々の情報を記憶するHDD(hard disk drive)、SSD(solid state drive)、及び集積回路記憶装置等の記憶装置である。また、メモリ14は、CD-ROMドライブ、DVDドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。メモリ14は、本実施形態に係る制御プログラム等を記憶している。
通信インタフェース15は、病院内ネットワークを介して接続された電子カルテシステム2、及び医用画像管理システム5との間でデータ通信を行う。電子カルテシステム2、RIS3、及び医用画像管理システム5との通信の規格は、如何なる規格であっても良いが、例えば、HL7(Hearth Level 7)、DICOM、又はその両方等が挙げられる。
本実施形態に係る処理回路11は、画像生成機能111、差分算出機能113、出力制御機能115、及びシステム制御機能117を有する。画像生成機能111、差分算出機能113、出力制御機能115、及びシステム制御機能117は、統合ビューアが備える機能の一例である。
画像生成機能111は、比較が容易なサムネイル画像を表すサムネイル画像データを生成する機能である。画像生成機能111が実行されると、処理回路11は、例えば、通信インタフェース15を介し、指定された特定の患者に対応する患者IDをキーとして、医用画像管理システム5のPACSサーバ51に記憶されている医用画像ファイルを取得する。処理回路11は、取得した医用画像ファイルに含まれるサムネイル画像データに対し、サムネイル画像の比較を容易にする各種前処理を施す。
例えば、処理回路11は、サムネイル画像データに基づくサムネイル画像の解剖学的位置を基準位置に位置合わせする。さらに、処理回路11は、サムネイル画像の解剖学的位置を基準位置に位置合わせする処理に加えて、サムネイル画像の解剖学的意味を持つ一部の領域をROI(Region of Interest)に設定する。これにより、同一の解剖学的意味を持つROIに限定してサムネイル画像間の比較を実施することが可能となる。以下の説明において、前処理が施されたサムネイル画像データを、「前処理後のサムネイル画像データ」と称する。
なお、取得した医用画像ファイルにサムネイル画像データが含まれていない場合は、処理回路11は、医用画像ファイルに含まれる医用画像データに基づき、医用画像が縮小されたサムネイル画像を表すサムネイル画像データを生成する。
また、処理回路11は、取得した医用画像ファイルから属性情報を抽出する。処理回路11は、前処理後のサムネイル画像データ、及び抽出した属性情報を、検査実施情報に関連付ける。処理回路11は、関連付けられた前処理後のサムネイル画像データ、抽出した属性情報、及び検査実施情報を、例えばメモリ14、及び電子カルテDB211に記憶する。
差分算出機能113は、前処理後のサムネイル画像データ間の差分を算出する機能である。具体的には、差分算出機能113が実行されると、処理回路11は、例えば、指定された特定の患者について、異なる時相で撮影された医用画像データに対応する複数の前処理後のサムネイル画像データ間の差分を算出する。異なる時相は、例えば、特定の患者について時系列の異なる時点をし、例えば、術前、術後、入院直後、退院直前、及び過去の入退院時等が含まれる。なお、時相は、例えば特定の患者についての心時相等であってもよい。
差分の算出方法について、例えば、処理回路11は、複数の前処理後のサムネイル画像間の対応する各画素の画素値の差分を算出する。さらに、処理回路11は、画素値の差分の算出に加えて、複数の前処理後のサムネイル画像間の形状の差分を算出する。具体的には、処理回路11は、例えば、複数の前処理後のサムネイル画像から、共通の解剖学的特徴を表す輪郭線をそれぞれ抽出する。また、処理回路11は、複数の前処理後のサムネイル画像間において、抽出した輪郭線を比較することにより、形状の差分をそれぞれ算出する。
出力制御機能115は、差分算出機能113により算出されたサムネイル画像データ間の差分を、当該差分の算出の対象となった少なくとも2つのサムネイル画像と共に出力する機能である。出力制御機能115が実行されると、処理回路11は、算出された差分が予め設定された閾値について、所定の条件を満たすか否か判定する。所定の条件とは、例えば、算出された画素値の差分の値、又は形状の差分の値が予め設定された閾値以上であるか、閾値未満であるか等である。形状の差分の値は、例えば比較対象となる2つの前処理後のサムネイル画像から抽出された輪郭線間のズレ量で表される。また、差分に関する閾値は、例えば、画素値の差分の上限、画素値の差分の下限、輪郭線間のズレ量の上限、又は輪郭線間のズレ量の下限等を表す。また、差分に関する閾値は、例えば、メモリ14に記憶されている。なお、差分に関する閾値は、入力インタフェース12を介し、任意のタイミングで設定されてもよい。
処理回路11は、例えば、所定の条件を満たす場合、当該差分に関する差分画像を表す差分画像データを生成する。具体的には、処理回路11は、例えば、算出された画素値の差分が予め設定された閾値以上である場合、当該差分に関する差分画像を表す差分画像データを生成する。処理回路11は、生成した差分画像データに基づく差分画像を、当該差分の算出の対象となった少なくとも2つのサムネイル画像と共に、例えばディスプレイ13に表示させる。このとき、処理回路11は、算出した差分の度合いに応じて差分画像の表示態様を変更する。なお、所定の条件は、算出された画素値の差分が予め設定された閾値以下であること、抽出された輪郭線間のズレ量が予め設定された閾値以上であること、又は、抽出された輪郭線間のズレ量が予め設定された閾値以下であること等であってもよい。
具体的には、処理回路11は、例えば、複数の前処理後のサムネイル画像間の対応する各画素の画素値の差分の度合いに対応した色が割り当てられた差分画像を表す差分画像データを生成する。また、処理回路11は、複数の前処理後のサムネイル画像間の形状の差分の度合いに対応して、当該形状の差分が表れている領域に色が割り当てられた差分画像、又は当該形状の差分が表れている領域を斜線等の模様で表した差分画像を表す差分画像データを生成する。
なお、処理回路11は、例えば、差分を算出する対象となった少なくとも2つのサムネイル画像のうち一方と、当該少なくとも2つのサムネイル画像間の差分画像とを、ディスプレイ13に切り替えながら表示させるようにしてもよい。
システム制御機能117は、医用情報処理装置1の入出力、及び通信等の基本動作を制御する機能である。システム制御機能117が実行されると、処理回路11は、入力インタフェース12を介して受け付けた各種要求に応じて、各種機能を実行する。また、処理回路11は、例えば通信インタフェース15を介し、PACSサーバ51から医用画像ファイルを取得する。
画像生成機能111、差分算出機能113、出力制御機能115、及びシステム制御機能117は、制御プログラムとして組み込まれていてもよいし、処理回路11自体に各機能を実行可能な専用のハードウェア回路が組み込まれていてもよい。
次に、本実施形態に係る医用情報処理装置1の各種動作について、図を参照して説明する。
まず、本実施形態に係る医用情報処理装置1が、サムネイル画像の比較を容易にする前処理をサムネイル画像データに施す動作について説明する。図3は、本実施形態に係る医用情報処理装置1が、サムネイル画像間の比較を容易にする前処理をサムネイル画像データに施す際の処理回路11の動作を表すフローチャートである。以下の説明では、医用画像管理システム5のPACSサーバ51に記憶される医用画像ファイルには、当該医用画像ファイルに対応する医用画像を縮小したサムネイル画像を表すサムネイル画像データが含まれているものとする。また、サムネイル画像データには、前処理は施されていないものとする。また、処理回路11は、入力インタフェース12を介し、指定された特定の患者の医用画像ファイルに含まれるサムネイル画像データに対して前処理をする旨の要求を受け付けるものとする。
処理回路11は、入力インタフェース12を介し、指定された特定の患者について、比較が容易なサムネイル画像を表すサムネイル画像データを生成する旨の要求を受け付けると、医用画像管理システム5からサムネイル画像データを取得する(ステップSA1)。具体的には、処理回路11は、例えば、通信インタフェース15を介し、指定された特定の患者に対応する患者IDをキーとして、医用画像管理システム5のPACSサーバ51に記憶されている医用画像ファイルを取得する。処理回路11は、取得した医用画像ファイルから当該医用画像ファイルに含まれているサムネイル画像データを抽出する。これにより、処理回路11は、医用画像管理システム5からサムネイル画像データを取得する。なお、処理回路11は、例えば、入力インタフェース12を介して指定された期間に基づいて、当該期間に含まれる検査日時を属性情報として含む医用画像ファイルを取得するようにしてもよい。
処理回路11は、取得した医用画像ファイルに含まれるサムネイル画像データに対し、サムネイル画像の比較を容易にする各種前処理を施す(ステップSA2)。これにより、前処理後のサムネイル画像データが生成される。処理回路11は、例えば、前処理として、サムネイル画像データに基づくサムネイル画像の解剖学的位置を基準位置に位置合わせする。
図4は、本実施形態に係るサムネイル画像データに施される前処理を説明するための図である。図4は、例えば、患者の胸部を含む領域を撮影したX線画像に対応するサムネイル画像を表している。図4によれば、処理回路11は、図4に示されるサムネイル画像の解剖学的位置、例えば指定された背骨の中心位置が基準位置Oに一致するように位置合わせしている。さらに、処理回路11は、サムネイル画像の解剖学的意味を持つ領域をROIに設定してもよい。例えば、処理回路11は、指定された患者について、電子カルテDB211に記憶されている検査オーダ情報を読み出す。処理回路11は、検査オーダ情報に含まれる検査部位に「左肺野」が指定されていた場合、図4に示されるように、処理回路11は、当該指定に基づいて左肺野を表す領域R40をROIに設定する。
処理回路11は、サムネイル画像データに対して前処理を施すと、医用画像ファイルから属性情報を抽出する(ステップSA3)。
処理回路11は、ステップSA2において生成した前処理後のサムネイル画像データ、及びステップSA3において抽出した属性情報を検査実施情報に関連付ける(ステップSA4)。
処理回路11は、関連付けられた前処理後のサムネイル画像データ、属性情報、及び検査実施情報を、メモリ14及び電子カルテDB211にそれぞれ記憶する(ステップSA5)。
なお、医用画像ファイルに含まれるサムネイル画像データに対して前処理を施すタイミングは、個別に前処理をする旨の要求を受け付けた場合に限られない。例えば、処理回路11は、定期的に、例えば日次で実行される夜間バッチ処理の一部として、PACSサーバ51に記憶されている医用画像ファイルに含まれるサムネイル画像データ対して前処理を施してもよい。このとき、処理回路11は、例えば、医用画像ファイル毎に前処理後のサムネイル画像データを生成する。処理回路11は、前処理後のサムネイル画像データを、属性情報、及び検査実施情報を関連付ける。処理回路11は、関連付けられた前処理後のサムネイル画像データ、属性情報、及び検査実施情報をメモリ14及び電子カルテDB211にそれぞれ記憶する。
次に、本実施形態に係る医用情報処理装置1が、前処理後のサムネイル画像データに基づくサムネイル画像データ間の差分を算出する動作について説明する。図5は、本実施形態に係る医用情報処理装置1が、サムネイル画像間の比較を行って差分を算出する際の処理回路11の動作の例を表すフローチャートである。以下の説明では、医用画像管理システム5のPACSサーバ51に記憶されている医用画像ファイルに含まれるサムネイル画像データには、前処理が施されていないものが一部存在するものとする。また、処理回路11は、入力インタフェース12を介し、指定された特定の患者についてサムネイル画像一覧の表示要求を受け付けるものとする。
表示要求を受け付けるタイミングは、例えば、同一患者について、術後のタイミング、退院のタイミング、及び経過観察のタイミング等である。また、差分を算出する対象となるサムネイル画像データは、例えば、同一患者について、術前、術後、入院直後、退院直前、及び過去の入退院時等に撮影された医用画像を表す医用画像データに対応するサムネイル画像データである。
処理回路11は、特定の患者について、サムネイル画像一覧の表示要求を受け付けると、例えば、通信インタフェース15を介し、当該特定の患者に対応する患者IDをキーとして医用画像管理システム5から医用画像ファイルを取得する(ステップSB1)。
処理回路11は、取得した複数の医用画像ファイルの中から基準となる医用画像ファイル(以下、基準医用画像ファイルと称する)を読み出す(ステップSB2)。基準医用画像ファイルは、例えば、指定された患者について、術後のタイミングで撮影された医用画像に関する最新の医用画像ファイルである。
処理回路11は、読み出した基準医用画像ファイルに対応する前処理後のサムネイル画像データ(以下、前処理後の基準サムネイル画像データと称する)が電子カルテDB211に記憶されているか否か判定する(ステップSB3)。具体的には、処理回路11は、読み出した基準医用画像ファイルに含まれる属性情報に関連付けられた前処理後の基準サムネイル画像データがメモリ14又は電子カルテDB211に記憶されているか否か判定する。
読み出した基準医用画像ファイルに対応する前処理後の基準サムネイル画像データがメモリ14及び電子カルテDB211に記憶されていない場合(ステップSB3のNo)、処理回路11は、読み出した基準医用画像ファイルに対応する前処理が施さていないサムネイル画像データに対し、位置合わせ等の前処理を施す(ステップSB4)。読み出した基準医用画像ファイルに対応する前処理後の基準サムネイル画像データがメモリ14又は電子カルテDB211に記憶されている場合(ステップSB3のYes)、処理回路11は、メモリ14又は電子カルテDB211から前処理後の基準サムネイル画像データを取得し、ステップSB5以降の処理を実行する。
処理回路11は、ステップSB5において、取得した複数の医用画像ファイルの中から基準医用画像ファイルの比較対象となる医用画像ファイル(以下、比較医用画像ファイルと称する)を1つ読み出す。このとき、処理回路11は、例えば、基準医用画像ファイルの属性情報に含まれるモダリティコード、すなわち画像種別を特定するための識別子が同一である医用画像ファイルを比較医用画像ファイルとして1つ選択する。これにより、基準医用画像ファイルに含まれるサムネイル画像データと比較されるサムネイル画像データが定まる。具体的には、処理回路11は、例えば、指定された患者に対応する患者IDをキーとして、検査オーダ情報、及び検査実施情報を取得する。処理回路11は、検査オーダ情報に含まれる検査種別、及び検査実施情報に含まれるモダリティ種別に基づいてモダリティコードを特定する。処理回路11は、特定されたモダリティコード、例えば「CT」をキーとして、読み出す医用画像ファイルを絞り込む。そして、処理回路11は、絞り込まれた医用画像ファイルの中から1つの医用画像ファイルを比較医用画像ファイルとして選択する。
なお、処理回路11は、他の項目をキーとして読み出す医用画像ファイルを絞り込んでもよい。例えば、処理回路11は、医用画像ファイルの属性情報に含まれる撮影部位、体位、撮影方向、及び造影剤の使用の有無等の医用画像を特定する項目をキーとして、読み出す医用画像ファイルを絞り込むことが可能である。
ここで、読み出される比較医用画像ファイルは、指定された患者について、例えば基準医用画像ファイルの属性情報に含まれる検査日時とは異なる検査日時、例えば術前のタイミングで撮影された医用画像に対応する医用画像ファイルである。
処理回路11は、読み出した比較医用画像ファイルに対応する前処理後のサムネイル画像データ(以下、前処理後の比較サムネイル画像データと称する)がメモリ14又は電子カルテDB211に記憶されているか否か判定する(ステップSB6)。具体的には、処理回路11は、読み出した比較医用画像ファイルに含まれる属性情報に関連付けられた前処理後の比較サムネイル画像データがメモリ14又は電子カルテDB211に記憶されているか否か判定する。
読み出した比較医用画像ファイルに対応する前処理後の比較サムネイル画像データがメモリ14及び電子カルテDB211に記憶されていない場合(ステップSB6のNo)、処理回路11は、処理回路11は、読み出した比較医用画像ファイルに対応する前処理が施さていないサムネイル画像データに対し、位置合わせ等の前処理を施す(ステップSB7)。読み出した比較医用画像ファイルに対応する前処理後の比較サムネイル画像データがメモリ14又は電子カルテDB211に記憶されている場合(ステップSB6のYes)、処理回路11は、メモリ14又は電子カルテDB211から前処理後の比較サムネイル画像データを取得し、ステップSB8以降の処理を実行する。
処理回路11は、ステップSB8において、前処理後の基準サムネイル画像データと、前処理後の比較サムネイル画像データとの間の差分を算出する。処理回路11は、例えば、前処理後の基準サムネイル画像データと、前処理後の比較サムネイル画像データとの間の対応する各画素の画素値の差分を算出する。
処理回路11は、例えばメモリ14に記憶されている差分に関する閾値を参照し、算出した各画素における画素値の差分が予め設定された閾値以上であるか否か判定する(ステップSB9)。
処理回路11は、算出した各画素における画素値の差分が予め設定された閾値以上である場合(ステップSB9のYes)、当該差分に対応する差分画像を表す差分画像データを生成する(ステップSB10)。差分画像は、例えば、前処理後の基準サムネイル画像データと前処理後の比較サムネイル画像データとの間の各画素の画素値の差分が、当該差分に応じて割り当てられた色で表された画像である。差分画像は、例えば、ディスプレイ13において前処理後の比較サムネイル画像に重畳して表示される。
また、処理回路11は、算出した各画素における画素値の差分が予め設定された閾値以上でない場合(ステップSB9のNo)、当該差分に対応する前処理後の比較サムネイル画像データについて差分画像データを生成しない。
処理回路11は、他に読み出していない比較医用画像ファイルが存在するか否か判定する(ステップSB11)。
処理回路11は、他に読み出していない比較医用画像ファイルが存在する場合(ステップSB11のYes)、ステップSB5からステップSB11までの処理を再度実行する。
処理回路11は、他に読み出していない比較医用画像ファイルが存在しない場合(ステップSB11のNo)、各前処理後の比較サムネイル画像データについて生成された差分画像データに基づく差分画像を、前処理後の基準サムネイル画像データに基づく基準サムネイル画像、及び前処理後の比較サムネイル画像データに基づく比較サムネイル画像と共に、例えばディスプレイ13に表示させる(ステップSB12)。図6は、本実施形態に係る医用情報処理装置1のディスプレイ13に表示される差分画像の例を表す図である。図6では、基準サムネイル画像(第1のサムネイル画像)、比較サムネイル画像(第2のサムネイル画像)、及び比較サムネイル画像に重畳される差分画像が表示されている。図6に示される比較サムネイル画像には、領域R60に、各画素について画素値の差分に対応する色が割り当てられた差分画像が重畳表示されている。
よって、読影者は、領域R60に表示されている色を視認することにより、図6に示される基準サムネイル画像、及び比較サムネイル画像において、変化した領域を把握することが容易になる。
なお、図6では、表示される比較サムネイル画像を1つである場合を説明したがこれに限定されない。例えば、処理回路11は、ディスプレイ13に基準サムネイル画像、2つ以上の比較サムネイル画像、及び2つ以上の比較サムネイル画像各々に重畳される差分画像を表示してもよい。このとき、処理回路11は、例えば、基準サムネイル画像、及び2つ以上の比較サムネイル画像を、各サムネイル画像が撮影された時点の順に表示する。
本実施形態によれば、医用情報処理装置1が備える処理回路11は、異なる時相で撮影された複数の医用画像から生成された複数のサムネイル画像データのうち、前処理後の基準サムネイル画像データと、前処理後の比較サムネイル画像データとを比較し、差分を算出する。処理回路11は、算出した差分に基づく差分画像を、差分を算出するために比較対象となった前処理後の基準サムネイル画像データに基づく基準サムネイル画像、及び前処理後の比較サムネイル画像データに基づく比較サムネイル画像と共にディスプレイ13に表示する。
通常、読影者は、医用画像が縮小された複数のサムネイル画像間の解剖学的特徴に関する差分を視認することは困難である。本実施形態に係る医用情報処理装置1によれば、前処理後の基準サムネイル画像データと、前処理後の比較サムネイル画像データとの間の差分が算出され、算出された差分が強調されて読影者の目に見える形で出力される。このため、読影者は、複数のサムネイル画像データ間の差分を客観的に把握することが可能となり、容易に所望の画像を選択することができる。
したがって、本実施形態に係る医用情報処理装置によれば、医用画像の比較読影を支援することが可能となる。
また、上記実施形態によれば、処理回路11は、前記複数のサムネイル画像に対し、当該複数のサムネイル画像の比較を容易にする位置合わせ等の前処理を施して前処理後のサムネイル画像データを生成する。これにより、効率的に複数のサムネイル画像間の比較処理を行うことが可能となる。
なお、処理回路11は、差分を算出する対象となるサムネイル画像として、医用画像が縮小されたサムネイル画像を用いていたがこれに限定されない。例えば、処理回路11は、差分を算出する対象となるサムネイル画像として、医用画像から輪郭線が抽出され、縮小表示されたサムネイル画像を用いてもよい。このとき、処理回路11は、画像生成機能111を実行し、医用画像ファイルに含まれる医用画像データに基づき、医用画像から輪郭線を抽出する。そして、処理回路11は、抽出した輪郭線を縮小してサムネイル画像を表すサムネイル画像データを生成する。
図7は、本実施形態に係る医用情報処理装置1によるサムネイル画像の生成方法の例を説明するための図である。図7によれば、処理回路11は、医用画像から輪郭線を抽出し、抽出した輪郭線で構成される線画像を表す線画像データを生成する。また、処理回路11は、図7に示されるように、線画像データに基づき、線画像を縮小したサムネイル画像を表すサムネイル画像データを生成する。なお、処理回路11は、線画像を縮小する際に、輪郭線を縮小率で決定される太さよりも太い線に変換してもよい。これにより、形状が明確に表示されるため、読影者は、サムネイル画像を視認するだけで何の医用画像であるかを把握しやすくなる。
また、処理回路11は、上記医用画像の輪郭線を抽出することにより生成された複数のサムネイル画像データに対し、サムネイル画像間の比較を容易にする前処理をそれぞれ施し、複数の前処理後のサムネイル画像データを生成する。処理回路11は、生成した複数の前処理後のサムネイル画像データに基づく複数のサムネイル画像間の差分を算出する。処理回路11は、例えば、複数のサムネイル画像間の形状の差分を算出する。処理回路11は、例えば、複数の前処理後のサムネイル画像間において、輪郭線を比較することにより、形状の差分をそれぞれ算出する。処理回路11は、算出した形状の差分が予め設定された差分に関する閾値以上の差分であった場合、当該差分に関する領域について、差分画像を表す差分画像データを生成する。生成される差分画像には、差分が存在することを示す色が割り当てられている。なお、差分画像に割り当てられる色は、差分の有無だけでなく、差分の度合い応じて階調表示してもよい。これにより、読影者は、サムネイル画像間の形状の差異をより詳細に把握することができる。
また、処理回路11は、例えば、生成した差分画像データに基づく差分画像を、当該差分の算出の対象となった基準サムネイル画像、及び比較サムネイル画像と共に、ディスプレイ13に表示させる。図8は、本実施形態に係る医用情報処理装置1のディスプレイ13に表示される差分画像の他の一例を表す図である。図8では、基準サムネイル画像(第1のサムネイル画像)、比較サムネイル画像(第2のサムネイル画像)、及び比較サムネイル画像に重畳される差分画像が表示されている。図8に示される比較サムネイル画像には、形状の差分を表す領域R80に、当該形状の差分に対応する色が割り当てられた差分画像が重畳表示されている。このとき、差分に関する閾値は、例えば、形状の大きさの差分で規定される。形状の大きさは、長さ、面積、及び体積等で表される。図8では、例えば、形状の大きさは面積であり、この面積の差分が予め設定された差分に関する閾値以上である領域が、領域R80で表されている。図8に示される複数のサムネイル画像は輪郭線で表されているため、読影者は、単に医用画像を縮小して生成されたサムネイル画像と比して、サムネイル画像間の差分を把握することが容易になる。
(変形例)
上記実施形態では、医用情報処理装置1が、電子カルテシステム2に含まれない場合を例に説明した。変形例では、医用情報処理装置が電子カルテシステムとして動作する場合について説明する。
図9は、変形例に係る医用情報処理装置6が利用される環境の例を表すブロック図である。図9に示される医用情報処理装置6は、例えば、電子カルテを管理する装置である。医用情報処理装置6は、医用画像管理システム5と、例えばLAN(Local Area Network)等の病院内ネットワークを介して互いに通信可能に接続されている。
図9に示される医用画像診断装置4の機能は、図1に示される医用画像診断装置4の機能と同様である。また、図9に示される医用画像管理システム5の構成及び機能は、図1に示される医用画像管理システム5の構成及び機能と同様である。
以下、変形例に係る医用情報処理装置6の詳細について説明する。
図10は、図9に示される医用情報処理装置6の機能構成を示すブロック図である。図10に示される医用情報処理装置6は、処理回路61、入力インタフェース62、ディスプレイ63、第1のメモリ64、通信インタフェース65、及び第2のメモリ66を有する。処理回路61、入力インタフェース62、ディスプレイ63、第1のメモリ64、通信インタフェース65、及び第2のメモリ66は、例えば、バスを介して互いに通信可能に接続されている。
図10に示される処理回路61、入力インタフェース62、ディスプレイ63、第1のメモリ64、及び通信インタフェース65の構成及び機能は、図2に示される処理回路11、入力インタフェース12、ディスプレイ13、メモリ14、及び通信インタフェース15と同様である。
第2のメモリ66は、電子カルテ情報DB661として機能する。電子カルテ情報DB661には、患者情報が格納されている。また、電子カルテ情報DB661には、電子カルテ情報が患者毎に格納されている。
変形例によれば、医用情報処理装置6は、病院内LANを介さずに電子カルテDB661に記憶されている電子カルテ情報を参照することができる。また、医用情報処理装置6は、生成した前処理後のサムネイル画像データ、及び電子カルテDB661に格納される電子カルテ情報を一括管理することができる。したがって、例えば電子カルテシステムを利用する読影者が医用画像を比較読影する場合において、システムの性能及び信頼性を向上させることが可能となる。
[他の実施形態]
なお、この発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、処理回路11は、画素値の差分、及び形状の差分を算出していたがこれに限定されない。処理回路11は、例えば、術中に変化する色情報を差分として算出してもよい。具体的には、処理回路11は、例えば造影剤を用いたX線検査において、時系列に撮影された複数の血管造影画像に基づいて画像値の変化に応じて色が割り当てられたカラー画像データを異なる時相毎に生成する。すなわち、処理回路11は、造影剤の到達時間がカラー表示されたカラー画像データを異なる時相毎に生成する。そして、処理回路11は、異なる時相で生成されたカラー画像データに基づくカラー画像が縮小されたサムネイル画像間の各画素のRGB値の差分を算出する。
また、上記実施形態では、医用情報処理装置1の制御プログラムはメモリ14に記憶されていたがこれに限定されない。医用情報処理装置1の制御プログラムは、例えば、非一過性の記憶媒体に記憶されていてもよい。このとき、例えば、医用情報処理装置1は、非一過性の記憶媒体に記憶されている制御プログラムを読み出し、メモリ14上にインストールする等して各機能を実行する。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1、及び2における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
以上説明した少なくとも1つの実施形態によれば、医用画像の比較読影を支援することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1、6…医用情報処理装置、2…電子カルテシステム、3…RIS、4…医用画像診断装置、5…医用画像管理システム、11、61…処理回路、12、62…入力インタフェース、13、63…ディスプレイ、14、21…メモリ、15、65…通信インタフェース、51…PACSサーバ、64…第1のメモリ、66…第2のメモリ、111、611…画像生成機能、113、613…差分算出機能、115、615…出力制御機能、117、617…システム制御機能、211、661…電子カルテDB。

Claims (6)

  1. 同一患者について異なる時相で撮影された複数の医用画像を取得する取得部と、
    前記取得された複数の医用画像のそれぞれから輪郭線を抽出することで複数の線画像を生成し、前記生成された複数の線画像を縮小することで複数のサムネイル画像を生成する生成部と、
    前記生成された複数のサムネイル画像のうち、第1のサムネイル画像における前記輪郭線と、第2のサムネイル画像における前記輪郭線とを比較し、前記輪郭線どうしの間のズレ量に関する差分を算出する算出部と、
    前記算出された差分を、前記第1のサムネイル画像、及び前記第2のサムネイル画像と共に出力する出力制御部と
    を備える医用情報処理装置。
  2. 前記生成部は、前記複数のサムネイル画像のうち少なくとも1つのサムネイル画像に対し、前記複数のサムネイル画像間の比較を容易にする前処理を施して少なくとも1つの前処理後のサムネイル画像を生成する
    請求項1に記載の医用情報処理装置。
  3. 前記生成部は、前記複数のサムネイル画像のうち少なくとも1つのサムネイル画像の解剖学的位置を基準位置に位置合わせする
    請求項2に記載の医用情報処理装置。
  4. 前記生成部は、前記複数のサムネイル画像のうち少なくとも1つのサムネイル画像において、解剖学的意味を持つ領域をROIに設定する
    請求項3に記載の医用情報処理装置。
  5. 前記算出部は、前記サムネイル画像に対応する前記医用画像の画像種別に基づいて、前記第1のサムネイル画像及び前記第2のサムネイル画像のうち少なくとも1つを選択する
    請求項1乃至4のうちいずれかに記載の医用情報処理装置。
  6. コンピュータに、
    同一患者について異なる時相で撮影された複数の医用画像を取得し、
    前記取得された複数の医用画像のそれぞれから輪郭線を抽出することで複数の線画像を生成し、前記生成された複数の線画像を縮小することで複数のサムネイル画像を生成し、
    前記生成された複数のサムネイル画像のうち、第1のサムネイル画像における前記輪郭線と、第2のサムネイル画像における前記輪郭線とを比較し、前記輪郭線どうしの間のズレ量に関する差分を算出し、
    前記算出された差分を、前記第1のサムネイル画像、及び前記第2のサムネイル画像と共に出力すること、
    を実行させるプログラム。
JP2017233303A 2017-12-05 2017-12-05 医用情報処理装置、及びプログラム Active JP7055626B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017233303A JP7055626B2 (ja) 2017-12-05 2017-12-05 医用情報処理装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017233303A JP7055626B2 (ja) 2017-12-05 2017-12-05 医用情報処理装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019097961A JP2019097961A (ja) 2019-06-24
JP7055626B2 true JP7055626B2 (ja) 2022-04-18

Family

ID=66974778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233303A Active JP7055626B2 (ja) 2017-12-05 2017-12-05 医用情報処理装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP7055626B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432121A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 生成方法、电子装置和存储介质
CN112259223B (zh) * 2020-10-22 2022-08-30 河北工业大学 基于全视野数字切片的病人级别肿瘤智能诊断方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032479A (ja) 2000-07-17 2002-01-31 Nidek Co Ltd 医療画像管理方法及び医療画像管理システム
JP2015016067A (ja) 2013-07-10 2015-01-29 富士フイルム株式会社 画像表示方法および装置並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876741A (ja) * 1994-09-02 1996-03-22 Konica Corp 画像表示装置
US5987345A (en) * 1996-11-29 1999-11-16 Arch Development Corporation Method and system for displaying medical images
JP5253955B2 (ja) * 2008-08-09 2013-07-31 株式会社キーエンス 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032479A (ja) 2000-07-17 2002-01-31 Nidek Co Ltd 医療画像管理方法及び医療画像管理システム
JP2015016067A (ja) 2013-07-10 2015-01-29 富士フイルム株式会社 画像表示方法および装置並びにプログラム

Also Published As

Publication number Publication date
JP2019097961A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP2005103055A (ja) 医用画像処理装置
JP7000206B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US10825562B2 (en) Medical image display apparatus
JP7302368B2 (ja) 医用情報処理装置及びプログラム
US20120029943A1 (en) Report generation management device and program
JP2016202721A (ja) 医用画像表示装置及びプログラム
US10803986B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
JP7209047B2 (ja) 変換装置、変換方法、及びプログラム
US8923582B2 (en) Systems and methods for computer aided detection using pixel intensity values
JP2023021231A (ja) 情報処理装置、医用画像表示装置及びプログラム
JP7055626B2 (ja) 医用情報処理装置、及びプログラム
JP2016526204A (ja) 画像視覚化
JP6665815B2 (ja) 検査予約管理システム
JP6711675B2 (ja) 読影支援装置
US9842121B2 (en) Medical information processing apparatus to apply image processing to received medical images
US20150145779A1 (en) Image Display Apparatus And Image Display Method
JP2011101759A (ja) 医用画像表示システム及びプログラム
JP2009066060A (ja) 医用画像システム、所見レポート生成装置、所見レポート生成方法及びプログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
US20230223138A1 (en) Medical information processing system, medical information processing method, and storage medium
JP5853785B2 (ja) 医用画像表示システム
JP7209738B2 (ja) 画像解析装置、解析機能決定方法、及び解析機能決定プログラム
WO2022239593A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
JP7086621B2 (ja) 加工情報供給装置、加工情報供給方法、及び加工情報供給システム
WO2020105416A1 (ja) 医療情報表示装置、方法およびプログラム、並びに医療情報を表示するためのグラフィックユーザインターフェース

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220406

R150 Certificate of patent or registration of utility model

Ref document number: 7055626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150