JP7188051B2 - 医用画像管理システム - Google Patents

医用画像管理システム Download PDF

Info

Publication number
JP7188051B2
JP7188051B2 JP2018235976A JP2018235976A JP7188051B2 JP 7188051 B2 JP7188051 B2 JP 7188051B2 JP 2018235976 A JP2018235976 A JP 2018235976A JP 2018235976 A JP2018235976 A JP 2018235976A JP 7188051 B2 JP7188051 B2 JP 7188051B2
Authority
JP
Japan
Prior art keywords
moving image
image
moving
graph
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018235976A
Other languages
English (en)
Other versions
JP2020096703A (ja
Inventor
英一 赤木
泰宏 齊木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018235976A priority Critical patent/JP7188051B2/ja
Priority to US16/714,334 priority patent/US20200194034A1/en
Publication of JP2020096703A publication Critical patent/JP2020096703A/ja
Application granted granted Critical
Publication of JP7188051B2 publication Critical patent/JP7188051B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/465Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、医用画像管理システムに関する。
被検者の周期的な動作(例えば呼吸等)を撮影して得られた動画を、画像保存通信システム(Picture Archiving and Communication System:以下、PACS)に蓄積し、後日、蓄積された動画を用いて当該被検者を診断することが従来行われている。その際、被検者の動画を単独で見ながら診断する場合の他に、当該被検者の過去の動画や当該被検者とは別の被検者の動画と見比べながら診断する場合がある。
しかし、診断を受ける被検者と当該被検者とは別の被検者、あるいは診断を受ける現在被検者と過去の被検者とでは、呼吸の周期が異なることが多いため、複数の動画を並べて再生したときに、各動画における動作の周期の差によって、同時刻における動画に写った被検者の状態にズレが発生し、比較しながら診断を行うことは困難となる場合があった。
そこで、特許文献1に記載されたような、基準動画像における動作の周期と参照動画像における動作の周期とが異なる場合に、基準動画像又は参照動画像のうち少なくとも一方を構成するフレーム画像毎の表示時間を変更することにより、第一周期的変化と第二周期的変化の変化速度を一致させる技術が提案されている。
特開2018‐138193号公報
しかしながら、上述したような複数の動画の動作の周期を一致させる機能を利用するためには、医用画像を管理するシステム(特許文献1においては放射線動態画像撮影システム)に、特許文献1に記載されたような画像処理装置を新たに備える必要があった。
このため、システムの構成が複雑になり、その結果、システムが高価なものになってしまっていた。
本発明は、上記課題に鑑みてなされたものであり、被検者の周期的な動作を撮影して得られる複数の動画におけるそれぞれの変化の周期を、従来よりも簡素な構成で調整できるようにすることを目的とする。
上記課題を解決するため、本発明は、
被検者の周期的な動作を撮影して得られた第一動画を取得する第一動画取得手段と、
被検者の周期的な動作を、前記第一動画の撮影とは別に撮影して得られた第二動画を取得する第二画像取得手段と、
前記第一取得手段が取得した前記第一動画における周期的な変化の特徴である第一特徴を抽出する第一特徴抽出手段と、
前記第二取得手段が取得した前記第二動画における周期的な変化の特徴である第二特徴を抽出する第二特徴抽出手段と、
第一特徴抽出手段が抽出した前記第一特徴及び前記第二特徴抽出手段が抽出した前記第二特徴に基づいて、前記第一動画と前記第二動画のうちの少なくとも一方の動画を、その変化の周期が他方の動画における変化の周期に近づくように調整する画像調整手段と、
前記第一動画取得手段が取得した第一動画又は前記画像調整手段が調整した前記第一動画と、前記第二動画取得手段が取得した第二動画又は前記画像調整手段が調整した前記第二動画と、を出力する出力手段と、を備える医用画像管理装置と、
表示部を備える表示装置と、
前記第一動画における時間と信号値の関係を表す第一グラフを前記表示部に表示させるとともに、前記第二動画に基づく時間と信号値の関係を表す第二グラフを前記表示部に表示させるグラフ表示制御手段と、
前記第二動画を蓄積するデータベースと、を備え、
前記第二特徴抽出手段は、前記データベースに蓄積された複数の前記第二動画に基づく統計値を生成する統計手段を備え、
前記統計手段は、複数の前記第二動画からそれぞれ抽出される所定の信号値の分布において、所定の上限基準に対応する上限信号値と、所定の下限基準に対応する下限信号値と、をそれぞれ抽出するようになっており、
前記グラフ表示制御手段は、前記統計手段が抽出した前記上限信号値を有する第二動画に対応する前記第二グラフを前記表示部に表示させるとともに、前記下限信号値を有する第二動画に対応する第三グラフを前記表示部に表示させることを特徴とする
本発明によれば、被検者の周期的な動作を撮影して得られる複数の動画におけるそれぞれの変化の周期を、従来よりも簡素な構成で調整することができる。
本発明の実施形態に係る医用画像管理システムを表すブロック図である。 図1の医用画像管理システムが備える医用画像管理装置を表すブロック図である。 図2の医用画像管理装置が実行する診断準備処理を示すフローチャートである。 図1の医用画像管理システムが備える医用画像表示装置を表すブロック図である。 図4の医用画像表示装置が表示する画像確認画面の一例を示す図である。 図4の医用画像表示装置が表示する画像確認画面の他の例を示す図である。 図4の医用画像表示装置に部分第一動画及び部分第二動画を表示する方法の説明図である。 図4の医用画像表示装置に部分第一動画IR1及び部分第二動画IR2を表示する方法の説明図である。 図4の医用画像表示装置を用いて動画を再調整する一の方法の説明図である。 図4の医用画像表示装置を用いて動画を再調整する他の方法の説明図である。 図4の医用画像表示装置が表示する第二グラフの一例を示す図である。 図4の医用画像表示装置が表示する第二グラフの一例を示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。ただし、本発明の範囲は、以下の実施形態や図面に記載されたものに限定されるものではない。
〔放射線撮影システム〕
まず、本実施形態に係る医用画像管理システム100の概略構成について説明する。図1は医用画像管理システム100を表すブロック図である。
本実施形態の医用画像管理システム100は、図1に示すように、撮影装置1と、コンソール2と、医用画像管理装置3と、医用画像表示装置4と、を備えている。
これらの装置1~4は、通信ネットワーク5を介して互いに通信可能となっている。
また、医用画像管理システム100は、図示しない病院情報システム(Hospital Information System:HIS)や、放射線科情報システム(Radiology Information System:RIS)、医用画像解析装置等と接続することが可能となっている。
撮影装置1は、後述する医用画像管理装置3で調整可能な、複数のフレームを有する動画を生成することが可能なものであればよく、例えば放射線発生装置が発生させた放射線に応じた放射線画像を生成する放射線画像撮影装置や光学カメラ等を用いることができる。
なお、撮影装置1は、動画の他に静止画を撮影することが可能なものであってもよい。
また、撮影装置1を、通信ネットワーク5に直接接続するのではなく、コンソール2や医用画像管理装置3等を介して接続するようにしてもよい。
また、撮影装置1から他の装置への動画の転送は、通信ネットワーク5を介して行うのではなく、記憶媒体やケーブルを用いて行うようにしてもよい。
コンソール2は、PCや専用の装置で構成されている。
また、コンソール2は、他の装置等(HISやRIS等)から取得した検査情報や操作者による操作に基づいて、各種撮影条件(管電圧や管電流、照射時間(mAs値)、フレームレート等)を撮影装置1等に設定することが可能となっている。
医用画像管理装置3は、画像保存通信システム(Picture Archiving and Communication System:PACS)を構成するもので、PCや専用の装置、クラウド上の仮想サーバー等で構成されている。
この医用画像管理装置3の詳細については後述する。
本実施形態における医用画像表示装置4は、PCや携帯端末、専用の装置等で構成されている。
この医用画像表示装置4の詳細についても後述する。
なお、この医用画像表示装置4を備えるのではなく、コンソール2を医用画像表示装置4の代わりとして用いたり、医用画像管理装置3に表示部を設けたりしてもよい。
〔医用画像管理装置〕
次に、上記医用画像管理システム100が備える医用画像管理装置3の具体的構成について説明する。図2は医用画像管理装置3を表すブロック図である。
本実施形態に係る医用画像管理装置3は、図2に示すように、制御部31と、通信部32と、記憶部33と、を備えている。
制御部31は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成される。制御部31のCPUは、記憶部33に記憶されている各種プログラムを読出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、医用画像管理装置3各部の動作を集中制御する。
通信部32は、無線モジュール等で構成され、通信ネットワーク5(LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等)を介して接続された他の装置等1,2,4との間で各種信号や各種医用画像(静止画、動画、解析動画等)を送受信することが可能となっている。
記憶部33は、不揮発性の半動態メモリーやハードディスク等により構成され、制御部31が実行する各種プログラムやプログラムの実行に必要なパラメーター等を記憶している。
また、記憶部33は、各種医用画像を蓄積するデータベース33aを有している。
なお、データベース33aを記憶部33の中に設けるのではなく、医用画像管理装置3とは別の装置の形で備えるようにしてもよい。
このように構成された医用画像管理装置3の制御部31は、例えば撮影装置1やコンソール2が動画を送信してきたこと、各装置1~4のいずれかに所定操作がなされたこと等を契機として、例えば図3に示す診断準備処理を実行する機能を有している。
具体的には、制御部31は、まず、第一動画のデータを取得する(ステップS1)。
この「第一動画」は、診断に用いる主動画であり、被検者の周期的な動作を撮影して得られるものである。
また、「第一動画」としては、例えば放射線発生装置と組み合わせて用いられる撮影装置1で人の胸部等を連続的に撮影することで得られる複数のフレームを組み合わせた動画が主に用いられる。
「周期的な動作」には、例えば、肺の膨張・収縮や、横隔膜の上昇・下降、心臓の膨張・収縮、関節の曲げ・伸ばし等が含まれる。
なお、第一動画は、撮影装置1が生成した元動画であってもよいし、図示しない医用画像解析装置が元画像を解析して得られた解析動画であってもよい。
この「解析」には、構造物を強調する処理、構造物(例えば骨)を減弱する処理、対象が生体の場合に複数のフレームの差分画像から作られた呼気換気の動きを視認できるようにする処理、血流の動きを視認できるようにする処理等が含まれ、動態解析とも呼ばれる。
本実施形態においては、後述する医用画像表示装置4から送信されてきた画像要求信号に応じた動画のデータを第一動画のデータとして取得するようにしている。なお、医用画像管理装置3が操作部を備えたものである場合には、この操作部になされた操作に応じた動画を第一動画のデータとして取得するようにしてもよい。
また、第一動画のデータの取得には、他の装置(例えば撮影装置1やコンソール2等)から通信部32を介して受信する場合と、データベース33aから呼び出す場合と、がある。
第一動画のデータを他の装置から受信した場合には、制御部31は、それをデータベース33aに蓄積する。蓄積された第一動画のデータは、新たな第一動画のデータが取得された場合に、第二動画のデータとして利用可能となる。
すなわち、制御部31は、この処理を実行することにより、第一動画取得手段をなす。
第一動画のデータを取得した後、制御部31は、第二動画のデータを取得する(ステップS2)。
この「第二動画」は、第一動画と比較するための比較動画であり、被検者の周期的な動作を、第一動画の撮影とは別に撮影して得られるものである。
本実施形態における第二動画は、更に、第一動画の被検者と同一の被検者を過去に撮影して得られたもの、又は第一動画の被検者と異なりかつ当該被検者と同様の体格、同様の年代又は同一の性別の被検者を撮影して得られるものとしている。
この「同様の体格」は、例えば画像のデータを解析することで得られる肺野領域の縦幅又は横幅が一致又は近いものを指す。
なお、第に動画も、第一動画と同様、撮影装置1が生成した元動画であってもよいし、図示しない医用画像解析装置が元画像を解析して得られた解析動画であってもよい。
また、第二動画のデータは、一の第一動画のデータに対して複数取得するようにしてもよい。
本実施形態においては、後述する医用画像表示装置4から送信されてきた画像要求信号に応じた動画のデータ、又は取得した第一動画のデータに基づいて自動的に選択した動画のデータを第二動画のデータとして取得するようにしている。
その際、取得しようとする動画のデータが第二動画のデータに適合するか否か、すなわち、第二動画の被検者が、第一動画の被検者と同一であるか否か、同様の年代であるか否か、同一の性別であるか否か、又は同様の体格であるか否か、といった判断を、例えば、第一動画のデータ及び第二動画のデータにそれぞれ付帯する検査情報や被検者情報、又は動画に写る胸郭の幅等に基づいて行う。
このような対応を行うことで、第一動画と関連した第二動画をユーザーが手間をかけずに取得することができる。
なお、このとき第一動画を選択した場合に、上記第二動画の選定候補が表示され、そこからユーザーが選べるようになっていても良い。
また、第二動画のデータの取得には、第一動画のデータの場合と同様、他の装置から通信部32を介して受信する受信する場合と、データベース33aから呼び出す場合と、がある。
第二動画のデータを他の装置1,2から受信した場合には、制御部31は、それをデータベース33aに蓄積する。
すなわち、制御部31は、この処理を実行することにより、第二画像取得手段をなす。
なお、本実施形態においては、このステップS2の処理をステップS1の後に実行することとしたが、ステップS2の処理は、ステップS1の前に実行してもよいし、ステップS1と並行して実行してもよい。
第一動画のデータを取得した後、制御部31は、第一特徴を抽出する(ステップS3)。
この「第一特徴」は、例えば、取得した第一動画における周期的な変化の特徴であり、より具体的には、変化の周期や位相等を指す。
第一特徴の抽出には、例えば特許文献1に記載されたような方法を用いることができる。
すなわち、制御部31は、この処理を実行することにより、第一特徴抽出手段をなす。
また、第二動画のデータを取得した後、制御部31は、第二特徴を抽出する(ステップS4)。
この「第二特徴」は、上記第一特徴と同様、取得した第二動画における周期的な変化の特徴であり、変化の周期や位相等を指す。
第二特徴の抽出にも、例えば特許文献1に記載されたような方法を用いることができる。
すなわち、制御部31は、この処理を実行することにより、第二特徴抽出手段をなす。
なお、このステップS4の処理をステップS3の後に実行することとしたが、ステップS4の処理は、ステップS3の前に実行してもよいし、ステップS3と並行して実行してもよい。
第一,第二特徴を抽出した後、制御部31は、抽出した第一特徴及び第二特徴に基づいて、第二動画のデータを、第二動画の変化の周期が第一動画における変化の周期に近づくように調整する(ステップS5)。
ここで、第二動画の変化の周期が第一動画における変化の周期に近づくように調整する理由は、診断を行う対象が第一動画であるため、第一動画をなるべき撮影した状態に近い形としておくことでより正確な診断を行うことが可能となるからである。
第二動画のデータの調整には、例えば特許文献1に記載されたような方法を用いることができる。
なお、第一動画と第二動画の位相を完全に一致させる必要は無く、例えば数フレーム以内の(診断者が肉眼で両動画のずれを認識できない)範囲で前後していてもよい。
また、第一動画であっても、微小の調整であれば大きな問題にはならないし、あえて比較の第二動画の状態をベースに診断したいという場合もあるため、絶対に第一動画の調整を行わないというわけではなく、第一動画を調整する機能を持たせておいても差し支えない。
また、本実施形態においては、第二動画における二周目以降の変化が写った部分を調整するようにしている。
1周目の変化は、撮影開始のタイミングによって、周期的な変化にならない場合があり、調整が困難になることがあるが、こうすることで、容易に調整を行うことができる。
なお、本実施形態では、比較動画である第二動画の周期を主動画である第一動画の周期に近づけるようにしたが、第一動画のデータを調整するようにしてもよいし、第一動画のデータと第二動画のデータの両方を調整するようにしてもよい。
すなわち、制御部31は、この処理を実行することにより、画像調整手段をなす。
なお、ステップS3,S4で抽出した第一,第二特徴の差が無い、又は差が無視できる範囲内である場合には、ステップS5の処理を実行せず、ステップS6にジャンプしてもよい。
動画のデータを調整した後、制御部31は、取得した第一動画のデータと、取得した第二動画のデータ又は調整した第二動画のデータと、を出力する(ステップS6)。
本実施形態においては、第一動画のデータ及び第二動画のデータを、通信部32を介して医用画像表示装置4へ送信するようにしているが、記憶媒体やケーブルを介して出力するようにしてもよい。
また、医用画像管理装置3が表示部を備えたものである場合には、その表示部に表示させることを以て出力としてもよい。
すなわち、制御部31は、この処理を実行することにより、出力手段をなす。
また、制御部31は、上記診断準備処理を実行する機能の他に、以下のような機能も有している。
例えば、制御部31は、データベース33aに蓄積された複数の第二動画に基づく統計値を生成する機能を有している。
この統計値は、医用画像表示装置4において、後述する第二,第三グラフG,Gの表示を行うためのもので、本実施形態においては、複数の第二動画のデータからそれぞれ抽出した第二特徴に基づいて、複数の第二動画の各周期の平均値を算出したり、複数の第二動画から抽出される所定の信号値の分布において、所定の上限基準に対応する上限信号値と、所定の下限基準に対応する下限信号値と、をそれぞれ抽出したりするようにしている。確率分布を用いる場合には、上側確率が上限基準、下側確率が下限基準となる。
すなわち、制御部31は、この機能を有することにより、統計手段をなす。
また、本実施形態における制御部31は、第二動画のデータを再調整することが可能となっている。
具体的には、医用画像表示装置4から送信されてきた、後述する再調整指示信号(第二グラフの波形の変形量)に応じて、第二動画における変化の周期の再調整を行う。
この再調整指示信号は、ユーザーが医用画像表示装置4に所定操作を行うことで送信されてくるものである。再調整を行うためのユーザーの具体的操作については後述する。
こうすることで、最初の調整が不十分であった場合や、動画I,Iが不規則に変動した場合等に対応することができる。
なお、本実施形態では、比較動画である第二動画のデータを調整可能としたため、第二動画のデータを再調整可能としたが、第一動画のデータ、又は第一動画のデータと第二動画のデータの両方を調整可能なものである場合には、第一動画のデータを再調整可能としてもよいし、第一動画のデータと第二動画のデータの両方を再調整可能としてもよい。
〔医用画像表示装置〕
次に、上記医用画像表示システムが備える医用画像表示装置4の具体的構成について説明する。図4は医用画像表示装置4を表すブロック図、図5,6は医用画像表示装置4が表示する画像確認画面Sの例を示す図、図7,8は医用画像表示装置4に部分第一動画IR1及び部分第二動画IR2を表示する方法の説明図、図9,10は医用画像表示装置4を用いて動画のデータを再調整する方法の説明図、図11,12は医用画像表示装置4が表示する第二グラフGの例を示す図である。
本実施形態に係る医用画像表示装置4は、図4に示すように、制御部41と、通信部42と、記憶部43と、表示部44と、操作部45と、を備えている。
制御部41や通信部42は、医用画像管理装置3における制御部31や通信部32と同様に構成されている。
記憶部43は、不揮発性の半動態メモリーやハードディスク等により構成され、制御部41が実行する各種プログラムやプログラムの実行に必要なパラメーター等を記憶している。
表示部44は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部41から入力される表示信号の指示に従って、各種画像や各種情報等を表示するようになっている。
操作部45は、カーソルキーや、数字入力キー、各種機能キー等を備えたキーボードや、マウス等のポインティングデバイス、表示部44の表面に積層されたタッチパネル等によって操作者が操作可能に構成されている。
なお、医用画像表示装置4に操作部45を備えるのではなく、コンソール2や医用画像管理装置3等に操作部を設けるようにしてもよい。
このように構成された医用画像表示装置4の制御部41は、以下のような機能を有している。
例えば、制御部41は、表示部44に表示させる動画のデータを要求する機能を有している。
本実施形態においては、操作部45の操作(例えば、表示部44に表示された検査一覧や複数の動画サムネイルTの中から選択された検査やサムネイル)に応じた画像要求信号を、通信部42を介して医用画像管理装置3へ送信するようにしている。
また、制御部41は、医用画像管理装置3が送信してきた第一動画のデータと、第二動画のデータ又は調整した第二動画のデータと、を取得する機能を有している。
本実施形態においては、第一動画のデータ及び第二動画のデータを、通信部42を介して受信するようにしているが、記憶媒体やケーブルを介して取得するようにしてもよい。
また、制御部41は、例えば図5に示すように、第一動画Iと、第二動画I又は調整した第二動画Iと、を表示部44に表示させる機能を有している。
医用画像表示装置4が取得する第一動画のデータ及び第二動画のデータは、初めから周期が揃っているか、医用画像管理装置3で調整されているため、表示部44には、周期及び位相が揃った第一動画I及び第二動画Iが表示される。
なお、第一動画Iの表示態様(停止、早送り、早戻し、スロー再生等)が変更された場合には、第二動画Iの表示態様も第一動画Iに合わせて変更するようにしてもよい。
また、図5には、第一動画Iと第二動画Iの両方を表示した場合を例示したが、場合によって、第一動画Iと第二動画Iのいずれか一方の表示を可能としてもよい。
また、制御部41は、図5に示したように、第一グラフGを表示部44に表示させるとともに、第二グラフGを表示部44に表示させる機能を有している。
この「第一グラフG」は、第一動画Iにおける時間(フレーム番号)と信号値の関係を表すグラフである。本実施形態においては、横軸をフレーム番号、縦軸を信号値として描くこととしている。
また、「第二グラフG」は、第二動画Iに基づく時間(フレーム番号)と信号値の関係を表すグラフである。本実施形態においては、第一グラフGと同様、横軸をフレーム番号、縦軸を信号値として描くこととしている。
なお、図5には、第一グラフGと第二グラフGの両方を表示した場合を例示したが、場合によって、第一グラフGと第二グラフGのいずれか一方の表示を可能としてもよい。
また、図5には、第一,第二グラフG,Gを、第一,第二動画I,Iとともに表示した場合を例示したが、場合によって、第一,第二グラフG,Gのみの表示を可能としてもよい。
また、図5には、第一,第二グラフG1,を重畳した形で表示する場合を例示したが、図6に示すように、各動画I,I毎に表示するようにしてもよい。
また、本実施形態における制御部41は、例えバズ7に示すように、第一動画Iの各フレームにおける一部領域を第一領域Rとしてそれぞれ抜き出し、第一領域Rのみを写す部分第一動画IR1を表示部44に表示させるとともに、第二動画Iの各フレームにおける第一領域Rに対応する一部領域を第二領域Rとしてそれぞれ抜き出し、第二領域Rのみを写す部分第二動画IR2を表示部44に表示させることが可能となっている。
例えば、第一動画I及び第二動画Iが、胸部を撮影した放射線動画である場合、左右一対の肺のいずれか一方を第一領域R、図7に示した第一領域Rと同じ側の肺、又は図8に示す第一領域Rと異なる側の肺を第二領域R、といった設定が可能である。
制御部41は、上述したような機能を有することにより、画像表示制御手段をなす。
また、制御部41は、操作部45になされた操作に応じて、第二グラフGの波形を変形させる機能、すなわち、ユーザーによるグラフの再調整を行うための操作を受け付ける機能を有している。
医用画像管理装置3での第二動画Iの調整が十分でなく、表示部44に表示される第二グラフGが、例えば図9に実線で示したようなものとなる場合がある。すなわち、極大Max(山)となるフレームは第一グラフGとほぼ一致しているが、極小Min(谷)となるフレームが第一グラフGよりも右にずれるといったことが起こる場合がある。これは、調整後の第二動画Iの周期が第一動画Iの周期よりも依然として長いことを示している。
そこで、本実施形態においては、例えば、グラフの表示領域を極大Maxから極小Minまでの領域、極小Minから極大Maxまでの領域に分け、図9に示したように、極大となるフレームが一致し、極小となるフレームがずれている場合には、ポインターPを極小Minよりも右側のc領域に位置させてクリックしたときに極大Maxが固定され、そのままポインターPを左右にドラッグさせると、極大Maxの位置はそのままに、第二グラフG2の幅方向だけが拡大・縮小するようにしている。つまり、図9の場合、ポインターPを左にドラッグしていくことで、第二グラフGが破線で示した波形となり、その極小Minを第一グラフGのMinと一致させることができる。
なお、図示は省略するが、ポインターPを極大Maxよりも左側のa領域でクリックした場合には、極小Minが固定され、極小Minの位置がそのままに第二グラフG2の幅方向だけが拡大・縮小し、極大Maxと極小Minの間のb領域でクリックした場合には、第二グラフG2の波形が変化することなく平行移動するようにしている。
なお、こうした操作の他にも、第二グラフGの何処かをクリックしたときにグラフを囲むように矩形の枠を表示させ、その縦線を左右にドラッグすることで、第二グラフG2を拡大・縮小させるといった操作も可能であるし、マウスでドラッグする、マウスのホイールを回転させる、所定のキーやボタンを押下することの他、例えば図10に示すように、表示部44に積層されたタッチパネルの表面を指Fでピンチイン又はピンチアウトする等により、第二グラフGの波形の幅を狭めたり広げたりする、といった操作も可能である。
また、制御部41は、グラフの波形が変形されると、その変形量に応じた再調整指示信号を、通信部42を介して医用画像管理装置3へ送信するようになっている。
これにより、再調整された第二動画のデータが医用画像管理装置3から送信され、再調整後の第二動画Iを表示することが可能となる。
すなわち、制御部41は、グラフ変形手段をなす。
なお、本実施形態では、上記医用画像管理装置3において比較動画である第二動画のデータを調整可能としたため、第二動画Iに対応する第二グラフGの波形を変形可能としたが、医用画像管理装置3が、第一動画のデータ、又は第一動画のデータと第二動画のデータの両方を調整可能なものである場合には、第一グラフGの波形を変形可能としてもよいし、第一グラフGと第二グラフGの両方の波形を変形可能としてもよい。
また、本実施形態における制御部41は、上記医用画像管理装置3が生成した統計値に基づくグラフを、第二グラフGとして表示部44に表示させることが可能となっている。
具体的には、例えば図11に示すように、算出した平均値を周期とする第二グラフGを表示部44に表示させたり、図12に示すように、抽出した上限信号値を有する第二動画Iに対応するグラフを第二グラフGとして表示部44に表示させるとともに、下限信号値を有する第二動画Iに対応するグラフを第三グラフGとして表示部44に表示させたりする。
例えば、上記医用画像管理装置3において、上限確率及び下限確率がそれぞれ10%に設定された場合、第一グラフGは80%の確率で第二グラフGと第三グラフG3との間に収まることとなる。言い換えると、第一グラフGが第二グラフGと第三グラフG3との間に収まった場合には、被検者が平均的な動作をしていることになり、第二グラフGと第三グラフGとに挟まれた領域をはみ出した場合には、被検者が確率的には起こりにくい平均的な呼吸動作から逸脱した動作をしている可能性があるということになる。 制御部41は、上述したような機能を有することにより、グラフ表示制御手段をなす。
以上、本実施形態に係る医用画像表示装置4の具体的構成について説明してきたが、医用画像表示装置4が有する上記各種機能の少なくとも一部は、コンソール2や医用画像管理装置3等に持たせるようにしてもよい。
例えば、医用画像表示装置4にブラウザの機能だけを持たせ、医用画像管理装置3において画像確認画面S等のウェブページを生成する機能を持たせるようにしてもよい。
以上、本実施形態に係る医用画像管理システム100によれば、第一,第二動画I,Iの変化の周期を調整する機能を、PACSを構成する医用画像管理装置3に備えているため、被検者の周期的な動作を撮影して得られる複数の動画におけるそれぞれの変化の周期を、従来よりも簡素な構成で調整することができる。
また、周期を調整する機能を備えた従来のシステムにおいては、せっかく動画の周期を調整しても、それを効果的な形で表示することができていなかった(特許文献1には、具体的な表示方法の違いが記載されておらず、診断用の動画と比較対象の動画をどのように比較するのか不明であった)。
しかし、本実施形態に係る医用画像管理システム100は、第一,第二動画を並べて表示したり、第一,第二動画と共に第一,第二グラフを表示したりすることで、被検者の状態と過去の同一被検者や他の被検者との比較を容易に行うことができる。
また、本実施形態に係る医用画像管理システム100は、部分第一動画IR1及び部分第二動画IR2を表示することができるため、被検者の状態と過去の同一被検者や他の被検者との比較をより詳細に行うことができる。
100 医用画像管理システム
1 撮影装置
2 コンソール
3 医用画像管理装置
31 制御部
32 通信部
33 記憶部
33a データベース
4 医用画像表示装置
41 制御部
42 通信部
43 記憶部
44 表示部
45 操作部
5 通信ネットワーク
第一グラフ
第二グラフ
第三グラフ
第一動画
第二動画
R1 部分第一動画
R2 部分第二動画
第一領域
第二領域
S 画像確認画面
T 動画サムネイル

Claims (10)

  1. 被検者の周期的な動作を撮影して得られた第一動画を取得する第一動画取得手段と、
    被検者の周期的な動作を、前記第一動画の撮影とは別に撮影して得られた第二動画を取得する第二画像取得手段と、
    前記第一取得手段が取得した前記第一動画における周期的な変化の特徴である第一特徴を抽出する第一特徴抽出手段と、
    前記第二取得手段が取得した前記第二動画における周期的な変化の特徴である第二特徴を抽出する第二特徴抽出手段と、
    第一特徴抽出手段が抽出した前記第一特徴及び前記第二特徴抽出手段が抽出した前記第二特徴に基づいて、前記第一動画と前記第二動画のうちの少なくとも一方の動画を、その変化の周期が他方の動画における変化の周期に近づくように調整する画像調整手段と、
    前記第一動画取得手段が取得した第一動画又は前記画像調整手段が調整した前記第一動画と、前記第二動画取得手段が取得した第二動画又は前記画像調整手段が調整した前記第二動画と、を出力する出力手段と、を備える医用画像管理装置と、
    表示部を備える表示装置と、
    前記第一動画における時間と信号値の関係を表す第一グラフを前記表示部に表示させるとともに、前記第二動画に基づく時間と信号値の関係を表す第二グラフを前記表示部に表示させるグラフ表示制御手段と、
    前記第二動画を蓄積するデータベースと、を備え、
    前記第二特徴抽出手段は、前記データベースに蓄積された複数の前記第二動画に基づく統計値を生成する統計手段を備え、
    前記統計手段は、複数の前記第二動画からそれぞれ抽出される所定の信号値の分布において、所定の上限基準に対応する上限信号値と、所定の下限基準に対応する下限信号値と、をそれぞれ抽出するようになっており、
    前記グラフ表示制御手段は、前記統計手段が抽出した前記上限信号値を有する第二動画に対応する前記第二グラフを前記表示部に表示させるとともに、前記下限信号値を有する第二動画に対応する第三グラフを前記表示部に表示させることを特徴とする医用画像管理システム。
  2. 前記グラフ表示制御手段は、前記統計手段が生成した統計値に基づくグラフを、前記第二グラフとして前記表示部に表示させることを特徴とする請求項1に記載の医用画像管理システム。
  3. 前記医用画像管理装置の第一動画取得手段が取得した第一動画又は画像調整手段が調整した前記第一動画と、第二動画取得手段が取得した第二動画又は画像調整手段が調整した前記第二動画と、を前記表示部に表示させる画像表示制御手段と、を備えることを特徴とする請求項1又は請求項2に記載の医用画像管理システム。
  4. 前記第一動画は、診断に用いる主動画であり、
    前記第二動画は、前記第一動画と比較するための比較動画であり、
    前記画像調整手段は、前記第二動画の周期を前記第一動画の周期に近づけることを特徴とする請求項1から請求項のいずれか一項に記載の医用画像管理システム。
  5. 前記第二動画は、前記第一動画の被検者と同一の被検者を過去に撮影して得られたもの、又は前記第一動画の被検者と異なりかつ当該被検者と同様の体格、同様の年代又は同一の性別の被検者を撮影して得られたものであることを特徴とする請求項1から請求項のいずれか一項に記載の医用画像管理システム。
  6. 前記画像調整手段は、前記第一動画と前記第二動画のうちの少なくとも一方の動画における二周目以降の周期の変化が写った部分を調整することを特徴とする請求項1から請求項のいずれか一項に記載の医用画像管理システム。
  7. 前記統計手段は、複数の前記第二動画からそれぞれ抽出した第二特徴に基づいて、複数の前記第二動画の各周期の平均値を算出するようになっており、
    前記グラフ表示制御手段は、前記統計手段が算出した平均値を周期とする第二グラフを前記表示部に表示させることを特徴とする請求項1又は請求項に記載の医用画像管理システム。
  8. 前記画像表示制御手段は、前記第一動画の各フレームにおける一部領域を第一領域としてそれぞれ抜き出し、部分第一動画として前記表示部に表示させるとともに、前記第二動画の各フレームにおける前記第一領域に対応する一部領域を第二領域としてそれぞれ抜き出し、部分第二動画として前記表示部に表示させることを特徴とする請求項に記載の医用画像管理システム。
  9. 前記第一動画及び前記第二動画は、胸部を撮影した放射線動画であり、
    前記第一領域は、左右一対の肺のいずれか一方であり、
    前記第二領域は、前記第一領域と同じ側の肺であることを特徴とする請求項に記載の医用画像管理システム。
  10. 前記第一動画及び前記第二動画は、胸部を撮影した放射線動画であり、
    前記第一領域は、左右一対の肺のいずれか一方であり、
    前記第二領域は、前記第一領域と異なる側の肺であることを特徴とする請求項に記載の医用画像管理システム。
JP2018235976A 2018-12-18 2018-12-18 医用画像管理システム Active JP7188051B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018235976A JP7188051B2 (ja) 2018-12-18 2018-12-18 医用画像管理システム
US16/714,334 US20200194034A1 (en) 2018-12-18 2019-12-13 Medical Image Management Apparatus and Medical Image Management System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018235976A JP7188051B2 (ja) 2018-12-18 2018-12-18 医用画像管理システム

Publications (2)

Publication Number Publication Date
JP2020096703A JP2020096703A (ja) 2020-06-25
JP7188051B2 true JP7188051B2 (ja) 2022-12-13

Family

ID=71072814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018235976A Active JP7188051B2 (ja) 2018-12-18 2018-12-18 医用画像管理システム

Country Status (2)

Country Link
US (1) US20200194034A1 (ja)
JP (1) JP7188051B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092218B1 (ja) 2021-01-18 2022-06-28 コニカミノルタ株式会社 医療情報管理装置及び医療情報管理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090214090A1 (en) 2008-02-12 2009-08-27 Carmel Hayes Method for processing medical image data and magnetic resonance apparatus for recording and processing medical image data
WO2014054379A1 (ja) 2012-10-04 2014-04-10 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2017176400A (ja) 2016-03-30 2017-10-05 コニカミノルタ株式会社 動態解析装置、動態解析システム、動態解析方法及びプログラム
JP2018148964A (ja) 2017-03-10 2018-09-27 コニカミノルタ株式会社 動態解析システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090214090A1 (en) 2008-02-12 2009-08-27 Carmel Hayes Method for processing medical image data and magnetic resonance apparatus for recording and processing medical image data
WO2014054379A1 (ja) 2012-10-04 2014-04-10 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2017176400A (ja) 2016-03-30 2017-10-05 コニカミノルタ株式会社 動態解析装置、動態解析システム、動態解析方法及びプログラム
JP2018148964A (ja) 2017-03-10 2018-09-27 コニカミノルタ株式会社 動態解析システム

Also Published As

Publication number Publication date
US20200194034A1 (en) 2020-06-18
JP2020096703A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
JP6922971B2 (ja) コンソール及びプログラム
JP6578135B2 (ja) 制御方法及びプログラム
JP5665903B2 (ja) 画像処理装置及び方法、画像処理システム、並びにプログラム
US10282517B2 (en) Apparatus, method, and non-transitory computer-readable medium for supporting viewing examination images
US20100095340A1 (en) Medical Image Data Processing and Image Viewing System
JP6772908B2 (ja) 動態解析システム及びプログラム
US9710146B2 (en) System and method for image display control
US10825190B2 (en) Dynamic image processing apparatus for aligning frame images obtained by photographing dynamic state of chest based on movement of lung-field region
JP6727776B2 (ja) 支援システム、支援方法、プログラム
KR20160027000A (ko) 원격진료를 위한 의료영상 처리장치 및 이를 포함한 원격 의료진단 시스템
US11361433B2 (en) Image display control system, image display system, and image analysis device for dynamic medical imaging
JP7188051B2 (ja) 医用画像管理システム
JP6870765B1 (ja) 動態品質管理装置、動態品質管理プログラム及び動態品質管理方法
JP2021194140A (ja) 画像処理装置及び画像処理方法
JP7211172B2 (ja) 動態画像解析システム及び動態画像処理装置
US20200379636A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6885260B2 (ja) 動態画像解析装置
JP2019054991A (ja) 解析装置及び解析システム
US20210390699A1 (en) Image display apparatus and storage medium
US20230052910A1 (en) Image processing device, display control method, and recording medium
JP7115584B2 (ja) 動態品質管理装置、動態品質管理プログラム及び動態品質管理方法
JP6930638B2 (ja) 動態解析装置、動態解析プログラム、動態解析方法及び制御装置
JP7143747B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2022143614A (ja) 動態情報処理装置、プログラム、動態情報処理方法及び動態情報処理システム
JP6874484B2 (ja) 動態画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7188051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150