JP7468426B2 - 動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法 - Google Patents

動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法 Download PDF

Info

Publication number
JP7468426B2
JP7468426B2 JP2021052357A JP2021052357A JP7468426B2 JP 7468426 B2 JP7468426 B2 JP 7468426B2 JP 2021052357 A JP2021052357 A JP 2021052357A JP 2021052357 A JP2021052357 A JP 2021052357A JP 7468426 B2 JP7468426 B2 JP 7468426B2
Authority
JP
Japan
Prior art keywords
frame images
image
subject
control
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021052357A
Other languages
English (en)
Other versions
JP2022149979A (ja
JP2022149979A5 (ja
Inventor
尚隼 菅ヶ谷
謙太 嶋村
哲嗣 松谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2021052357A priority Critical patent/JP7468426B2/ja
Priority to US17/703,387 priority patent/US20220309684A1/en
Publication of JP2022149979A publication Critical patent/JP2022149979A/ja
Publication of JP2022149979A5 publication Critical patent/JP2022149979A5/ja
Application granted granted Critical
Publication of JP7468426B2 publication Critical patent/JP7468426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法に関する。
肺野の手術を行う際、胸膜の癒着の有無を予め判別しておくことができれば、癒着の切開等に要する時間を考慮した精度の高い手術時間の見積もりを行うことが可能となる。
そこで、例えば特許文献1に記載されたような、動態画像から横隔膜の変位を抽出し、横隔膜の変位の位相と呼吸の位相とが対応しているか否かを判別する技術が従来提案されている。この特許文献1には、呼吸の位相と横隔膜の変位の位相とが対応しなくなる原因の一つに癒着の存在がある旨記載されている。
すなわち、動態画像に基づいて癒着等の疾患の存在を示唆する技術が従来知られている。
特開2015-136566号公報
現状では、癒着等の疾患の有無、あるいは疾患が存在する位置の最終的な判断は、動態画像を読影した医師によってなされる。
このため、医師が読影する動態画像は、どこに疾患部分が写っているのか医師が容易に視認できるものであることが望ましい。
また、医療機関においては、手術前等の緊急時に、癒着等の疾患の有無を早急に確認したいというニーズがある。
ところが、動態画像の中には、大きく動く領域もあれば、疾患により動きが低下した領域(動きの低下領域)もある。
このため、医師が動態画像を再生して診断を行おうとすると、本来、癒着等の診断において注目すべきは動きの低下領域であるにもかかわらず、医師は動く領域を注目しがちとなり、動きの低下領域を見落としてしまう可能性が出てくる。
特に、動く領域と動きの低下領域とが重なっている場合、動きの低下領域自体は動かなくても、動く領域の動きに追従して移動する等してしまうため、医師は動きの低下領域を視認することがより困難となる。
本発明は、上記課題に鑑みてなされたもので、上記課題を解消し、複数のフレーム画像を読影する際の視認性を向上させることを目的とする。
上記課題を解決するため、本発明に係る動態画像制御装置は、
被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得する画像取得部と、
前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を、ユーザーによる入力又は前記フレーム画像からの検出により特定する特定部と、
前記特定された動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をする制御部と、
前記付帯情報が重畳された前記連続するフレーム画像を動画像表示するための画像データを出力する出力部と、
を備える。
また、本発明に係る制御プログラムは、
動態画像制御装置の制御プログラムであって、
前記制御プログラムは、前記動態画像制御装置に、
被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得するステップと、
前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を、ユーザーによる入力又は前記フレーム画像からの検出により特定するステップと、
前記特定された動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をするステップと、
前記付帯情報が重畳された前記連続するフレーム画像を動画像表示するための画像データを出力する出力ステップと、
を実行させる。
上記課題を解決するため、本発明に係る動態画像制御システムは、
被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得する画像取得部と、
前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を特定する特定部と、
前記動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をする制御部と、
前記付帯情報が重畳された前記連続するフレーム画像を動画像表示する表示部と、
を備える。
また、本発明に係る制御方法は、
動態画像制御装置が実行する制御方法であって、
被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得するステップと、
前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を、ユーザーによる入力又は前記フレーム画像からの検出により特定するステップと、
前記特定された動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をするステップと、
前記付帯情報が重畳された前記連続するフレーム画像を動画像表示するための画像データを出力する出力ステップと、
を含む。
本発明によれば、複数のフレーム画像を読影する際の視認性を向上させることができる。
本発明の実施形態に係る画像表示システムの一例を表すブロック図である。 同実施形態に係る画像表示システムの他の例を表すブロック図である。 同実施形態に係る画像表示システムの他の例を表すブロック図である。 同実施形態に係る画像表示システムの他の例を表すブロック図である。 同実施形態に係る画像表示システムの他の例を表すブロック図である。 同実施形態に係る画像表示システムが備える画像解析装置(画像表示装置)を表すブロック図である。 同実施形態に係る画像表示システムの動作の一例を示すシーケンス図である。 同実施形態に係る画像表示システムが備える画像解析装置が動きの低下領域を特定する方法の一例を示す概念図である。 同実施形態に係る画像表示システムが備える画像表示装置が表示するフレーム画像の一例を示す図である。 同実施形態に係る画像表示システムが備える画像表示装置が表示するフレーム画像の一例を示す図である。 同実施形態に係る画像表示システムの動作の他の例を示すシーケンス図である。 同実施形態に係る画像表示システムの動作の他の例を示すシーケンス図である。
以下、本発明の実施形態について図面を参照しながら説明する。ただし、本発明の技術的範囲は、以下の実施形態及び図示例に限定されるものではない。
<1.画像表示システムの概要>
はじめに、本実施形態に係る画像表示システム(以下、システム100)の概要について説明する。
図1は、システム100を表すブロック図である。
〔1-1.画像表示システムの概略構成〕
システム100は、図1に示すように、画像解析装置1と、画像表示装置2と、を備えている。
また、本実施形態に係るシステム100は、モダリティー3と、画像保存通信システム(Picture Archiving and Communication System:以下、PACS4)と、を更に備えている。
各装置1~4は、例えば通信ネットワークN(LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等)を介して互いに通信可能となっている。
なお、システム100は、図示しない病院情報システム(Hospital Information System:HIS)、放射線科情報システム(Radiology Information System:RIS)等と通信可能となっていてもよい。
(モダリティー)
モダリティー3は、被写体の対象部位を撮影し、対象部位が写った医用画像のデジタルデータ(以下、画像データ)を生成する撮影装置である。
モダリティー3には、例えば、FPD(Flat Panel Detector)装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置等が含まれる。
本実施形態に係るモダリティー3は、静止画像の他、被写体の動態を示す複数のフレーム画像Fを生成することが可能となっている。
この「被写体の動態を示す複数のフレーム画像F」とは、ある動きをしている同一の対象部位に対して時間軸に沿って連続的に放射線撮影を行うことで得られた複数の医用画像のことである。
この被写体の動態を示す複数のフレーム画像Fには、動態画像が含まれる。
なお、本実施形態に係るモダリティー3は、各種撮影条件を設定したり、モダリティー3各部の動作を制御したりする図示しないコンソールを備えていていてもよい。
また、モダリティー3は、撮影室内に据え付けられたものであってもよいし、移動可能に構成されたものとなっていてもよい。
(画像解析装置)
画像解析装置1は、PC、専用の装置等で構成されている。
そして、画像解析装置1は、モダリティー3が生成した複数のフレーム画像Fを解析する。
また、本実施形態に係る画像解析装置1は、動態画像制御装置を兼ねている。
この画像解析装置1の詳細については後述する。
(画像保存通信システム)
PACS4は、PC、専用の装置等で構成されている。
そして、PACS4は、モダリティー3が生成した画像データ、画像解析装置1が加工した画像データ等を格納する。
また、本実施形態に係るPACS4は、複数の画像データをデータベースに蓄積する形で格納する。
(画像表示装置)
画像表示装置2は、画像解析装置1、モダリティー3、又はPACS4から取得した画像データに基づく医用画像を表示する。
〔1-2.画像表示システムを用いた診断の流れ〕
このように構成された本実施形態に係るシステム100を用いた診断は、以下のよう流れで行われる。
まず、ユーザー(技師等)がモダリティー3を用いて被検者の対象部位を撮影すると、モダリティー3は、対象部位が写った医用画像(複数のフレーム画像F又は静止画像)の画像データを生成する。
モダリティー3は、画像データを生成すると、その画像データを画像解析装置1、画像表示装置2、又はPACS4へ送る。
画像解析装置1は、画像データを取得すると、画像データに基づく複数のフレーム画像Fを解析する。
特に画像データが複数のフレーム画像Fのものである場合、画像解析装置1は、後述する動態画像制御処理を実行し、処理後の画像データを画像表示装置2、又はPACS4へ送る。
画像表示装置2は、画像解析装置1、モダリティー3、又はPACS4から画像データを取得すると、取得した画像データに基づく医用画像を表示する。
医師は、画像表示装置2に表示された医用画像に基づいて被検者の診断を行う。
PACS4は、画像データを取得すると、取得した画像データをデータベースに蓄積する。
〔1-3.画像表示システムの変形例〕
ここまで、画像解析装置1が動態画像制御装置を兼ねたシステム100について説明してきたが、動態画像制御装置は、他の装置が兼ねていてもよい。
具体的には、例えば図2に示すように、上記モダリティー3、上記PACS4の他に、動態画像制御装置としての機能を有していない画像解析装置1Aと、上記動態画像制御装置を兼ねた画像表示装置2Aと、を備えるシステム100Aを構成してもよい。
また、例えば図3に示すように、上記画像表示装置2、上記モダリティー3の他に、動態画像制御装置としての機能を有していない画像解析装置1Aと、動態画像制御装置を兼ねたPACS4Aと、を備えるシステム100Bを構成してもよい。
また、ここまで、画像解析装置1と画像表示装置2とを別々に備えたシステム100について説明してきたが、画像解析装置1と画像表示装置2は一体になっていてもよい。
具体的には、例えば図4に示すように、上記モダリティー3、上記PACS4の他に、上記画像解析装置1及び上記画像表示装置2としての機能を有するとともに、動態画像制御装置を兼ねた画像解析表示装置5と、を備えるシステム100Cを構成してもよい。
また、ここまで、いずれかの装置が動態画像制御装置を兼ねたシステム100について説明してきたが、動態画像制御装置は、独立して設けられていてもよい。
具体的には、例えば図5に示すように、上記画像表示装置2、上記モダリティー3、上記PACS4の他に、動態画像制御装置としての機能を有していない画像解析装置1Aと、動態画像制御装置6と、を備えるシステム100Dを構成してもよい。
<2.画像解析装置の詳細>
次に、上記システム100が備える画像解析装置1(動態画像制御装置)の詳細について説明する。
図6は画像解析装置1を表すブロック図、図7はシステム100の動作を示すシーケンス図、図8は画像解析装置1が動きの低下領域を特定する方法の一例を示す概念図である。
なお、図6の括弧書きの符号は後述する画像表示装置のものである。
〔2-1.画像解析装置の構成〕
画像解析装置1は、図6に示すように、第一制御部11と、第一記憶部12と、第一通信部13と、第一表示部14と、第一操作部15と、を備えている。
各部11~15は、バス等で電気的に接続されている。
第一制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成されている。
そして、第一制御部11のCPUは、第一記憶部12に記憶されている各種プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像解析装置1各部の動作を集中制御するようになっている。
第一記憶部12は、不揮発性のメモリーやハードディスク等により構成されている。
また、第一記憶部12は、第一制御部11が実行する各種プログラムやプログラムの実行に必要なパラメーター等を記憶している。
なお、第一記憶部12は、医用画像の画像データを記憶することが可能となっていてもよい。
第一通信部13は、通信モジュール等で構成されている。
そして、第一通信部13は、通信ネットワークNを介して有線又は無線で接続された他の装置(画像表示装置2、モダリティー3、PACS4等)との間で各種信号や各種データを送受信するようになっている。
第一表示部14は、例えばLCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等で構成されている。
そして、第一表示部14は、第一制御部11から受信した画像信号に応じた医用画像等を表示するようになっている。
第一操作部15には、キーボード(カーソルキー、数字入力キー、各種機能キー等)、ポインティングデバイス(マウス等)、第一表示部14の表面に積層されたタッチパネル等で構成されている。
そして、第一操作部15は、ユーザーによってなされた操作に応じた制御信号を第一制御部11へ出力するようになっている。
なお、画像解析装置1は、第一表示部14及び第一操作部15を備えず、例えば第一通信部13等を介して、画像解析装置1とは別に設けられた専用の入力装置から制御信号を受信したり、画像解析装置1とは別に設けられた専用のモニターへ画像信号を出力したりするようになっていてもよい。
また、他の装置(画像表示装置2、PACS4等)が表示部及び操作部を備える場合、他の装置の操作部から制御信号を受信したり、他の装置の表示部へ画像信号を出力したりするようになっていてもよい(表示部及び操作部が他の装置と共用になっていてもよい)。
〔2-2.画像解析装置の動作〕
上記のように構成された画像解析装置1の第一制御部11は、所定条件が成立したことを契機として、第一記憶部12に記憶された制御プログラムに基づく動態画像制御処理を実行する。
所定条件には、例えば、画像解析装置1の電源がオンにされたこと、他の装置から画像データを取得したこと、他の装置から所定の制御信号を受信したこと、第一操作部15に所定操作がなされたこと等が含まれる。
この動態画像制御処理は、図7に示すように、画像取得ステップ(ステップA1)と、領域特定ステップ(ステップA2)と、付帯制御ステップ(ステップA3)と、出力ステップ(ステップA4)と、を有する。
(2-2-1.画像取得ステップ)
動態画像制御処理で、第一制御部11は、まず、画像取得ステップを実行する(ステップA1)。
この画像取得ステップで、第一制御部11は、複数のフレーム画像Fを取得する。
本実施形態に係る画像取得ステップでは、第一制御部11は、第一通信部13を介してフレーム画像Fの画像データを受信する。
なお、画像解析装置1が図示しない記憶媒体の読取部を備えている場合、第一制御部11は、記憶媒体から画像データを読み込むようになっていてもよい。
また、フレーム画像Fの取得を契機として動態画像制御処理を開始する場合、この画像取得ステップは不要である。
本実施形態に係る第一制御部11は、以上説明してきた画像取得ステップを実行することにより画像取得部として機能する。
(2-2-2.領域特定ステップ)
複数のフレーム画像Fを取得した後、第一制御部11は、領域特定ステップを実行する(ステップA2)。
この領域特定ステップで、第一制御部11は、取得されたフレーム画像Fから所定の構造物Oの動きの低下領域(以下、低下領域R)を特定する。
この「構造物」とは、被写体の構造物であれば特に限定されない。例えば被検体の臓器、組織などが含まれる。臓器や組織としては例えば肺、心臓、胃、関節などが少なくとも含まれる。
また、「低下領域R」とは、肺膜の癒着等の疾患が疑われる領域であり、複数のフレーム画像Fを再生したときに、本来動きがあるはずなのに殆ど動かない領域のことである。
また、この領域特定ステップで、第一制御部11は、低下領域Rを自動又は手動で特定する。
本発明における低下領域Rの特定方法としては、最初から全フレームに対する共通座標のようなパラメーターとして抽出する場合、または、各フレームに対応する座標を抽出した上で、そこから共通座標を抽出するケースが考えられる。
またその座標値は、各フレームや構造物の相対的位置関係に応じて座標を抽出する場合がある。
このようにして特徴点の抽出後、付帯情報の表示範囲を特定する。
例えば、自動で特定する場合、第一制御部11は、フレーム画像Fからの検出により低下領域Rを特定する。
具体的には、例えば、解析対象の区間のフレーム画像Fについて、時間方向に隣接するフレーム画像F間(以下、隣接するフレーム画像間)でオプティカルフローを実行し、フレーム画像F中の所定の小領域ごとに、隣接するフレーム画像F間で対応点を求めて動きベクトルを算出する。
次に、小領域ごとに、複数の動きベクトルをマージ(統合)し、解析対象の開始フレーム画像から終了フレーム画像までの動きを表す動きベクトルを算出する。
そして、算出された動きベクトルに基づいて、小領域ごとの体軸方向(上方向)の動き量(体軸方向(上方向)の動きベクトルの長さ)を算出する。
そして、算出された動きベクトルの体軸方向の長さ(所定の構造物の動き量)が、所定の閾値以下(又は未満)の場合は、その小領域において癒着ありと判定し、閾値を超える(又は以上)の場合は癒着なしと判定する。
癒着の有無を判定するための閾値(固定値の場合)としては、例えば6mmが好ましく、1.5mmがより好ましい。
なお、閾値は、上記値に限定されるものではなく、例えば0.5mm等、他の値であってもよい。
また、制御部21は、以下のような指標を用いて癒着の有無を判定するようになっていてもよい。
・構造物Oの動き量の割合が健常者の場合の動き量(基準値)の○%以下(又は未満)
・構造物Oの動き量が、所定値mm(又は所定値ピクセル)以下(又は未満)
・構造物Oが表示された領域の画素の信号値の変動が所定値以下(又は未満)
・構造物Oの動き量の割合が周囲の領域の動き量の所定値%以下(又は未満)
そして、癒着ありと判定した一の小領域又は複数の小領域の集まりを低下領域Rの候補領域RCとし、下記のいずれかの方法を用いて候補領域RCから低下領域Rを特定する。
・上記低下領域の候補領域RCの特定を各フレーム画像Fについて行い、例えば図8(a)に示すように、複数のフレーム画像Fの各候補領域RCに共通する(重なる)領域を低下領域Rとして特定する。
・上記低下領域の候補領域RCの特定を各フレーム画像Fについて行い、例えば図8(b)に示すように、複数のフレーム画像Fの候補領域RCがとり得る(重なる領域及び重ならない領域を含む)最大領域を低下領域Rとして特定する。
・上記低下領域の候補領域RCの特定を特定のフレーム画像F(例えば、最大吸気位、最大呼気位の肺野が写るフレーム画像F)について行い、その候補領域RCを複数のフレーム画像Fに共通する低下領域Rとして特定する。
こうすることで、各フレーム画像Fの同じ位置(座標)に同じ形状の低下領域Rが特定される。
一方、手動で特定する場合、第一制御部11は、ユーザーによる入力により低下領域Rを特定する。
具体的には、第一制御部11は、上記画像取得ステップで取得した複数のフレーム画像Fを、第一表示部14に表示させるとともに、第一操作部15を、ユーザーによる領域設定操作を受け付け可能な状態とする。
そして、第一表示部14に表示されている複数のフレーム画像Fの任意の領域に対し、ユーザーによって所定の領域設定操作(例えば、領域の輪郭をカーソルでなぞる、カーソルを領域の輪郭に沿って移動させながらクリックを繰り返す、領域の輪郭を指でなぞる、領域の輪郭上の複数個所をタッチする等)がなされると、第一制御部11は、その領域を低下領域Rとして特定する。
なお、この領域特定ステップで、第一制御部11は、低下領域Rを半自動で特定するようになっていてもよい。
具体的には、第一制御部11は、第一表示部14に表示されている複数のフレーム画像Fの任意の範囲に対し、ユーザーによって所定の範囲設定操作がなされたら、その設定された範囲内において、低下領域Rを自動で特定するようになっていてもよい。
また、第一制御部11は、低下領域Rを自動で特定した後、ユーザーによる入力に応じて低下領域Rの範囲を微調整するようになっていてもよい。
また、この領域特定ステップ(自動)で、第一制御部11は、複数のフレーム画像Fから一枚の合成画像(サマリー画像)を生成するようになっていてもよい。
また、この領域特定ステップ(手動)で、第一制御部11は、複数のフレーム画像Fを、他の装置(画像表示装置2又はPACS)の表示部に表示させ、他の装置の操作部になされた領域設定操作を受け付けるようになっていてもよい。
本実施形態に係る第一制御部11は、以上説明してきた領域特定ステップを実行することにより特定部として機能する。
(2-2-3.付帯制御ステップ)
低下領域Rを特定した後、第一制御部11は、付帯制御ステップを実行する(ステップA3)。
この付帯制御ステップで、第一制御部11は、特定された低下領域Rを示す付帯情報Iをフレーム画像Fに付帯する制御をする。
この「付帯情報I」とは、例えば、低下領域Rに重畳される枠型のアノテーション、低下領域Rを指し示す矢印型のアノテーション、文字情報、記号、図形、画像、または音声、並びにそれらの組み合わせ等が考えられる。
付帯情報の付帯(重畳)の方法としては、画像上に付帯情報をオーバーレイさせる、画像上に付帯情報を埋め込む方法が考えられる。
付帯情報の付帯領域としては、画面上の領域であれば限定されない。例えば、着目領域が考えられる。
本実施形態に係る付帯制御ステップでは、第一制御部11は、まず、特定された低下領域R(動き量が閾値以下又は未満の領域)の情報から一の付帯情報Iを生成する。
具体的には、第一制御部11は、例えば、低下領域Rの輪郭線と同形状の枠状のアノテーションを生成する。
なお、この付帯制御ステップで、第一制御部11は、低下領域Rと同形状で中が塗りつぶされたアノテーション、低下領域Rの周囲を塗りつぶすアノテーションを生成するようになっていてもよい。低下領域Rの周囲を塗りつぶすようにすれば、医師に低下領域Rを注目させ易くなる。
そして、第一制御部11は、複数のフレーム画像Fの同じ位置(座標)に、生成した一の付帯情報Iをそれぞれ付帯させる。
この「複数のフレーム画像F」は、全フレーム画像Fのうちの90%~100%の範囲内の数のフレーム画像Fを指す。
なお、複数は、100%(全て)であることが好ましい。
また、複数が100%未満である場合、複数のフレーム画像Fは、連続するフレーム画像Fであることが好ましい。
また、複数のフレーム画像Fの他に、例えば当該複数のフレーム画像Fを解析して得られた解析フレーム画像、当該複数のフレーム画像Fに画像処理を施して得られた処理済みフレーム画像等が存在する場合、この付帯制御ステップで、第一制御部11は、付帯情報Iを、個々のフレーム画像群(インスタンス)にそれぞれ付帯させるようになっていてもよいし、複数種類のフレーム画像群のセット(シリーズ)に対して付帯させるようになっていてもよい。
また、この付帯制御ステップで、第一制御部11は、複数のフレーム画像Fから合成された合成画像の低下領域Rに、付帯情報Iを付帯させるようになっていてもよい。
「合成画像」は、複数枚のフレーム画像Fに基づいて合成された一枚の静止画像(例えば、上記領域特定ステップで生成するサマリー画像等)である。
(2-2-4.出力ステップ)
フレーム画像Fに付帯情報Iを付帯した後、第一制御部11は、出力ステップを実行する(ステップA4)。
この出力ステップで、第一制御部11は、付帯情報Iが付帯された複数のフレーム画像Fを画像表示装置2、又はPACS4へ出力する。
本実施形態に係る出力ステップでは、第一制御部11は、複数のフレーム画像Fの画像データを、第一通信部13を介して他の装置へ送信する。
<3.画像表示装置の詳細>
次に、上記システム100が備える画像表示装置2の詳細について説明する。
図9,10は、画像表示装置2が表示するフレーム画像の一例を示す図である。
〔3-1.画像表示装置の構成〕
画像表示装置2は、図6に示したように、第二制御部21と、第二記憶部22と、第二通信部23と、第二表示部24と、第二操作部25と、を備えている。
各部21~25は、バス等で電気的に接続されている。
第二制御部21は、CPU、RAM等により構成されている。
そして、第二制御部21のCPUは、第二記憶部22に記憶されている各種プログラムを読出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像表示装置2各部の動作を集中制御するようになっている。
第二記憶部22は、不揮発性のメモリーやハードディスク等により構成されている。
また、第二記憶部22は、第二制御部21が実行する各種プログラムやプログラムの実行に必要なパラメーター等を記憶している。
なお、第二記憶部22は、医用画像の画像データを記憶することが可能となっていてもよい。
第二通信部23は、通信モジュール等で構成されている。
そして、第二通信部23は、通信ネットワークNを介して有線又は無線で接続された他の装置(画像解析装置1、モダリティー3、PACS4等)との間で各種信号や各種データを送受信するようになっている。
第二表示部24は、例えばLCD、CRT等で構成されている。
そして、第二表示部24は、第二制御部21から受信した画像信号に応じた医用画像等を表示するようになっている。
第二操作部25には、キーボード(カーソルキー、数字入力キー、各種機能キー等)、ポインティングデバイス(マウス等)、第二表示部24の表面に積層されたタッチパネル等で構成されている。
そして、第二操作部25は、ユーザーによってなされた操作に応じた制御信号を第二制御部21へ出力するようになっている。
なお、画像表示装置2は、第二表示部24及び第二操作部25を備えず、例えば第二通信部23等を介して、画像表示装置2とは別に設けられた専用の入力装置から制御信号を受信したり、画像表示装置2とは別に設けられた専用のモニターへ画像信号を出力したりするようになっていてもよい。
また、他の装置(画像解析装置1、PACS4等)が表示部及び操作部を備える場合、他の装置の操作部から制御信号を受信したり、他の装置の表示部へ画像信号を出力したりするようになっていてもよい(表示部及び操作部が他の装置と共用になっていてもよい)。
〔3-2.画像解析装置の動作〕
上記のように構成された画像表示装置2の第二制御部21は、以下のような動作をする。
例えば、第二制御部21は、所定条件が成立したことを契機として、第二記憶部22に記憶された制御プログラムに基づく画像表示処理を実行する。
所定条件には、例えば、画像表示装置2の電源がオンにされたこと、他の装置から画像データを取得したこと、他の装置から所定の制御信号を受信したこと、第二操作部25に所定操作がなされたこと等が含まれる。
この画像表示処理は、図7に示したように、画像取得ステップ(ステップB1)と、表示ステップ(ステップB2)と、を有する。
(3-2-1.画像取得ステップ)
初めに、第二制御部21は、画像取得ステップを実行する(ステップB1)。
この画像取得ステップで、第一制御部11は、画像解析装置1により付帯情報Iが付帯された複数のフレーム画像Fを取得する。
本実施形態に係る画像取得ステップでは、第二制御部21は、第二通信部23を介してフレーム画像Fの画像データを受信する。
なお、画像表示装置2が図示しない記憶媒体の読取部を備えている場合、第二制御部21は、記憶媒体から画像データを読み込むようになっていてもよい。
また、フレーム画像Fの取得を契機として画像表示処理を開始する場合、この画像取得ステップは不要である。
本実施形態に係る第二制御部21は、以上説明してきた画像取得ステップを実行することにより画像取得部として機能する。
(3-2-2.表示ステップ)
複数のフレーム画像Fを取得した後、第二制御部21は、表示ステップを実行する(ステップB2)。
この表示ステップで、第二制御部21は、付帯情報Iが付帯されたフレーム画像Fを第二表示部24へ表示させる。
本実施形態に係る表示ステップで、第二制御部21は、複数のフレーム画像F中の低下領域Rを示す付帯情報Iをフレーム画像Fに重畳する。
このため、この表示ステップの実行により、第二表示部24は、付帯情報Iを、複数のフレーム画像Fに重畳して表示する。
この「重畳」には、低下領域Rに付帯情報Iをオーバーレイすることと、低下領域Rに付帯情報Iを埋め込むことの両方が含まれる。
上記画像解析装置1による上記付帯制御ステップでは、低下領域Rの情報から一の付帯情報Iが生成され、その付帯情報Iが複数のフレーム画像Fに付帯された。
このため、この表示ステップの実行により、第二表示部24は、上記付帯制御ステップで生成した一の付帯情報Iを、複数のフレーム画像Fに重畳して表示する。
また、本実施形態に係る表示ステップの実行により、第二表示部24は、上記付帯制御ステップで生成したアノテーション(例えば、図9(a)に示すような枠型のアノテーション、図9(b)に示すような矢印型のアノテーション、図9(c)に示すような文字情報等)を重畳して表示する。
また、上記画像解析装置1による上記付帯制御ステップでは、付帯情報Iが、複数のフレーム画像Fの共通する領域(共通して特定された領域、同じ位置)に付帯された。
このため、この表示ステップの実行により、第二表示部24は、例えば図10に示すように、複数のフレーム画像Fに共通する領域(共通して特定された領域、同じ位置)に、付帯情報Iを重畳して表示する。
その結果、第二表示部24に表示される複数のフレーム画像Fは、時間が経つにつれて構造物Oが変形していくのに対し、付帯情報Iは構造物Oの経時変化の影響を受けず、常に同じ位置に、同じ形、同じ大きさを保ち続ける。
なお、上記画像解析装置1による上記付帯制御ステップで、「全ての」フレーム画像F、又は「連続する」フレーム画像Fに付帯情報Iが付帯された場合、この表示ステップで、第二表示部24は、被写体の動態を示すフレーム画像F中の低下領域Rを示す付帯情報Iを、複数のフレーム画像Fの全てに重畳して表示する、又は複数のフレーム画像Fの連続するフレーム画像Fに重畳して表示する(付帯情報Iが、連続するフレーム画像Fに重畳された画像を表示する)。
すなわち、フレーム画像Fを表示(再生)している全期間において付帯情報Iが表示されるため、複数のフレーム画像Fの再生途中に付帯情報Iが付帯されていないフレーム画像Fが挟まれることによる複数のフレーム画像Fのチラつきを防ぐことができる。
また、上記画像解析装置1により、合成画像が合成され、当該合成画像に付帯情報Iが付帯された場合、この表示ステップの実行により、第二表示部24は、合成画像の低下領域Rに、付帯情報Iを付帯させて表示する。
<4.効果>
以上説明してきたように、本実施形態に係る画像解析装置1(動態画像制御装置)は、被写体の動態を示す複数のフレーム画像Fを取得し、取得されたフレーム画像Fから所定の構造物Oの動きの低下領域Rを、ユーザーによる入力又は前記フレーム画像Fからの検出により特定し、特定された動きの低下領域Rを示す付帯情報Iをフレーム画像Fに付帯する制御をする第一制御部11(画像取得部、特定部、制御部)を備える。
また、本実施形態に係る画像表示装置2は、被写体の動態を示す複数のフレーム画像を取得する第二制御部21(画像取得部)と、取得されたフレーム画像F中の動きの低下領域Rを示す付帯情報Iを、前記複数のフレーム画像Fの連続するフレーム画像Fに重畳して表示する第二表示部24(表示部)と、を備える。
このため、画像解析装置1、画像表示装置2又はこれらを備えるシステム100によれば、複数のフレーム画像Fを読影する際の視認性を向上させることができる。
<5.変形例>
なお、本発明は上記の実施形態等に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは言うまでもない。
例えば、付帯制御ステップ(ステップA3)を実行する装置と表示ステップ(ステップB2)を実行する装置が異なっているシステム100,100B,100Dは、付帯情報Iの重畳(埋め込み)を、例えば図11に示すように、付帯制御ステップ(ステップA3A)を実行する装置(画像解析装置1、PACS4A、動態画像制御装置6)で行うようになっていてもよい。この場合、画像表示装置2は、付帯制御ステップを実行する装置から付帯情報Iが重畳された(埋め込まれた)フレーム画像Fの画像データを取得し、取得した画像データを表示するだけとなる。
また、表示部を有する装置を備えるシステム100,100A~100Dは、動態画像制御処理と画像表示処理の両方を、例えば図12に示すように、表示部を有する装置(画像解析装置1、画像表示装置2A、画像解析表示装置5)が実行するようになっていてもよい。この場合、動態画像制御処理における出力ステップ(ステップA4)及び画像表示処理における画像取得ステップ(ステップB1)は不要である。
また、PACS4,4Aが表示部を有している場合、システム100,100A~100Dは、PACS4が上記画像表示処理を実行するようになっていてもよい。
また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
100 画像表示システム
1 画像解析装置(動態画像制御装置)
11 第一制御部(画像取得部、特定部)
12 第一記憶部
13 第一通信部
14 第一表示部
15 第一操作部
2 画像表示装置
21 第二制御部(画像取得部)
22 第二記憶部
23 第二通信部
24 第二表示部
25 第二操作部
3 モダリティー
4 画像保存通信システム
100A システム
1A 画像解析装置
2A 画像表示装置(動態画像制御装置)
100B システム
4A 画像保存通信システム(動態画像制御装置)
100C システム
5 画像解析表示装置(動態画像制御装置)
100D システム
6 動態画像制御装置
F フレーム画像
I 付帯情報
N 通信ネットワーク
O 構造物
R 動きの低下領域
C 低下領域の候補領域

Claims (9)

  1. 被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得する画像取得部と、
    前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を、ユーザーによる入力又は前記フレーム画像からの検出により特定する特定部と、
    前記特定された動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をする制御部と、
    前記付帯情報が重畳された前記連続するフレーム画像を動画像表示するための画像データを出力する出力部と、
    を備える動態画像制御装置。
  2. 前記制御部は、前記連続するフレーム画像の同じ位置に前記付帯情報を付帯させる、請求項1に記載の動態画像制御装置。
  3. 前記制御部は、前記複数のフレーム画像から合成された合成画像の動きの低下領域に、前記付帯情報を付帯させる、請求項1又は請求項2に記載の動態画像制御装置。
  4. 前記特定部は、前記動きの低下領域として、前記複数のフレーム画像に共通する領域を特定し、
    前記制御部は、前記動きの低下領域に、前記付帯情報を重畳して動画像表示する、請求項1から請求項3のいずれか一項に記載の動態画像制御装置。
  5. 前記制御部は、前記付帯情報を、前記複数のフレーム画像の連続するフレーム画像に重畳して動画像表示する、請求項1から請求項4のいずれか一項に記載の動態画像制御装置。
  6. 前記特定部は、前記取得された複数のフレーム画像から、所定の構造物の動き量が閾値以下又は前記閾値未満の領域を特定し、
    前記制御部は、前記特定された動き量が閾値以下又は前記閾値未満の領域の情報から一の付帯情報を生成し、
    前記一の付帯情報を、前記連続するフレーム画像に重畳して動画像表示する、請求項1から請求項5のいずれか一項に記載の動態画像制御装置。
  7. 動態画像制御装置の制御プログラムであって、
    前記制御プログラムは、前記動態画像制御装置に、
    被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得するステップと、
    前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を、ユーザーによる入力又は前記フレーム画像からの検出により特定するステップと、
    前記特定された動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をするステップと、
    前記付帯情報が重畳された前記連続するフレーム画像を動画像表示するための画像データを出力する出力ステップと、
    を実行させる制御プログラム。
  8. 被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得する画像取得部と、
    前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を特定する特定部と、
    前記動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をする制御部と、
    前記付帯情報が重畳された前記連続するフレーム画像を動画像表示する表示部と、
    を備える動態画像制御システム。
  9. 動態画像制御装置が実行する制御方法であって、
    被検者に対する放射線撮影により得られた、被検者の動態を示す、複数のフレーム画像を取得するステップと、
    前記取得されたフレーム画像から、前記フレーム画像中の一部の領域であって、前記被検者の体内の前記被検者の構造物の動きの低下領域の位置を、ユーザーによる入力又は前記フレーム画像からの検出により特定するステップと、
    前記特定された動きの低下領域の位置を示す付帯情報を前記複数のフレーム画像の連続するフレーム画像に付帯する制御をするステップと、
    前記付帯情報が重畳された前記連続するフレーム画像を動画像表示するための画像データを出力する出力ステップと、
    を含む制御方法。
JP2021052357A 2021-03-25 2021-03-25 動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法 Active JP7468426B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021052357A JP7468426B2 (ja) 2021-03-25 2021-03-25 動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法
US17/703,387 US20220309684A1 (en) 2021-03-25 2022-03-24 Dynamic image control apparatus, non-transitory computer readable storage medium storing control program, and image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021052357A JP7468426B2 (ja) 2021-03-25 2021-03-25 動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法

Publications (3)

Publication Number Publication Date
JP2022149979A JP2022149979A (ja) 2022-10-07
JP2022149979A5 JP2022149979A5 (ja) 2023-11-24
JP7468426B2 true JP7468426B2 (ja) 2024-04-16

Family

ID=83364821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021052357A Active JP7468426B2 (ja) 2021-03-25 2021-03-25 動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法

Country Status (2)

Country Link
US (1) US20220309684A1 (ja)
JP (1) JP7468426B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004305486A (ja) 2003-04-08 2004-11-04 Canon Inc 画像処理装置及び方法及びシステム
JP2006255021A (ja) 2005-03-15 2006-09-28 Toshiba Corp 画像表示装置及び画像表示方法
JP2013081579A (ja) 2011-10-07 2013-05-09 Konica Minolta Medical & Graphic Inc 動態医用画像生成システム
JP2013111305A (ja) 2011-11-30 2013-06-10 Hitachi Medical Corp 磁気共鳴イメージング装置及び体動アーチファクト低減法
JP2019030492A (ja) 2017-08-08 2019-02-28 コニカミノルタ株式会社 X線画像処理装置及びx線画像処理方法
JP2019180899A (ja) 2018-04-11 2019-10-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2020171475A (ja) 2019-04-10 2020-10-22 コニカミノルタ株式会社 動態画像解析装置、動態画像解析方法及びプログラム
CN112150571A (zh) 2020-09-30 2020-12-29 上海联影医疗科技股份有限公司 一种图像运动伪影消除方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5090042A (en) * 1990-12-24 1992-02-18 Bejjani Fadi J Videofluoroscopy system for in vivo motion analysis

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004305486A (ja) 2003-04-08 2004-11-04 Canon Inc 画像処理装置及び方法及びシステム
JP2006255021A (ja) 2005-03-15 2006-09-28 Toshiba Corp 画像表示装置及び画像表示方法
JP2013081579A (ja) 2011-10-07 2013-05-09 Konica Minolta Medical & Graphic Inc 動態医用画像生成システム
JP2013111305A (ja) 2011-11-30 2013-06-10 Hitachi Medical Corp 磁気共鳴イメージング装置及び体動アーチファクト低減法
JP2019030492A (ja) 2017-08-08 2019-02-28 コニカミノルタ株式会社 X線画像処理装置及びx線画像処理方法
JP2019180899A (ja) 2018-04-11 2019-10-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2020171475A (ja) 2019-04-10 2020-10-22 コニカミノルタ株式会社 動態画像解析装置、動態画像解析方法及びプログラム
CN112150571A (zh) 2020-09-30 2020-12-29 上海联影医疗科技股份有限公司 一种图像运动伪影消除方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2022149979A (ja) 2022-10-07
US20220309684A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US9117287B2 (en) Image analysis apparatus, method, and program
JP4818846B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP5408399B1 (ja) 画像生成装置
JP5136562B2 (ja) 動態画像診断支援システム
JP6958202B2 (ja) 動態画像処理装置及びプログラム
EP2442276B1 (en) Medical image processing apparatus and medical image processing method
JP6217241B2 (ja) 胸部診断支援システム
US20140347353A1 (en) Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
US20240193766A1 (en) Image processing apparatus and image processing method
US20200379636A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP4921253B2 (ja) 画像処理装置および画像処理プログラム
CN108430376B (zh) 提供投影数据集
JP2019522529A (ja) 内腔に沿った管腔内デバイスの管腔内経路の推定
US20100030572A1 (en) Temporal registration of medical data
JP7468426B2 (ja) 動態画像制御装置、制御プログラム、動態画像制御システム及び制御方法
JP7468427B2 (ja) 画像表示装置、制御プログラム、画像表示方法及び画像表示システム
JP7143747B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2004283583A (ja) 画像形成医療検査装置の作動方法
US20190180440A1 (en) Dynamic image processing device
JP2005040178A (ja) 医用画像表示方法
JP2019111006A (ja) 動態画像処理方法及び動態画像処理装置
JP4567395B2 (ja) 血管撮影画像処理装置及び血管撮影画像処理方法及び血管撮影画像処理プログラム
US11049253B2 (en) Dynamic analysis device and recording medium
US20230263495A1 (en) Pulmonary embolism diagnosis support apparatus, pulmonary embolism diagnosis support method, and storage medium
JP2000350701A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150