JP7426990B2 - 効率的なエコー図比較を支援するための高度なループ選択システム及び方法 - Google Patents

効率的なエコー図比較を支援するための高度なループ選択システム及び方法 Download PDF

Info

Publication number
JP7426990B2
JP7426990B2 JP2021510371A JP2021510371A JP7426990B2 JP 7426990 B2 JP7426990 B2 JP 7426990B2 JP 2021510371 A JP2021510371 A JP 2021510371A JP 2021510371 A JP2021510371 A JP 2021510371A JP 7426990 B2 JP7426990 B2 JP 7426990B2
Authority
JP
Japan
Prior art keywords
image sequence
exam
past
current
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021510371A
Other languages
English (en)
Other versions
JPWO2020043684A5 (ja
JP2021536608A (ja
Inventor
メルライン セブンスター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021536608A publication Critical patent/JP2021536608A/ja
Publication of JPWO2020043684A5 publication Critical patent/JPWO2020043684A5/ja
Application granted granted Critical
Publication of JP7426990B2 publication Critical patent/JP7426990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

[0001] 心エコー図は、様々な心疾患を有する患者の診断及び治療において日常的に使用されている。
場合によっては、心臓専門医が、患者の現在の心エコー検査と前の心エコー検査とを比較する必要がある。しかしながら、典型的な心エコー図取得は、例えば、微妙な差異(例えば、異なる深さにおける)のために、又は初期取得の品質が非診断的又は最適でないと考えられたために、同じビューの複数の画像取得をもたらし得る。
このように、心臓専門医は、現在の検査と前の検査との比較の間にレビューするために多数の画像シーケンスを提示される場合があり、その結果、時間がかかり、非効率的なプロセスをもたらす。
[0002] 例示的な実施形態は、比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信するステップであって、画像シーケンスの各々は、画像シーケンスのビューに対応するデータを含む、ステップと、現在及び過去の検査の画像シーケンスの関連ビューを決定するステップと、比較のために、現在及び過去の検査の一方の関連ビューの画像シーケンスを選択するステップと、対話型比較パネルを介して、現在及び過去の検査の一方からの画像シーケンスをユーザに表示するステップと、現在及び過去の検査の他方の関連ビューのどの画像シーケンスが、選択された画像シーケンスに最も密接に一致するかを決定するステップと、対話型比較パネルを介して、選択された画像シーケンスに最も密接に一致する現在及び過去の検査の他方からの画像シーケンスを表示するステップとを含む方法を対象とする。
[0003] 例示的な実施形態は、実行可能プログラムを記憶する非一時的コンピュータ可読記憶媒体と、プロセッサと、を含み、プロセッサは実行可能プログラムを実行して、実行可能プログラムは、プロセッサに、比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信させ、画像シーケンスの各々は、画像シーケンスのビューに対応するデータを含み、現在及び過去の検査の画像シーケンスの関連ビューを決定させ、比較のために、現在及び過去の検査の一方の関連ビューの画像シーケンスを選択させ、対話型比較パネルを介して、現在及び過去の検査の一方からの画像シーケンスをユーザに表示させ、現在及び過去の検査の他方の関連ビューのどの画像シーケンスが、選択された画像シーケンスに最も密接に一致するかを決定させ、対話型比較パネルを介して、選択された画像シーケンスに最も密接に一致する現在及び過去の検査の他方からの画像シーケンスをさせるシステムを対象とする。
[0004] 例示的な実施形態は、プロセッサによって実行可能な命令のセットを含む非一時的コンピュータ可読記憶媒体であって、命令のセットは、プロセッサによって実行されると、プロセッサに、比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信する動作であって、画像シーケンスの各々は、画像シーケンスのビューに対応するデータを含む、動作と、現在及び過去の検査の画像シーケンスの関連ビューを決定する動作と、比較のために、現在及び過去の検査の一方の関連ビューの画像シーケンスを選択する動作と、対話型比較パネルを介して、現在及び過去の検査の一方からの画像シーケンスをユーザに表示する動作と、現在及び過去の検査の他方の関連ビューのどの画像シーケンスが、選択された画像シーケンスに最も密接に一致するかを決定する動作と、対話型比較パネルを介して、選択された画像シーケンスに最も密接に一致する現在及び過去の検査の他方からの画像シーケンスを表示する動作とを含む動作を行わせる非一時的コンピュータ可読記憶媒体を対象とする。
[0005]図1は、例示的な実施形態によるシステムの概略図を示す。 [0006]図2は、例示的な実施形態による方法のフロー図を示す。 [0007]図3は、例示的な実施形態による、現在及び過去の心エコー検査の関連ビューを比較する例示的な比較パネルを示し、ユーザによる視覚的比較のために選択される可能性が最も高いと考えられる現在の検査のシーケンスが強調表示されている。 [0008]図4は、例示的な実施形態による、図3の例示的な比較パネルを示し、ユーザによる視覚的比較のための現在の検査のシーケンスの選択が過去の心エコー検査における一致するシーケンスの強調表示をもたらす。 [0009]図5は、例示的な実施形態による、図3及び図4の例示的な比較パネルを示し、ユーザは現在の心エコー検査の選択されたシーケンスとの視覚的比較のために、過去の心エコー検査の一致するシーケンスを選択する。
[0010] 例示的な実施形態は、以下の説明及び添付の図面を参照してさらに理解することができ、同様の要素は、同じ参照番号で参照される。例示的な実施形態は、ユーザによって視覚的に比較される現在及び過去の心エコー検査の関連ビューの画像シーケンスを選択するためのシステム及び方法に関する。関連ビューの各々から選択された画像シーケンスは、対話型比較パネルでユーザに提示され、これにより、ユーザは現在及び過去の検査から、ユーザが視覚的に比較したいシーケンスをさらに選択できる。視覚的比較のためにユーザによって選択される可能性が最も高い、システムが決定するシーケンスが、対話型比較パネルでユーザに提示され得る。しかしながら、ユーザは、視覚的比較のために、どの利用可能なシーケンスを選択してもよい。次いで、これらのユーザ選択を記憶しシーケンス選択プロセスを向上させるために使用して、これにより、最も関連性が高く及び/又は選択される可能性が最も高いシーケンスのみが、対話型比較パネルの後続のユーザに提示される。
[0011] 以下でより詳細に説明するように、例示的な実施形態は、複数のやり方でシステムの動作を向上させる。第1の例では、シーケンス選択プロセスを向上させるためのユーザ選択を記憶することにより、関連するシーケンスがユーザに表示される速度が速くなり、かつ、関連するシーケンスの検索時間が短縮する。別の例では、以下でより詳細に説明されるように、コンテキスト及び他の情報がシーケンスと共に記憶されることにより、シーケンスのより効率的な記憶及び検索が可能になり、これにより、システム性能が向上する。
[0012] 図1に示すように、本開示の例示的な実施形態によるシステム100は、ユーザ(例えば、心臓専門医)によって視覚的に比較される現在及び過去の心エコー検査の画像シーケンスを選択し、比較指示のコンテキストで、最も関連するビューのシーケンスをユーザに提示する。比較指示は、例えば、左心室性能又は僧帽弁逆流など、比較される状態又は解剖学的構造を含む。システム100は、プロセッサ102、ユーザインターフェース104、ディスプレイ106、及びメモリ108を含む。プロセッサ102は、シーケンス選択エンジン110、シーケンス比較エンジン112、及び機械学習エンジン114を含み得る。視覚的に比較することができる現在及び過去の検査の画像シーケンスを示す対話型比較パネル116がディスプレイ106上に表示される。ユーザインターフェース104を使用して、ユーザは視覚的比較のために、対話型比較パネル116から画像シーケンスを選択する。
[0013] シーケンス選択エンジン110は、現在の検査から一連の心エコー画像シーケンスを受信し、現在の検査から、シーケンス選択エンジン110が、ユーザによる視覚的比較のために選択される可能性が最も高いと考える1つ以上のシーケンスを選択する。次いで、ユーザは、シーケンス選択エンジン110によって選択された画像シーケンスを選択するか、又は現在の検査から異なる画像シーケンスを、視覚的比較のために選択してもよい。次いで、シーケンス比較エンジン112が、ユーザによって選択された画像シーケンスに最も密接に一致する、過去の検査からの画像シーケンスを選択する。この場合も、ユーザは、シーケンス比較エンジン112によって選択された画像シーケンスを選択するか、又は異なる画像シーケンスを、現在の検査のユーザ選択画像シーケンスとの視覚的比較のために異なる画像シーケンスを選択してもよい。これらのユーザ-システム対話のすべては、コンテキスト情報と共に、メモリ108の対話データベース118に記憶される。対話データベースに記憶された情報は機械学習エンジン114を介して使用されて、前のユーザ選択に基づくシーケンス選択エンジン110及び/又はシーケンス比較エンジン112のシーケンス選択プロセスを向上させるモデルが作成される。
[0014] 当業者であれば理解されるように、例示的な実施形態は、シーケンス選択エンジン110が、現在の検査からの画像シーケンスを選択するものとして示し説明しているが、シーケンス選択エンジン110が同様に、過去の検査からの画像シーケンスを選択して、シーケンス比較エンジン112が過去の検査からの選択されたシーケンスに最も密接に一致する現在の検査からの画像シーケンスを選択してもよい。また、当業者であれば理解されるように、現在及び過去の検査の画像シーケンスは、メモリ108に記憶されている患者の医療記録からアクセスできる。
[0015] 対話型比較パネル116は、現在及び過去の検査の使用可能な画像シーケンスのすべてを表示し、現在及び過去の検査からの画像シーケンスのうちのどれが、視覚的比較のためにユーザによって選択される可能性が最も高いかを示す。特に、対話型比較パネル116を含む一実施形態では、視覚的比較のためにユーザによって選択される可能性が最も高い画像シーケンスは、ユーザによって示され及び/又は選択された比較指示に基づき得る。例えば、シーケンス選択エンジン110及びシーケンス比較エンジン112によって選択された画像シーケンスは、ディスプレイ106上で強調表示される。あるいは、より多くのユーザ-システム対話データが対話データベース118に記憶されることにより、シーケンス選択エンジン110及びシーケンス比較エンジン112は、機械学習エンジン114によって作成されたモデルを実行して、視覚的比較のためにユーザによって選択される現在及び過去の検査からの画像シーケンスをより良く予測することができ、対話型比較パネル116は、ユーザによって選択される可能性が最も高い画像シーケンスのみを表示する。
[0016] 当業者であれば、エンジン110~114は、例えば、プロセッサ102によって実行されるコード行として、プロセッサ102によって実行されるファームウェアとして、特定用途向け集積回路(ASIC)であるプロセッサ102の関数としてなど、プロセッサ102によって実装され得ることを理解するであろう。
[0017] 図2は、ユーザによって視覚的に比較される現在及び過去の心エコー検査の画像シーケンスを選択し、比較指示のコンテキストで最も関連するビューのシーケンスをユーザに提示するための例示的な方法200を示す。ステップ210において、シーケンス選択エンジン110は、現在及び過去の心エコー検査からの画像シーケンスを、ユーザからの構造比較指示と共に受け取る。心エコー検査からのシーケンスは、患者の医療記録(例えば画像保管通信システム)から取得され得る。構造比較指示は、ユーザインターフェース104を介してユーザによって入力されてよく、例えば「LV性能を比較する」又は「僧帽弁逆流を比較する」などの指示を含み得る。ステップ220において、シーケンス選択エンジン110は、ステップ210において、ユーザを介して入力された比較指示を示す心エコー検査の関連ビューを決定する。シーケンス選択エンジン110は、例えばPLAX、SLAX、AP2及びAP4ビューがLV性能を示すと決定する。比較指示を示す心エコー図ビューは、例えばルックアップテーブルを介して決定される。
[0018] ステップ230において、シーケンス選択エンジン110は、視覚的比較のためにユーザによって選択される可能性が最も高い、現在の心エコー検査の関連ビューの1つ以上の画像シーケンスを選択する。シーケンス選択エンジン110は、例えば、シーケンスの順序(取得タイムスタンプに基づく)及び指示を含むコンテキスト情報を含む関連ビューのシーケンスを処理して、視覚的比較のためにユーザによって選択されるシーケンスの尤度を表す、関連ビューにおける各シーケンスの出力を生成する。出力は、2値のイエス又はノー、又は所定の範囲(例えば、0~1)の数であってもよく、大きい数は選択される尤度が高いことを表し、小さい数は選択される尤度が低いことを表す。シーケンス選択エンジン110は、1つ以上の数学的、統計的又はルールベースの予測モデルを実行し得る。シーケンス選択エンジン110は、既知の及び独自仕様の画像特徴ライブラリを利用してもよい。例えば、ルールベースの技法は、以下のような高レベルの推論を実行する:
-シーケンスが同じビューの2つ以上の一連において最初である場合は、出力0を割り当てる。
-シーケンスが一連において最後である場合、予測モデルXを適用する。
別の例では、特に方法200のより早期の反復中に、ルールベースの技法は、デフォルトで、視覚的比較のためにユーザによって選択される可能性が最も高いものとして、各ビューにおける最後のシーケンスを選択する。これは、多くの場合、シーケンスは最適なシーケンスが得られるまで撮像されるからである。さらに別の例では、予測モデルが画像シーケンスの順序を考慮に入れる。例えば、予測モデルは、シーケンスは、一連の5つのシーケンスのうちの4番目であると考える。現在の検査の選択された画像シーケンスは、対話型比較パネル116においてユーザに表示される。
[0019] ステップ240において、プロセッサ102は、比較のためにユーザが見たい、現在の心エコー検査の関連ビューの1つ以上のシーケンスを選択するユーザ入力を受け取る。ユーザは、ステップ230において、シーケンス選択エンジン110によって選択された画像シーケンスとは異なるシーケンスを選択できる。ユーザは、ユーザインターフェース104を介してユーザ選択を入力する。
[0020] ステップ250において、シーケンス比較エンジン112は、ステップ40においてユーザによって選択されたシーケンスに密接に一致する、過去の検査からの1つ以上のシーケンスを選択する。シーケンス比較エンジン112は、過去の検査の同じ関連ビューからの画像シーケンスの各々を、現在の検査のユーザ選択画像シーケンスと比較し、過去の検査の同じ関連ビューの画像シーケンスの各々にスコア(例えば、0~1の間)を割り当てて、それらの類似性を示す。1つの例示的な実施形態では、シーケンス比較エンジン112は、比較されているシーケンスのフレームに対して差分演算を実行して、すべてのフレームにわたって重み付けされた異なるスコアを生成してもよい。別の例示的な実施形態では、シーケンス比較エンジン112は、フレームの差を取る前に、最初にシーケンスの心拍を位置合わせしてもよく、潜在的に、専用DICOMフィールド内のシーケンス画像データと共に記録されたECG信号を活用できる。さらに別の例示的な実施形態では、シーケンス比較エンジン112は、フレームの差を取る前に最初に解像度を下げてもよい。ユーザが選択したシーケンスに一致する過去の検査の画像シーケンスが決定されると、一致した画像シーケンスが対話型比較パネル116を介してユーザに表示される。
[0021] ステップ260において、プロセッサ102は、ステップ240における現在の検査のユーザ選択シーケンスと視覚的に比較される過去の検査のシーケンスを選択するユーザ入力を受け取る。ユーザ選択は、ユーザインターフェース104を介して行われてよい。以下でさらに詳細に説明するように、過去の検査からの画像シーケンスが選択されると、ユーザは、ステップ240における現在の検査の選択された画像シーケンスと、ステップ260における過去の検査の選択された画像シーケンスとを、視覚的比較のために並べて見たいことを示すさらなる入力を提供する。
[0022] ステップ230及び240は、現在の検査から画像シーケンスを選択することを説明し、ステップ250及び260は、過去の検査から画像シーケンスを選択することを説明しているが、当業者であれば理解されるように、シーケンス選択エンジン110が同様に、過去の検査から画像シーケンスを選択して、これにより、シーケンス比較エンジン112が現在の検査から一致する画像シーケンスを選択してもよい。また、当業者であれば理解されるように、ステップ230~260を必要に応じて繰り返して、必要に応じて、異なる関連ビューの各々について現在及び従来の検査から画像シーケンスを選択することもできる。
[0023] ステップ270において、ユーザ-システム対話のすべてが対話型比較パネル116から受信され、対話データベース118に記憶される。例えば、シーケンス選択エンジン110及びシーケンス比較エンジン112によって選択されたシーケンス、ユーザが選択したシーケンス、及び、任意のコンテキスト情報(例えば、シーケンスの順序、構造比較指示)が対話データベース118に記憶される。ユーザ-システム対話がステップ270において記憶されるものとして示され説明されているが、当業者であれば理解されるように、ユーザ-システム対話は、シーケンスの任意のコンテキスト情報と共に、それらが発生するときに対話データベース118に記憶されてもよい。特に、対話は、対話型比較パネルから情報が受信されると、対話データベース118に記憶される。
[0024] ステップ280において、機械学習エンジン114は、対話データベース118にアクセスして、シーケンス選択エンジン110及びシーケンス比較エンジン112に含める機械学習、統計的及び/又はルールベースのモデルを作成する。シーケンス選択エンジンのためのモデルを作成するために、例えば、機械学習エンジン114は、一連の画像シーケンス、選択された1つ以上のシーケンス(グランドトゥルース)、シーケンスの順序、及び比較指示などの情報を使用する。シーケンス比較エンジン112のためのモデルを作成するために、機械学習エンジン114は、比較された2つのシーケンス(画像データ)、第1のシーケンスにおける1つ以上の選択されたシーケンス(グランドトゥルース)、両方のシーケンスの順序、及び比較指示などの情報を使用する。
[0025] シーケンス選択エンジン110及びシーケンス比較エンジン112各々のモデルは、他のシーケンスの中からグランドトゥルースシーケンスを予測する性能を最大化することを目的として、既知の又は新しい画像処理特徴ライブラリを使用する、畳み込みニューラルネットワーク、ランダムフォレスト、サポートベクターマシン、ロジスティック回帰などの技法を使用して作成してもよい。さらなる例示的な実施形態によれば、モデル作成エンジンはさらに、シーケンスのビュー(例えばPLAX、SLAX、AP2、AP3、AP4)、すなわち、心臓に対するプローブの位置を決定するビュー検出エンジンを使用してもよい。機械学習エンジン114は、所定のスケジュールに従って呼び出されても、システム管理者を介して手動で呼び出されてもよい。例えば、機械学習エンジン114は、毎晩又は毎月呼び出されて、シーケンス選択エンジン110及びシーケンス比較エンジン112のためのモデルを向上させる。さらなる実施形態では、固定セットの注釈付きインスタンスを使用して、新たに作成されたモデルの性能を追跡して、新しいモデルの性能が現在使用されているモデルよりも優れているかどうかを判定する。性能が優れていると判定された場合、現在使用されているモデルは、新たに作成されたモデルに置換される。
[0026] 図3~図5は、システム100及び方法200による例示的な対話型比較パネルを示す。図3に示すように、対話型比較パネル116は、ステップ210においてシーケンス選択エンジン110が受け取った構造的比較指示に従って、現在の心エコー検査及び過去の心エコー検査の両方の関連ビューの各々におけるシーケンスを示す。例えば、ステップ220において、関連ビューがPLAX、SLAX、AP2、及びAP4ビューであると決定されるLV性能指示の場合、対話型比較パネル116は、関連ビューの各々において現在の検査及び過去の検査からのシーケンスを示し、無関係と見なされた他のビューは無効にされる。しかしながら、対話型比較パネル116は、必要に応じて、ユーザが他のビューを容易に有効にすることを可能にする。同様に、対話型比較パネルは、必要に応じて、有効なビューを簡単に無効にすることもできる。
[0027] 図3の対話型比較パネル116は、現在及び過去の検査について関連ビューの各々において利用可能であるすべてのシーケンスを示し、ステップ230においてシーケンス選択エンジン110によって選択された現在の検査におけるシーケンスは、ディスプレイ106上で強調表示されている。強調表示は、どのシーケンスが視覚的比較のためにユーザによって選択される可能性が最も高いと決定されたかの指示をユーザに提供する。例示的な実施形態は、選択されたシーケンスが強調表示されているものとして示しているが、当業者であれば理解されるように、対話型比較パネル116は、シーケンス選択エンジン110による選択を示すための他の方法を使用してもよい。さらに、図3は、現在の検査のシーケンスのみがシーケンス選択エンジン110によって選択されているものとして示しているが、対話型比較パネル116はまた、過去の検査からのシーケンス選択、又は現在及び過去の検査の両方からのシーケンス選択を強調表示してもよい。
[0028] 図3の対話型比較パネル116は、関連するビューの各々について利用可能なすべてのシーケンスを示しているが、別の実施形態では、対話型比較モデル116は、ステップ230において、シーケンス選択エンジン110によって、視覚的比較のためにユーザによって選択される可能性が最も高いものとして選択されたシーケンスのみを示してもよい。この実施形態では、選択されたシーケンスのみが示されるので、対話型比較パネル116は、いずれのシーケンスも強調表示する(又は選択を示す任意の他の指示を提供する)必要はない。あるいは、対話型比較パネルは、所定の閾値を超える出力を生成する任意のシーケンスを示し、生成される出力が最も高いシーケンスを強調表示してもよい。
[0029] 上述したように、ユーザは、シーケンス選択エンジン110によって選択されたシーケンスを選択するか、あるいは、異なるシーケンスを選択することを選ぶこともできる。図4に示す例では、ユーザは、関連するビューのうちの1つ(例えば、PLAX)において強調表示されている、すなわち、シーケンス選択エンジン110によって選択された現在の検査のシーケンスを選択する。シーケンスを選択すると、過去の検査の同じビューのシーケンスが強調表示されるようになる。この強調表示されたシーケンスは、ステップ250において、シーケンス比較エンジン112によって、ユーザが選択したシーケンスに最も密接に一致すると決定されたシーケンスを示す。次に、図5に示すように、ユーザは、現在の検査のユーザが選択したシーケンスと視覚的に比較したい過去の検査からシーケンスを選択する。ユーザが比較したい2つのシーケンスが選択されると、ユーザは例えば、対話型比較パネルの比較ボタンを押して、2つの選択されたシーケンスを並べて視覚的に比較することができる。
[0030] 当業者であれば、上記の例示的な実施形態は、別個のソフトウェアモジュールとして、ハードウェアとソフトウェアとの組合せとしてなどを含む、任意の数のやり方で実装され得ることを理解するのであろう。例えば、シーケンス選択エンジン110、シーケンス比較エンジン112、及び機械学習エンジン114は、コンパイルされたときにプロセッサ102上で実行されるコード行を含むプログラムである。
[0031] 当業者には明らかであるように、本開示の精神又は範囲から逸脱することなく、開示された例示的な実施形態及び方法並びに代替形態に様々な修正を行うことができる。したがって、本開示は、修正及び変形を、それらが添付の特許請求の範囲及びそれらの均等物の範囲内に入る限り、包含することを意図している。
以下、本願発明の形態に関して更に付記を示す。
(1) 比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信するステップであって、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含む、ステップと、
前記現在の検査及び前記過去の検査の前記画像シーケンスの関連ビューを決定するステップと、
比較のために、前記現在の検査及び前記過去の検査の一方の前記関連ビューの画像シーケンスを選択するステップと、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスをユーザに表示するステップと、
前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、前記選択された画像シーケンスに最も密接に一致するかを決定するステップと、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方からの前記画像シーケンスを表示するステップと、
を含む、方法。
(2) 前記関連ビューの前記画像シーケンスの選択が、比較指示に基づくように、前記比較指示に対応する入力を受信するステップをさらに含む、(1)に記載の方法。
(3) 前記選択された画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、(1)に記載の方法。
(4) 前記選択された画像シーケンスとの視覚的比較のために、前記ユーザによって選択された一致する画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、(1)に記載の方法。
(5) 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも1つを作成するステップをさらに含む、(1)に記載の方法。
(6) 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の一方の前記画像シーケンスの各々の取得順序を分析するステップを含む、(1)に記載の方法。
(7) 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の一方の各画像シーケンスについて、前記各画像シーケンスが視覚的比較のために前記ユーザによって選択される尤度に対応する出力を生成するステップを含む、(1)に記載の方法。
(8) 所定の値よりも大きい出力を有する前記現在の検査及び前記過去の検査の一方の画像シーケンスが、前記対話型比較パネルを介して表示される、(7)に記載の方法。
(9) 前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが前記選択された画像シーケンスに最も密接に一致するかを決定するステップは、前記関連ビューにおける前記現在の検査及び前記過去の検査の他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力するステップを含む、(1)に記載の方法。
(10) 所定の値よりも大きい出力スコアを有する前記現在の検査及び前記過去の検査の他方の画像シーケンスが、前記対話型比較パネルを介して表示される、(9)に記載の方法。
(11) 実行可能プログラムを記憶する非一時的コンピュータ可読記憶媒体と、
プロセッサと、
を含み、
前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信させ、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含み、
前記現在の検査及び前記過去の検査の前記画像シーケンスの関連ビューを決定させ、
比較のために、前記現在の検査及び前記過去の検査の一方の前記関連ビューの画像シーケンスを選択させ、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスをユーザに表示させ、
前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、
前記選択された画像シーケンスに最も密接に一致するかを決定させ、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方からの前記画像シーケンスをさせる、
システム。
(12) 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記関連ビューの前記画像シーケンスの選択が比較指示に基づくように、前記比較指示に対応する入力を受信させる、
(11)に記載のシステム。
(13) 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記選択された画像シーケンスに対応するユーザ入力を受信させる、
(11)に記載のシステム。
(14) 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記選択された画像シーケンスと視覚的に比較するために、前記ユーザによって選択された一致する画像シーケンスに対応するユーザ入力に受信させる、
(11)に記載のシステム。
(15) 前記プロセッサは前記実行可能プログラムを実行して、前記プロセッサに、
前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも1つを作成させる、(11)に記載のシステム。
(16) 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択することは、前記現在の検査及び前記過去の検査の一方の前記画像シーケンスの各々の取得順序を分析することを含む、(11)に記載のシステム。
(17) 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択することは、前記現在の検査及び前記過去の検査の一方の各画像シーケンスについて、前記各画像シーケンスが視覚的比較のために前記ユーザによって選択される尤度に対応する出力を生成することを含む、(11)に記載のシステム。
(18) 所定の値よりも大きい出力を有する前記現在の検査及び前記過去の検査の一方の画像シーケンスが、前記対話型比較パネルを介して表示される、(17)に記載のシステム。
(19) 前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、前記選択された画像シーケンスに最も密接に一致するかを決定することは、前記関連ビューにおける前記現在の検査及び前記過去の検査の他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力することを含む、(11)に記載のシステム。
(20) プロセッサによって実行可能な命令のセットを含む非一時的コンピュータ可読記憶媒体であって、前記命令のセットは、前記プロセッサによって実行されると、前記プロセッサに、
比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信する動作であって、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含む、受信する動作と、
前記現在の検査及び前記過去の検査の前記画像シーケンスの関連ビューを決定する動作と、
比較のために、前記現在の検査及び前記過去の検査の一方の前記関連ビューの画像シーケンスを選択する動作と、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスをユーザに表示する動作と、
前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、
前記選択された画像シーケンスに最も密接に一致するかを決定する動作と、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方からの前記画像シーケンスを表示する動作と、
を含む動作を行わせる、非一時的コンピュータ可読記憶媒体。

Claims (15)

  1. ユーザによって視覚的に比較されるべき現在及び過去の心エコー検査の心エコー図ビューの画像シーケンスを選択するため、コンピュータ実施される方法であって、前記方法は、
    比較されるべき現在の心エコー検査及び過去の心エコー検査の各々からの画像シーケンスを受信するステップであって、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含む、ステップと、
    ユーザから比較指示を受信するステップであって、前記比較指示は、比較される状態又は解剖学的構造を含む、ステップと、
    前記比較指示を示す前記現在の検査及び前記過去の検査の前記画像シーケンスの前記心エコー図ビューを決定するステップと、
    比較のために、前記現在の検査及び前記過去の検査の一方の前記心エコー図ビューの画像シーケンスを選択するステップと、
    対話型比較パネルを介して、前記現在の検査及び前記過去の検査の前記一方からの前記選択された画像シーケンスをユーザに表示するステップと、
    前記現在の検査及び前記過去の検査の他方の前記心エコー図ビューのどの画像シーケンスが、前記一方からの前記選択された画像シーケンスに最も密接に一致するかを決定するステップと、
    前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方からの前記画像シーケンスを表示するステップと、
    を含む、方法。
  2. 前記選択された画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、請求項1に記載の方法。
  3. 前記選択された画像シーケンスとの視覚的比較のために、前記選択された画像シーケンスに最も密接に一致する前記他方の前記心エコー図ビューの画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、請求項1に記載の方法。
  4. 前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも1つを作成するステップをさらに含む、請求項1に記載の方法。
  5. 前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の前記一方の前記画像シーケンスの各々の取得順序を分析するステップを含む、請求項1に記載の方法。
  6. 前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の前記一方の各画像シーケンスについて、前記各画像シーケンスが視覚的比較のために前記ユーザによって選択される尤度に対応する出力を生成するステップを含む、請求項1に記載の方法。
  7. 所定の値よりも大きい前記尤度を有する前記現在の検査及び前記過去の検査の前記一方の画像シーケンスが、前記対話型比較パネルを介して表示される、請求項6に記載の方法。
  8. 前記現在の検査及び前記過去の検査の前記他方の前記心エコー図ビューのどの画像シーケンスが前記選択された画像シーケンスに最も密接に一致するかを決定するステップは、前記心エコー図ビューにおける前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力するステップを含む、請求項1に記載の方法。
  9. 所定の値よりも大きい前記スコアを有する前記現在の検査及び前記過去の検査の前記他方の画像シーケンスが、前記対話型比較パネルを介して表示される、請求項8に記載の方法。
  10. 実行可能プログラムを記憶する非一時的コンピュータ可読記憶媒体と、
    プロセッサと、
    を含み、
    前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
    比較されるべき現在の心エコー検査及び過去の心エコー検査の各々からの画像シーケンスを受信させ、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含み、
    ユーザからの比較指示を受信させ、前記比較指示は、比較される状態又は解剖学的構造を含み、
    前記比較指示を示す前記現在の検査及び前記過去の検査の前記画像シーケンスの心エコー図ビューを決定させ、
    比較のために、前記現在の検査及び前記過去の検査の一方の前記心エコー図ビューの画像シーケンスを選択させ、
    対話型比較パネルを介して、前記現在の検査及び前記過去の検査の前記一方からの前記選択された画像シーケンスをユーザに表示させ、
    前記現在の検査及び前記過去の検査の他方の前記心エコー図ビューのどの画像シーケンスが、前記一方からの前記選択された画像シーケンスに最も密接に一致するかを決定させ、
    前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方からの前記画像シーケンスを表示させる、
    システム。
  11. 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
    前記選択された画像シーケンスに対応するユーザ入力を受信させる、
    請求項10に記載のシステム。
  12. 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
    前記選択された画像シーケンスと視覚的に比較するために、前記選択された画像シーケンスに最も密接に一致する前記他方の前記心エコー図ビューの画像シーケンスに対応するユーザ入力受信させる、
    請求項10に記載のシステム。
  13. 前記プロセッサは前記実行可能プログラムを実行して、前記プロセッサに、
    前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも1つを作成させる、請求項10に記載のシステム。
  14. 前記現在の検査及び前記過去の検査の前記他方の前記心エコー図ビューのどの画像シーケンスが、前記選択された画像シーケンスに最も密接に一致するかを決定することは、前記心エコー図ビューにおける前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力することを含む、請求項10に記載のシステム。
  15. プロセッサによって実行可能な命令のセットを含む非一時的コンピュータ可読記憶媒体であって、前記命令のセットは、前記プロセッサによって実行されると、前記プロセッサに、請求項1から9のいずれか一項に記載の方法の動作を行わせる、非一時的コンピュータ可読記憶媒体。
JP2021510371A 2018-08-28 2019-08-27 効率的なエコー図比較を支援するための高度なループ選択システム及び方法 Active JP7426990B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862723678P 2018-08-28 2018-08-28
US62/723,678 2018-08-28
PCT/EP2019/072757 WO2020043684A1 (en) 2018-08-28 2019-08-27 Advanced loop selection systems and methods for supporting efficient echo comparison

Publications (3)

Publication Number Publication Date
JP2021536608A JP2021536608A (ja) 2021-12-27
JPWO2020043684A5 JPWO2020043684A5 (ja) 2022-09-05
JP7426990B2 true JP7426990B2 (ja) 2024-02-02

Family

ID=67847686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021510371A Active JP7426990B2 (ja) 2018-08-28 2019-08-27 効率的なエコー図比較を支援するための高度なループ選択システム及び方法

Country Status (5)

Country Link
US (1) US11990226B2 (ja)
EP (1) EP3844770A1 (ja)
JP (1) JP7426990B2 (ja)
CN (1) CN112655050A (ja)
WO (1) WO2020043684A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006175219A (ja) 2004-11-26 2006-07-06 Toshiba Corp 超音波診断装置及びその制御方法
JP2010097476A (ja) 2008-10-17 2010-04-30 Toshiba Corp 画像検索装置及びその方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7458936B2 (en) 2003-03-12 2008-12-02 Siemens Medical Solutions Usa, Inc. System and method for performing probabilistic classification and decision support using multidimensional medical image databases
ATE438161T1 (de) * 2005-01-19 2009-08-15 Koninkl Philips Electronics Nv Bildverarbeitungssystem und verfahren zur anordnung von bildern
US7634121B2 (en) 2005-03-01 2009-12-15 General Electric Company Method and system for rule-based comparison study matching to customize a hanging protocol
US7747050B2 (en) * 2005-11-23 2010-06-29 General Electric Company System and method for linking current and previous images based on anatomy
WO2010029470A1 (en) * 2008-09-10 2010-03-18 Koninklijke Philips Electronics N.V. System and method for processing medical images
EP3242270B1 (en) * 2010-12-20 2021-03-03 Koninklijke Philips N.V. System and method for automatic generation of initial radiation treatment plans
US8891881B2 (en) 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
WO2014053986A2 (en) * 2012-10-01 2014-04-10 Koninklijke Philips N.V. Multi-study medical image navigation
US9542591B2 (en) * 2013-02-28 2017-01-10 Progyny, Inc. Apparatus, method, and system for automated, non-invasive cell activity tracking
JP6461909B2 (ja) * 2013-03-29 2019-01-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 放射線所見のコンテキスト駆動型概要ビュー
US9646389B2 (en) * 2014-08-26 2017-05-09 Qualcomm Incorporated Systems and methods for image scanning
US9842390B2 (en) 2015-02-06 2017-12-12 International Business Machines Corporation Automatic ground truth generation for medical image collections
US9786051B2 (en) * 2015-04-23 2017-10-10 Derrick K. Harper System combining automated searches of cloud-based radiologic images, accession number assignment, and interfacility peer review
JP6748199B2 (ja) 2015-10-02 2020-08-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 所見を関連する心エコー図ループにマッピングするためのシステム
US10667794B2 (en) 2016-10-17 2020-06-02 International Business Machines Corporation Automatic detection of disease from analysis of echocardiographer findings in echocardiogram videos
EP3545523B1 (en) * 2016-11-23 2023-10-18 Koninklijke Philips N.V. A closed-loop system for contextually-aware image-quality collection and feedback
KR101912570B1 (ko) * 2018-07-11 2018-10-26 전북대학교산학협력단 인공신경망을 이용한 물체 추적시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006175219A (ja) 2004-11-26 2006-07-06 Toshiba Corp 超音波診断装置及びその制御方法
JP2010097476A (ja) 2008-10-17 2010-04-30 Toshiba Corp 画像検索装置及びその方法

Also Published As

Publication number Publication date
EP3844770A1 (en) 2021-07-07
US20210216812A1 (en) 2021-07-15
US11990226B2 (en) 2024-05-21
CN112655050A (zh) 2021-04-13
WO2020043684A1 (en) 2020-03-05
JP2021536608A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
EP3982292A1 (en) Method for training image recognition model, and method and apparatus for image recognition
US7653227B2 (en) Hierarchical modeling in medical abnormality detection
AU2004316027B2 (en) Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US8422752B2 (en) Diagnosis assisting apparatus, diagnosis assisting method, and storage medium in which a diagnosis assisting program is recorded
US7693315B2 (en) Systems and methods for providing automated regional myocardial assessment for cardiac imaging
EP3117771B1 (en) Direct computation of image-derived biomarkers
CN112640000A (zh) 根据医学数据对预测性数字孪生体模型的数据驱动的估计
US20210142480A1 (en) Data processing method and apparatus
EP3786972A1 (en) Improving performance of machine learning models for automatic quantification of coronary artery disease
CN108492885A (zh) 检查工作流推荐方法、装置及终端
Wehbe et al. Deep learning for cardiovascular imaging: A review
Badano et al. Artificial intelligence and cardiovascular imaging: A win-win combination.
EP3896702A1 (en) Cardiovascular assessment of patients suspected of having covid-19
JP7426990B2 (ja) 効率的なエコー図比較を支援するための高度なループ選択システム及び方法
US11030490B2 (en) Performance of machine learning models for automatic quantification of coronary artery disease
CN115908330A (zh) 基于dsa影像的冠脉自动化选帧分类推荐方法及装置
US20240127432A1 (en) Image sequence analysis
JP7408381B2 (ja) 画像処理装置、プログラム及び方法
US20230196557A1 (en) Late Gadolinium Enhancement Analysis for Magnetic Resonance Imaging
Magyar et al. RVENet: A large echocardiographic dataset for the deep learning-based assessment of right ventricular function
US20230098121A1 (en) System and method for prognosis management based on medical information of patient
Colantonio et al. Decision Support and Image & Signal Analysis in Heart Failure
EP4246526A1 (en) System and method for providing enhancing or contrast agent advisability indicator
Ho et al. Deep Learning-Based Intravascular Ultrasound Images Segmentation in Coronary Artery Disease: A Start Developing the Cornerstone

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240123

R150 Certificate of patent or registration of utility model

Ref document number: 7426990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150