JP6925334B2 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP6925334B2
JP6925334B2 JP2018525457A JP2018525457A JP6925334B2 JP 6925334 B2 JP6925334 B2 JP 6925334B2 JP 2018525457 A JP2018525457 A JP 2018525457A JP 2018525457 A JP2018525457 A JP 2018525457A JP 6925334 B2 JP6925334 B2 JP 6925334B2
Authority
JP
Japan
Prior art keywords
data
patient
musculoskeletal
anatomical
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018525457A
Other languages
English (en)
Other versions
JP2018535763A (ja
Inventor
リチャード ヴィンセント,グレアム
リチャード ヴィンセント,グレアム
アントニー ボウズ,マイケル
アントニー ボウズ,マイケル
スーザ,ケヴィン デ
スーザ,ケヴィン デ
Original Assignee
マコー サージカル コーポレイション
マコー サージカル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マコー サージカル コーポレイション, マコー サージカル コーポレイション filed Critical マコー サージカル コーポレイション
Publication of JP2018535763A publication Critical patent/JP2018535763A/ja
Application granted granted Critical
Publication of JP6925334B2 publication Critical patent/JP6925334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/3094Designing or manufacturing processes
    • A61F2/30942Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/3094Designing or manufacturing processes
    • A61F2/30942Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • A61F2002/30948Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques using computerized tomography, i.e. CT scans

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Manufacturing & Machinery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transplantation (AREA)
  • Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Prostheses (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、筋骨格関節に関連する解剖学的データを生成するための方法及び装置に関する。
変形性関節症(Osteoarthritis)(“OA”)は、関節が経時的に(with time)退化し、関節の痛み及び運動性の困難を引き起こす変性関節疾患である。人口の高齢化とともに変形性関節症は一般的になっており、英国内で約800万人、米国内で約2700万人が変形性関節症を患っている。
OAの原因はよく理解されていないが、膝のような特定の関節における疾患発症の可能性に寄与する多くの要因が知られている。そのような要因は、高い肥満度指数、靭帯及び半月板に対する外傷性損傷、膝の外反配置、及び関節が日常活動で使用される方法を含む。
膝変形性関節症は、骨、軟骨、半月板、靭帯、嚢及び滑膜組織を含む、膝の組織の全てを巻き込む。個々の患者は、これらの組織のいくつか又は全てに損傷を有するかも知れず、特定の時点で、各々の患者の膝は、損傷組織の如何なる組み合わせも包含し得る。診断は、典型的には、骨変化(骨棘及び骨損傷)及び(関節でつなぐ骨の表面から軟骨が失われていることを示す)関節腔狭窄の放射線撮影スコアリングによるものである。骨棘は、膝の各骨の軟骨板の周りで成長し、同様に、経時的なそれらの進展において非構造化され且つ不規則であると通常は考えられ、診断は典型的には骨棘(osteophytes)の重度を考慮に入れる。
巻き込まれる組織の範囲が広いこと、及び疾患の可能性に寄与すると知られている様々な要因のために、OAは、各個人についての組織損傷の軌跡(trajectory)に関して異質であると広く考えられている。
Neogiら“Magnetic Resonance Imaging-Based Three-Dimensional Bone Shape of the Knee Predicts Onset of Knee Osteoarthritis”は、放射線撮影膝変形性関節症の発症を予測することが可能であるかどうかを調べ、三次元骨形状の特徴は、後の放射線撮影変形性関節症の発症を予測するために使用され得ると結論付けている。Neogiらの研究は、OAを有する集団とOAを有しない集団との間の差異を考慮し、全体としての二つの集団の間の骨形状の全体の特徴的な差異が変形性関節症の将来の進展の予測因子として使用され得るどうかを考慮する。
変形性関節症のための様々な医療介入及び外科的介入が存在する。例えば、現代の整形外科手術は、関節の定型の外科的修復を可能にし、時には関節形成術と呼ばれることもある。関節形成術は、より効果的に動作する関節を提供するために、現存している関節面及び骨を変更することによる関節の再形成を伴い得る。最近数十年において、人工補綴物(プロテーゼ)を用いた関節又は関節表面の外科的置換は、関節形成術の最も一般的かつ成功した形態であり、変形性関節症の一般的治療法となっている。特定の関節のための人工補綴物は、典型的に、関節の標準的な形状に基づく。患者の間での変動の理由のいくつかは、典型的に、患者に適合する(fit)ように選択され最も適切なサイズを有する、ある範囲のサイズにおいて利用可能な特定の関節のための人工補綴物によって提供される。米国特許出願公開第2008/058947号明細書もまた、女性患者の身体の解剖学的構造により近接して対応するように設計された遠位大腿膝人工補綴物のセットを記載している。
しかしながら、筋骨格関節のための医療介入及び外科的介入の提供における改善の必要性は、残っている。
米国特許出願公開第2008/058947号明細書
本発明の第一の態様によれば、筋骨格関節に関連する解剖学的データを生成するための、コンピュータ実施される方法であって、方法は:ある状態によって引き起こされる対象の筋骨格関節の経時変化を表す変動データを入力として受信するステップ;現時点における患者の対象の筋骨格関節を表す患者データを入力として受信するステップ;及び解剖学的データを生成するために、変動データ及び患者データを処理するステップであり、解剖学的データは、現時点と異なる所定の時点における患者の対象の筋骨格関節を示すデータを含む、ステップ、を含む方法が提供される。
上で述べられたように、肥満度指数、靭帯及び半月板に対する外傷性損傷、膝の外反配置、及び関節が日常活動で使用される方法を含む、個人間で有意に変動する多数の要因が、筋骨格関節の進展に寄与すると理解される。本発明者らは、驚くべきことに、状態の経時変化は特徴付けられることができ、特徴的な経時変動は、将来又は過去の状態における患者の対象の筋骨格関節の指標を提供する、患者の対象の筋骨格関節についての解剖学的データを生成するために使用されることができることが、可能であることを実現した。特に、本発明者らは、変形性関節症を有する患者の関節の形状に影響を及ぼす最も重要な要因は、個人間で有意に変動し得る他の要因よりもむしろ変形性関節症それ自体であり、集団に由来する一般的な特性変動(general characteristic variation)は、その集団のうちの特定の患者についての変動の正確な指標を提供し得ることを実現した。
解剖学的データは、医療介入を提供するために使用されてもよい。例えば、過去の状態における患者の対象の筋骨格関節の指標(indication)を決定することは、患者の関節自体に基づいてその患者に適合させられた外科的介入を可能にする。例えば、外科医を指導するため又は自動化された外科用器具を案内するために適した外科手術計画(surgical plan)が、解剖学的データに基づいて生成されてもよい。外科手術計画は、例えば、関節を非疾患状態に戻すために、外科手術手技(surgical procedure)によってどのように関節が修正されるべきかを示すデータを提供してもよい。代替的に、解剖学的データは、患者自身の関節であるが疾患の影響が除かれたものに基づいて、患者のためのカスタマイズされた人工補綴物を生成するために使用されてもよい。
解剖学的データは、追加的又は代替的に、薬剤の有効性の分析、理学療法(physiotherapy)又は状態を緩和するために使用され得る任意の他の医療介入のような非外科的介入のために使用されてもよい。その状態は、変形性関節症であってもよい。解剖学的データは、患者の対象の筋骨格関節のための人工補綴物の生成に適したデータを含んでもよい。
変動データは、状態によって引き起こされる対象の筋骨格関節の形状の経時変動(variation with time)の指標(indication)を含んでもよい。変動データは、患者以外の個人に関連するデータのトレーニングセットに関連してもよい。
患者の対象の筋骨格関節を表す患者データは、患者の対象の筋骨格関節の形状の表示を含んでもよい。
患者の対象の筋骨格関節の形状の表示は、対象の筋骨格関節のパラメーター表現(parameterisation)に基づいてもよい。方法は、患者から得られた画像データを受信すること;及びパラメーター表現を生成するために画像データを処理すること:によって、患者データを生成するステップ、を更に含んでもよい。
対象の筋骨格関節の形状の表示は、対象の筋骨格関節の形状の複数の主成分を含んでもよい。解剖学的データを生成するために、変動データ及び患者データを処理するステップは、変動データに基づいて患者データによって表示される形状を変動させること(varying)を含んでもよい。変動データはベクトルを含んでもよい。変動データに基づいて患者データによって表示される形状を変動させることは、パラメーター表現に対してベクトルを適用すること(applying)を含んでもよい。パラメーター表現に対してベクトルを適用することは:患者データと平均的な形状との間の関係を決定すること;及び、決定された関係に基づいて患者データによって表示される形状を変動させること、を含んでもよい。平均的な形状は、変形性関節症がないときに患者から得られる平均的な形状であってもよい。
対象の解剖学的領域は、股関節、及び膝関節から成る群から選択される身体の関節であってもよい。解剖学的データは、状態の影響が低減された対象の解剖学的領域の表示を含んでもよい。方法は、解剖学的データに基づいて患者のための人工補綴物を製作するステップ(manufacturing)を更に含んでもよい。方法は、変動データを生成するステップを更に含んでもよい。変動データを生成するステップは、複数の対象の筋骨格関節の平均経時変化(average change with time)を決定すること(determining)を含んでもよい。解剖学的データは、患者の対象の筋骨格関節のために医療介入を提供することに適したデータを含んでもよい。
本発明の第二の態様によれば、人工補綴物データ(prosthesis data)を生成するための方法であって、方法は:ある状態によって引き起こされる対象の解剖学的領域の変化を表す変動データを入力として受信するステップ;患者の対象の解剖学的領域を表す患者データを入力として受信するステップ;及び人工補綴物データを生成するために、変動データ及び患者データを処理するステップであり、人工補綴物データは患者の対象の解剖学的領域のための人工補綴物の生成に適している、ステップ、を含む方法が提供される。
本発明の複数の態様は、組み合わせられてもよい。例えば、第一の態様の文脈において上で記述された複数の特徴はまた、第二の実施形態の文脈において使用されてもよい。
本発明の複数の態様は、如何なる任意の便利な形態で実施されてもよい。例えば、本明細書において記述される方法を実行するためにコンピュータプログラムが提供されてもよい。そのようなコンピュータプログラムは、適切なコンピュータ可読媒体に保持されてもよく、この用語は、適切な有形の記憶装置(例えば、ディスク)を含む。本発明の複数の態様はまた、適切にプログラムされたコンピュータとして実施されてもよい。
本発明の複数の実施形態は、これから、添付の図面を参照して、単なる例として記述されるであろう。
患者の対象の骨格筋関節を示す解剖学的データを生成するためのシステムの模式図である。 図1の画像化装置のコンピュータを示す模式図である。 患者の対象の骨格筋関節を示す解剖学的データを生成するための処理を示す流れ図である。 図3の処理での使用に適した変動データを生成するためのシステムの模式図である。 図3の処理での使用に適した変動データを生成するための処理を示す流れ図である。 変形性関節症を有する及び変形性関節症を有しない、男性集団及び女性集団における大腿骨の形状の分布を示すサモンプロット(Sammon plot)である。 多数の個人の大腿骨の形状の変化を示すサモンプロットである。 患者の大腿骨の形状の、実際の変化及び予測された変化をグラフィカルに表示する。 患者の大腿骨の形状の、実際の変化及び予測された変化をグラフィカルに表示する。 患者の大腿骨の形状の、実際の変化及び予測された変化をグラフィカルに表示する。
図1を参照すると、コンピュータ1は、疾患状態(diseased state)にある患者の対象の筋骨格関節を含む対象の解剖学的領域に関連する患者データ2を受信するように構成されている。患者データ2は、対象の解剖学的領域の特徴が特定されている三次元画像データに基づいて生成される患者の対象の解剖学的領域のパラメーター表現に関連する。例えば、三次元画像データは、X線コンピュータ断層撮影画像データであってもよく、パラメーター表現は、患者データ2の主題である対象の解剖学的領域と同じ種類の対象の解剖学的領域の画像のトレーニングセットに基づいて作成されている、アクティブアピアランスモデル又はアクティブ形状モデルのような統計モデルを三次元画像データにフィッティングすることによって生成されてもよい。モデルは、トレーニング画像内の変動の如何なる統計モデルであってもよい。統計モデルは、例えば、画像のトレーニングセットを処理して、平均モデル(mean model)及びトレーニングセットのその平均モデルからのある範囲の変動を生成することによって生成されてもよい。パラメーター表現は、画像データ内に表示された対象の解剖学的領域の特徴を示し、従って、表示された対象の解剖学的領域の特徴を特定するために使用されることができる。一つの適切なモデルフィッティング技術は、国際特許出願公開第WO2011/098752号明細書に記載されており、その内容は参照により本明細書に取り込まれる。
コンピュータ1は、変動データ3を受信するように更に構成される。変動データ3は、以下で更に詳細に説明されるように、変形性関節症の存在下での対象の解剖学的領域の経時的な変動と関連し、変形性関節症を有する患者の対象の解剖学的領域の経時的な分析に基づいて生成されてもよい。本発明者らは、変形性関節症の存在下での対象の解剖学的領域の変化は典型的なパターンに従い、患者における対象の解剖学的区域(area)の変化を示す患者データの分析は、典型的にそうであるように、例えば患者における対象の解剖学的区域の変化を示すデータが利用可能でない場合に、患者について履歴の変化(historical change)の指標(indication)を生成するために使用されてもよく、或いは、対象の解剖学的区域の未来の変化を予測するために使用されてもよいことを実現した。
患者データ2は、解剖学的データ4を生成するために、変動データ3に基づいて処理される。解剖学的データ4は、患者データ2が患者から得られた時点と異なる所定の時点における対象の筋骨格関節の指標を提供し、その関節の以前の状態又は未来の状態であってもよい。解剖学的データは、例えば、そのモデルから、患者のためにカスタマイズされた対象の解剖学的領域のための人工補綴物が生成され得るモデルを提供する。
例えば、患者データ2は、変形性関節症によって影響を及ぼされている患者の膝の三次元画像データであってもよく、変動データ3は、変形性関節症を有する患者の膝の変動を示すデータであってもよく、解剖学的データ4は、変形性関節症の影響の少なくともいくらかがない状態における患者の膝を表示するか、又は変形性関節症の更なる影響を有する膝を表示する、患者の膝のモデルを提供してもよい。
解剖学的データは、医療介入を提供するために使用されてもよい。例えば、過去の状態における患者の対象の筋骨格関節の指標を決定することは、患者の関節自体に基づいてその患者に適合させられた外科的介入を可能にする。例えば、外科医を指導するため又は自動化された外科用器具を案内するために適した外科手術計画が、解剖学的データに基づいて生成されてもよい。外科手術計画は、例えば、関節を非疾患状態に戻すために、外科手術手技によってどのように関節が修正されるべきかを示すデータを提供してもよい。代替的に、解剖学的データは、患者自身の関節であるが疾患の影響が除かれたものに基づいて、患者のためのカスタマイズされた人工補綴物を生成するために使用されてもよい。
解剖学的データは、追加的又は代替的に、薬剤の有効性の分析、理学療法又は状態を緩和するために使用され得る任意の他の医療介入のような非外科的介入のために使用されてもよい。非外科的介入の有効性の分析は、例えば、介入なしでの関節の未来の状態を示す、予測された解剖学的データを生成すること、並びに、生成された解剖学的データを用いた医療介入に続いて関節のデータを比較して、その介入が予測された解剖学的データと異なる方法で関節を変化させるかどうかを決定することによって実行されてもよい。
図2は、更に詳細にコンピュータ1を示す。コンピュータは、ランダムアクセスメモリの形態をとる揮発性メモリ1bに保存された指令を読み出し、実行するように構成されたCPU1aを有することが理解され得る。揮発性メモリ1bは、CPU1aによる実行のための指令及びそれらの指令によって使用されるデータを保存する。例えば、使用中に、図1の変動データ3及び患者データ2は、揮発性メモリ1bに保存されてもよい。
コンピュータ1は、ハードディスクドライブ1cの形態の不揮発性記憶装置を更に有する。変動データ3及び患者データ2によって生成されたデータは、ハードディスクドライブ1cに保存されてもよい。コンピュータ1は、コンピュータ1と関係して使用される周辺装置が接続されるI/Oインターフェイス1dを更に有する。より具体的には、ディスプレイ1eは、コンピュータ1からの出力を表すように構成される。ディスプレイ1eは、例えば、患者データ2及び解剖学的データ4の表示を表してもよい。入力装置もI/Oインターフェイス1dに接続される。そのような入力装置は、コンピュータ1とのユーザ対話を可能にするキーボード1f及びマウス1gを含んでもよい。ネットワークインターフェイス1hは、他のコンピュータ装置から又は他のコンピュータ装置へのデータを受信及び送信するために、コンピュータ1が適切なコンピュータネットワークに接続されることを可能にする。CPU1a、揮発性メモリ1b、ハードディスクドライブ1c、I/Oインターフェイス1d及びネットワークインターフェイス1hは、バス1iによって一緒に接続される。
図3は、解剖学的データ4を生成するために実行される処理を示す。図3のステップS1において、患者データが受信される。上で示されたように、患者データは、疾患状態にある患者の対象の解剖学的領域のパラメーター表現に関連する。ステップS2において、変動データが受信される。変動データは、変形性関節症の存在下における、対象の解剖学的領域の経時的な変動に関連する。ステップS3において、患者データ及び変動データは、患者の対象の解剖学的領域に関連する解剖学的データを生成するために処理される。
変動データは、変形性関節症によって経時的に引き起こされる変化が、変動データによって示されるように患者の対象の解剖学的領域の形状を変動させることによってシミュレートされ得るように、変形性関節症の存在下での対象の解剖学的領域の経時的な変化がモデル化されることを可能にする。解剖学的データは、従って、変形性関節症の影響の不存在下の対象の解剖学的領域をモデル化するため、又は変形性関節症の更なる影響の存在下の対象の解剖学的領域をモデル化するために、使用されてもよい。解剖学的データは、従って、例えば、変形性関節症の影響が除かれた患者自身の解剖学的構造に基づく、対象の解剖学的領域のカスタマイズされた人工補綴物を生成することによって、医療介入を提供するために使用されてもよい。
上で示されたように、変動データは、変形性関節症の存在下における、経時的な対象の解剖学的領域の変動に関連する。変動データは、例えば、ある期間を超える変形性関節症を有する患者から得られた対象の解剖学的領域の画像のトレーニングセットの分析によって生成されてもよい。図4は、図3の処理での使用に適した変動データを生成するためのシステムの模式図を示す。図4に示されるように、コンピュータ5は、複数の患者に関連するデータを受信するように構成されており、そのうちの二人の患者に関連するデータ6,7が示されている。データ6,7に関連する患者の各々は、図3の処理を使用して人工補綴物データが生成されるべき患者に関連する、同じ疾患を有する。
データ6,7の各々は、ある期間にわたる複数の異なる時点における、それぞれの患者から得られる対象の解剖学的領域の複数の画像を含む。例えば、データ6は、10個の画像の各々が、変形性関節症の進展の間に10年間にわたって年の間隔で第一の患者から得られている、10個の画像を含んでもよく、データ7は、同じ間隔で第二の患者から得られた、対応する10個の画像を含んでもよい。コンピュータ5は、疾患の存在下における、経時的な対象の解剖学的区域の変動を示す変動データ8を生成するために、受信された患者データを処理する。変動データを生成するために受信された患者データを処理することは、これから図5を参照して記述されるであろう。
図5のステップS5において、患者データが受信される。上で示されたように、患者データは、各患者p(数式1)について、r個の画像ap1,...,aprを含み、
Figure 0006925334
ここで、各画像apiは、その間に患者が監視されかつその間に対象の解剖学的領域が変形性関節症の結果として変化する期間内のある時点iに関連している。患者pに関連するr個の画像の各セットは、従って、経時的な、患者pについての対象の解剖学的領域の変化の指標を提供する。ステップS6において、患者データの各画像は、画像化された対象の解剖学的領域の特徴を特定するためにパラメーターで表記される(parameterised)。パラメーター表現は、図3のステップS1における受信された患者データのパラメーター表現に対応する方法で実行される。
ステップS6において生成されるパラメーター表現は、対象の解剖学的領域の特徴の一般的なセットをベクトル空間の中にパラメーターで表記する。如何なる適切なパラメーター表現が使用されてもよいことが、明確に理解されるであろう。例えば、各パラメーター表現は、対象の解剖学的領域を記述し、解剖学的に対応させられる、すなわち各画像上の同じ解剖学的な場所にある、解剖学的3D点のセットの各々のx値、y値及びz値についてのパラメーターを有してもよい。代替的に、パラメーター表現は、主成分分析のような標準的な次元縮退法(standard dimensionality reduction methods)によって生成された、解剖学的3D点のセットの各々のx値、y値及びz値の低次元の表現であってもよい。いずれのパラメーター表現が使用されても、パラメーター表現は、解剖学的に対応させられる解剖学的データの実例(instance)、例えば図6のような骨の解剖学的構造(bony anatomy)の形状を提供する。
ステップS7において、カウンターiは値1に初期化され、ステップS8において、患者iについてのパラメーターで表記された患者データは、患者iの対象の解剖学的領域の経時的な変化を示すベクトルvを生成するために処理される。例えば、ベクトルvは、各画像に関連する時間に対してプロットされた各画像ap1,...,aprに関連するパラメーター表現の回帰分析を使用して生成されてもよい。例えば、各パラメーター表現は、解剖学的点のセットの各々の各x値、y値及びz値に関連する次元(dimension)、並びに時間に関連する更なる次元を有するベクトル空間内の点あってもよく、各患者の対象の解剖学的領域の変化を示すベクトルは、その患者についてのパラメーター表現を通した最良適合ベクトル(best fit vector)を含んでもよい。しかしながら、そのようなパラメーター表現は、典型的に多数の点を含むことが、明確に理解されるであろう。例えば、大腿骨の頭部の一つの典型的なパラメーター表現は、30000個の点のオーダーから構成され、そのため、パラメーター表現の各点についての次元を有するベクトルは、生成及び処理するために計算的に高価であり得る。そのため、各画像についてのパラメーター表現は、複数の主成分を決定するために主成分分析を使用して新たなパラメーター表現を形成するように処理されてもよく、ベクトルは、主成分の経時的な変化を示してもよい。主成分の典型的な数は70個であることが見出されており、そのため各患者についてのベクトルvは、70の次元を有するベクトルであってもよい。
変形性関節症が進展する方途を与えられて、ベクトルvに関連する方向は、集団(population)内で線形である時間方向における動きを提供することが見出されている。追加的に、形状空間におけるベクトルの方向は、集団から得られたデータから生成されたベクトルが個体(individual)の変動を有意義に(meaningfully)予測するために使用されることができる集団内で、十分な対応を有することが見出されている。
変形性関節症は、集団の大部分において予測可能な方途で進展するが、しかしながら、少数の集団、例えば膝における過剰な外反角(“ノック膝(knock-kneed)”)も線形的であるが、形状空間内の異なる方向に進行し、そのため変動データは、何人かの個人についてはその個人の所定の特性に基づいて選択されることが要求され得ることが、見出されている。そのため、いくつかの実施形態において、ある患者についてその患者の特性に基づいて変動データを選択するために前処理が実行され、変動データは可能な変動データのセットから選択され、変動データの各々は関連する特性を有する。例えば、ステップS5においてトレーニング画像が受信される各患者は、特質(property)又は複数の特質を変動データが使用されるべき患者と共有してもよい。このようにして、特定の患者についての解剖学的データの生成における使用のためにカスタマイズされた変動データが、生成され得る。
ステップS9において、カウンターの値iが患者の数sよりも小さいかどうかを決定するために、確認が実行される。もしiがsよりも小さいと決定されたならば、そのときはより多くの患者が処理されるために残っており、ステップS10においてカウンターiは増加させられ、ステップS8の処理が次の患者について繰り返される。もしステップS11において各患者pについてのデータが処理されていると決定されたならば、そのときはステップS11において、患者pについての平均的な変化を示す変動データvを生成するためにベクトルvが処理される。変動データvは、例えば、全ての患者にわたる平均的な変化を示すベクトルであってもよく、如何なる好都合な方法で、例えば複数のベクトルvに最良適合するベクトルを決定するための回帰分析を使用して生成されてもよい。
上で述べられたように、変形性関節症によって引き起こされる変化は、変動データによって示されるように患者の対象の解剖学的領域の形状を変動させることによってシミュレートされてもよい。ベクトルvは、変形性関節症の存在下における、経時的な対象の解剖学的領域の形状の平均的な変動の指標を提供する。驚くべきことに、ベクトルvによって示される平均的な変動は、患者の対象の解剖学的領域の形状の実際の変化と強い相関性を提供する解剖学的データを生成するために、患者データの形状に適用されてもよいことが見出された。骨関節炎を有する患者の集団は、患者が変形性関節症を発症する可能性があるかどうかを予測するために使用され得る特徴的な形状を有することが以前から示されているが、その特徴的な形状が集団から決定されることができ、続いて医学的介入において使用され得るデータを提供するために個々の患者に対して適用されることができるということの実現(realisation)は、驚くべき結果である。
図6は、Osteoarthritis Initiativeに参加した45−70歳のボランティアからの全9,437の膝の形状分布を示す。全ての膝は、上述された形状モデルを用いてフィッティングされ、パラメーターで表記された。その図面は、パラメーター表現を二次元に低減するサモンプロットであり、600の膝を残すように、形状空間に近かった形状を除去することによって表示目的のために間引かれた。図面は、OAを有する及びOAを有しない、男性及び女性についての95%信頼楕円を示している。OAの存在は、形状の変動性に有意に寄与し、変形性関節症の特徴的な形状を示すことが理解され得る。
図7は、変形性関節症を有する個人のセットの形状の変化のサモンプロットを示す。図7から理解され得るように、二次元における全ての個人の形状の変化は、高い対応を有し、全ての個人についての形状の変化は、概して同じ特徴的な方向に従うことを示している。
患者の対象の解剖学的領域に関連する現在のパラメーター表現Pから解剖学的データを生成するために、ベクトル(数2)は、新たなパラメーター表現P’を生成するためにパラメーター表現Pに適用されてもよい。
Figure 0006925334
ここで、(数3)は、変形性関節症の存在下での変動を示す単位ベクトルであり、スカラー値αはベクトルに沿った許容距離を制限する。ここで、αは多くの方法で推定されることができる。
Figure 0006925334
一つの実施形態において、Pを含み、(数3)に対して平行なパラメーター空間内の無限線Lを考慮する。Mを、非変形性関節症の平均形状のパラメーター表現のLの上への投影(projection)として定義する。Mは、Pと一貫する非変形性関節症の平均形状に最も近い形状を示し、変形性関節症の変動によって表される部分空間で許容される。そのとき、αの推定値は、MとPとの間のユークリッド距離によって制限される(すなわち、(数4))。
Figure 0006925334
一つの代替的な実施形態において、グラフィカルユーザーインターフェイスが、理想的な非変形性関節症の結果と実際的な外科的及び解剖学的な制約とを比較考量しなければならない外科医によって決定された、変化及びαを視覚化するために使用されてもよい。
ステップS11において生成された変動データvは、図1の変動データ3を提供し、解剖学的データを生成するために図3を参照して上で述べられたように処理されてもよい。上で述べられたように、解剖学的データは、患者から患者データが得られる時点とは異なる、ある時点の状態における対象の解剖学的領域の表示を提供し、また、そのモデルから、患者のためにカスタマイズされた対象の解剖学的領域のための人工補綴物が生成され得るモデルを提供する。人工補綴物データは、人工補綴物を生成するために如何なる好都合な方法で、例えば既知の三次元印刷技術を使用して処理されてもよい。
図8A乃至図8Cは、上述された方法を使用して大腿骨の形状の変化を予測する能力を示す。図8Aは、変形性関節症の如何なる影響も受ける前の個人の大腿骨を示し、図8Bは、8年後のその個人の大腿骨の実際の形状を示す。図8Bにおいて、暗い影の付いた区域は、図8Aに比較して骨性の物質(bony material)が増加した区域を示す。矢印によって示される区域は、変形性関節症によっても引き起こされる、図8Bに比較した収縮及び平坦化を含むと理解されることができる。図8Cは、図8Aの形状に基づくが、試料形状の集団に基づいて上述されたように生成された変動データを使用して修正されている、大腿骨の予測された形状を示す。図8Cの予測された形状は、図8Bの暗い影の付いた区域に密接に対応する、骨性の物質が増加した区域を示す暗い影の付いた区域を含むことが理解され得る。追加的に、図8Cの矢印は、同様に図8B内の収縮及び平坦化の区域に対応し、収縮及び平坦化を含む区域を示す。図8A乃至図8Cから理解され得るように、図8Cに示される、個人の母集団から生成される変動データを使用して個人について予測される形状変化は、図8Bに示されるような実際の形状変化に密接に一致する。
対象の解剖学的領域は、疾患によって影響を受ける如何なる筋骨格関節であってもよい。例えば、対象の解剖学的領域は、大腿骨、脛骨及び膝蓋骨を含む膝関節であってもよく、又は大腿骨及び骨盤の寛骨臼を含む股関節であってもよい。
上記では変化が変形性関節症によって引き起こされる説明されてきたが、上述の方法は、経時的な筋骨格関節の特徴的な変化を引き起こす他の疾患を有する患者について筋骨格関節を表す解剖学的データを生成するために使用されてもよいことが明確に理解されるであろう。
本発明の特定の実施形態が上述されているが、本発明の精神及び範囲から逸脱することなく、記述された実施形態に対する様々な変更が行われうることが明確に理解されるであろう。すなわち、記載された実施形態は、全ての点で例示的かつ非限定的であるとみなされるべきである。特に、特定の処理のために特定の形態が記載されている場合、そのような処理は、適切な出力データを提供するように構成された任意の適切な形態で実行されてもよいことが明確に理解されるであろう。

Claims (19)

  1. 筋骨格関節に関連する解剖学的データを生成するための、コンピュータ実施される方法であって、当該方法は、
    筋骨格関節疾患によって引き起こされる対象の筋骨格関節の経時変化を表す変動データを入力として受信するステップであり、前記変動データは、前記筋骨格関節疾患によって引き起こされる前記対象の筋骨格関節の形状の経時変動の指標を含む、ステップ
    現時点における患者の前記対象の筋骨格関節を表す患者データを入力として受信するステップであり、前記対象の筋骨格関節を表す患者データは、前記患者の前記対象の筋骨格関節の形状の表示を含む、ステップ、及び
    前記解剖学的データを生成するために、前記変動データ及び前記患者データを処理するステップであり、前記解剖学的データは、前記現時点と異なる所定の時点における前記患者の前記対象の筋骨格関節を示すデータを含む、ステップ、
    を含む、方法。
  2. 前記筋骨格関節疾患は、変形性関節症である、請求項1に記載の方法。
  3. 前記解剖学的データは、前記患者の前記対象の筋骨格関節のための人工補綴物の生成に適したデータを含む、請求項1又は請求項2に記載の方法。
  4. 前記変動データは、前記患者以外の個人に関連するデータのトレーニングセットに関連する、請求項1乃至3のいずれか一項に記載の方法。
  5. 前記患者の前記対象の筋骨格関節の形状の表示は、前記対象の筋骨格関節のパラメーター表現に基づく、請求項1乃至4のいずれか一項に記載の方法。
  6. 前記患者から得られた画像データを受信すること、及び
    前記パラメーター表現を生成するために前記画像データを処理すること、
    によって、前記患者データを生成するステップ、
    を更に含む、請求項に記載の方法。
  7. 前記対象の筋骨格関節の形状の表示は、前記対象の筋骨格関節の形状の複数の主成分を含む、請求項乃至のいずれか一項に記載の方法。
  8. 前記解剖学的データを生成するために、前記変動データ及び前記患者データを処理するステップは、前記変動データに基づいて前記患者データによって表示される形状を変動させることを含む、請求項乃至のいずれか一項に記載の方法。
  9. 前記変動データはベクトルを含み、前記変動データに基づいて前記患者データによって表示される形状を変動させることは、前記対象の筋骨格関節のパラメーター表現に対して前記ベクトルを適用することを含む、請求項に記載の方法。
  10. 前記対象の筋骨格関節のパラメーター表現に対して前記ベクトルを適用することは、
    前記患者データと平均的な形状との間の関係を決定すること、及び
    決定された関係に基づいて前記患者データによって表示される形状を変動させること、
    を含む、請求項に記載の方法。
  11. 対象の解剖学的領域は、股関節、及び膝関節から成る群から選択される身体の関節である、請求項1乃至10のいずれか一項に記載の方法。
  12. 前記解剖学的データは、前記筋骨格関節疾患の影響が低減された前記対象の解剖学的領域の表示を含む、請求項1乃至11のいずれか一項に記載の方法。
  13. 前記解剖学的データに基づいて前記患者のための人工補綴物を製作するステップを更に含む、請求項3に記載の方法。
  14. 前記変動データを生成するステップを更に含む、請求項1乃至13のいずれか一項に記載の方法。
  15. 前記変動データを生成するステップは、
    複数の対象の筋骨格関節の平均経時変化を決定すること、
    を含む、請求項14に記載の方法。
  16. 前記解剖学的データは、前記患者の前記対象の筋骨格関節のために医療介入を提供することに適したデータを含む、請求項1乃至15のいずれか一項に記載の方法。
  17. 請求項1乃至16のいずれか一項に記載の方法をコンピュータに実行させるように構成されたコンピュータ可読な指令を含む、コンピュータプログラム。
  18. 請求項17に記載のコンピュータプログラムを保持する、コンピュータ可読媒体。
  19. 筋骨格関節に関連する解剖学的データを生成するためのコンピュータ装置であって、
    プロセッサ可読な指令を保存するメモリ、及び
    前記メモリに保存された指令を読み取り実行するように構成されたプロセッサ、
    を有し、
    前記プロセッサ可読な指令は、請求項1乃至16のいずれか一項に記載の方法を実行するようにコンピュータを制御するように構成された指令を含む、
    コンピュータ装置。
JP2018525457A 2015-11-20 2016-11-16 画像処理方法 Active JP6925334B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1520467.0A GB2544531A (en) 2015-11-20 2015-11-20 Image processing method
GB1520467.0 2015-11-20
PCT/GB2016/053574 WO2017085478A1 (en) 2015-11-20 2016-11-16 Image processing method

Publications (2)

Publication Number Publication Date
JP2018535763A JP2018535763A (ja) 2018-12-06
JP6925334B2 true JP6925334B2 (ja) 2021-08-25

Family

ID=55133080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018525457A Active JP6925334B2 (ja) 2015-11-20 2016-11-16 画像処理方法

Country Status (8)

Country Link
US (1) US11621084B2 (ja)
EP (1) EP3377998B1 (ja)
JP (1) JP6925334B2 (ja)
KR (1) KR20180107086A (ja)
CN (1) CN108431899B (ja)
AU (1) AU2016356185B2 (ja)
GB (1) GB2544531A (ja)
WO (1) WO2017085478A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022523828A (ja) 2019-03-12 2022-04-26 マコ サージカル コーポレーション ロボット支援軟部組織評価のためのシステム及び方法
AU2020358717B2 (en) * 2019-10-02 2024-04-11 Encore Medical, Lp Dba Djo Surgical Systems and methods for reconstruction and characterization of physiologically healthy and physiologically defective anatomical structures to facilitate preoperative surgical planning
CN112287946B (zh) * 2020-09-23 2023-04-18 南方医科大学珠江医院 基于matlab的膝关节影像组学特征自动化提取方法
CN113362948B (zh) * 2021-05-25 2023-12-22 上海博灵机器人科技有限责任公司 一种检测感兴趣对象的肌肉健康状态的系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161080A (en) * 1997-11-17 2000-12-12 The Trustees Of Columbia University In The City Of New York Three dimensional multibody modeling of anatomical joints
US6862561B2 (en) * 2001-05-29 2005-03-01 Entelos, Inc. Method and apparatus for computer modeling a joint
US7555153B2 (en) * 2004-07-01 2009-06-30 Arthrovision Inc. Non-invasive joint evaluation
GB0503236D0 (en) * 2005-02-16 2005-03-23 Ccbr As Vertebral fracture quantification
EP1861821A2 (en) * 2005-03-24 2007-12-05 Image Metrics Limited Method and system for characterization of knee joint morphology
US8480679B2 (en) * 2008-04-29 2013-07-09 Otismed Corporation Generation of a computerized bone model representative of a pre-degenerated state and useable in the design and manufacture of arthroplasty devices
AU2009210884A1 (en) * 2008-02-04 2009-08-13 Auckland Uniservices Ltd. Integrated-model musculoskeletal therapies
EP2385792A1 (en) * 2008-08-12 2011-11-16 Wyeth Pharmaceuticals Inc. Morphometry of the human knee joint and prediction for ostearthritis
US8078440B2 (en) * 2008-09-19 2011-12-13 Smith & Nephew, Inc. Operatively tuning implants for increased performance
US20130131486A1 (en) * 2010-02-26 2013-05-23 Spontech Spine Intelligence Group Ag Computer program for spine mobility simulation and spine simulation method
CN103987342B (zh) * 2011-10-14 2016-05-04 康复米斯公司 用于关节置换中解剖结构差异的识别、评价、建模和修复的方法和系统
WO2014201441A1 (en) * 2013-06-14 2014-12-18 Osiris Biomed 3D, Llc Co-located scanning, printing and/or machining devices for medical constructs
EP3327601B1 (en) * 2014-01-27 2020-12-09 Materialise N.V. Prediction of shapes

Also Published As

Publication number Publication date
KR20180107086A (ko) 2018-10-01
EP3377998B1 (en) 2024-06-12
AU2016356185A1 (en) 2018-04-26
US20200126656A1 (en) 2020-04-23
CN108431899B (zh) 2022-05-17
AU2016356185B2 (en) 2022-03-17
JP2018535763A (ja) 2018-12-06
GB201520467D0 (en) 2016-01-06
CN108431899A (zh) 2018-08-21
WO2017085478A1 (en) 2017-05-26
US11621084B2 (en) 2023-04-04
EP3377998A1 (en) 2018-09-26
GB2544531A (en) 2017-05-24

Similar Documents

Publication Publication Date Title
CN107847275B (zh) 用于术前规划的用以定位软组织的系统和方法
Sarkalkan et al. Statistical shape and appearance models of bones
JP7481362B2 (ja) 自動化された欠損定量を有する手術計画立案システム
Viceconti et al. Automatic generation of accurate subject-specific bone finite element models to be used in clinical studies
CN113842211B (zh) 膝关节置换的三维术前规划系统及假体模型匹配方法
Anderson et al. Intra-articular contact stress distributions at the ankle throughout stance phase–patient-specific finite element analysis as a metric of degeneration propensity
JP6925334B2 (ja) 画像処理方法
US20150250552A1 (en) Advanced methods of modeling knee joint kinematics and designing surgical repair systems
US20160331463A1 (en) Method for generating a 3d reference computer model of at least one anatomical structure
US20170258598A1 (en) Advanced Methods of Modeling Knee Joint Kinematics and Designing Surgical Repair Systems
Cerveri et al. Automated method for computing the morphological and clinical parameters of the proximal femur using heuristic modeling techniques
Borghi et al. Spring assisted cranioplasty: a patient specific computational model
Lamecker et al. Statistical shape modeling of musculoskeletal structures and its applications
Arand et al. 3D statistical model of the pelvic ring–a CT‐based statistical evaluation of anatomical variation
KR20220106113A (ko) 수술 전 수술 플래닝을 용이하게 하기 위해 생리학적으로 건강하고 그리고 생리학적으로 결함이 있는 해부학적 구조의 재구성 및 특성화를 위한 시스템 및 방법
Morooka et al. A survey on statistical modeling and machine learning approaches to computer assisted medical intervention: Intraoperative anatomy modeling and optimization of interventional procedures
Gomes et al. Patient-specific modelling in orthopedics: from image to surgery
US20230404673A1 (en) Apparatus, system, and method for generating patient-specific implants and/or instrumentation for osteotomies
Rondon et al. Modal analysis for the assessment of cementless hip stem primary stability in preoperative THA planning
US20240268966A1 (en) Apparatus, system, and method for lapidus correction
Mayasari et al. Convolutional neural network for assisting accuracy of personalized clavicle bone implant designs.
Trajanovic et al. Personalized Medicine in Orthopedic—State of the Art
Hyun Design of real-time hip joint simulation
Ramm From Medical Images to Finite Element Models-Decision Support For Joint Replacement Surgery
Amarathunga Arachchige Automated fit assessment of intramedullary nail designs during insertion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210803

R150 Certificate of patent or registration of utility model

Ref document number: 6925334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250