JP6736832B2 - 解剖学的関節の損傷を示す意思決定支援材料を作成するためのシステムおよび方法 - Google Patents

解剖学的関節の損傷を示す意思決定支援材料を作成するためのシステムおよび方法 Download PDF

Info

Publication number
JP6736832B2
JP6736832B2 JP2018525771A JP2018525771A JP6736832B2 JP 6736832 B2 JP6736832 B2 JP 6736832B2 JP 2018525771 A JP2018525771 A JP 2018525771A JP 2018525771 A JP2018525771 A JP 2018525771A JP 6736832 B2 JP6736832 B2 JP 6736832B2
Authority
JP
Japan
Prior art keywords
anatomical joint
damage
processor
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018525771A
Other languages
English (en)
Other versions
JP2019505247A (ja
Inventor
リリーストレイル、リチャード
カールション、アンデルス
スパンバーグ、ジャネット
ベイク、ニーナ
Original Assignee
エピサーフ アイピー−マネジメント アクチエボラグ
エピサーフ アイピー−マネジメント アクチエボラグ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エピサーフ アイピー−マネジメント アクチエボラグ, エピサーフ アイピー−マネジメント アクチエボラグ filed Critical エピサーフ アイピー−マネジメント アクチエボラグ
Publication of JP2019505247A publication Critical patent/JP2019505247A/ja
Application granted granted Critical
Publication of JP6736832B2 publication Critical patent/JP6736832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/3094Designing or manufacturing processes
    • A61F2/30942Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/30756Cartilage endoprostheses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Transplantation (AREA)
  • Vascular Medicine (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)

Description

本開示は一般的に、患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料を作成するためのシステムおよび方法に関する。
解剖学的関節の損傷を判定するべく、現代の医学的慣行においては一般的に、撮像技法を使用して目的の解剖学的関節を描画し、更に医療専門家が、キャプチャされた画像データを解析し、損傷があるかどうか判定する。次に医療専門家が、画像データの解析から導かれた結論についての注釈を付ける。注釈は、診断および患者の適切な治療の決定のための意思決定支援材料として注釈およびキャプチャされた画像データを使用する外科または整形外科の医療従事者によって利用される。
しかしながら、このプロセスは、意思決定支援材料を提供する方式としては、あまり効率的ではない。なぜなら、現在の注釈のフォーマットで伝えることができるのは、医療専門家の知識に基づいて画像データを解析するときに医療専門家がこの手段で収集する情報のうちのごく一部だけだからである。従って、外科または整形外科の医療従事者が受け取る意思決定支援材料は、しばしば不十分である。
Pierre Dodin et al: "A fully automated system for quantification of knee bone marrow lesions using MRI and the osteoarthritis initiative cohort", Journal of Biomedical Graphics and Computing, 2013, Vol. 3, No. 1 , 20 November 2012は、自動化BML定量化方法を説明している。
WO2015/117663は、関節の表面の3次元画像表現が生成される、関節の関節面における軟骨修復のための手術キットを製造する方法を説明している。
[従来技術の問題]
「MRIおよび変形性関節症イニシアチブコホートを使用する、膝骨髄病変の定量化のための完全自動化システム」において説明されている方法は、骨髄病変、すなわち、海綿質骨における病変を検出するだけであり、軟骨下骨板の損傷さえ検出されない。この方法は、海綿質骨を除くすべてに関する包括的情報を提供しないので、軟骨の状態または関節の機能に関する明確な結論を導くことは不可能である。例えば、軟骨のみに問題がある場合、この論文において説明されている方法を使用して、これを検出することはできない。更に、BML検出のみを使用して、関節の損傷の程度を判断することは不可能である。従来の方法およびシステムのこれらの問題に対処することが必要である。
上記の問題は、患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料を作成するための、特許請求の範囲に記載のシステムによって対処され、作成された意思決定支援材料は、1または複数の損傷画像を含む。システムは、(1)解剖学的関節の少なくとも一部の一連の放射線画像を記憶媒体から受信すること、(2)上記の放射線画像に基づく画像セグメンテーション処理において上記3次元画像表現を生成することによって、または、上記3次元画像表現を記憶媒体から受信することによって、上記一連の放射線画像に基づく、解剖学的関節の少なくとも一部の3次元画像表現を取得すること、(3)画像解析を使用して、一連の放射線画像のうちの少なくとも1つおよび/または3次元画像表現において、少なくとも軟骨、腱および/または靱帯を含む、解剖学的関節の組織部分を識別すること、(4)解剖学的関節の少なくとも一部の一連の放射線画像のうちの少なくとも1つおよび/または3次元画像表現を解析することによって、解剖学的関節の損傷の判定すること、(5)解剖学的関節の少なくとも一部の取得された3次元画像表現において、解剖学的関節の損傷をマークすること、(6)意思決定支援材料を生成することであって、解剖学的関節の損傷は、意思決定支援材料の1または複数の損傷画像の少なくとも1つにおいてマークされ、損傷画像の少なくとも1つは、解剖学的関節の少なくとも一部の取得された3次元画像表現に基づいて生成される、ことを行うように構成されている記憶媒体およびプロセッサを備える。解剖学的関節の少なくとも一部の一連の放射線画像および/または3次元画像表現のうちの上記少なくとも1つの解析は、識別された組織部分を使用し、解剖学的関節の少なくとも1つの組織部分の輪郭の不規則形状を検出すること、ならびに/または、解剖学的関節の骨および/もしくは軟骨部分の中もしくは隣接する領域における明度が予め定められた値より高いまたは低いことを検出すること、ならびに/または、少なくとも1つの識別された組織部分を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較することから選択されることを含む。特許請求の範囲に記載のシステムは、軟骨およびその下の骨の損傷などの、関節または関節の一部の損傷の程度を明確に視覚化する意思決定支援材料を作成する。
一連の放射線画像は、解剖学的関節またはその一部の複数の異なる層の放射線スキャンの処理の間にキャプチャされ得て、この処理は、上記の放射線画像に基づく画像セグメンテーション処理において解剖学的関節またはその一部の3次元画像表現を生成するのに必要なすべての放射線画像データをキャプチャする。
プロセッサは、放射線画像における境界または輪郭などの高コントラスト領域を検出し、検出された境界または輪郭を予め定義されたテンプレートと比較することを通して、放射線画像における骨および/または軟骨などの構造を識別することによって、放射線画像における関節の骨部分および/または軟骨部分を識別するように構成され得る。
プロセッサは更に、または、代替的に、放射線画像および3次元画像表現を関連付け、その結果、一方の画像において付けられたマークが他方の画像における同一位置に現れるようにするように構成され得る。これにより、マーク処理が簡潔になる。
プロセッサは更に、または、代替的に、解剖学的関節の少なくとも一部の放射線画像および/または3次元画像表現からのデータに基づいて、予め定義された一組の治療から適切な治療を選択するように構成され得る。治療は、例えば、様々な寸法を有する予め定義された一組のインプラントから適切なインプラントを選択すること、または、場合によっては骨軟骨自家移植片プラグについて、適切なサイズ、ならびに/または、適切な摘出および/もしくはインプラント位置を含む、移植片の移植のための移植ガイドツールの提案を行うことであり得る。この場合、プロセッサは更に、1または複数の損傷画像の少なくとも1つにおいて、少なくとも1つの骨軟骨自家移植片プラグについて、選択されたインプラント、ならびに/または、適切な移植ガイドツール、ならびに/または、適切な摘出および/もしくはインプラント位置を視覚化するように構成され得る。
また、上記の問題は、患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料を作成するための、特許請求の範囲に記載の方法によって対処され、作成された意思決定支援材料は、1または複数の損傷画像を含む。方法は、(1)解剖学的関節の少なくとも一部の一連の放射線画像を受信する段階と、(2)上記放射線画像に基づく画像セグメンテーション処理において上記3次元画像表現を生成することによって、または、上記3次元画像表現を記憶媒体から受信することによって、上記一連の放射線画像に基づく、解剖学的関節の少なくとも一部の3次元画像表現を取得する段階と、(3)画像解析を使用して、一連の放射線画像の少なくとも1つにおいて、少なくとも軟骨、腱および/または靱帯を含む、解剖学的関節の組織部分を識別する段階と、(4)識別された組織部分を使用して、解剖学的関節の少なくとも一部の一連の放射線画像のうちの少なくとも1つおよび/または3次元画像表現を解析することによって、解剖学的関節の損傷を判定する段階であって、解析は、解剖学的関節の少なくとも1つの組織部分の輪郭の不規則形状を検出すること、および/または、解剖学的関節の骨および/または軟骨部分の中または隣接する領域における明度が、予め定められた値より高いまたは低いことを検出すること、および/または、少なくとも1つの識別された組織部分を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較することから選択される、段階と、(5)解剖学的関節の上記少なくとも一部の取得された3次元画像表現における解剖学的関節の損傷をマークする段階と、(6)意思決定支援材料を生成する段階であって、解剖学的関節の判定された損傷は、意思決定支援材料の1または複数の損傷画像の少なくとも1つにおいてマークされ、損傷画像の少なくとも1つは、解剖学的関節の少なくとも一部の取得された3次元画像表現に基づいて生成される、段階とを備える。特許請求の範囲に記載の方法は、関節または関節の一部の損傷の程度を明確に視覚化する意思決定支援材料を作成する。画像解析は、放射線画像における境界または輪郭などの高コントラスト領域を検出する段階、ならびに、検出された境界または輪郭を予め定義されたテンプレートと比較することを通して、放射線画像における骨および/または軟骨などの構造を識別する段階によって、放射線画像における関節の骨部分および/または軟骨部分を識別し得る。放射線画像および3次元画像表現は関連付けられ得て、その結果、一方の画像に付けられたマークが他方の画像における同一位置に現れる。これにより、マーク処理が簡潔になる。
方法は、解剖学的関節の少なくとも一部の放射線画像および/または3次元画像表現からのデータに基づいて、予め定義された一組の治療から適切な治療を選択する段階を更に備え得る。治療は、例えば、様々な寸法を有する予め定義された一組のインプラントから適切なインプラントを選択すること、または、場合によっては骨軟骨自家移植片プラグについての適切なサイズ、ならびに/または、適切な摘出および/もしくはインプラント位置を含む、骨軟骨自家移植片の移植のための移植ガイドツールの提案を行うことであり得る。この場合において、方法は、1または複数の損傷画像の少なくとも1つにおいて、少なくとも1つの骨軟骨自家移植片プラグについて、選択されたインプラントおよび/もしくは適切な移植ガイドツール、ならびに/または、適切な摘出および/もしくはインプラント位置を視覚化する段階を更に備え得る。
上記のシステムおよび方法において、画像セグメンテーション処理は、例えば、セグメンテーション処理制御パラメータの組に依存し得る。画像解析により、解剖学的関節の骨部分および軟骨部分の両方を識別した場合、骨部分および軟骨部分の両方の損傷が判定され得る。解剖学的関節は、膝であり得るが、足首、腰、爪先、肘、肩、指または手首などの別の関節でもあり得る。意思決定支援材料は、例えば、医療スタッフによって使用されるように適合され得る。意思決定支援材料は、判定された損傷の修復のための適切な治療についての推奨を含み得る。
また、上記の問題は、患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料によって対処され、意思決定支援材料は、上記の方法のいずれか1つの方法の段階によって生成される1または複数の損傷画像を含む。また、上記の問題は、プロセッサによって実行されるとき、上記の方法のいずれか1つを実行するようにプロセッサを制御する機械可読コードが記憶された非一時的機械可読媒体によって対処される。
本発明の範囲は、参照によって本章に組み込まれる特許請求の範囲によって定義される。当業者であれば、1または複数の実施形態の以下の詳細な説明を考慮することによって、本発明の複数の実施形態をより完全に理解し、それらの追加の利点を認識するであろう。最初に簡潔に説明される添付の図面のページを参照されたい。
本明細書において説明されている1または複数の実施形態に係る、解剖学的関節の少なくとも一部の損傷画像を作成するためのシステムの概略図を示す。
本明細書において説明されている1または複数の実施形態に係る、解剖学的関節の少なくとも一部の損傷画像を作成するための方法のフロー図である。
本明細書において説明されている1または複数の実施形態に係る、意思決定支援材料の例を損傷画像の形式で示す。解剖学的関節の損傷は、グラフィックを使用することによってマークされている。
本明細書において説明されている1または複数の実施形態に係る、解剖学的関節の少なくとも一部の損傷画像を作成するための方法のフロー図である。
本明細書において説明されている1または複数の実施形態に係る、意思決定支援材料の例を損傷レポートの形式で示す。損傷レポートは、複数の損傷画像を含み、解剖学的関節の損傷がマークされ、および/または、適切なインプラントの種類および配置が示される。
本明細書に説明されている1または複数の実施形態に係る、意思決定支援材料の例を、損傷画像の形式で示す。解剖学的関節の損傷は、注釈を使用してマークされている。
本明細書に説明されている1または複数の実施形態に係る、医療用画像データを取得する段階から、解剖学的関節の判定された損傷を修復するためのインプラントおよび/またはガイドツールを設計および製造する段階までを例示するフロー図であり、損傷にマークする段階と、損傷をマークした画像またはレポートを生成する段階とを含む。
本開示の実施形態およびその利点は、以下の詳細な説明を参照することによって、もっとも良く理解されるであろう。同様の参照番号は、1または複数の図において示されている同様の要素を識別するために使用されていることが理解されるべきである。
[はじめに]
本開示は一般的に、患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料を作成するためのシステムおよび方法に関する。より具体的には、本明細書において示されるシステムおよび方法の実施形態は、患者の解剖学的関節の少なくとも一部の1または複数の損傷画像を作成することによって、改善された意思決定支援材料を提供する。ここで、1または複数の損傷画像の少なくとも1つにおいて、関節または関節の一部の損傷がマークされている。換言すると、患者の関節の1または複数の視覚化が、その解剖学的逸脱の指示/マーク/視覚化と共に提供され、外科または整形外科の医療従事者が最適な治療方法を決定する上での意思決定支援、保険代理業者が顧客または潜在顧客に関する評価を行うための意思決定支援、損傷関節の状態について知りたい患者のための意思決定支援、または、描画された解剖学的関節の損傷について知ることに、例えば商業的もしくは学術的な関心を有する任意の他の人のための意思決定支援と成る。これは、従来のシステムおよび方法と比較して、大きな利点を提供する。なぜなら、医療用画像データから得られる遥かに多くの情報が、例えば、患者の治療について決定を下す人に伝わるからである。従って、医療専門家が画像データを解析するときに、医療専門家の知識に基づいて収集する情報のうちのごく一部のみが伝わるので、外科または整形外科の医療従事者が受け取る意思決定支援材料は全然十分でないという識別された問題が、本発明の複数の実施形態によって解決する。換言すると、本明細書において示される実施形態を使用すると、改善された意思決定支援材料が得られ、その結果、意思決定支援材料において解剖学的関節が描画されている患者の最適な治療について、より多くの情報に基づく決定を下すことができる。
いくつかの実施形態において、解剖学的関節は膝であるが、本明細書に示される方法およびシステムは、任意の適切な解剖学的関節、例えば、足首、腰、爪先、肘、肩、指または手首などの損傷画像を取得するために使用され得る。解剖学的関節全体の損傷を判定する必要はなく、しばしば、関節の一部のみ(膝関節の大腿骨部分など)が対象となる。
非限定的な例において、解剖学的関節は膝であり、判定された、損傷画像において指示/マーク/視覚化された損傷/解剖学的逸脱は、軟骨および/または骨軟骨の病変など、膝関節の大腿骨部分に関連する。別の非限定的な例において、解剖学的関節は足首であり、判定された、損傷画像において指示/マーク/視覚化された損傷/解剖学的逸脱は、距骨に関連する。
損傷画像は、解剖学的関節の生成された3Dモデルの2D表現からの画像データを含み得て、および/または、医療用デジタル画像および通信(DICOM)ファイル、もしくは、任意の他の適切な画像ファイルフォーマットから直接取得された2D画像データを含み得る。
3Dモデルは、例えば、解剖学的関節またはその一部の複数の異なる層の放射線画像をスキャンする処理の間にキャプチャされた一連の放射線画像に基づいて生成され得て、この処理は、上記の放射線画像に基づく画像セグメンテーション処理において解剖学的関節またはその一部の3D画像表現を生成するのに必要なすべての放射線画像データをキャプチャする。3Dモデルは、骨、軟骨および他の組織の損傷を視覚化するのに有利である。DICOMフォーマットまたは同等の画像ファイルフォーマットは、解剖学的関節の複数の異なる部分を視覚化するのに有利である。
例えば、3Dモデルは、骨、および、軟骨、腱および/もしくは靱帯などの組織、ならびに、大腿膝の骨および軟骨に関連する損傷、または、調査されている任意の他の関連する解剖学的関節の骨および軟骨を視覚化するために使用され得る。別の例において、DICOMフォーマットまたは同等の画像ファイルフォーマットは、大腿顆および滑車領域などの、膝の複数の異なる部分、または、足首の距骨などの、調査されている任意の他の関連する解剖学的関節の複数の異なる部分を視覚化するために使用され得る。
例えば、外科または整形外科の医療従事者が、正しい診断を下し、患者の最適な治療を決定することを容易にするべく、1または複数の損傷画像が、意思決定支援材料と成る損傷評価レポートに含まれ得る。1もしくは複数の損傷画像、または、1もしくは複数の損傷画像を含む損傷評価レポートは、何らかの診断を含まない。そうではなく、それらは、正しい診断を下すための、および/または、患者の最適な治療を決定するための意思決定支援と成る。1もしくは複数の損傷画像を含む意思決定支援材料、または、1もしくは複数の損傷画像を含む損傷評価レポートは、例えば、関節鏡検査前のツール、すなわち、関節鏡専門家が知ることを望み得ることの視覚的な理解を関節鏡検査の前に提供するために使用される、標準的な関節鏡検査のデジタル版として使用され得る。また、意思決定支援材料は、関節鏡検査の代替手段として使用され得る。なぜなら、この手段により、しばしば、患者に関節鏡検査を受けさせることなく、十分な情報を収集できるからである。この場合、意思決定支援材料は、関節形成、マイクロフラクチャーの骨軟骨柱移植などの生物学的治療、または、金属インプラントが必要かどうかなど、好ましい治療を計画するために使用され得る。
他の例において、他の種類の使用者が、意思決定支援材料を異なる目的のために受け取り、使用し得る。1または複数の損傷画像の形式、または、1または複数の損傷画像を含む損傷評価レポートの形式である意思決定支援材料は、異なる状況において、医療スタッフ、顧客もしくは潜在顧客を評価する保険代理業者、損傷関節の状態について知りたい患者、または、描画された解剖学的関節の損傷について知ることに、例えば商業的もしくは学術的な関心を有する任意の他の人の興味を引き得る。異なる実施形態において、損傷画像または損傷評価レポートは、印刷形式またはデジタル形式で表され得る。デジタル形式において、損傷画像、または、損傷評価レポートに含まれる1もしくは複数の損傷画像は、静的フォーマット、または、処理デバイスに接続された入力器を使用して制御信号を提供することによって、処理デバイスのディスプレイ上で損傷画像を閲覧している使用者が画像を操作することを可能にするフォーマットであり得る。入力器は、例えば、キーボード、コンピュータマウス、ボタン、タッチ機能、ジョイスティック、または、任意の他の適切な入力デバイスを含み得る。いくつかの実施形態において、意思決定支援材料は、骨および/または軟骨の判定された損傷についての適切なインプラントの推奨および/または位置指示を更に含み得る。この文脈において、適切なインプラントとは、判定された損傷に適合する種類および寸法である、従って、判定された損傷を修復するのに適切であるインプラントを意味する。そのような適切なインプラントは、損傷画像または損傷レポートにおいて更に視覚化され得る。
意思決定支援材料は、いくつかの実施形態において、少なくとも1つの骨軟骨自家移植片プラグについての、適切な移植ガイドツール、ならびに/または、適切な摘出および/もしくはインプラント位置を示す推奨を代わりに含み得る。適切な移植ガイドツール、ならびに/または、適切な摘出およびインプラント位置は、損傷画像または損傷レポートにおいて更に視覚化され得る。いくつかの実施形態において、意思決定支援材料は、それ自体では関節の損傷を構成しない解剖学的逸脱を更に示す。そのような解剖学的逸脱は、例えば、判定された損傷の治療の選択に影響し得る。非限定的な例として、深刻な骨棘の問題は、インプラントによっても状況が改善しないことがあり得るという他の問題を示し得る。
いくつかの実施形態において、プロセッサは、特許請求の範囲に記載された機能を連携して実行するいくつかの異なるプロセッサを含み得る。同様に、いくつかの実施形態において、記憶媒体は、特許請求の範囲に記載された機能を連携して実行する、いくつかの異なる記憶媒体を含み得る。
開示された解決法のシステムおよび方法の実施形態を、図面に関連してより詳細に示す。
[システムアーキテクチャ]
図1は、患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料を作成するシステム100の概略図を示し、意思決定支援材料は、1または複数の損傷画像を含む。実施形態によれば、システムは、画像データおよびパラメータを受信および記憶するように構成されている記憶媒体110を備える。いくつかの実施形態において、システム100は、図1における破線の矢印によって示されるように、イメージングシステム130と通信可能に連結される。イメージングシステム130は、例えば、X線画像、超音波画像、コンピュータ断層撮影(CT)画像、陽電子放射断層撮像(PET)を含む核医学画像、および、磁気共鳴断層撮影(MRI)画像などの放射線画像をキャプチャまたは生成するように構成され得る。記憶媒体110は、放射線画像および/または放射線画像データをイメージングシステム130から受信および記憶するように構成され得る。
システム100は、画像データに基づいて、解剖学的関節における損傷を判定するように、および、関節の判定された損傷がマークされた、または、他の手段で視覚化された、解剖学的関節またはその一部の損傷画像を作成し、損傷画像の観察者に損傷に気付かせるように構成されているプロセッサ120を更に備える。プロセッサ120は、例えば、汎用データプロセッサ、または、様々な処理動作を実行するための命令を実行可能な他の回路もしくは集積回路であり得る。
1または複数の実施形態において、プロセッサは、(1)解剖学的関節の少なくとも一部の一連の放射線画像を記憶媒体から受信し、(2)上記の放射線画像に基づく画像セグメンテーション処理で上記3次元画像表現を生成することによって、上記一連の放射線画像に基づく、解剖学的関節の少なくとも一部の3次元画像表現を取得し、および/または、生成された上記3次元画像表現を記憶媒体から受信し、(3)画像解析を使用して、一連の放射線画像のうちの少なくとも1つおよび/または3次元画像表現において、少なくとも軟骨、腱および/または靱帯を含む解剖学的関節の組織部分を識別し、(4)上記放射線画像、および/または、解剖学的関節もしくはその一部の3次元画像表現を解析することによって、解剖学的関節の損傷を判定するように構成されている。プロセッサ120は、識別された組織部分を使用し、以下の画像解析および処理動作の選択されたものを実行するように構成され得る。
‐解剖学的関節の少なくとも1つの組織部分の輪郭の不規則形状を検出する。
‐解剖学的関節の骨および/もしくは軟骨部分の中または隣接する領域における明度が、予め定められた値より高いもしくは低いことを検出する。および/または、
‐少なくとも1つの識別された組織部分において、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較する。
プロセッサ120は更に、解剖学的関節またはその一部の取得された3次元画像表現において解剖学的関節の損傷をマークし、意思決定支援材料の1または複数の損傷画像の少なくとも1つにおいて、解剖学的関節の判定された損傷がマークされた意思決定支援材料を生成するように構成され、損傷画像の少なくとも1つは、解剖学的関節またはその一部の取得された3次元画像表現に基づいて生成される。
いくつかの実施形態において、入力された放射線画像/医療用画像データにおいて描画された関節の骨および軟骨を識別および解析することは有利であり得る。なぜなら、その2つの組み合わせは、追加の情報を提供し得るからである。しかし、本明細書において説明されているすべての実施形態は、描画された関節の他の組織が識別および解析されたときも実行できる。
1または複数の実施形態において、プロセッサ120は、放射線画像における境界または輪郭などの高コントラスト領域を検出することにより、放射線画像における関節の骨部分および/または軟骨部分を識別するように構成され得る。プロセッサ120は更に、検出された境界または輪郭を比較することにより、および/または、明度レベルもしくはパターンを予め定義されたテンプレートと比較することにより、放射線画像における骨および/または軟骨などの構造を識別するように構成され得る。
上に開示されているように、1または複数の実施形態において、プロセッサ120は、画像解析および処理動作の選択されたものを実行することによって損傷があるかどうかを判定する段階において、解剖学的関節の骨および/または軟骨部分の中または隣接する領域における明度が予め定められた閾値より高いまたは低いことを検出するように構成され得る。解析された医療用画像データをキャプチャした撮像装置の設定に応じて、解析された画像は、例えば、皮質骨、流体/液体、軟骨、脂肪/骨髄、および、半月板などの物体を異なる明度レベルで表し得る。それは、例えば、流体が検出された場合、損傷の指示である。なぜなら、健康な関節には流体が無いはずだからである。軟骨における異常の隣に流体が検出された場合、これも損傷の指示であり得る。
解析された画像における複数の異なる明度レベルは、複数の異なる信号明度レベルに対応し、これらは典型的には、0から1の範囲のピクセル/ボクセル値によって、または、白色から黒色のグレースケール値として示される視覚表現で表され得る。ピクセル/ボクセル値が0から1の範囲である実施形態において、予め定められた閾値は、0から1の間の適切な値に設定され、または、換言すると、適切なグレースケール値に設定される。1または複数の実施形態において、プロセッサ120は更に、または代替的に、画像解析および処理動作の選択されたものを実行する段階において、解剖学的関節の少なくとも1つの組織部分の不規則形状を検出し、これが解剖学的関節の損傷を表しているかどうかを判定するように構成され得る。1または複数の実施形態において、プロセッサ120は更に、または代替的に、画像解析および処理動作の選択されたものを実行する段階において、損傷画像における識別された組織部分を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較するように構成され得る。いくつかの実施形態において、そのような判定は、輪郭の検出された不規則形状を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較すること、および/または、特定領域についての検出された明度を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較することを含み得る。1または複数の実施形態において、プロセッサ120は、意思決定支援材料の1または複数の損傷画像の少なくとも1つにおいて、解剖学的関節の判定された損傷をマーク、視覚化、または別の手段で示すように構成され得る。判定された損傷をマーク、視覚化、または示すべく、プロセッサ120は、判定された損傷に属すると識別されたピクセル/ボクセル上にあるか、それに関連するか、または、それを囲む、1または複数のピクセル/ボクセルのピクセル/ボクセル値を変更するように構成され得て、その結果、判定された損傷は、以下から選択されたものを実行することによって、視覚的に区別され、使用者/観察者にとって気付きやすくなる。
‐判定された損傷上に位置すると識別された1または複数のピクセル/ボクセルの輝度/明度値を変化させる。
‐判定された損傷上に位置すると識別された1または複数のピクセル/ボクセルの1または複数のクロミナンス/彩度を変化させる。
‐判定された損傷を囲んでいると識別された1または複数のピクセル/ボクセルの輝度/明度値を変化させる。
‐判定された損傷を囲んでいると識別された1または複数のピクセル/ボクセルの1または複数のクロミナンス/彩度を変化させる。および/または
‐判定された損傷上に位置する、または、それを囲んでいると識別された1または複数のピクセル/ボクセルに関連して、注釈、記号、または他の損傷指示を画像に追加する。
1または複数の実施形態において、プロセッサ120は、解剖学的関節またはその一部の取得された3次元画像表現における解剖学的関節の損傷をマークするように構成され得る。損傷をマークするべく、プロセッサ120は、判定された損傷に属すると識別されたボクセル上にあるか、それに関連するか、または、それを囲む、1または複数のボクセルのボクセル値を変更するように構成され得て、その結果、判定された損傷は、以下から選択されたものを実行することによって、視覚的に区別され、使用者/観察者にとって気付きやすくなる。
‐判定された損傷上に位置すると識別された1または複数のボクセルの輝度/明度値を変化させる。
‐判定された損傷上に位置すると識別された1または複数のボクセルの1または複数のクロミナンス/彩度を変化させる。
‐判定された損傷を囲んでいると識別された1または複数のボクセルの輝度/明度値を変化させる。
‐判定された損傷を囲んでいると識別された1または複数のボクセルの1または複数のクロミナンス/彩度を変化させる。および/または、
‐判定された損傷上に位置する、または、それを囲んでいると識別された1または複数のボクセルに関連して、注釈、記号、または他の損傷指示を画像に追加する。
1または複数の実施形態において、プロセッサは、一連の放射線画像および3次元(3D)画像表現を同期するか、または関連付け得て、その結果、一方の画像に付けられたマークが、他方の画像における同一位置にリアルタイムで現れるようにするように構成される。以降、同一位置は、描画された解剖学的関節上の同一位置、または、同一場所として解釈される。3D画像表現が放射線画像データに基づいて生成されるとき、放射線画像データの3D表現へのセグメンテーション中に、当技術分野において周知の方式で、2D放射線画像データと3D表現との間の同期または関連付けがプロセッサによって自動的に実行され得る。
一連の放射線画像は、例えば、解剖学的関節またはその一部の複数の異なる層の放射線画像をスキャンする処理の間にキャプチャされ得て、これにより、放射線画像に基づく画像セグメンテーション処理において解剖学的関節またはその一部の3次元画像表現を生成するのに必要なすべての放射線画像データをキャプチャする。いくつかの実施形態において、解剖学的関節の骨部分および軟骨部分の両方について、損傷が判定され得る。代替的に、骨部分のみの損傷、または、軟骨部分のみの損傷、または、他の組織部分の損傷が、適用に応じて判定され得る。いくつかの実施形態において、解剖学的関節は膝である。他の実施形態において、解剖学的関節は、足首、腰、爪先、肘、肩、指または手首など、画像データ解析を使用する損傷判定に適切な任意の他の解剖学的関節であり得る。
1または複数の実施形態において、プロセッサは、予め定義された一組の治療から、適切な治療を選択するように構成され得る。選択は、解剖学的関節またはその一部の放射線画像および/または3次元画像表現からのデータに基づき得る。
いくつかの実施形態において、プロセッサは、様々な寸法を有する予め定義された一組のインプラントから適切なインプラントを選択するように構成され得る。この文脈において、適切なインプラントとは、判定された損傷に適合する種類および寸法である、従って、判定された損傷を修復するのに適切であるインプラントを意味する。1または複数の実施形態において、プロセッサは、1または複数の損傷画像の少なくとも1つにおいて、選択されたインプラントを視覚化するように構成され得る。
いくつかの実施形態において、プロセッサは、骨軟骨自家移植片の移植のための移植ガイドツールを提案するように構成され得て、提案には、場合によっては、少なくとも1つの骨軟骨自家移植片プラグについての、適切なサイズ、ならびに/または、適切な摘出および/もしくはインプラント位置も含まれる。この文脈において、適切な摘出位置とは、判定された損傷を修復するために、適切な自家移植片プラグを患者から摘出できる位置を意味する。
いくつかの実施形態において、意思決定支援材料は、例えば、外科または整形外科の医療従事者などの医療スタッフによって使用されるように適合されている。従って、意思決定支援材料は、判定された損傷の少なくとも一部を修復するための適切な治療の推奨を含み得る。
代替的に、意思決定支援材料は、骨軟骨自家移植片の移植を用いて、判定された損傷の少なくとも一部を修復するための1または複数の移植ガイドツールの適切な設計についての推奨を含む。この場合、意思決定支援材料は、そのような骨軟骨自家移植片プラグについての適切な摘出部位についての推奨も含み得る。そのような適切な摘出部位および/または移植ガイドツールは更に、損傷画像または損傷レポートにおいて視覚化され得る。
いくつかの実施形態において、損傷画像は、顧客もしくは潜在顧客に関する評価を行う保険代理業者、損傷関節の状態について知りたい患者、または、描画された解剖学的関節の損傷について知ることに、例えば商業的もしくは学術的な関心を有する任意の他の人によって使用されるように適合されている意思決定支援材料の一部である。
意思決定支援材料は、印刷されたレポートの形式、または、例えばタブレットコンピュータもしくはスマートフォン上で閲覧されるように適合された1もしくは複数のコンピュータファイルの形式であり得る。意思決定支援材料が1または複数のコンピュータファイルの形式である場合、1または複数の損傷画像は、解剖学的関節またはその一部の通常の2D画像の形式、または、インタラクティブな3Dモデルの形式であり得る。
1または複数の実施形態において、システム100は任意で、例えば1または複数の損傷画像を含む損傷画像または損傷評価レポートの形式で、画像データを表示するように構成されているディスプレイ140を備え得る。ディスプレイ140は、プロセッサ120を介して、表示するための画像データを受信し、および/または、場合によっては、プロセッサ120、もしくは、以下で詳細に示されている入力器150によって受信された制御信号に応答して、表示するための画像データを記憶媒体110から直接的に読み出すように構成され得る。
いくつかの実施形態において、システム100は更に、ユーザ入力を受信するように構成されている1または複数の入力器150を任意で含み得る。入力器150は、典型的には、上記の受信されたユーザ入力に応答して、受信されたユーザ入力を解釈し、制御信号を生成するように構成されている。ディスプレイ140および入力器150は、システム100に内蔵されるか、接続されるか、または、通信可能に連結され得る。入力器150は、例えば、表示されている損傷画像、または、1または複数の損傷画像を含む、表示されている損傷評価レポートに関連して入力されている、受信されたユーザ入力を解釈するように、ならびに、上記の受信されたユーザ入力に応答して制御信号を生成し、画像の表示、または、表示されている画像データの一時的または永久的であり得る操作をトリガするように構成され得る。そのような操作は、例えば、注釈を提供すること、画像もしくは画像の一部を移動もしくは変化させること、表示の遠近感を変化させること、ズームインもしくはズームアウトすること、および/または、表示されている画像データを使用者が改善された方式で閲覧および解析することを可能にする任意の他の適切な形式の操作を含み得る。入力器150は、例えば、キーボード、コンピュータマウス、1もしくは複数のボタン、タッチ機能、ジョイスティック、および/または、任意の他の適切な入力デバイスから選択されたものを含み得る。いくつかの実施形態において、プロセッサ120は、制御信号を入力器150から受信するように、および、受信された制御信号に応答して、表示されている画像データを処理する、または換言すると、表示されている画像を操作するように構成され得る。プロセッサ120は更に、本明細書に示される実施形態のいずれかまたはすべての方法の段階を実行するように構成され得る。
[方法の実施形態]
図2は、患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料を作成するための方法の実施形態のフロー図であり、意思決定支援材料は1または複数の損傷画像を含む。1または複数の実施形態によれば、方法は以下の段階を備える。
段階210:患者の解剖学的関節の一連の放射線画像を受信する。
いくつかの実施形態において、解剖学的関節は膝である。他の実施形態において、解剖学的関節は、足首、腰、爪先、肘、肩、指または手首など、画像データ解析を使用する損傷判定に適切な任意の他の解剖学的関節であり得る。
段階220:上記の放射線画像に基づく画像セグメンテーション処理で上記3次元画像表現を生成することによって、または、上記3次元画像表現を記憶媒体から受信することによって、上記の一連の放射線画像に基づく解剖学的関節の3次元画像表現を取得する。
段階230:画像解析を使用して、一連の放射線画像の少なくとも1つにおいて、少なくとも軟骨、腱および/または靱帯を含む解剖学的関節の組織部分を識別する。
1または複数の実施形態において、画像解析は、放射線画像における境界または輪郭などの高コントラスト領域を検出する段階、更に、検出された境界または輪郭を予め定義されたテンプレートと比較することを通して、放射線画像における骨および/または軟骨などの構造を識別する段階によって、放射線画像における関節の骨部分および/または軟骨部分を識別する。
いくつかの実施形態において、解剖学的関節の骨部分および軟骨部分の両方について、損傷が判定され得る。
いくつかの実施形態において、入力された放射線画像/医療用画像データにおいて描画された関節の骨および軟骨を識別および解析することは有利であり得る。なぜなら、2つの組み合わせは、追加の情報を提供し得るからである。しかし、本明細書において説明されているすべての実施形態は、描画された関節の骨および軟骨である物体のうちの1つのみ、または、任意の他の組織部分が識別および解析されているときも実行できる。
段階240:解剖学的関節またはその一部の放射線画像および/または3次元画像表現を解析することによって、解剖学的関節の損傷を判定する。異なる実施形態において、段階230における解析は、以下の画像解析および画像処理動作のうちのいずれかまたはすべてから選択されたものを実行することを含み得る。
‐解剖学的関節の少なくとも1つの組織部分の輪郭の不規則形状を検出する、および/または、
‐解剖学的関節の骨および/または軟骨部分の中または隣接する領域における明度が、予め定められた値より高いまたは低いことを検出する、および/または、
‐少なくとも1つの識別された組織部分を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較する。
1または複数の実施形態において、方法の段階240は、解剖学的関節の骨および/または軟骨部分の中または隣接する領域における明度が、予め定められた閾値より高いまたは低いことを検出することを含み得る。解析された医療用画像データをキャプチャした撮像装置の設定に応じて、解析された画像は、例えば、皮質骨、液体、軟骨、脂肪/骨髄、および、半月板などの物体を異なる明度レベルで表し得る。 解析された画像における複数の異なる明度レベルは、複数の異なる信号明度レベルに対応し、これらは典型的には、0から1の範囲のピクセル/ボクセル値によって、または、白色から黒色のグレースケール値として示される視覚表現で表され得る。ピクセル/ボクセル値が0から1の範囲である実施形態において、予め定められた閾値は、0から1の間の適切な値に設定され、または、換言すると、適切なグレースケール値に設定される。
1または複数の実施形態において、方法の段階240は、更に、または代替的に、解剖学的関節の少なくとも1つの組織部分の輪郭の不規則形状を検出する段階と、これが解剖学的関節の損傷を表しているかどうかを判定する段階とを含み得る。1または複数の実施形態において、方法の段階240は、更に、または代替的に、損傷画像における識別された組織部分を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較する段階を含み得る。いくつかの実施形態において、そのような判定は、輪郭の検出された不規則形状を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較すること、および/または、特定領域についての検出された明度を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較することを含み得る。
段階250において、解剖学的関節またはその一部の取得された3次元画像表現における解剖学的関節の損傷をマークする。
段階260:意思決定支援材料を生成する。意思決定支援材料の1または複数の損傷画像の少なくとも1つにおいて解剖学的関節の損傷がマークされ、損傷画像の少なくとも1つは、解剖学的関節またはその一部の取得された3次元画像表現に基づいて生成される。いくつかの実施形態において、入力された放射線画像/医療用画像データにおいて描画された関節の骨および軟骨の両方を識別(段階230)および解析(段階240)することは有利であり得る。なぜなら、その2つの組み合わせは、追加の情報を提供し得るからである。しかし、本明細書において説明されているすべての実施形態は、描画された関節の骨もしくは軟骨である2つの物体のうちの1つのみ、または、任意の他の組織部分が識別および解析されているときも実行され得る。
1または複数の実施形態において、方法の段階250および260にマークすることは、解剖学的関節の判定された損傷をマーク、視覚化、または、別の手段で示すことを含む。判定された損傷をマーク、視覚化、または示すことは、判定された損傷に属すると識別されたピクセル/ボクセル上にあるか、それに関連するか、または、それを囲む、1または複数のピクセル/ボクセルのピクセル/ボクセル値を変更することを含み得て、その結果、判定された損傷は、視覚的に区別され、使用者/観察者にとって気付きやすくなる。判定された損傷に属すると識別されたピクセル/ボクセル上にあるか、それに関連するか、または、それを囲む1または複数のピクセル/ボクセルのピクセル/ボクセル値のそのような変更は、例えば、以下から選択されたものを含み得る。
‐判定された損傷上に位置すると識別された1または複数のピクセル/ボクセルの輝度/明度値を変化させる。
‐判定された損傷上に位置すると識別された1または複数のピクセル/ボクセルの1または複数のクロミナンス/彩度を変化させる。
‐判定された損傷を囲んでいると識別された1または複数のピクセル/ボクセルの輝度/明度値を変化させる。
‐判定された損傷を囲んでいると識別された1または複数のピクセル/ボクセルの1または複数のクロミナンス/彩度を変化させる。および/または、
‐判定された損傷上に位置する、または、それを囲んでいると識別された1または複数のピクセル/ボクセルに関連して、注釈、記号、または他の損傷指示を画像に追加する。
いくつかの実施形態において、放射線画像および3次元画像表現は、関連付けられ得るか、または、同期され得て、その結果、一方の画像に付けられたマークが他方の画像の同一位置に現れる。1または複数のそのような実施形態によれば、方法の段階250および260は、放射線画像および3次元画像表現を関連付ける、または、同期させる段階を含み得て、その結果、一方の画像に付けられるマークは、他方の画像における同一位置に現れる。
図3は、本明細書において説明されている1または複数の実施形態に従って、意思決定支援材料の例を損傷画像の形式で示し、解剖学的関節の損傷は、グラフィックを使用してマークされている。図3に示される非限定的な例において、損傷画像の形式の意思決定支援材料300は、解剖学的関節の2つの視覚表現310、330を示し、判定された損傷320、340は、判定された損傷上に位置する、および、それを囲んでいると識別された複数のピクセル/ボクセルの輝度/明度レベルおよび/またはクロミナンス/彩度を変化させることによってマーク/指示/視覚化される。当然、適用に応じて、および、意思決定支援材料を閲覧する人が判定された損傷を参照して解析することを可能にする明確なマーク、視覚化、または指示を何が提供するかに応じて、任意の輝度/明度の値および/またはクロミナンス/彩度が選択され得る。実施形態において、選択された輝度/明度値および/またはクロミナンス/彩度が、過去のピクセル/ボクセル値を置き換えることによって、または、アルファブレンド因子などのスケール因子を使用して、新しいピクセル/ボクセル値を古いピクセル/ボクセル値と混合することによって、ピクセル/ボクセルに割り当てられ得る。単一の判定された損傷は更に、各ピクセルが表す損傷の種類に応じて、割り当てられた複数の異なるピクセル/ボクセル値を使用して、マーク、視覚化または指示され得る。例として、損傷のマーク、視覚化または指示は、最大深度損傷(すなわち、骨に達する軟骨損傷)、部分深度損傷(変性した軟骨、再生した軟骨/瘢痕組織、または、変形した軟骨など)、骨髄病変(BML)、および、目立つ嚢胞についての複数の異なる新しいピクセル/ボクセル値を含み得る。
1もしくは複数の損傷画像、または、1もしくは複数の損傷画像を含む損傷レポートの形式である意思決定支援材料の例は更に、図5および6に関連して説明される。
図4は、損傷画像において関節の損傷がマークされた、解剖学的関節の損傷画像を作成するための1または複数の方法の実施形態、更に、判定された損傷を修復するための適切なインプラントの推奨を画像に含める任意の方法の段階のフロー図である。図4の段階210から260は、図2の同一段階に対応し、図4の方法の実施形態は更に、以下の追加の段階を含む。
段階470:解剖学的関節またはその一部の放射線画像および/または3次元画像表現からのデータに基づいて、様々な寸法を有する予め定義された一組のインプラントから適切なインプラントを選択する。
この文脈において、適切なインプラントとは、判定された損傷に適合する種類および寸法である、従って、判定された損傷を修復するのに適切であるインプラントを意味する。
段階480:1または複数の損傷画像の少なくとも1つにおいて、選択されたインプラントを視覚化する。いくつかの実施形態において、意思決定支援材料は、骨および/または軟骨の判定された損傷についての適切なインプラントの推奨および/または位置指示を更に含み得る。そのような適切なインプラントは、損傷画像または損傷レポートにおいて更に視覚化され得る。
損傷画像または損傷レポートにおいて、選択されたインプラントがどのように視覚化され得るかの例を図5に示す。これは、複数の損傷画像510、530、560、570を含む損傷レポートの形式で意思決定支援材料500の例を示す。ここで、本明細書において説明される1または複数の実施形態に従って、解剖学的関節の損傷520、540がマークされ、および/または、適切なインプラント550、580の種類および配置が示される。
1または複数の実施形態において、意思決定支援材料は、例えば、外科または整形外科の医療従事者などの医療スタッフによって使用されるように適合されている。1または複数の実施形態において、意思決定支援材料は、例えば、外科または整形外科の医療従事者などの医療スタッフによって使用されるように適合され、更に、図3に関連して説明される実施形態のいずれかに従って、適切なインプラントのための推奨を含む。
いくつかの実施形態において、意思決定支援材料は、顧客または潜在顧客に関する評価を行う保険代理業者、損傷関節の状態について知りたい患者、または、描画された解剖学的関節の損傷について知ることに、例えば商業的もしくは学術的な関心を有する任意の他の人によって使用されるように適合されている。
いくつかの実施形態において、意思決定支援材料は、患者の解剖学的関節の少なくとも一部の3D視覚化または3Dモデルを表す2Dまたは3D画像、関節の損傷の視覚的マーク/指示、および、解剖学的逸脱の注釈/文書化された評価を含む。図6は、2つの損傷画像600、610を含む意思決定支援材料の一部の例を示し、損傷画像600、610において描画される解剖学的関節の損傷は、本明細書に説明されている1または複数の実施形態に従って、注釈620を使用してマーク/指示/視覚化されている。図6の非限定的な例において、描画された解剖学的関節は膝であり、注釈620は、患者の膝蓋骨に病変があることを示している。1または複数の実施形態において、図2または4の方法は、任意で、1または複数の損傷画像、または、1または複数の損傷画像を含む損傷評価レポートの形式、例えば、グラフィカルユーザインタフェース(GUI)で意思決定支援材料の視覚表現を表示する段階を備え得る。図3、5および6の非限定的な例に示されるように、GUIで示される視覚表現は、例えば、図3の損傷画像300のような、解剖学的関節の損傷がマーク/視覚化/指示された、1または複数の損傷画像、または、図5の損傷レポート500のような、推奨されるインプラントまたはガイドツールの正しい位置を示す、関節の2D表現および3D表現と共に損傷画像を含む損傷レポート、および/または、図6における、重要な医学的情報を示すために医学的画像600および610に追加された注釈620のような、注釈の追加が有効化された医療用画像データを含み得る。 方法は、これらの実施形態のいずれかにおいて、表示するための画像データを受信する段階、および/または、制御信号を受信し、制御信号に応答して、表示するための画像データを読み出す段階を備え得る。1または複数の実施形態において、表示されている損傷評価レポートまたは意思決定支援材料の損傷画像または別の部分は、ディスプレイ、または、ディスプレイを含むシステムに内蔵、接続、または通信可能に連結された1または複数の入力器を使用者が使用することによって操作され得る。これらの実施形態によれば、図2または4の方法は更に、任意で、ユーザ入力を入力器から受信する段階と、受信されたユーザ入力を解釈する段階と、受信されたユーザ入力に応答して、1または複数の制御信号を生成する段階とを含み得る。受信されたユーザ入力は、表示された損傷画像、または、1または複数の損傷画像を含む表示された損傷評価レポートに関連し得て、上記の受信されたユーザ入力に応答して、表示されているものを一時的または永久的に操作するための制御信号を生成し得る。操作は、例えば、注釈を提供すること、画像もしくは画像の一部を移動もしくは変化させること、表示の遠近感を変化させること、ズームインもしくはズームアウトすること、および/または、表示されている画像データを使用者が改善された方式で閲覧および解析することを可能にする任意の他の適切な形式の操作を含み得る。いくつかの実施形態において、図2または4の方法は、入力器から制御信号を受信する段階と、制御信号に応答して、表示されている画像データを処理する、または、換言すると、表示画像を操作する段階とを備え得る。
上記の開示は、開示されている厳密な形式、または、特定の使用分野に本発明を限定することを意図するものではない。本明細書において明示的に説明されるか、または、示唆されるかに関わらず、本開示を考慮して、様々な代替的な実施形態および/または本発明への修正が可能であると考えられる。従って、本発明の範囲は、特許請求の範囲のみによって定義される。
[使用事例の実施形態]
本明細書で開示される方法およびシステムを、より大きい文脈に置くと、開示される実施形態のいずれかに係る、損傷のマーク付け、ならびに、1または複数の損傷画像および/または損傷レポートの生成は、使用事例の実施形態において、解剖学的関節またはその一部を表す医療用画像データのキャプチャおよび/または取得の後に起き得て、更に、任意の判定された損傷を修復することを考慮して実行される措置の前に起き得る。図7は、そのようなより大きい文脈の1つを例示するフロー図であり、本明細書において説明される1または複数の実施形態に従って、画像元から医療用画像データを取得する段階と、描画された解剖学的関節の損傷を判定する段階と、損傷画像または損傷レポートを生成する段階とを含む。図7は更に、解剖学的関節において判定された損傷を修復するのに適切なインプラントおよび/またはガイドツールを設計および製造する段階を含む。図7において、入力である医療用画像データ730を使用し、出力である決定支援材料740を生じさせる、段階740における損傷の判定、損傷のマーク、および、意思決定支援材料の生成を除くすべては、それらが文脈を提供するためだけに図に示された任意の段階であり、本明細書に示される実施形態のいずれにとっても必須ではないことを明確化するべく、破線でマークされている。特に、診断/治療の決定、インプラント/ガイドツールの設計および製造に関連する段階770および780は、本明細書に示される実施形態の一部ではない。
図7に示される例によれば、医療用画像データ730は、段階700において、放射線イメージングシステムからの放射線画像データの形式で取得され得る。取得された放射線画像データは、例えば、X線画像、超音波画像、コンピュータ断層撮影(CT)画像、陽電子放射断層撮像(PET)を含む核医学画像、磁気共鳴断層撮影(MRI)画像など、様々な撮像技法のうちの1または複数を使用して生成され得る。放射線画像データは、例えば、解剖学的関節またはその一部の複数の異なる層の放射線画像をスキャンする処理の間にキャプチャされ得て、これにより、放射線画像データに基づく画像セグメンテーション処理において解剖学的関節またはその一部の3次元画像表現を生成するのに必要なすべての放射線画像データをキャプチャする。段階400において取得された画像データは、セグメンテーションおよび3D変調を実行して、キャプチャされた画像データにおいて描画されているものの3D表現を取得することによって、段階710において更に処理され得る。例えば、キャプチャされた画像データが解剖学的関節を描画する場合、3D表現は、解剖学的関節の3D表現であろう。また、医療用画像データは、段階720において、2D画像データを提供する異なる種類の画像元から取得され得る。3D画像データおよび2D画像データの両方は、同一オブジェクト、すなわち、損傷を判定するための対象となる解剖学的関節を描画する。従って、本明細書において説明されるような医療用画像データ730は、複数の異なるイメージングシステムを使用して取得された解剖学的関節を表す3D画像データおよび/または2D画像データを含み得る。画像データは、解剖学的関節の一部のみを表し得る。
医療用画像データ730が3Dおよび2D画像データを両方含む実施形態において、3Dおよび2D画像データは、単一の視覚表現に組み合わされ得るか、または、別個の視覚表現であり得る。実施形態において、別個の視覚表現は、関連付けられ得るか、または、同期され得て、その結果、3D視覚表現において描画されるオブジェクト上の位置は、2D視覚表現における同一オブジェクト上の同一位置に関連付けられる。それにより、3D視覚表現において、判定された損傷のマーク付けが行われる場合、2D表現における描画された解剖学的関節上の同一位置に現れ、その逆も成立する。当然、3Dおよび2D視覚表現が関連付けられるか、または、同期されると、同一のことが、例えば、描画された関節の位置に関連して配置される注釈、または、3Dもしくは2D視覚表現に対して行われる任意の修正に適用されるであろう。
段階740において、方法およびシステムの説明に関連して本明細書において示される実施形態のいずれかに従って、損傷の判定、入力である医療用画像データにおける損傷のマーク付け730、および、出力である決定支援材料の生成750が実行される。意思決定支援材料750は、本明細書において説明されている実施形態によれば、1または複数の損傷画像の形式であり得て、描画された解剖学的関節の判定された損傷は、マークされるか、または、1もしくは複数のそのような画像を含むレポートの形式で示される。意思決定支援材料750は任意で、本明細書に説明されている実施形態に従って、判定された損傷を修復するために使用され得る、1または複数の適切なインプラントおよび/またはガイドツールの指示を含み得る。この文脈において、適切なインプラントおよび/またはガイドツールとは、判定された損傷に適合する種類および寸法である、従って、判定された損傷を修復するのに適切であるインプラントおよび/またはガイドツールを意味する。1または複数の適切なインプラントおよび/またはガイドツールが、任意の段階760において選択され得て、意思決定支援材料750のマークされた医療用画像データの3Dおよび/または2D視覚表現に関連して、例えば、判定された損傷を修復するためにインプラントおよび/またはガイドツールが最適に挿入されるはずである位置において、視覚的に示され得る。代替的に、1または複数の適切なインプラントおよび/またはガイドツールは、任意の段階470において選択され得て、例えば、グラフィカル表示および/またはテキストの注釈として、3Dおよび/または2D視覚表現とは別に示され得る。使用事例の実施形態において、医療従事者、例えば、外科または整形外科の医療従事者は、生成された意思決定支援材料750を使用して、正しい診断を行い、解剖学的関節が描画された患者の最適な治療の決定770を下し得る。インプラントが必要であると医療従事者が決定した場合、これは、場合によっては、判定された損傷を修復するための、本明細書において説明されるような意思決定支援材料において提供され得る指示に従って、適切なインプラントおよび/またはガイドツールを設計および製造する段階780に続き得る。
別の使用事例の実施形態において、意思決定支援材料750を使用する人物は、描画された解剖学的関節の任意の損傷について知ることに関心を有する、医療従事者以外の人物、例えば、顧客または潜在顧客を評価する保険代理業者、損傷関節の状態について知りたい患者、または、描画された解剖学的関節の任意の損傷について知ることに例えば商業的または学術的な関心を有する任意の他の人物であり得る。
[更なる実施形態]
適用可能である場合、本開示によって提供される様々な実施形態は、ハードウェア、ソフトウェア、または、ハードウェアおよびソフトウェアの組み合わせを使用して実装できる。また、適用可能である場合、本開示の特許請求の範囲を逸脱することなく、本明細書において説明されている様々なハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを組み合わせて、ソフトウェア、ハードウェア、および/または両方を含む複合コンポーネントにすることができる。適用可能である場合、本開示の特許請求の範囲を逸脱することなく、本明細書において説明されている様々なハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを分割して、ソフトウェア、ハードウェア、または両方を含む複数のサブコンポーネントにすることができる。加えて、適用可能である場合、ソフトウェアコンポーネントをハードウェアコンポーネントとして実装でき、その逆も成立することが考えられる。本明細書において説明されている1または複数の実施形態の方法の段階は、任意の適切な処理ユニットによって自動的に実行され得るか、または、1もしくは複数の段階が手動で実行され得る。適用可能である場合、本明細書において説明されている様々な段階の順序は、変更でき、複合的段階に組み合わせることができ、および/または、サブ段階に分割でき、それにより、本明細書において説明されている特徴を提供する。
プログラムコードおよび/またはデータなどの、本開示に係るソフトウェアは、1または複数の機械可読媒体に非一時的な形式で記憶することができる。また、本明細書において特定されたソフトウェアは、ネットワークに接続された、または、接続されていない、1または複数の汎用または専用コンピュータおよび/またはコンピュータシステムを使用して実装され得ることが考えられる。実施形態において、プロセッサにおいて実行されるとき、本明細書に説明されている方法の段階のいずれかまたはすべてを実行するように構成されているコンピュータ可読コードを含むコンピュータプログラム製品が提供される。いくつかの実施形態において、プロセッサにおいて実行されるとき、本明細書において説明されている方法の段階のいずれかまたはすべてを実行するように構成されているコンピュータ可読およびコンピュータ実行可能コードが記憶される非一時的コンピュータ可読メモリが提供される。1または複数の実施形態において、プロセッサによって実行されるとき、本明細書に示される方法の実施形態のいずれかまたはすべての方法を実行するようにプロセッサを制御する機械可読コードが記憶される非一時的機械可読媒体が提供される。

Claims (24)

  1. 患者の解剖学的関節の少なくとも一部の損傷を視覚化する意思決定支援材料を作成するためのシステムであって、作成された前記意思決定支援材料は、1または複数の損傷画像を含み、前記システムは、記憶媒体およびプロセッサを備え、前記プロセッサは、
    1.前記記憶媒体から、前記解剖学的関節の前記少なくとも一部の一連の放射線画像を受信すること、
    2.前記一連の放射線画像に基づく画像セグメンテーション処理において3次元画像表現を生成することによって、または、前記3次元画像表現を記憶媒体から受信することによって、前記一連の放射線画像に基づく、前記解剖学的関節の前記少なくとも一部の前記3次元画像表現を取得すること、
    3.画像解析を使用して、前記一連の放射線画像の少なくとも1つおよび/または前記3次元画像表現において、少なくとも軟骨、腱および/または靱帯を含む、前記解剖学的関節の組織部分を識別すること、
    4.識別された前記組織部分を使用して、前記解剖学的関節における識別された前記組織部分の前記少なくとも一部の前記一連の放射線画像の前記少なくとも1つおよび/または前記3次元画像表現を解析することによって、前記解剖学的関節の損傷を判定することであって、前記解析は、前記解剖学的関節の少なくとも1つの組織部分の輪郭の不規則形状を検出すること、
    および/または、前記解剖学的関節の骨および/または軟骨部分の中または隣接する領域における明度が、予め定められた値より高いまたは低いことを検出すること、
    および/または、少なくとも1つの識別された組織部分を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較すること
    から選択されるものを含む、こと、
    5.前記解剖学的関節の取得された前記3次元画像表現における前記解剖学的関節の損傷をマークすること、
    6.意思決定支援材料を生成することであって、前記解剖学的関節の前記少なくとも一部の判定された前記損傷は、前記意思決定支援材料の前記1または複数の損傷画像の少なくとも1つにおいて視覚化され、前記1または複数の損傷画像の少なくとも1つは、前記解剖学的関節の前記少なくとも一部のインタラクティブな3Dモデルの形式である、こと
    を行うシステム。
  2. 前記プロセッサは、前記放射線画像における境界または輪郭などの高コントラスト領域を検出し、検出された前記境界または輪郭を予め定義されたテンプレートと比較することを通して、前記放射線画像における骨および/または軟骨などの構造を識別することによって、前記少なくとも1つの放射線画像における前記解剖学的関節の骨部分および/または軟骨部分を識別するように構成されている、請求項1に記載のシステム。
  3. 前記プロセッサは更に、前記放射線画像および前記3次元画像表現を関連付け、一方の画像において付けられたマークが他方の画像における同一位置に現れるようにする、請求項1または2に記載のシステム。
  4. 前記3次元画像表現は、セグメンテーション処理制御パラメータの組に依存する画像セグメンテーション処理において生成される、請求項1から3のいずれか一項に記載のシステム。
  5. 前記画像解析により、前記解剖学的関節または前記解剖学的関節の一部の骨部分および軟骨部分の両方を識別し、前記骨部分および前記軟骨部分の両方の損傷が判定される、請求項1から4のいずれか一項に記載のシステム。
  6. 前記解剖学的関節は、膝または足首である、請求項1から5のいずれか一項に記載のシステム。
  7. 前記プロセッサは更に、前記解剖学的関節の前記少なくとも一部の前記放射線画像および/または前記3次元画像表現からのデータに基づいて、予め定義された一組の治療から適切な治療を選択する、請求項1から6のいずれか一項に記載のシステム。
  8. 前記プロセッサは、様々な寸法を有する予め定義された一組のインプラントから適切なインプラントを選択し、および/または、少なくとも1つの骨軟骨自家移植片プラグについての適切なサイズおよび/または適切な摘出および/またはインプラント位置を含む、骨軟骨自家移植片の移植のための移植ガイドツールの提案を行う、請求項7に記載のシステム。
  9. 前記プロセッサは更に、前記1または複数の損傷画像の少なくとも1つにおいて、少なくとも1つの骨軟骨自家移植片プラグについての、選択された前記インプラントおよび/または前記移植ガイドツール、ならびに/または、適切な前記摘出および/もしくはインプラント位置を視覚化する、請求項8に記載のシステム。
  10. 前記意思決定支援材料は、医療スタッフによって使用されるように適合されている、請求項1から9のいずれか一項に記載のシステム。
  11. 前記意思決定支援材料は、判定された前記損傷を修復するための適切な治療についての推奨を含む、請求項10に記載のシステム。
  12. 患者の解剖学的関節の少なくとも一部の損傷を視覚化する意思決定支援材料を作成するために、コンピュータのプロセッサが実行する方法であって、作成された前記意思決定支援材料は、1または複数の損傷画像を含み、前記方法は、
    1.前記解剖学的関節の前記少なくとも一部の一連の放射線画像を前記プロセッサ受信する段階と、
    2.前記放射線画像に基づく画像セグメンテーション処理において3次元画像表現を生成することによって、または、前記3次元画像表現を記憶媒体から受信することによって、前記一連の放射線画像に基づく、前記解剖学的関節の前記少なくとも一部の前記3次元画像表現を前記プロセッサ取得する段階と、
    3.画像解析を使用して、前記一連の放射線画像の少なくとも1つにおいて、少なくとも軟骨、腱および/または靱帯を含む、前記解剖学的関節の組織部分を前記プロセッサ識別する段階と、
    4.識別された前記組織部分を使用して、前記解剖学的関節における識別された前記組織部分の前記少なくとも一部の前記一連の放射線画像の前記少なくとも1つおよび/または前記3次元画像表現を解析することによって、前記解剖学的関節の損傷を前記プロセッサ判定する段階であって、
    前記解析は、前記解剖学的関節の前記少なくとも1つの組織部分の輪郭の不規則形状を検出すること、
    および/または、前記解剖学的関節の骨および/または軟骨部分の中または隣接する領域における明度が、予め定められた値より高いまたは低いことを検出すること、
    および/または、少なくとも1つの識別された組織部分を、解剖学的関節についての予め定義された損傷パターンを表すテンプレートと比較すること
    から選択される、段階と、
    5.前記解剖学的関節の前記少なくとも一部の取得された前記3次元画像表現における前記解剖学的関節の損傷を前記プロセッサマークする段階と、
    .意思決定支援材料を前記プロセッサ生成する段階であって、前記解剖学的関節の判定された前記損傷は、前記意思決定支援材料の前記1または複数の損傷画像の少なくとも1つにおいて視覚化され、前記1または複数の損傷画像の少なくとも1つは、前記解剖学的関節の前記少なくとも一部のインタラクティブな3Dモデルの形式である、段階と
    を備える、方法。
  13. 前記画像解析は、
    前記放射線画像における境界または輪郭などの高コントラスト領域を前記プロセッサ検出する段階、ならびに、
    検出された前記境界または輪郭を予め定義されたテンプレートと比較することを通して、前記放射線画像における骨および/または軟骨などの構造を前記プロセッサ識別する段階
    によって、前記少なくとも1つの放射線画像における前記解剖学的関節の骨部分および/または軟骨部分を識別する、請求項12に記載の方法。
  14. 前記放射線画像および前記3次元画像表現前記プロセッサが関連付ける結果、一方の画像に付けられたマークが他方の画像における同一位置に現れる、請求項12または13に記載の方法。
  15. 前記3次元画像表現、セグメンテーション処理制御パラメータの組に依存する画像セグメンテーション処理において前記プロセッサが生成する、請求項12から14のいずれか一項に記載の方法。
  16. 前記画像解析は、前記解剖学的関節または前記解剖学的関節の一部の骨部分および軟骨部分の両方を前記プロセッサ識別し、前記骨部分および前記軟骨部分の両方の損傷前記プロセッサ判定する、請求項12から15のいずれか一項に記載の方法。
  17. 前記解剖学的関節は膝または足首である、請求項12から16のいずれか一項に記載の方法。
  18. 前記解剖学的関節の前記少なくとも一部の前記放射線画像および/または前記3次元画像表現からのデータに基づいて、予め定義された一組の治療から適切な治療を前記プロセッサ選択する段階を更に備える、請求項12から17のいずれか一項に記載の方法。
  19. 様々な寸法を有する予め定義された一組のインプラントから適切なインプラントを前記プロセッサ選択する段階、および/または、少なくとも1つの骨軟骨自家移植片プラグについての、適切なサイズならびに/または、適切な摘出および/もしくはインプラント位置を含む、骨軟骨自家移植片の移植のための移植ガイドツールの提案を前記プロセッサ行う段階を更に備える、請求項18に記載の方法。
  20. 前記1または複数の損傷画像の少なくとも1つにおいて、少なくとも1つの骨軟骨自家移植片プラグについての、選択された前記インプラントおよび/または適切な前記移植ガイドツール、ならびに/または、適切な前記摘出および/もしくはインプラント位置を前記プロセッサ視覚化する段階を更に備える、請求項19に記載の方法。
  21. 前記意思決定支援材料、医療スタッフによって使用されるように前記プロセッサが適合する、請求項12から20のいずれか一項に記載の方法。
  22. 前記意思決定支援材料は、判定された前記損傷を修復するための適切な治療について前記プロセッサ推奨したものを含む、請求項21に記載の方法。
  23. 患者の解剖学的関節の少なくとも一部の損傷を示す意思決定支援材料であって、請求項12から22のいずれかの方法の段階によって生成される1または複数の損傷画像を含む、意思決定支援材料。
  24. プロセッサによって実行されるとき、請求項12から22のいずれかの方法の段階を実行するように前記プロセッサを制御する機械可読コードを含むプログラム。
JP2018525771A 2015-12-18 2016-12-16 解剖学的関節の損傷を示す意思決定支援材料を作成するためのシステムおよび方法 Active JP6736832B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15201361.1A EP3181050B1 (en) 2015-12-18 2015-12-18 System and method for creating a decision support material indicating damage to an anatomical joint
EP15201361.1 2015-12-18
PCT/EP2016/081483 WO2017103146A1 (en) 2015-12-18 2016-12-16 System and method for creating a decision support material indicating damage to an anatomical joint

Publications (2)

Publication Number Publication Date
JP2019505247A JP2019505247A (ja) 2019-02-28
JP6736832B2 true JP6736832B2 (ja) 2020-08-05

Family

ID=54850458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018525771A Active JP6736832B2 (ja) 2015-12-18 2016-12-16 解剖学的関節の損傷を示す意思決定支援材料を作成するためのシステムおよび方法

Country Status (12)

Country Link
US (4) US9697601B1 (ja)
EP (2) EP3181050B1 (ja)
JP (1) JP6736832B2 (ja)
KR (1) KR102119542B1 (ja)
CN (1) CN108366770B (ja)
AU (1) AU2016374552B2 (ja)
CA (1) CA3003809C (ja)
DE (1) DE112016005277T5 (ja)
DK (1) DK3181050T3 (ja)
ES (1) ES2842498T3 (ja)
GB (1) GB2560666B (ja)
WO (1) WO2017103146A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153569A1 (ko) * 2022-02-08 2023-08-17 주식회사 크레스콤 무릎 관절 상태의 분석 방법 및 이를 수행하기 위한 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073702A1 (ja) * 2015-10-29 2017-05-04 キヤノン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
DK3181050T3 (da) 2015-12-18 2020-05-11 Episurf Ip Man Ab System og fremgangsmåde til dannelse af et afgørelsesstøttemateriale, som angiver skade på et anatomisk led
US11526988B2 (en) 2015-12-18 2022-12-13 Episurf Ip-Management Ab System and method for creating a decision support material indicating damage to an anatomical joint
US11250561B2 (en) 2017-06-16 2022-02-15 Episurf Ip-Management Ab Determination and visualization of damage to an anatomical joint
EP3416131A1 (en) * 2017-06-16 2018-12-19 Episurf IP-Management AB System and method for creating a decision support material indicating damage to an anatomical joint
KR20200006331A (ko) * 2018-07-10 2020-01-20 애니메디솔루션 주식회사 연골을 모델링하는 방법 및 상기 방법을 이용한 코연골을 모델링하는 방법
MX2021003854A (es) * 2018-10-01 2021-05-27 Op Solutions Llc Métodos y sistemas de partición exponencial.
USD918258S1 (en) 2018-10-08 2021-05-04 Episurf Ip Management Ab Display screen with epioscopy icon
USD908733S1 (en) 2018-10-15 2021-01-26 Episurf Ip Management Ab Display screen with epioscopy icon
US11645749B2 (en) 2018-12-14 2023-05-09 Episurf Ip-Management Ab Determination and visualization of damage to an anatomical joint
WO2020119930A1 (en) 2018-12-14 2020-06-18 Episurf Ip-Management Ab Determination and visualization of damage to an anatomical joint
EP3895175A1 (en) 2018-12-14 2021-10-20 Episurf IP Management AB Determination and visualization of damage to an anatomical joint
US20230200826A1 (en) * 2020-05-25 2023-06-29 Orthopaedic Innovations Pty Ltd A surgical method
US11621086B2 (en) 2020-06-04 2023-04-04 Episurf Ip-Management Ab Customization of individualized implant

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8882847B2 (en) 2001-05-25 2014-11-11 Conformis, Inc. Patient selectable knee joint arthroplasty devices
US8480754B2 (en) 2001-05-25 2013-07-09 Conformis, Inc. Patient-adapted and improved articular implants, designs and related guide tools
US8617242B2 (en) 2001-05-25 2013-12-31 Conformis, Inc. Implant device and method for manufacture
US7468075B2 (en) 2001-05-25 2008-12-23 Conformis, Inc. Methods and compositions for articular repair
US8556983B2 (en) 2001-05-25 2013-10-15 Conformis, Inc. Patient-adapted and improved orthopedic implants, designs and related tools
US8545569B2 (en) 2001-05-25 2013-10-01 Conformis, Inc. Patient selectable knee arthroplasty devices
US8083745B2 (en) 2001-05-25 2011-12-27 Conformis, Inc. Surgical tools for arthroplasty
JPH11104072A (ja) 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
US7239908B1 (en) 1998-09-14 2007-07-03 The Board Of Trustees Of The Leland Stanford Junior University Assessing the condition of a joint and devising treatment
US9289153B2 (en) 1998-09-14 2016-03-22 The Board Of Trustees Of The Leland Stanford Junior University Joint and cartilage diagnosis, assessment and modeling
DE69941304D1 (de) 1998-09-14 2009-10-01 Univ R Zustandsbestimmung eines gelenks und schadenvorsorge
DE19922279A1 (de) 1999-05-11 2000-11-16 Friedrich Schiller Uni Jena Bu Verfahren zur Generierung patientenspezifischer Implantate
EP1322225B1 (en) 2000-09-14 2009-03-25 The Board Of Trustees Of The Leland Stanford Junior University Assessing the condition of a joint and devising treatment
DE60136474D1 (de) 2000-09-14 2008-12-18 Univ R Beurteilung des zustandes eines gelenkes und des verlustes von knorpelgewebe
US6799066B2 (en) 2000-09-14 2004-09-28 The Board Of Trustees Of The Leland Stanford Junior University Technique for manipulating medical images
WO2002087444A1 (fr) * 2001-04-26 2002-11-07 Teijin Limited Procede de mesure d'une structure articulaire tridimensionnelle
EP1389980B1 (en) 2001-05-25 2011-04-06 Conformis, Inc. Methods and compositions for articular resurfacing
FR2831794B1 (fr) 2001-11-05 2004-02-13 Depuy France Procede de selection d'elements de prothese de genou et dispositif pour sa mise en oeuvre
JP2003144454A (ja) 2001-11-16 2003-05-20 Yoshio Koga 関節手術支援情報算出方法、関節手術支援情報算出プログラム、及び関節手術支援情報算出システム
GB2393625C (en) 2002-09-26 2004-08-18 Meridian Tech Ltd Orthopaedic surgery planning
AU2003290757A1 (en) 2002-11-07 2004-06-03 Conformis, Inc. Methods for determing meniscal size and shape and for devising treatment
CA2535133C (en) 2003-08-13 2011-03-08 Siemens Medical Solutions Usa, Inc. Computer-aided decision support systems and methods
US20080232658A1 (en) 2005-01-11 2008-09-25 Kiminobu Sugaya Interactive Multiple Gene Expression Map System
DE102006015452A1 (de) 2006-03-31 2007-10-11 Siemens Ag Verfahren und Vorrichtung zur Detektion von chemischen Anomalien und/oder Auffälligkeiten in Weichgewebe eines Objektbereiches
EP2067121A2 (en) 2006-09-19 2009-06-10 Nordic Bioscience A/S Pathology indicating measure related to cartilage structure and automatic quantification thereof
JP4934786B2 (ja) 2006-10-13 2012-05-16 国立大学法人 東京大学 膝関節診断支援方法及び装置並びにプログラム
CA2696584C (en) * 2007-08-17 2016-11-29 Mohamed Rashwan Mahfouz Implant design analysis suite
US8160345B2 (en) * 2008-04-30 2012-04-17 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
US8480679B2 (en) * 2008-04-29 2013-07-09 Otismed Corporation Generation of a computerized bone model representative of a pre-degenerated state and useable in the design and manufacture of arthroplasty devices
US8715291B2 (en) 2007-12-18 2014-05-06 Otismed Corporation Arthroplasty system and related methods
US8221430B2 (en) 2007-12-18 2012-07-17 Otismed Corporation System and method for manufacturing arthroplasty jigs
US8777875B2 (en) 2008-07-23 2014-07-15 Otismed Corporation System and method for manufacturing arthroplasty jigs having improved mating accuracy
US8737700B2 (en) 2007-12-18 2014-05-27 Otismed Corporation Preoperatively planning an arthroplasty procedure and generating a corresponding patient specific arthroplasty resection guide
US8545509B2 (en) 2007-12-18 2013-10-01 Otismed Corporation Arthroplasty system and related methods
US8617171B2 (en) 2007-12-18 2013-12-31 Otismed Corporation Preoperatively planning an arthroplasty procedure and generating a corresponding patient specific arthroplasty resection guide
AU2009219482B2 (en) 2008-02-28 2014-05-15 Biopoly, Llc Partial joint resurfacing implant, instrumentation, and method
US9216085B2 (en) 2008-02-28 2015-12-22 Biopoly, Llc Partial joint resurfacing implant, instrumentation, and method
US8194964B2 (en) 2008-04-25 2012-06-05 Stratovan Corporation Analysis of anatomic regions delineated from image data
EP2304645A4 (en) 2008-05-29 2014-03-26 Univ Yale CARTILAGE GRAFT AND BONE GRATING SYSTEMS, DEVICES AND METHODS
US8731842B2 (en) * 2008-10-31 2014-05-20 The Invention Science Fund I, Llc Compositions and methods for biological remodeling with frozen particle compositions
WO2010099231A2 (en) 2009-02-24 2010-09-02 Conformis, Inc. Automated systems for manufacturing patient-specific orthopedic implants and instrumentation
US9078755B2 (en) 2009-02-25 2015-07-14 Zimmer, Inc. Ethnic-specific orthopaedic implants and custom cutting jigs
CN102365061B (zh) 2009-02-25 2015-06-17 捷迈有限公司 定制矫形植入物和相关方法
JP5346859B2 (ja) 2009-04-15 2013-11-20 富士フイルム株式会社 医用画像管理装置および方法並びにプログラム
US20110054486A1 (en) 2009-08-25 2011-03-03 Active Implants Corporation Devices, Methods, and Systems for Prosthetic Meniscus Selection, Trialing, and Implantation
EP2389899B1 (en) 2010-05-24 2015-04-29 Episurf IP Management AB Method of manufacturing a surgical kit for cartilage repair in a joint
EP2389901B8 (en) * 2010-05-24 2013-05-15 Episurf IP Management AB An implant for cartilage repair
EP2389905B1 (en) 2010-05-24 2012-05-23 Episurf Medical AB Method of designing a surgical kit for cartilage repair in a joint
KR101883258B1 (ko) 2010-08-13 2018-07-31 스미스 앤드 네퓨, 인크. 해부학적 계측점의 검출 방법
EP2514373B1 (en) 2011-04-21 2013-12-04 Episurf IP Management AB Guide tool for cartilage repair
FR2974286B1 (fr) 2011-04-22 2013-05-17 Genourob Appareil et procede de detection d'une lesion partielle de ligament croise anterieur du genou
US20170100253A1 (en) * 2011-09-02 2017-04-13 Episurf Ip-Management Ab Design of an implant for cartilage repair
WO2013056036A1 (en) 2011-10-14 2013-04-18 Conformis, Inc. Methods and systems for identification, assessment, modeling, and repair of anatomical disparities in joint replacement
US20140039454A1 (en) * 2012-08-03 2014-02-06 Zimmer Gmbh, Inc. Methods of treating subchondral bone to prevent the progression of osteoarthritis in joints
US20160045317A1 (en) 2013-03-15 2016-02-18 Conformis, Inc. Kinematic and Parameterized Modeling for Patient-Adapted Implants, Tools, and Surgical Procedures
WO2014206498A1 (en) 2013-06-28 2014-12-31 Episurf Ip-Management Ab Guide tool for cartilage and/or bone repair or joint remodeling
EP3013256B1 (en) 2013-06-28 2018-11-28 Episurf IP Management AB Guide tool for bone and/or cartilage repair or joint remodeling
KR102481759B1 (ko) 2013-12-09 2022-12-28 모하메드 라쉬완 마푸즈 수술용 네비게이션 시스템
WO2015110282A1 (en) * 2014-01-27 2015-07-30 Materialise N.V. Prediction of shapes
CN106132354B (zh) 2014-02-07 2018-01-19 艾瑟瑞孚知识产权管理公司 制造用于软骨修复的外科装备的方法和节点
WO2016004991A1 (en) 2014-07-09 2016-01-14 Episurf Ip-Management Ab Customized implant for cartilage repair and corresponding method of design
EP3166540B1 (en) 2014-07-09 2019-06-19 Episurf IP-Management AB A surgical joint implant
DK3181050T3 (da) 2015-12-18 2020-05-11 Episurf Ip Man Ab System og fremgangsmåde til dannelse af et afgørelsesstøttemateriale, som angiver skade på et anatomisk led

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153569A1 (ko) * 2022-02-08 2023-08-17 주식회사 크레스콤 무릎 관절 상태의 분석 방법 및 이를 수행하기 위한 장치

Also Published As

Publication number Publication date
US9990720B2 (en) 2018-06-05
GB2560666A (en) 2018-09-19
CA3003809C (en) 2023-06-06
US20180253847A1 (en) 2018-09-06
US20170270665A1 (en) 2017-09-21
US9697601B1 (en) 2017-07-04
ES2842498T3 (es) 2021-07-14
AU2016374552B2 (en) 2019-02-14
GB201809147D0 (en) 2018-07-18
AU2016374552A1 (en) 2018-05-17
US11282195B2 (en) 2022-03-22
KR20180098586A (ko) 2018-09-04
KR102119542B1 (ko) 2020-06-05
WO2017103146A1 (en) 2017-06-22
EP3181050A1 (en) 2017-06-21
CA3003809A1 (en) 2017-06-22
EP3389495A1 (en) 2018-10-24
US10672124B2 (en) 2020-06-02
DE112016005277T5 (de) 2018-09-13
US20170178323A1 (en) 2017-06-22
EP3181050B1 (en) 2020-02-12
GB2560666B (en) 2019-12-04
CN108366770B (zh) 2021-11-12
CN108366770A (zh) 2018-08-03
JP2019505247A (ja) 2019-02-28
DK3181050T3 (da) 2020-05-11
EP3389495B1 (en) 2020-10-07
US20200294232A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP6736832B2 (ja) 解剖学的関節の損傷を示す意思決定支援材料を作成するためのシステムおよび方法
US11250561B2 (en) Determination and visualization of damage to an anatomical joint
US20180360540A1 (en) System and method for creating a decision support material indicating damage to an anatomical joint
US20230317298A1 (en) Customization of individualized implant
US11526988B2 (en) System and method for creating a decision support material indicating damage to an anatomical joint
US20180365827A1 (en) Creation of a decision support material indicating damage to an anatomical joint
TWI805591B (zh) 用於建立指示解剖學關節損傷之決策支持材料的系統及方法
CA3185669A1 (en) Customization of implant
US11645749B2 (en) Determination and visualization of damage to an anatomical joint
EP3895175A1 (en) Determination and visualization of damage to an anatomical joint
WO2020119930A1 (en) Determination and visualization of damage to an anatomical joint
WO2018113984A1 (en) System and method for optimizing an implant position in an anatomical joint

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200626

R150 Certificate of patent or registration of utility model

Ref document number: 6736832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250