JP6695954B2 - 形状の予測 - Google Patents

形状の予測 Download PDF

Info

Publication number
JP6695954B2
JP6695954B2 JP2018220129A JP2018220129A JP6695954B2 JP 6695954 B2 JP6695954 B2 JP 6695954B2 JP 2018220129 A JP2018220129 A JP 2018220129A JP 2018220129 A JP2018220129 A JP 2018220129A JP 6695954 B2 JP6695954 B2 JP 6695954B2
Authority
JP
Japan
Prior art keywords
model group
training model
training
relationship
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018220129A
Other languages
English (en)
Other versions
JP2019069158A (ja
Inventor
マース，ヤン
クラッカース，トム
デウン，ジョリス ヴァン
デウン，ジョリス ヴァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Materialise NV
Original Assignee
Materialise NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Materialise NV filed Critical Materialise NV
Publication of JP2019069158A publication Critical patent/JP2019069158A/ja
Application granted granted Critical
Publication of JP6695954B2 publication Critical patent/JP6695954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本願は、形状モデルから形状を予測することに関する。より具体的には、本願は、統計学的な形状モデルから、患者特定化形状または症例特定化形状を予測することに関する。
統計学的なモデル形状は、時には画像の自動判読のために用いられる。所定種類の画像（画像の種類としては、例えば顔画像、手の画像などがある）内構造における形状上、および空間的関係上の「法則的な」変化パターンをトレーニング群から確立するのが、モデルについて用いられる基本的な考えである。また、法則的な変化パターンを効率的にパラメータ化するために、統計学的な解析が用いられ、形状に対する簡潔な表現が実現されている。統計学的な解析は、解析される画像内構造の形状が所望の対象種類のもっともらしい例であるかどうかを決定するために用いられる形状制約も提供している。
統計学的な形状モデルは、一般的に２Ｄまたは３Ｄ形状であるトレーニング形状の画像を分割することによって構築され得る。また、統計学的な形状モデルは、医療分野に利用することができる。この場合、モデルの発展に用いられる画像は、例えばＸ線、ＣＴスキャンまたはＭＲＩによる画像であってもよい。さらに、統計学的な形状モデルは、患者の人体組織の形状解析、または、患者の解剖学的構造のモデル作成、例えば患者特定化外科ガイドの設定など、様々な医療用途に利用することができる。
本発明の実施形態によれば、添付の請求項に記載されたように形状を予測するための、システム、方法、および、命令を運ぶコンピュータ読み取り可能な記録媒体を提供する。
より具体的には、本発明の第１態様では、形状を予測するシステムを提供する。該システムは、第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群と、前記第１パラメータによって特徴付けられた主体モデルとを記憶するように構成された少なくとも１つのデータベースを含み、前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応している。また、該システムは、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との関係を決定するように構成されたトレーニング解析モジュールをさらに含む。また、該システムは、前記主体モデルと前記第１のトレーニングモデル群との関係を決定するように構成された主体解析モジュールと、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づいて予測形状を生成するように構成された予測モジュールと、をさらに含む。また、該システムにおいて、前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、前記第２のトレーニングモデル群は、三次元モデルを含む。
第１態様の一実施形態において、前記トレーニング解析モジュールは、前記第１のトレーニングモデル群についての平均形状を決定し、前記第１のトレーニングモデル群の分解行列を決定し、前記第２のトレーニングモデル群についての平均形状を決定し、前記第２のトレーニングモデル群の分解行列を決定するように構成されている。また、第１態様の別の実施形態において、前記主体解析モジュールは、近似ベクトルを決定するように構成されている。前記第１態様の別の実施形態において、前記予測モジュールは、主体モデルを修正することによって予測形状を生成するように構成されている。第１態様の更なる別の実施形態において、前記予測モジュールは、近似ベクトルに少なくとも部分的に基づいて、予測形状を生成するように構成されている。
本発明の第２態様では、形状を予測するコンピュータ実行方法を提供する。該方法は、第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップを含み、前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応している。また、該方法は、前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップをさらに含む。また、該方法は、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップをさらに含む。また、該方法において、前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、前記第２のトレーニングモデル群は、三次元モデルを含む。
第２態様の別の実施形態において、前記第１のトレーニングモデル群は解剖学上のモデルを含み、前記第１パラメータは骨である。第２態様の別の実施形態において、前記第２のトレーニングモデル群は解剖学上のモデルを含み、前記第２パラメータは軟骨である。第２態様の更なる別の実施形態において、前記第１のトレーニングモデル群および前記第２のトレーニングモデル群がＭＲＩ画像に由来するものであり、前記主体モデルがＸ線画像に由来するものである。第２態様の更なる別の実施形態において、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との関係を決定するステップは、前記第１のトレーニングモデル群についての平均形状を決定するステップと、前記第１のトレーニングモデル群の分解行列を決定するステップと、前記第２のトレーニングモデル群についての平均形状を決定するステップと、前記第２のトレーニングモデル群の分解行列を決定するステップとを含む。第２態様の更なる別の実施形態において、前記主体モデルと前記第１のトレーニングモデル群との関係を決定するステップは、近似ベクトルを決定するステップを含む。第２態様の更なる別の実施形態において、予測形状を生成するステップは、前記主体モデルを修正するステップを含む。第２態様の更なる別の実施形態において、予測形状を生成するステップは、前記近似ベクトルに少なくとも部分的に基づいて行われる。第２態様の更なる別の実施形態において、該方法は、予測形状のうち精度レベルの閾値を超える精度を有する少なくとも１つの部位を同定するステップをさらに含んでもよい。
本発明の第３態様では、プロセッサによって実行されるときにコンピュータに形状予測方法を実行させるコンピュータ実行可能な命令を記憶した、コンピュータ読み取り可能な非一時的記録媒体を提供する。該方法は、第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップを含んでもよく、前記第１のトレーニングモデル群内の各モデルが、前記第２のトレーニングモデル群内のモデルにそれぞれ対応している。また、該方法は、前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップをさらに含んでもよい。また、該方法は、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップをさらに含んでもよい。また、該システムにおいて、前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、前記第２のトレーニングモデル群は、三次元モデルを含む。
本明細書に記載の各実施形態に適するコンピューティング環境の一例のブロック図である。 １つ以上の実施形態に用いてもよいコンピューティングシステムの高レベルシステム図である。 １つ以上の実施形態に用いることが可能な第１および第２のトレーニング画像群の例を例示する図である。 １つ以上の実施形態に係る形状予測方法を例示するフローチャートである。 １つ以上の実施形態に係る形状予測方法のサブステップを例示するフローチャートである。 一実施形態において、骨モデルの表面から突出するベクトルとして表現された対応する予測軟骨形状を有する該骨モデルの一例を示す図である。 図５Ａのベクトルで示された予測の軟骨形状を示す図である。
本願に係る実施形態は、主体モデルから形状を予測するシステムおよび方法に関する。本発明の様々な実施形態において、２つのトレーニングモデル群間の関係の決定と、前記主体モデルと前記第１のトレーニングモデル群との関係の決定と、これらの関係に基づく予測形状の生成とによって、形状を予測することができる。前記第１のトレーニングモデル群および前記主体モデル群は、第１パラメータによって特徴付けられてもよく、前記第２のトレーニングモデル群および前記予測形状は、第２のおよび対応する（若しくは潜在的に対応する）パラメータによって特徴付けられてもよい。例示的な医療上の応用として、前記第１および第２パラメータは、それぞれ骨および軟骨であってもよく、前記主体モデルは、特定関節の骨輪郭のモデルであってもよい。本発明の実施形態によれば、同関節における軟骨輪郭の予測を容易にすることができる。したがって、医療分野において、本発明の実施形態は、特定患者の骨輪郭しか映っていないＸ線画像から該患者の軟骨輪郭（それ以外ではＭＲＩ画像からしか見えなかろう）の形状を予測することに用いることができる。このような状況における形状予測により、ＭＲＩの費用を節約できると共に、患者特定化の解剖学的モデルまたは患者特定化外科ガイドを発展させることが可能となる。また、医療上の別の応用として、第１および第２のトレーニングモデル群は、心拍の第１相における心臓モデル、および心拍の第２相における心臓モデルを含んでもよい。このような状況における形状予測により、患者の心臓の相が１つしか映っていない主体画像を用いて心拍パターンを予測することが可能となる。
本明細書に記載のシステムおよび方法は、１つ以上のコンピュータシステムによって実行されてもよい。図１には、様々な実施形態の実行に適したコンピュータシステム１００の一例が示されている。該コンピュータステム１００は、一般的に、本明細書に記載の１つ以上の実施形態に係る何らかのプロセスおよび命令を実行するように構成されたコンピュータハードウェアという形式を採用してもよい。該コンピュータハードウェアは、単独のコンピュータであってもよく、協働するように構成された複数のコンピュータであってもよい。コンピュータシステム１００はプロセッサ１０２を含む。該プロセッサは、一般的に、形状予測に関する何らかのタスクを完遂させるためのコンピュータ命令を実行するように構成されている。該プロセッサ１０２は、標準規格のパソコンのプロセッサ、例えばＩｎｔｅｌ社、Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ社、Ａｐｐｌｅ社、ＡＲＭ社やＭｏｔｏｒｏｌａ社によって設計および／または発売されたプロセッサ等であってもよい。また、該プロセッサ１０２は、画像の処理および解析に特化したプロセッサであってもよい。システム１００は、メモリ１０４を含んでもよい。該メモリ１０４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｍｏｒｙ）のような形式の揮発性メモリ１０４Ａを含んでもよい。揮発性メモリ１０４Ａは、実行可能なソフトウェア型モジュールをメモリ内にロードし、該ソフトウェア型モジュールが本分野の周知方式でプロセッサ１０２によって実行されるという構成となっていてもよい。また、該ソフトウェア型モジュールは、不揮発性メモリ１０４Ｂ内に記憶されていてもよい。該不揮発性メモリ１０４Ｂは、ハードディスクドライブ、フラッシュメモリ、固体ハードドライブ、または別タイプの不揮発性メモリという形式を採用してもよい。また、該不揮発性メモリ１０４Ｂは、実行不可能なデータ、例えばデータベースファイル等の記憶に用いてもよい。
また、コンピュータシステム１００は、ネットワークインターフェース１０６を含んでもよい。該ネットワークインターフェースは、システム１００をネットワーク（例えばインターネットなど）にアクセスさせるように構成されたネットワークインターフェースカードおよびそれに対応するソフトウェア型ドライバ、並びに／或いは、ファームウェア、という形式を採用してもよい。ネットワークインターフェースカード１０６は、異なるタイプの様々なネットワークにアクセスするように構成されてもよい。例えば、ネットワークインターフェースカード１０６が、公的にはアクセス不能な私的ネットワークにアクセスするように構成されていてもよい。また、ネットワークインターフェースカード１０６は、例えばＥＶＤＯ、ＷｉＭａｘやＬＴＥネットワークのような無線データ伝送技術等を用いた無線ネットワークにアクセスするように構成されていてもよい。なお、図２に１つのネットワークインターフェースカード１０６が示されているが、異なるタイプのネットワークにアクセスするための複数のネットワークインターフェースカード１０６が存在してもよい。さらに、ネットワークインターフェースカード１０６は、異なるタイプの複数のネットワークへの接続が可能となるように構成されていてもよい。
また、コンピュータシステム１００にオペレーティングシステム１０８が含まれていてもよい。該オペレーティングシステム１０８は、コンピュータソフトウェア形式のアプリケーションをプロセッサ１０２に実行させることのできるプラットフォームを備えるように設計された、例えばＬｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＣｈｒｏｍｅＯＳまたはＭａｃＯＳのような一般周知のオペレーティングシステムであってもよい。あるいは、該オペレーティングシステム１０８は、画像の処理解析アプリケーションのために特別に設計された特定用途のオペレーティングシステムであってもよい。さらに、該オペレーティングシステム１０８は、Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ ＭｏｂｉｌｅやＩＯＳのようなモバイル用オペレーティングシステムであってもよい。
オペレーティングシステム１０８上においてウェブサーバ・ソフトウェア１３０が動作していてもよい。該ウェブサーバ・ソフトウェア１１０は、例えばアパッチ（Ａｐａｃｈｅ）、インターネット情報サーバ（Ｉｎｔｅｒｎｅｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｅｒｖｅｒ）、または他のウェブサーバ・ソフトウェアなど、現在市販の標準ウェブサーバ製品であってもよい。あるいは、該ウェブサーバは、オペレーティングシステム１０８の一部であってもよく、インターネットや他のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介してソフトウェアを閲覧するための画像関連または解析関連ウェブページを配信するように特別に構成された専門のＨＴＴＰサーバであってもよい。該ウェブサーバ・ソフトウェア１３０は、オペレーティングシステム１０８に備えられているオペレーティン・プラットフォーム上においてプロセッサ１０２によってアクセスされて実行されるように、メモリ１０４内に記憶されていてもよい。
コンピュータシステム１００は、アプリケーションサーバ１１２をさらに含んでもよい。アプリケーションサーバ１１２は、コンピュータシステム１００上に元々動作可能なアプリケーション、またはウェブサーバ１１０を介してアクセスされるようなアプリケーション、またはこの両方に該当するネットワークベース型アプリケーションを提供するように構成されたコンピュータハードウェアおよび／またはソフトウェアを含んでもよい。また、該アプリケーションサーバは、後に詳述する形状予測システムの配布、利用およびメンテナンスが可能となるように構成されてもよい。
図２は、一実施形態に係る、形状を予測するためのコンピュータベース型システム２００を例示している。該システム２００は、図１に示された前述のコンピュータ１００のような１つ以上のコンピュータから成り得る。また、システム２００はデータベース２０２を含むことができる。該データベース２０２は、システム２００内の様々な機能、例えばキャプチャ、記憶、および／または、ソフトウェアアプリケーションや他のデバイスからデータベース内の画像データ若しくはモデルデータへのアクセス提供が実行されるように構成されてもよい。データベース２０２は、関係データベース、オブジェクト指向データベース、オブジェクト関係データベース、または意図された機能の実行に適する他のいかなるタイプのデータベースであってもよい。また、データベース２０２は、未処理の２Ｄおよび／または３Ｄ画像データ、例えば、写真、ＣＴスキャン、ＭＲＩ、Ｘ線などに由来する医学的画像データを記憶するように構成されてもよい。代わりにまたは加えて、データベース２０２は、２Ｄおよび／または３Ｄモデル、例えば、骨の形状、軟骨の形状および／または軟組織の形状に関するトレーニングモデルおよび／もしくは患者特定化モデルを記憶するように構成されてもよい。また、データベース２０２は、データベース内に記憶されている画像またはモデルデータに関係する出所特定化または形状特定化データ（匿名データか、保護されたデータ）を含んでもよい。さらに、データベース２０２は、画像またはモデルデータに関する形状特定化データ、例えば、画像またはモデルに関連付けられた識別点および／もしくは湾曲部に関する情報を含んでもよい。該形状特定化データは、例えば変換技術者によって手動で示されてもよく、例えばコンピュータ補助設計（ＣＡＤ）ツールや前処理ツールによって自動で示されてもよく、原来の形状における切断箇所または切断部位（例えば骨の交点および骨の切断面）を単純に示してもよい。一部の実施形態において、画像またはモデルのデータは、トレーニング画像群またはトレーニングモデル群を１つ以上含み、かつ、形状の予測に用いられる主体画像または主体モデル（例えば患者特定化モデル）を１つ以上含んでもよい。トレーニング形状群は、画像またはモデルを幾つでも含んでよい。例えば、トレーニング群には、約１０個、５０個、１００個、５００個または１０００個の形状が含まれてもよく、これらの数よりも少ない数若しくは多い数、またはこれらの数のうち何れかで定義される範囲内の数の形状が含まれてもよい。
システム２００は、図２に示されるように、データベース２０２内の２Ｄおよび／または３Ｄのトレーニング画像若しくはトレーニングモデル（任意に加えて、関連付けられた形状特定化データ）を解析すると共に、その関連の様々な機能を実行するように構成されたトレーニング解析モジュール２０４をさらに含んでもよい。トレーニング解析モジュール２０４は、例えば、ＣＡＤ、前処理、パラメータ化、網目化（ｍｅｓｈｉｎｇ）（例えば三角網）および／または他のモデル化機能を実行するように構成されてもよい。また、トレーニング解析モジュール２０４は、例えば主成分解析機能を含む様々な解析機能を実行するように構成されてもよい。また、トレーニング解析モジュール２０４は、自オペレーティングシステム内にインストールされた２Ｄおよび／または３Ｄ画像処理ソフトウェアおよび／若しくはモデル化ソフトウェアを有するコンピューティング装置、という形式を採用することができる。トレーニング解析モジュール２０２は、主にまたは専らソフトウェアから構成されてもよく、ハードウェアとソフトウェアとの組み合わせから構成されてもよく、更に別の実施形態として、ＡＳＩＣや他のタイプのマイクロプロセッサのような専用ハードウェアであってもよい。一部の実施形態では、何らかのモデル化機能性および／または解析機能性を一つのソフトウェアアプリケーションによって提供すると共に、他のモデル化機能性および／または解析機能性を１つ以上の別個のコンピュータアプリケーションによって提供してもよい。また、代替的な構成として、これらすべての機能性を単一のコンピュータプログラムによって提供してもよい。
また、システム２００は、図２に示されるように、データベース２０２内の２Ｄおよび／または３Ｄの主体画像若しくは主体モデル（任意に加え、関連付けられた形状特定化データ）を解析すると共に、その関連の様々な機能を実行するように構成された主体解析モジュール２０６をさらに含んでもよい。主体解析モジュール２０６は、例えば、ＣＡＤ、前処理、パラメータ化、網目化（例えば三角網）および／または他のモデル化機能を実行するように構成されてもよい。また、主体解析モジュール２０６は、例えば主成分解析機能を含む様々な解析機能を実行するように構成されてもよい。また、主体解析モジュール２０６は、自オペレーティングシステム内にインストールされた２Ｄおよび／または３Ｄ画像処理ソフトウェアおよび／若しくはモデル化ソフトウェアを有するコンピューティング装置、という形式を採用することができる。主体解析モジュール２０６は、主にまたは専らソフトウェアから構成されてもよく、ハードウェアとソフトウェアとの組み合わせから構成されてもよい。一部の実施形態では、何らかのモデル化機能性および／または解析機能性を一つのソフトウェアアプリケーションによって提供すると共に、他のモデル化機能性および／または解析機能性を１つ以上の別個のコンピュータアプリケーションによって提供してもよい。また、代替的な構成として、これらすべての機能性を単一のコンピュータプログラムによって提供してもよい。なお、図２には別個のモジュールとして例示されているが、一部の実施形態では、トレーニング解析モジュール２０４および主体解析モジュール２０６は、共に単一のコンピュータプログラムによって実現されることができる。
さらに、システム２００は、図２に示されるように予測モジュール２０８をさらに含んでもよい。予測モジュール２０８は、主体画像または主体モデルに関する情報（該情報は主体解析モジュール２０６から受信されてもよい）、トレーニング画像またはトレーニングモデルに関する情報（該情報はトレーニング解析モジュール２０４から受信されてもよい）、および、該主体モデルと該トレーニングモデルとの関係に関する情報（該情報はトレーニング解析モジュール２０４および／または主体解析モジュール２０６から受信されもよい）を基に、形状を予測するように構成されてもよい。主体解析モジュール２０６は、例えば、ＣＡＤ、前処理、パラメータ化、網目化（例えば三角網）および／または他のモデル化機能を実行するように構成されてもよい。予測モジュール２０８は、自オペレーティングシステム内にインストールされた２Ｄおよび／または３Ｄ画像の処理ソフトウェアおよび／若しくはモデル化ソフトウェアを有するコンピューティング装置、という形式を採用することができる。また、予測モジュール２０８は、主にまたは専らソフトウェアから構成されてもよく、ハードウェアとソフトウェアとの組み合わせから構成されてもよい。一部の実施形態では、何らかのモデル化機能性および／または解析機能性を一つのソフトウェアアプリケーションによって提供すると共に、他のモデル化機能性および／または解析機能性を１つ以上の別個のコンピュータアプリケーションによって提供してもよい。また、代替的な構成として、これらすべての機能性を単一のコンピュータプログラムによって提供してもよい。なお、図２には別個のモジュールとして例示されているが、一部の実施形態では、トレーニング解析モジュール２０４、主体解析モジュール２０６および予測モジュール２０８は、共に単一のコンピュータプログラムによって実現されることができる。
一部の実施形態において、トレーニング解析モジュール２０４、主体解析モジュール２０６、および／または予測モジュール２０８は、数値コンピューティングシステム、例えば米マサチューセッツ州のネイティック市のＭａｔｈＷｏｒｋｓ社から入手できるＭＡＴＬＡＢ（登録商標）環境を備えていてもよい。Ｃ＋＋、Ｐｙｔｈｏｎ、Ｍａｐｌｅ、ＦｒｅｅＭａｔ、ＩＧＯＲ Ｐｒｏ、ｊＢＥＡＭ等を含む他の数値解析ソフトウェアパッケージを活用してもよいが、これらに限定されない。
図２を参照して説明したシステム２００は、単に本明細書に開示のシステムおよび方法を実行する数多くの好適な環境の１つであるに過ぎないことが理解されるべきである。システム２００は、コンピュータネットワークと接続されていてもよく、いかなるコンピュータネットワークからも隔離され独立していてもよいことが、当業者に容易に理解される。また、本明細書では、図２に記載の様々なコンポーネントを別個のものとして説明したが、これらのコンポーネントは、機能的に統合された少数のモジュールであってもよく、あるいは、分離されている追加モジュールであってもよいことが当業者に理解される。
図３は、１つ以上の実施形態に用いることが可能な第１および第２のトレーニング画像群の例を説明する図である。第１のトレーニング画像群におけるトレーニング画像３０２（ａ）、３０４（ａ）、３０６（ａ）は、３名の異なる患者の膝関節近傍の大腿骨および脛骨の形状を表した骨モデルであり、軟骨無しに骨のみによって特徴付らけれている。第２のトレーニング画像群におけるトレーニング画像３０２（ｂ）、３０４（ｂ）、３０６（ｂ）は、それぞれ、同３名の患者の大腿骨および脛骨の形状を表した軟骨モデルであり、軟骨によって特徴付けられている。図３のように、大腿骨と脛骨との間の隙間近傍の膝関節について、軟骨モデルのほうが、対応する骨モデルより僅かに大きい傾向がある。画像３０２（ａ）、３０２（ｂ）、３０４（ａ）、３０４（ｂ）、３０６（ａ）３０６（ｂ）は、例えば市販で入手できるＣＡＤ（コンピュータ補助設計）および／または他の画像処理ソフトウェアを用い、患者の例えば医療スキャン（例えばＭＲＩ）から構築することができる。
本発明の実施形態において、各々のトレーニング画像のモデルを形成するために第１および第２のトレーニング画像群を分割してもよい。この処理には、例えば、各々の画像のモデルを形成するために各画像群内の画像について分割する工程と、第１画像群および第２画像群からの対であるモデル間の対応を探す工程と、（例えばデカルト座標、極座標、球座標を用いて）各モデルをベクトルで定義する工程とが含まれ得る。そして、トレーニングモデルについてのベクトルは、行列として結合することができる。なお、主体画像または画像は、１つ以上のベクトルで定義してもよい。
図４Ａを参照すると、１つ以上の実施形態に係る、形状を予測するためのプロセス４００が例示されている。プロセス４００は、第１のモデル群と第２のモデル群との関係を決定するブロック４０２から開始する。また、プロセス４００において、主体モデルと第１のモデル群との関係の決定を含むブロック４０４に移行することができる。一部の実施形態では、ブロック４０４において実行される処理（すなわち、主体モデルと第１のモデル群との関係の決定）は、例えば近似アルゴリズムを用いた、近似ベクトルの決定を含んでもよい。近似ベクトルは、例えば、第１のトレーニング群について主体モデルを定義するための適切な係数ベクトルであってもよい。そして、プロセス４００において、第１のモデル群と第２のモデル群との関係、および主体モデルと第１のモデル群との関係に基づいて予測形状を生成するブロック４０６に移行することができる。
本発明の実施形態において、プロセス４００における１つ以上のステップおよび／またはサブステップを、主成分解析法を用いて実行してもよい。例えば、図４Ｂにさらに例示されるように、ブロック４０２において実行される処理（すなわち、第１のモデル群と第２のモデル群との関係の決定）は、第１のトレーニングモデル群についての平均分割（ｓｅｇｍｅｎｔａｔｉｏｎ）または平均形状を決定するブロック４１０を含んでもよい。また、プロセス４０２は、第１のトレーニングモデル群についての分解行列を決定するブロック４１２を含んでもよい。そして、プロセス４０２は、第２のトレーニングモデル群についての平均分割または平均形状を決定するブロック４１４を含んでもよい。また、プロセス４０２は、第２のトレーニングモデル群についての分解行列を決定するブロック４１６を含んでもよい。一部の実施形態では、主成分解析の結果（例えば、ステップ４１０、４１２、４１４および４１６の結果）を利用してブロック４０６（すなわち予測形状の生成）を実行してもよい。本発明の実施形態において、以上に言及された関係（例えば、第１のモデル群と第２のモデル群との関係）を一度決定しておき、それを異なる主体モデルと共に繰返して用いることにより、各々の主体モデルの予測形状を生成してもよい。
以下は、一部の実施形態において予測形状の生成に利用可能な方程式の例である。
方程式１：ＳＳ＝Ａ＊ｃ
方程式２：ＳＳ＝μ＋Ｕ１＊ｅ
方程式３：ＳＰ＝Ｂ＊ｄ
方程式４：ＳＰ＝η＋Ｕ２＊ｅ
式中、
ＳＳは、主体モデルを定義するベクトルである。
Ａは、第１のトレーニングモデル群を定義する行列である。
ｃは、主体モデルと第１のトレーニングモデル群との関係を表す近似ベクトル（例えば係数ベクトル）である。
μは、第１のトレーニングモデル群の加重平均分割（例えば、第１群についての全ベクトルの合計をこれらベクトルの数で割って得られた、均一な加重平均分割）である。
Ｕ１は、第１のトレーニングモデル群についての分解行列である。
ｅは、主体モデルと第１のトレーニングモデル群との関係を表す、代替の近似ベクトル（例えば係数ベクトル）である。
ＳＰは、予測モデルまたは予測形状を定義するベクトルである。
Ｂは、第２のトレーニングモデル群を定義する行列である。
ｄは、予測形状モデルと第２のトレーニングモデル群との関係を表す近似ベクトル（例えば係数ベクトル）である。
ηは、第２のトレーニングモデル群の加重平均分割（例えば、第２群についての全ベクトルの合計をこれらベクトルの数量で割って得られた、均一な加重平均分割）である。
Ｕ２は、第２のトレーニングモデル群についての分解行列である。
一実施形態において、近似アルゴリズムを用い、主体モデルＳＭに関する情報、および第１のトレーニングモデル群に関する情報に基づいて近似ベクトルｅを得る（例えば方程式２を参考）ことができる。そして、第２のトレーニングモデル群についての平均形状ηについて予測形状ＳＰの定義を可能にする関係Ｕ２を、主体モデルと第１のトレーニングモデル群との関係ｅを用いて決定する（例えば方程式４を参考）ことができる。
また、一実施形態において、以下のようにｃを決定することができる。
方程式５：Ａ＊ｃ＝μ＋Ｕ１＊ｅ
方程式６：ｃ＝Ａ−１＊（μ＋Ｕ１＊ｅ）
式中、Ａ−１は、行列Ａの仮の逆行列である。予測形状ＳＰは、単純に方程式３中のベクトルｄを方程式６によるベクトルｃと置き換えた下記方程式を用いて、決定することができる。
方程式７：ＳＰ＝Ｂ＊ｃ＝Ｂ＊Ａ−１＊（μ＋Ｕ１＊ｅ）＝Ｂ＊Ａ−１＊μ＋Ｂ＊Ｕ１＊ｅ
それから、ηおよびＵ２を下記のように定義することができる。
方程式８：η＝Ｂ＊Ａ−１＊μ
方程式９：Ｕ２＝Ｂ＊Ｕ１
そして、予測形状ＳＰは下記のようになる。
方程式１０：ＳＰ＝η＋Ｕ２＊ｅ
この実施形態では、ηは、第２のトレーニングモデル群の算術平均の代わりに、要素Ａ−１＊μで決定された重みでの第２のトレーニングモデル群の加重平均であってもよい。
また、別の実施形態において、ηは第２のトレーニングモデル群の実数算術平均であってもよい。この実施形態では、例えば下記のように行列Ａ内の各列からベクトルμを減算する特異値分解を用い、行列Ａとして行列[Ａ−μ]を定義することができる。
方程式１１：［Ａ−μ］＝Ｕ１＊Σ１＊Ｖ１ Ｔ
上記式は、トレーニングモデル群についての分解行列Ｕ１の一演算方法を実現する方程式１および方程式２と整合するものである。また、方程式２は、下記のように書き直すことができる。
方程式１２：ＳＳ＝μ＋［Ａ−μ］＊ｆ
式中のｆは、下記を満たす。
方程式１３：ｆ＝Ｖ１＊Σ１ −１＊ｅ
また、方程式２を下記何れの関係のように書き直すこともできる。
方程式１４：ＳＳ＝μ＋［Ａ−μ］＊ｆ
方程式１５：ＳＳ＝μ＋（Ｕ１＊Σ１＊Ｖ１ Ｔ）＊ｆ
方程式１６：ＳＳ＝μ＋（Ｕ１＊Σ１＊Ｖ１ Ｔ）＊（Ｖ１＊Σ１ −１＊ｅ）
そして、下記のようにベクトルｆを用いてＳＰを予測することができる。
方程式１７：ＳＰ＝η＋［Ｂ−η］＊ｆ
したがって、Ｕ２を下記のように定義すると、
方程式１８：Ｕ２＝［Ｂ−η］＊Ｖ１＊Σ１ −１
方程式４を下記何れの関係のように書き直すこともできる。
方程式１９：ＳＰ＝η＋［Ｂ−η］＊ｆ
方程式２０：ＳＰ＝η＋［Ｂ−η］＊Ｖ１＊Σ１ −１＊ｅ
図５Ａは、一実施形態において、骨モデルの表面から突出するベクトルとして表現された対応する予測軟骨形状を有する主体モデルの一例を示す図である。骨モデルは、画像処理中の膝およびＸ線画像の３Ｄポジショニングを容易にするためにＸ線撮像時に用いられた目印と共に、Ｘ線画像から生成することができる。一部の実施形態では、骨モデルを生成するために、Ｘ線に基づく輪郭（例えば手動きで）を統計学的な形状モデルに近似させることができる。図５Ｂは、図５Ａのベクトルで示された予測の軟骨形状を示す図である。
一部の実施形態では、予測形状を用いて外科的計画（例えば、穿孔（ｄｒｉｌｌｉｎｇ）または組織切除（ｄｅｂｒｉｄｅｍｅｎｔ）のための領域を計画する）を行うことができる。予測された軟骨形状を用いて、１つ以上の患者特定化外科ガイド（例えば、外科的処置中に患者の人体組織上へ設置することと、外科的手順のガイドに用いることとができる構造）を設定することもできる。また、一部の実施形態では、予測形状について、高精度および低精度の部位（例えば、典型的な高信頼性の精度の部位、および、ガイド設定への使用を回避すべき部位または他の信頼できない部位）を示す精度マップを生成することができる。
〔まとめ〕
より具体的には、本発明の第１態様では、形状を予測するシステムを提供する。該システムは、第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群と、前記第１パラメータによって特徴付けられた主体モデルとを記憶するように構成された少なくとも１つのデータベースを含み、前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応している。また、該システムは、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との関係を決定するように構成されたトレーニング解析モジュールをさらに含む。また、該システムは、前記主体モデルと前記第１のトレーニングモデル群との関係を決定するように構成された主体解析モジュールと、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づいて予測形状を生成するように構成された予測モジュールと、をさらに含む。第１態様の一実施形態において、前記トレーニング解析モジュールは、前記第１のトレーニングモデル群についての平均形状を決定し、前記第１のトレーニングモデル群の分解行列を決定し、前記第２のトレーニングモデル群についての平均形状を決定し、前記第２のトレーニングモデル群の分解行列を決定するように構成されている。また、第１態様の別の実施形態において、前記主体解析モジュールは、近似ベクトルを決定するように構成されている。前記第１態様の別の実施形態において、前記予測モジュールは、主体モデルを修正することによって予測形状を生成するように構成されている。第１態様の更なる別の実施形態において、前記予測モジュールは、近似ベクトルに少なくとも部分的に基づいて、予測形状を生成するように構成されている。
本発明の第２態様では、形状を予測するコンピュータ実行方法を提供する。該方法は、第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップを含み、前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応している。また、該方法は、前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップをさらに含む。また、該方法は、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップをさらに含む。第２態様の別の実施形態において、前記第１のトレーニングモデル群は解剖学上のモデルを含み、前記第１パラメータは骨である。第２態様の別の実施形態において、前記第２のトレーニングモデル群は解剖学上のモデルを含み、前記第２パラメータは軟骨である。第２態様の更なる別の実施形態において、前記第１のトレーニングモデル群および前記第２のトレーニングモデル群がＭＲＩ画像に由来するものであり、前記主体モデルがＸ線画像に由来するものである。第２態様の更なる別の実施形態において、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との関係を決定するステップは、前記第１のトレーニングモデル群についての平均形状を決定するステップと、前記第１のトレーニングモデル群の分解行列を決定するステップと、前記第２のトレーニングモデル群についての平均形状を決定するステップと、前記第２のトレーニングモデル群の分解行列を決定するステップとを含む。第２態様の更なる別の実施形態において、前記主体モデルと前記第１のトレーニングモデル群との関係を決定するステップは、近似ベクトルを決定するステップを含む。第２態様の更なる別の実施形態において、予測形状を生成するステップは、前記主体モデルを修正するステップを含む。第２態様の更なる別の実施形態において、予測形状を生成するステップは、前記近似ベクトルに少なくとも部分的に基づいて行われる。第２態様の更なる別の実施形態において、該方法は、予測形状のうち精度レベルの閾値を超える精度を有する少なくとも１つの部位を同定するステップをさらに含んでもよい。
本発明の第３態様では、プロセッサによって実行されるときにコンピュータに形状予測方法を実行させるコンピュータ実行可能な命令を記憶した、コンピュータ読み取り可能な非一時的記録媒体を提供する。該方法は、第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップを含んでもよく、前記第１のトレーニングモデル群内の各モデルが、前記第２のトレーニングモデル群内のモデルにそれぞれ対応している。また、該方法は、前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップをさらに含んでもよい。また、該方法は、前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップをさらに含んでもよい。
何れか１つの実施形態について説明された特徴は、単独に用いられても、上記説明された他の特徴と組み合わせて用いられてもよく、他のいかなる実施形態の１つ以上の特徴と組み合わせて用いられても、他のいかなる実施形態のいかなる組合せと組み合わせて用いられてもよい、と理解されるべきである。さらに、以上に説明しなかった均等的構成および変更は、本発明の範囲から逸脱しない範囲で応用してもよい。本発明の範囲は、添付の請求項によって定義される。

Claims (15)

  1. 形状を予測するためのシステムであって、
    第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群と、前記第１パラメータによって特徴付けられた主体モデルと、を記憶するように構成された少なくとも１つのデータベースと、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との関係を決定するように構成されたトレーニング解析モジュールと、
    前記主体モデルと前記第１のトレーニングモデル群との関係を決定するように構成された主体解析モジュールと、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づいて予測形状を生成するように構成された予測モジュールと、を備え、
    前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応しており、
    前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、
    前記第２のトレーニングモデル群は、三次元モデルを含み、
    前記トレーニング解析モジュールは、
    前記第１のトレーニングモデル群についての平均形状を決定し、
    前記第１のトレーニングモデル群の分解行列を決定し、
    前記第２のトレーニングモデル群についての平均形状を決定し、
    前記第２のトレーニングモデル群の分解行列を決定するように構成されているシステム。
  2. 前記主体解析モジュールは、近似ベクトルを決定するように構成されている、請求項１に記載のシステム。
  3. 前記予測モジュールは、主体モデルを修正することによって予測形状を生成するように構成されている、請求項１または２に記載のシステム。
  4. 前記予測モジュールは、近似ベクトルに少なくとも部分的に基づいて、予測形状を生成するように構成されている、請求項１〜３の何れか１項に記載のシステム。
  5. 形状を予測するコンピュータ実行方法であって、
    第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップと、
    前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップと、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップと、を含み、
    前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応しており、
    前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、
    前記第２のトレーニングモデル群は、三次元モデルを含み、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係を決定するステップは、
    前記第１のトレーニングモデル群についての平均形状を決定するステップと、
    前記第１のトレーニングモデル群の分解行列を決定するステップと、
    前記第２のトレーニングモデル群についての平均形状を決定するステップと、
    前記第２のトレーニングモデル群の分解行列を決定するステップと、を含むコンピュータ実行方法。
  6. 予測形状のうち精度レベルの閾値を超える精度を有する少なくとも１つの部位を同定するステップをさらに含む、請求項５に記載のコンピュータ実行方法。
  7. 形状を予測するコンピュータ実行方法であって、
    第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップと、
    前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップと、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップと、
    予測形状のうち精度レベルの閾値を超える精度を有する少なくとも１つの部位を同定するステップと、を含み、
    前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応しており、
    前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、
    前記第２のトレーニングモデル群は、三次元モデルを含むコンピュータ実行方法。
  8. 前記第１のトレーニングモデル群は解剖学上のモデルを含み、前記第１パラメータは骨である、請求項５〜７のいずれか１項に記載のコンピュータ実行方法。
  9. 前記第２のトレーニングモデル群は解剖学上のモデルを含み、前記第２パラメータは軟骨である、請求項５〜８のいずれか１項に記載のコンピュータ実行方法。
  10. 前記第１のトレーニングモデル群および前記第２のトレーニングモデル群はＭＲＩ画像に由来するものであり、前記主体モデルはＸ線画像に由来するものである、請求項５〜９の何れか１項に記載のコンピュータ実行方法。
  11. 前記主体モデルと前記第１のトレーニングモデル群との関係を決定するステップは、近似ベクトルを決定するステップを含む、請求項５〜１０の何れか１項に記載のコンピュータ実行方法。
  12. 予測形状を生成するステップは、前記主体モデルを修正するステップを含む、請求項５〜１１の何れか１項に記載のコンピュータ実行方法。
  13. 予測形状を生成するステップは、前記近似ベクトルに少なくとも部分的に基づいて行われる、請求項１１に記載のコンピュータ実行方法。
  14. プロセッサによって実行されるときにコンピュータに形状予測方法を実行させるコンピュータ実行可能な命令を記憶した、コンピュータ読み取り可能な非一時的記録媒体であって、
    前記形状予測方法は、
    第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップと、
    前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップと、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップと、を含み、
    前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応している、
    前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、
    前記第２のトレーニングモデル群は、三次元モデルを含み、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係を決定するステップは、
    前記第１のトレーニングモデル群についての平均形状を決定するステップと、
    前記第１のトレーニングモデル群の分解行列を決定するステップと、
    前記第２のトレーニングモデル群についての平均形状を決定するステップと、
    前記第２のトレーニングモデル群の分解行列を決定するステップと、を含む記録媒体。
  15. プロセッサによって実行されるときにコンピュータに形状予測方法を実行させるコンピュータ実行可能な命令を記憶した、コンピュータ読み取り可能な非一時的記録媒体であって、
    前記形状予測方法は、
    第１パラメータによって特徴付けられた第１のトレーニングモデル群と、第２パラメータによって特徴付けられた第２のトレーニングモデル群との関係を決定するステップと、
    前記第１パラメータによって特徴付けられた主体モデルと、前記第１のトレーニングモデル群との関係を決定するステップと、
    前記第１のトレーニングモデル群と前記第２のトレーニングモデル群との前記関係、および前記主体モデルと前記第１のトレーニングモデル群との前記関係に基づき、前記第２パラメータによって特徴付けられる予測形状を生成するステップと、
    予測形状のうち精度レベルの閾値を超える精度を有する少なくとも１つの部位を同定するステップと、を含み、
    前記第１のトレーニングモデル群内の各モデルが前記第２のトレーニングモデル群内のモデルにそれぞれ対応している、
    前記第１のトレーニングモデル群は、二次元イメージまたは２次元モデルを含み、
    前記第２のトレーニングモデル群は、三次元モデルを含む記録媒体。
JP2018220129A 2014-01-27 2018-11-26 形状の予測 Active JP6695954B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461932087P 2014-01-27 2014-01-27
US61/932,087 2014-01-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016565557A Division JP6442530B2 (ja) 2014-01-27 2015-01-07 形状の予測

Publications (2)

Publication Number Publication Date
JP2019069158A JP2019069158A (ja) 2019-05-09
JP6695954B2 true JP6695954B2 (ja) 2020-05-20

Family

ID=52434733

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016565557A Expired - Fee Related JP6442530B2 (ja) 2014-01-27 2015-01-07 形状の予測
JP2018220129A Active JP6695954B2 (ja) 2014-01-27 2018-11-26 形状の予測

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016565557A Expired - Fee Related JP6442530B2 (ja) 2014-01-27 2015-01-07 形状の予測

Country Status (5)

Country Link
US (2) US10043277B2 (ja)
EP (2) EP3327601B1 (ja)
JP (2) JP6442530B2 (ja)
CN (1) CN106132341B (ja)
WO (1) WO2015110282A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482214B2 (en) * 2014-05-09 2019-11-19 Rsprint Nv Methods and apparatuses for designing footwear
GB2544531A (en) * 2015-11-20 2017-05-24 Imorphics Ltd Image processing method
US11526988B2 (en) 2015-12-18 2022-12-13 Episurf Ip-Management Ab System and method for creating a decision support material indicating damage to an anatomical joint
DK3181050T3 (da) * 2015-12-18 2020-05-11 Episurf Ip Man Ab System og fremgangsmåde til dannelse af et afgørelsesstøttemateriale, som angiver skade på et anatomisk led
US11250561B2 (en) 2017-06-16 2022-02-15 Episurf Ip-Management Ab Determination and visualization of damage to an anatomical joint
US11645749B2 (en) 2018-12-14 2023-05-09 Episurf Ip-Management Ab Determination and visualization of damage to an anatomical joint
EP4372026A3 (en) 2019-03-29 2024-07-17 Teijin Limited Polymeric binder and all-solid-state secondary battery
US11621086B2 (en) 2020-06-04 2023-04-04 Episurf Ip-Management Ab Customization of individualized implant
WO2022099068A1 (en) 2020-11-06 2022-05-12 Materialise Nv System and methods for calibration of x-ray images

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9289153B2 (en) * 1998-09-14 2016-03-22 The Board Of Trustees Of The Leland Stanford Junior University Joint and cartilage diagnosis, assessment and modeling
AU2001296873A1 (en) * 2000-09-14 2002-03-26 Leland Stanford Junior University Technique for manipulating medical images
DE60136474D1 (de) * 2000-09-14 2008-12-18 Univ R Beurteilung des zustandes eines gelenkes und des verlustes von knorpelgewebe
US7660623B2 (en) * 2003-01-30 2010-02-09 Medtronic Navigation, Inc. Six degree of freedom alignment display for medical procedures
EP1890261B1 (de) * 2006-08-14 2009-02-18 BrainLAB AG Registrierung von MR-Daten anhand generischer Modelle
US7724930B2 (en) * 2005-11-03 2010-05-25 Siemens Medical Solutions Usa, Inc. Systems and methods for automatic change quantification for medical decision support
JP5060117B2 (ja) * 2006-12-18 2012-10-31 株式会社東芝 ３次元画像処理装置、３次元画像処理方法、記憶媒体及びプログラム
US20080200840A1 (en) * 2007-02-16 2008-08-21 Jose Gerarado Tamez-Pena Structural quantification of cartilage changes using statistical parametric mapping
US8160345B2 (en) * 2008-04-30 2012-04-17 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
JP5493133B2 (ja) * 2008-04-08 2014-05-14 国立大学法人山口大学 開曲線フーリエ記述子を用いたｘ線画像処理方法及びシステム
US8126249B2 (en) * 2008-05-30 2012-02-28 Optasia Medical Limited Methods of and system for detection and tracking of osteoporosis
US9364291B2 (en) * 2008-12-11 2016-06-14 Mako Surgical Corp. Implant planning using areas representing cartilage
EP2214112B1 (de) * 2009-01-30 2013-01-23 BrainLAB AG Verfahren zum Festlegen einer Konstellation von Messpunkten auf einer anatomischen Struktur
CA2753485C (en) * 2009-02-25 2014-01-14 Mohamed Rashwan Mahfouz Customized orthopaedic implants and related methods
US9078755B2 (en) * 2009-02-25 2015-07-14 Zimmer, Inc. Ethnic-specific orthopaedic implants and custom cutting jigs
EP2258283B1 (de) * 2009-06-05 2013-08-28 BrainLAB AG Werkzeugaufsatz für medizintechnische Anwendungen
JP5404277B2 (ja) * 2009-09-24 2014-01-29 株式会社Ａｚｅ 医用画像データ位置合せ装置、方法およびプログラム
JP5546230B2 (ja) * 2009-12-10 2014-07-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20130144135A1 (en) * 2011-08-02 2013-06-06 Mohamed R. Mahfouz Method and apparatus for three dimensional reconstruction of a joint using ultrasound
US9384546B2 (en) * 2012-02-22 2016-07-05 Siemens Aktiengesellschaft Method and system for pericardium based model fusion of pre-operative and intra-operative image data for cardiac interventions
EP2872065A1 (de) * 2012-07-12 2015-05-20 AO Technology AG Verfahren zur herstellung eines graphischen 3d computermodells mindestens einer anatomischen struktur in einem wählbaren prä-, intra- oder post-operativen status
US9277970B2 (en) * 2012-07-19 2016-03-08 Siemens Aktiengesellschaft System and method for patient specific planning and guidance of ablative procedures for cardiac arrhythmias
US9495752B2 (en) * 2012-09-27 2016-11-15 Siemens Product Lifecycle Management Software Inc. Multi-bone segmentation for 3D computed tomography
US9218524B2 (en) * 2012-12-06 2015-12-22 Siemens Product Lifecycle Management Software Inc. Automatic spatial context based multi-object segmentation in 3D images
JP6079204B2 (ja) * 2012-12-18 2017-02-15 コニカミノルタ株式会社 医用画像システム
EP2967443A4 (en) * 2013-03-15 2016-11-30 Conformis Inc INFORMATION RELATING TO THE SPECIFIC HISTORY OF A PATIENT FOR JOINT REPAIR SYSTEMS
EP2996589B1 (en) * 2013-03-15 2022-01-19 Howmedica Osteonics Corporation Generation of a mating surface model for patient specific cutting guide based on anatomical model segmentation
US9355454B2 (en) * 2013-03-28 2016-05-31 General Electric Company Automatic estimation of anatomical extents
GB201320688D0 (en) * 2013-11-22 2014-01-08 Materialise Nv System and method for constructing a statistical shape model
JP6291812B2 (ja) * 2013-11-29 2018-03-14 コニカミノルタ株式会社 医療用画像撮影システム
US10105120B2 (en) * 2014-02-11 2018-10-23 The University Of British Columbia Methods of, and apparatuses for, producing augmented images of a spine
US11232319B2 (en) * 2014-05-16 2022-01-25 The Trustees Of The University Of Pennsylvania Applications of automatic anatomy recognition in medical tomographic imagery based on fuzzy anatomy models
WO2017106294A2 (en) * 2015-12-17 2017-06-22 Materialise N.V. Pre-operative determination of implant configuration for soft-tissue balancing in orthopedic surgery
CN109310476B (zh) * 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法

Also Published As

Publication number Publication date
EP3327601B1 (en) 2020-12-09
JP2017505211A (ja) 2017-02-16
CN106132341B (zh) 2019-04-12
EP3107477B1 (en) 2018-07-04
CN106132341A (zh) 2016-11-16
JP2019069158A (ja) 2019-05-09
US10373328B2 (en) 2019-08-06
US10043277B2 (en) 2018-08-07
US20160335776A1 (en) 2016-11-17
EP3107477A1 (en) 2016-12-28
WO2015110282A1 (en) 2015-07-30
EP3327601A1 (en) 2018-05-30
US20180315206A1 (en) 2018-11-01
JP6442530B2 (ja) 2018-12-19

Similar Documents

Publication Publication Date Title
JP6695954B2 (ja) 形状の予測
Pfeiffer et al. Learning soft tissue behavior of organs for surgical navigation with convolutional neural networks
CN109754447B (zh) 图像生成方法、装置、设备和存储介质
US20130222415A1 (en) Calculation of a medical image using templates
MX2013006336A (es) Generar un modelo adecuado para estimar la dosis de radiacion de un paciente resultante de escaneos para crear imagenes medicas.
WO2014180972A2 (en) System and method for three-dimensional population analysis of anatomic structures
US20190088360A1 (en) System and method for segmentation and visualization of medical image data
CN110910342B (zh) 通过使用深度学习来分析骨骼创伤
CN118043846A (zh) 用于深度学习自动分割的基于ai的图集映射切片定位器
US9977993B2 (en) System and method for constructing a statistical shape model
JP6703315B2 (ja) 組織変形の存在下において手術を支援するためのシステム及び方法
Hung et al. A framework for generating anatomically detailed subject-specific human facial models for biomechanical simulations
US20140032180A1 (en) Method and apparatus for computing deformation of an object
US20200234494A1 (en) Structure estimating apparatus, structure estimating method, and computer program product
WO2024024495A1 (ja) 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム
WO2017167593A1 (en) Biomechanical model generation for human or animal torsi
US20230046302A1 (en) Blood flow field estimation apparatus, learning apparatus, blood flow field estimation method, and program
KR102689375B1 (ko) 다방향 엑스선 영상을 이용한 영상 내 골격 추정 장치 및 방법
Sankar et al. Role of artificial intelligence in treatment planning and outcome prediction of jaw corrective surgeries by using 3-D imaging-A systematic review
KR20240039772A (ko) 안면 교정 수술 후의 연조직 변화를 예측하는 방법 및 영상처리장치
US10453209B2 (en) Modeling method and apparatus
Paccini et al. Mapping Grey-Levels on 3D Segmented Anatomical districts.
US9836837B2 (en) Method and device for determining a transformation between two images of an anatomical structure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200422

R150 Certificate of patent or registration of utility model

Ref document number: 6695954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250