JP7395143B2 - 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム - Google Patents
三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム Download PDFInfo
- Publication number
- JP7395143B2 JP7395143B2 JP2019163518A JP2019163518A JP7395143B2 JP 7395143 B2 JP7395143 B2 JP 7395143B2 JP 2019163518 A JP2019163518 A JP 2019163518A JP 2019163518 A JP2019163518 A JP 2019163518A JP 7395143 B2 JP7395143 B2 JP 7395143B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- morphology
- coordinate data
- subject
- homology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 44
- 238000012545 processing Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 34
- 230000000877 morphologic effect Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000007619 statistical method Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000000491 multivariate analysis Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 18
- 210000004373 mandible Anatomy 0.000 description 9
- 210000002050 maxilla Anatomy 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000010990 cephalometric method Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008226 craniofacial development Effects 0.000 description 1
- 230000009650 craniofacial growth Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 238000010603 microCT Methods 0.000 description 1
- 230000003562 morphometric effect Effects 0.000 description 1
- 238000013425 morphometry Methods 0.000 description 1
- 238000007557 optical granulometry Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 235000021058 soft food Nutrition 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
本発明に関する形態評価システムは、人体における対象部位、特に頭蓋骨、上顎骨及び下顎骨等の硬組織の形態を表現する三次元表現形態モデルデータに対し統計的な解析処理を行うことで、その表面形態の客観的な定量評価を行うために、ユーザに提供される。
ランドマーク抽出部121は、人体における対象部位の表面形態をスキャンニングして測定した三次元表面形態座標データ1213を入力とし、例えば下記に説明する三次元点群処理を行うことで、ランドマーク座標推定値1214を抽出する演算処理手段である。ランドマーク座標推定値1214は、当該対象部位の複数の解剖学的ランドマークの座標列データである。
ちなみに、解剖学的ランドマークは、頭蓋・上顎骨については52個、下顎骨については53個存在する。
図4は、モデル生成部122による相同モデルの生成処理を説明するための図である。相同モデルとは、上述した解剖学的特徴点に基づいて、同一点数、同一幾何学構造を有する規格化したポリゴンモデルとして表現された人体モデルである。複雑で個体差がある人体形状を相同モデル化することで、三次元レベルでの簡便でかつ高精度の統計解析・比較評価が可能になる。
平均形態生成部123は、標本座標データ111の群に基づいて平均化した標準相同モデル113を生成する演算処理手段である。標本座標データ111は、上述したように、年齢、性別、人種等の属性が共通する複数人の健常者の対象部位をスキャンニングすることにより集められる。平均形態モデル(標準相同モデル113)を生成する前段処理として、まず、上述のランドマーク抽出部121が、各標本座標データ111について解剖学的ランドマーク(標本ランドマークデータ114)を抽出する。そして、モデル生成部122が、各標本ランドマークデータ114に基づいて標本相同モデル115をそれぞれ生成する。
平均形態生成部123は、多変量解析法により標準相同モデル113を生成することができる。図5は、多変量解析法による平均形態モデルの算出方法を説明するためのフローチャートである。
[Hi]=[Tji]×[Fj] …式(1)
ここで、[Hi]は、相同モデルを構成するポリゴンの頂点座標を示す列ベクトル(iは座標点の序数。)、[Fj]は、多次元特徴空間における特徴値を示す列ベクトル(jは特徴値の序数)である。
[MHi]=[Tji]×[GFj] …式(2)
また、平均形態生成部123は、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により標準相同モデル113を生成してもよい。図7は、自由形態変形法による平均形態モデルの算出方法を説明するためのフローチャートである。
偏差演算部124は、標準相同モデル113と被検者相同モデル118とを比較し、これらの表面形態間の違いを評価する演算処理手段である。より具体的に、偏差演算部124は、標準相同モデル113の各座標と、各座標を基準とした、被検者相同モデル118の対応する各座標の偏差を、対象部位の表面全体にわたり演算する。ここで、偏差の度合いを示す指標値として、Zスコアを用いることができる。
Zスコア=被検者相同モデル及び標準相同モデルの座標間距離/全座標間距離の標準偏差 …式(3)
ここで、被検者相同モデル及び標準相同モデルの座標間距離の符号は、標準相同モデル113の座標位置に対し被検者相同モデル118の対応する座標位置が外側にあれば正となり、標準相同モデル113の座標位置に対し被検者相同モデル118の対応する座標位置が内側にあれば負となる。
画像編集・出力部125は、評価結果である対象部位の表面形態の違いを視覚化する演算処理手段である。画像編集・出力部125は、被検者相同モデル118の各座標と、各座標における偏差とを関連付けて画像表示装置201により視覚化する処理を行う。例えば、標準相同モデル113及び被検者相同モデル118をそれら同一方向からみた投影イメージを作成し、これらのイメージを異なるプレーンに配置してオーバラップ表示することができる。それにより、医師等は、異常とされる部位の位置や標準形状に対してどの方向に変形しているかなどが直観的に認識することができる。また、画像編集・出力部125は、上述のZスコアに応じて、被検者相同モデル118の画像を色分け又はグレイスケールを変えて表示してもよい。それにより、医師等は、正常な形態からの形態の違いの程度とともに、重篤な異常個所がどこなのかを直観的かつ正確に把握することができる。
この実施形態では、患者情報のうち解読不能な特徴データ1217のみがホストサーバ100に転送されるので、患者の生データ(被検者座標データ211)の漏洩を防ぐことができる。また、ホストサーバ100が管理する標本座標データ111や標準相同モデル113に対してユーザ端末200等の外部からのアクセスはなく、これら価値の高い標本データの安全性も確保することができる。
101、102 データベース
104 三次元計測装置
111 標本座標データ
112 テンプレートモデル
113 標準相同モデル
114 標本ランドマークデータ
115 標本相同モデル
117 被検者ランドマークデータ
118 被検者相同モデル
121 ランドマーク抽出部
122 モデル生成部
123 平均形態生成部
124 偏差演算部
125 画像編集・出力部
200 ユーザ端末
201 画像表示装置
204 三次元計測装置
1210 ニューラルネットワーク・ディープラーニングモデル
1211 特徴抽出層
1212 分類層
1213 三次元表面形態座標データ
1214 ランドマーク座標推定値
1215 ランドマーク座標教師データ
1216 相同モデル
1217 特徴データ
Claims (7)
- 人体における対象部位の三次元表面形態を評価する形態評価方法であって、
三次元計測装置を用いて被検者の対象部位をスキャンニングすることで該対象部位の三次元表面形態を表す被検者座標データを得るステップと、
前記被検者座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が被検者相同モデルを生成する処理を行うステップと、
平均形態生成部が、複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成するステップと、
偏差演算部が、前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算するステップと
を含み、
前記偏差を用いて該被検者における該対象部位の三次元表面形態が評価され、
ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより前記解剖学的ランドマークを抽出する、形態評価方法。 - 前記ランドマーク抽出部が、機械学習処理により、前記標本座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出するステップと、
前記標本座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が標本相同モデルを生成する処理を行うステップと
を更に含み、
前記平均形態生成部が、前記複数人の健常者についての前記標本相同モデルの群から、それらの平均形態を表す前記標準相同モデルを生成する、請求項1に記載の形態評価方法。 - 前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて画像表示装置により視覚化するステップを更に含む、請求項1又は2に記載の形態評価方法。
- 人体における対象部位の三次元表面形態を評価するよう構成された形態評価システムであって、
三次元計測装置を用いて被検者の対象部位をスキャンニングして得た三次元表面形態を表す被検者座標データから解剖学的ランドマークを自動的に抽出する処理を行うランドマーク抽出部と、
前記解剖学的ランドマークに基づいて被検者相同モデルを生成する処理を行うモデル生成部と、
複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成する平均形態生成部と、
前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算する偏差演算部と
を備え、
ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより前記解剖学的ランドマークを抽出する処理を行う、形態評価システム。 - 複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、
前記平均形態生成部が、前記標本相同モデルの集合全体に対し多変量解析を行い、前記標本相同モデルと予め定めた相同モデルの形態を特徴付ける複数の特徴パラメータの特徴値とを関連付ける変換行列を求め、多次元特徴パラメータ空間において分散する前記特徴値のベクトル重心を算出し、算出した前記ベクトル重心の特徴値を前記変換行列で変換することで、前記標準相同モデルを生成する処理を行う、請求項4に記載の形態評価システム。 - 複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、
前記平均形態生成部が、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により前記標本相同モデルを相互に仮想変形させ、仮想変形させたときの形態間距離の分散が最小となる制御格子点移動パターンの平均を演算し、演算した制御格子点平均移動パターンを中央値の前記標本相同モデルに適用することで前記標準相同モデルを生成する処理を行う、請求項4又は5に記載の形態評価システム。 - 前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて表示する画像表示装置を更に含む、請求項4~6の何れか1項に記載の形態評価システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019163518A JP7395143B2 (ja) | 2019-09-09 | 2019-09-09 | 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019163518A JP7395143B2 (ja) | 2019-09-09 | 2019-09-09 | 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043564A JP2021043564A (ja) | 2021-03-18 |
JP7395143B2 true JP7395143B2 (ja) | 2023-12-11 |
Family
ID=74861724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019163518A Active JP7395143B2 (ja) | 2019-09-09 | 2019-09-09 | 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7395143B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044873A (ja) | 2001-08-01 | 2003-02-14 | Univ Waseda | 顔の3次元モデルの作成方法及びその変形方法 |
JP2005169120A (ja) | 2003-12-08 | 2005-06-30 | Siemens Ag | 検査対象の結果画像の作成方法および画像処理システム |
JP2008204200A (ja) | 2007-02-20 | 2008-09-04 | Space Vision:Kk | 顔解析システム及びプログラム |
JP2011180790A (ja) | 2010-02-26 | 2011-09-15 | Nippon Yunishisu Kk | 三次元形状モデル生成装置、三次元形状モデル生成方法、三次元形状モデル生成プログラム、及び三次元形状モデル生成システム |
JP2017532092A (ja) | 2014-09-02 | 2017-11-02 | エレクタ、インク.Elekta, Inc. | 解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 |
-
2019
- 2019-09-09 JP JP2019163518A patent/JP7395143B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044873A (ja) | 2001-08-01 | 2003-02-14 | Univ Waseda | 顔の3次元モデルの作成方法及びその変形方法 |
JP2005169120A (ja) | 2003-12-08 | 2005-06-30 | Siemens Ag | 検査対象の結果画像の作成方法および画像処理システム |
JP2008204200A (ja) | 2007-02-20 | 2008-09-04 | Space Vision:Kk | 顔解析システム及びプログラム |
JP2011180790A (ja) | 2010-02-26 | 2011-09-15 | Nippon Yunishisu Kk | 三次元形状モデル生成装置、三次元形状モデル生成方法、三次元形状モデル生成プログラム、及び三次元形状モデル生成システム |
JP2017532092A (ja) | 2014-09-02 | 2017-11-02 | エレクタ、インク.Elekta, Inc. | 解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021043564A (ja) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Torosdagli et al. | Deep geodesic learning for segmentation and anatomical landmarking | |
CN103607947B (zh) | 解剖标志的检测 | |
EP3145411B1 (en) | Method for 3-d cephalometric analysis | |
CN102727258B (zh) | 图像处理装置、超声波摄影系统及图像处理方法 | |
WO2017069231A1 (ja) | 人体における治療後の形態予測方法及びシステム | |
EP3471617B1 (en) | Method and system for 3d cephalometric analysis | |
Deng et al. | A novel skull registration based on global and local deformations for craniofacial reconstruction | |
JP6741305B2 (ja) | 脊椎骨姿勢推定装置 | |
JP2014018376A (ja) | 画像処理装置及び方法 | |
CN108133755A (zh) | 一种基于三维可视化的寰椎枢手术模拟系统及其模拟方法 | |
Reynolds et al. | 3-d volumetric evaluation of human mandibular growth | |
CN110575178B (zh) | 一种运动状态判断的诊断监控综合医疗系统及其判断方法 | |
Badano et al. | The stochastic digital human is now enrolling for in silico imaging trials—methods and tools for generating digital cohorts | |
Adankon et al. | Scoliosis follow-up using noninvasive trunk surface acquisition | |
CN108197539A (zh) | 一种颅骨性别鉴定方法 | |
JP7395143B2 (ja) | 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム | |
WO2022185517A1 (ja) | 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム | |
Liang et al. | 3d spine model reconstruction based on rgbd images of unclothed back surface | |
Liu | Chronological age estimation of lateral cephalometric radiographs with deep learning | |
Sun et al. | A statistical model of spine shape and material for population-oriented biomechanical simulation | |
Zhou et al. | Learning stochastic object models from medical imaging measurements by use of advanced ambientgans | |
San Román Gaitero et al. | Imaging Methods to Quantify the Chest and Trunk Deformation in Adolescent Idiopathic Scoliosis: A Literature Review | |
Lee et al. | Facial identification of the dead | |
Ali et al. | Cranio-maxillofacial post-operative face prediction by deep spatial multiband VGG-NET CNN | |
KR101717971B1 (ko) | 안면골 형태분석 방법, 기록매체 및 안면골 형태분석 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7395143 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |