WO2021182470A1 - 顔面軟組織の移動量に基づく定量的評価方法 - Google Patents

顔面軟組織の移動量に基づく定量的評価方法 Download PDF

Info

Publication number
WO2021182470A1
WO2021182470A1 PCT/JP2021/009303 JP2021009303W WO2021182470A1 WO 2021182470 A1 WO2021182470 A1 WO 2021182470A1 JP 2021009303 W JP2021009303 W JP 2021009303W WO 2021182470 A1 WO2021182470 A1 WO 2021182470A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial
soft tissue
movement
subject
spring
Prior art date
Application number
PCT/JP2021/009303
Other languages
English (en)
French (fr)
Inventor
千尋 谷川
Original Assignee
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学 filed Critical 国立大学法人大阪大学
Priority to JP2022507221A priority Critical patent/JPWO2021182470A1/ja
Publication of WO2021182470A1 publication Critical patent/WO2021182470A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Definitions

  • the present invention quantitatively determines the state of the facial soft tissue or the facial motor function of the subject by analyzing in detail the amount of movement and morphological changes of the soft tissue during facial movement such as expression of a smiling facial expression and chewing and swallowing. Regarding methods and systems for evaluation.
  • Facial expressions also play an important role as a nonverbal communication means in communicating emotions and thoughts in social life.
  • orthodontic treatment it is recognized from a social psychological standpoint that improving the morphology of facial soft tissues, including facial expressions, is one of the important therapeutic objectives.
  • orthodontic treatment aims not only to improve the appearance of facial expressions and occlusal conditions, but also to restore and improve the masticatory function for feeding.
  • the mastication is performed by a series of coordinated movements of the oral and jaw muscles including the masticatory muscles and the facial expression muscles in the soft tissue of the face.
  • anatomical feature points (landmarks) are found from the face of the subject, and markers are placed at the positions of those landmarks to photograph the face.
  • landmarks there are at least 30 landmarks required for human face measurement, and the task of marking such a large number of landmarks while individually identifying them is specialized, complicated, and extremely time-consuming. Was there.
  • the facial soft tissue in the area where the marker was not installed could not be evaluated.
  • An object of the present invention is to provide a technique capable of quantitatively evaluating the condition of the facial soft tissue of a subject or its motor function without using a marker.
  • the present invention is a method for evaluating the facial soft tissue of a subject, in which a moving image of the facial movement of the subject is photographed and recorded using a three-dimensional moving image recording device.
  • the arithmetic processing by the analysis device is a step of creating a homologous model in which each frame data of the moving image transmitted from the three-dimensional moving image recording device is normalized, and a step of identifying a plurality of landmarks in each of the homologous models. And, for each of the identified landmarks, a step of measuring the amount of movement associated with the facial movement is included, and the motor function of the facial soft tissue of the subject is evaluated based on the movement amount. This is an evaluation method.
  • the arithmetic processing by the analyzer includes a step of calculating the jerk cost of the movement locus of each landmark identified in each of the homology models, and the subject is based on the calculated jerk cost. It is preferable to evaluate the movement smoothness of the examiner's facial soft tissue.
  • the facial soft tissue evaluation method is a spring lattice model in which the arithmetic processing by the analyzer imitates the form of each of the homologous models with a polyhedron, and each of the plurality of vertices of the polyhedron is any of the plurality of landmarks.
  • Each spring when the step of constructing a spring lattice model in which the side connecting the apexes of the polyhedron is replaced with a spring element corresponding to the coordinate points and the facial movement are reproduced by the movement of the spring lattice model. It is preferable to evaluate the motor flexibility of the subject's facial soft tissue based on the calculated spring energy, which includes a step of calculating the spring energy generated in the element.
  • the facial movement is a smile expression movement or a masticatory movement.
  • the state and motor function of the facial soft tissue in a relatively wide range can be measured by measuring the three-dimensional movement amount of the facial soft tissue during facial movement such as expression of a smiling facial expression and chewing in time series. It can be evaluated quantitatively. Moreover, since it is not necessary to place a marker on the face of the subject, even a non-expert can easily and quickly perform face measurement.
  • FIG. 1 shows a schematic configuration of a facial soft tissue evaluation system according to an embodiment of the present invention.
  • This system includes a three-dimensional moving image recording device 10 and an analysis device 20.
  • the three-dimensional moving image recording device 10 for example, the product name "3dMD dynamic SYSTEM" provided by 3dMD in the United States can be used.
  • the analysis device 20 is a computer system connected to the three-dimensional moving image recording device 10 by a communication line, and includes homology model creating means 21, landmark identification means 22, soft tissue movement amount measuring means 23, motor function evaluation means 24, and the like. I have.
  • the motor function evaluation means 24 further includes a jerk cost calculation means 25, a spring energy conversion means 26, and the like.
  • These means in the analysis device 20 are arithmetic processing means in which a target function is realized by arithmetic processing of a computer.
  • a three-dimensional moving image of the facial head is taken while causing the subject to perform facial movements accompanied by facial expression changes, for example, smile facial expression movements or chewing / swallowing movements. ..
  • the moving image data recorded in the three-dimensional moving image recording device 10 is converted into time-series frame data 31 each having three-dimensional morphological information and transmitted to the analysis device 20.
  • the facial movement of the subject was photographed at 10 frames / second, and the origin of the coordinate system was set with reference to the frame data 31 in the resting state at the 20th frame (about 2 seconds later) from the start of imaging.
  • the analysis device 20 uses the method described below based on the three-dimensional facial motion image (time-series set of frame data) of the subject transmitted from the three-dimensional moving image recording device 10, and the amount of movement of soft tissue during facial movement. And morphological changes are automatically measured.
  • the set of frame data 31 captured by the three-dimensional moving image recording device 10 expresses the three-dimensional morphological change during facial movement of the subject in chronological order.
  • the homology model creating means 21 performs a process of creating a three-dimensional facial morphology model 32 normalized from each frame data 31. Specifically, as shown in FIG. 2, the homology model creating means 21 extracts anatomical feature points (landmarks, semi-landmarks) from the facial morphology model 311 of each frame data 31, and makes the feature points the same.
  • a normalized homology model 32 is constructed by rearranging the standard template model 312 having the same number of points and the same topological structure according to the scale.
  • an HBM Homologous Body Modeling
  • AIST National Institute of Advanced Industrial Science and Technology
  • the landmark identification means 22 performs a process of identifying landmarks, which are a plurality of representative anatomical feature points common to each homology model 32.
  • FIG. 3 illustrates the time series of the homology model 33 in which a plurality of representative landmarks have been identified.
  • FIGS. 4A to 4C typical landmark Nos.
  • the results of comparing the measured values using the markers and the identified values according to the present embodiment are illustrated for 1 to 38.
  • the vertical axis represents the error in the x-axis (horizontal direction), y-axis (vertical direction), and z-axis (front-back direction) with respect to the measured value using the marker (gold standard, that is, the correct answer value). show.
  • the error with respect to the marker standard was within 2 mm for most of the landmarks, and it was confirmed that the accuracy of the facial soft tissue movement tracking method according to this example was good.
  • the soft tissue movement amount measuring means 23 performs a process of measuring the movement amount of each landmark identified in the homology model 33 due to facial movement. Then, the motor function evaluation means 24 calculates kinematic variables (for example, jerk cost, peak speed, exercise time, etc.) based on the amount of movement of each landmark, so that the actual facial soft tissue of the subject is used. Quantitatively evaluate the condition and motor function of.
  • kinematic variables for example, jerk cost, peak speed, exercise time, etc.
  • Example 1 An example of facial soft tissue evaluation during a smile expression expression exercise will be described. First, using the three-dimensional video recording device 10, a three-dimensional facial motion image is taken from the state in which the subject rests his face to the expression of a smile, and then the subject returns to the resting state, and this step is repeated seven times. ..
  • a time-series set of the homology model 32 in the smile facial expression expression movement is created.
  • the created data of the homology model group 32 is recorded in the database of the analysis device 20.
  • each homology model 32 38 typical anatomical feature points (landmarks) required for measurement are identified. Then, the three-dimensional coordinate values of the individual landmarks are plotted on the time axis, and the three-dimensional motion locus of each landmark is obtained by performing appropriate interpolation processing between the frames.
  • the jerk cost calculation means 25 performs a process of calculating the jerk cost of the motion locus of each landmark identified in each homology model 32.
  • the jerk cost is the sum of the squares of the second derivative (that is, jerk) of the motion locus.
  • FIGS. 5A to 5C show an example of the change in the movement amount of the landmark and the total jerk cost JC during the smiling facial expression expression exercise measured by the tracking method of this embodiment.
  • the motor function evaluation means 24 quantitatively determines the motor functionality of the facial soft tissue of the subject based on variables such as the movement speed, peak speed, and exercise time of each landmark. Can be evaluated.
  • the analysis device 20 may construct a spring lattice model (unstructured lattice model) 41 that imitates the morphology of the subject's facial soft tissue with a polyhedron from each homology model 33 recorded in the database.
  • a spring lattice model unstructured lattice model 41 that imitates the morphology of the subject's facial soft tissue with a polyhedron from each homology model 33 recorded in the database.
  • each vertex (lattice point) of the polyhedron of the spring lattice model 41 coincides with, for example, the coordinate points of the landmarks which are the 38 anatomical feature points described above.
  • the sides connecting the vertices (lattice points) of the polyhedron constituting the spring lattice model 41 are replaced with spring elements.
  • the natural length of the spring element connecting the two landmarks is determined based on the three-dimensional facial image acquired in the resting state immediately before the smile expression exercise.
  • the spring energy conversion means 26 of the analyzer 20 reproduces the facial movement of the subject, that is, the movement from the resting state of the face to the expression of a smile and the return to the resting state by the spring lattice model 41.
  • a process is performed in which the movement of the soft structure at that time is converted into the fluctuation of the spring energy generated in each spring element.
  • the energy E generated in the spring is proportional to the square of the amount of expansion and contraction (L m ⁇ L 0 ) of the spring, as expressed by the following equation (1).
  • Spring energy E 1/2 x k x (L 0- L m ) 2 ...
  • k spring constant
  • L 0 natural length of the spring (initial value of the distance between lattice points)
  • L m Spring length after movement (distance between grid points)
  • the absolute amount of the spring energy E can be obtained, it is not possible to distinguish whether the soft tissue replaced by the spring is stretched or contracted. Therefore, for example, when the soft tissue is stretched (L 0 ⁇ L m ⁇ 0), it is preferable to distinguish the stretched state by adding a minus sign to the absolute amount of the spring energy E in the formula (1). Further, it is preferable to visually display the motion state of the facial soft tissue by changing the color according to the fluctuation amount of the spring energy E.
  • the motion flexibility of the subject's facial soft tissue is quantitatively calculated by converting the motion of the subject's facial soft tissue into the fluctuation of the spring energy E generated in each spring element of the spring lattice model 41. Can be evaluated.
  • the spring energy analysis of the soft tissue of the face may be performed by creating a spring lattice model 42 imitated by a polygon mesh including a subbrand mark having a finer mesh than the landmark, which was used when creating the homology model 32. (See FIGS. 7A and 7B). According to this embodiment, the condition and motor function of the facial soft tissue can be evaluated in a relatively wide range in more detail.
  • Example 2 Next, an example of facial soft tissue evaluation during masticatory movement will be described.
  • a three-dimensional facial motion image is taken with the subject resting his face for 5 seconds, chewing gum for 30 seconds, and chewing gum for 30 seconds.
  • the frame data 31R at rest, the frame data 31E at the time of empty chewing, and the frame data 31C at the time of chewing gum are obtained.
  • the homology model creating means 21 extracts anatomical feature points (landmarks, semi-landmarks) from the frame data 31R, 31E, 31C, and the homology model time series group 32R, 32E, at the time of each exercise. Create 32C.
  • the data of the created homology model groups 32R, 32E, and 32C are recorded in the database of the analyzer 20.
  • the landmark identification means 22 identifies landmarks which are representative plurality of anatomical feature points common to each homology model 32R, 32E, 32C.
  • the soft tissue movement amount measuring means 23 performs a process of measuring the movement amount of each landmark during the empty chewing and chewing movements.
  • the motor function evaluation means 24 obtains and obtains the three-dimensional motion locus of each landmark by plotting the three-dimensional coordinate values of the individual landmarks on the time axis and performing appropriate interpolation processing between the frames.
  • the kinematic variables (for example, jerk cost, peak velocity, kinetic time, etc.) can be calculated from the obtained data.
  • the jerk cost calculation means 25 can perform a process of calculating the jerk cost of the movement locus of each landmark during the empty chewing and chewing movements.
  • the spring energy conversion means 26 reproduces the movement of each landmark during the empty biting and masticatory movements with the spring lattice model 41, and converts the movement of the soft tissue at that time into the fluctuation of the spring energy generated in each spring element. Processing may be performed. By statistically comparing the difference in changes between each movement using the multidimensional feature vector with the above kinematic variables as elements, for example, it depends on the degree of masticatory function deterioration, lip closure failure, and rehabilitation in the elderly. It can contribute to the establishment of a method for quantitatively evaluating the effect and the degree of recovery.
  • the state of the facial soft tissue of the subject or its motor function can be quantitatively evaluated without installing a marker on the face of the subject. Since it is not necessary to install a marker, facial measurement can be performed easily and in a short time even if the person is not an expert.
  • facial expressions are an important nonverbal communication means in social life, they can be used as a tool for practicing to make a good smile and confirming the effects of rehabilitation training, for example. can. Furthermore, if this technology can be applied to portable cameras such as smartphones, facial expressions can be observed on a daily basis, for example, at home, early detection of depression and dementia, and accurate medical treatment for such diseases. Practical application of a "facial expression diagnosis system" that supports interventions can be expected.
  • the facial motor function during masticatory / swallowing exercise for example, it is possible to confirm the masticatory / swallowing function of a patient who has undergone occlusal orthodontic treatment and to grasp the degree of recovery. In addition, for example, it is possible to predict and evaluate how much the swallowing function of the elderly in the frail stage is deteriorated.
  • Three-dimensional video recording device 20
  • Analytical device 21
  • Homology model creation means 22
  • Landmark identification means 23
  • Soft tissue movement amount measuring means 24
  • Motor function evaluation means 25
  • Jerk cost calculation means 26
  • Spring energy conversion means 31
  • Frame data of three-dimensional facial motion image 32
  • Homology model with normalized 3D facial morphology 33
  • Homology model with identified representative landmarks 311
  • 3D facial morphology model 312 Standard template models 41, 42 Spring lattice model imitating 3D facial morphology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

顔面軟組織評価方法は、三次元動画記録装置１０を使用して被検者の顔面運動の動画像を撮影及び記録し、解析装置２０による演算処理が、三次元動画記録装置１０から送信された三次元顔面動画像の各フレームデータを正規化した相同モデル３２を作成するステップと、前記各相同モデル３２において複数のランドマークを同定するステップと、同定された各ランドマークについて、顔面運動に伴う移動量を測定するステップとを含み、その移動量に基づいて当該被検者の顔面軟組織の運動機能を評価する。

Description

顔面軟組織の移動量に基づく定量的評価方法
　本発明は、例えば笑顔表情表出や咀嚼嚥下といった顔面運動時の軟組織の移動量や形態変化を詳細にデータ解析することにより、被検者の顔面軟組織の状態又は顔面運動機能等を定量的に評価するための方法及びシステムに関する。
　人の顔は、自己が社会的に受け入れられているという心理的充足を得る上で強い影響力を有している。また、顔の表情は、社会生活において、感情や思考の伝達を行う上での非言語的コミュニケーション手段として重要な機能を果たすものでもある。現代の矯正歯科治療においては、社会心理学的な立場から、表情を含め顔の軟組織の形態を改善することが重要な治療目的のひとつであると認識されている。
　従来、顔の形態や運動機能を定量的に評価する手法としては、写真を用いた顔面計測が一般的であり、臨床応用もされている。近年では、スキャンニング法やステレオ法を用いた三次元計測による顔面評価も検討されている。例えば、表情表出障害がある患者の場合、笑顔表情表出運動に伴い疾患固有の形態的な顔の歪が生じることが知られている。発明者らは、安静時及び表情表出時における顔の三次元計測が、このような歪みの検出に有効であることを既に報告している（例えば非特許文献１参照）。
　また、矯正歯科治療は、顔の表情や咬合状態の外見的改善だけでなく、摂食のための咀嚼機能の回復や改善をも目的としている。なお、咀嚼は、顔面軟組織における咀嚼筋と表情筋とを含む口顎諸筋の一連の協調運動により行われる。
　例えば、骨格性反対咬合症例では、上顎骨の低形成に伴い周囲の咀嚼筋と表情筋の低形成が認められ、また前歯部開咬症例では、口唇閉鎖不全に対する代償的な筋活動の亢進が認められている。これらの症例から、咬合異常を有する患者においては、咀嚼時の顔面軟組織の動的変位の様相が正常者と大きく異なることが予想され、下顎運動軌跡や口顎諸筋の活動に基づいて咀嚼機能を客観的に評価する手法も検討されている（例えば非特許文献２参照）。
谷川 千尋, 李 東勲, 山城 隆著, 口唇裂・口蓋裂を有する患者において皮膚の物理特性が笑顔表出機能に与える影響, 日本顎口腔機能学会雑誌 2018年, 24(2) 124-125頁. Takada K, Yashiro K, Sorihashi Y, Morimoto T, Sakuda M著, Tongue, jaw, and lip muscle activity and jaw movement during experimental chewing efforts in man, J Dent Res., 1996年8月, 75(8):1598-606.
　従来の顔面計測においては、被検者の顔面から複数の解剖学的特徴点（ランドマーク）を見出し、それらのランドマークの位置にマーカーを設置して顔を撮影する手法が採られている。しかし、人の顔面計測に必要なランドマークは少なくとも３０個所以上あり、そのような多数のランドマークを個々に特定しながらマーキングする作業は、専門的である上に煩雑で非常に時間を要していた。また、マーカーが設置されていない領域の顔面軟組織については評価することができなかった。
　本発明は、マーカーを用いることなく、被検者の顔面軟組織の状態又はその運動機能を定量的に評価することができる等の技術を提供することを目的としている。
　上述の課題を解決するため、本発明は、被検者の顔面軟組織を評価する方法であって、三次元動画記録装置を使用して被検者の顔面運動の動画像を撮影及び記録し、解析装置による演算処理が、前記三次元動画記録装置から送信された前記動画像の各フレームデータを正規化した相同モデルをそれぞれ作成するステップと、前記各相同モデルにおいて複数のランドマークを同定するステップと、同定された前記各ランドマークについて、前記顔面運動に伴うそれぞれの移動量を測定するステップとを含み、前記移動量に基づいて当該被検者の顔面軟組織の運動機能を評価する、顔面軟組織評価方法である。
　顔面軟組織評価方法は、前記解析装置による演算処理が、前記各相同モデルにおいて同定された前記各ランドマークの移動軌跡のジャークコストを演算するステップを含み、演算された前記ジャークコストに基づいて当該被検者の顔面軟組織の運動円滑性を評価することが好ましい。
　また、顔面軟組織評価方法は、前記解析装置による演算処理が、前記各相同モデルの形態を多面体で模したばね格子モデルであって、当該多面体の複数の頂点のそれぞれが前記複数のランドマークのいずれかの座標点に対応し、当該多面体の頂点間を結ぶ辺がばね要素に置き換えられたばね格子モデルを構築するステップと、前記顔面運動を前記ばね格子モデルの動きで再現した場合に、前記各ばね要素に生じるばねエネルギーを演算するステップとを含み、演算された前記ばねエネルギーに基づいて当該被検者の顔面軟組織の運動柔軟性を評価することが好ましい。
　また、顔面軟組織評価方法は、前記顔面運動が笑顔表出運動又は咀嚼運動であることが好ましい。
　本発明によれば、例えば笑顔表情の表出や咀嚼といった顔面運動時の顔面軟組織の三次元的な移動量を時系列で測定することにより、比較的広範囲での顔面軟組織の状態や運動機能を定量的に評価することができる。また、被検者の顔面にマーカーを設置する必要がないので、専門家でなくても簡便にかつ短時間で顔面測定を行うことができる。
顔面軟組織評価システムの構成を例示する概略図である。 三次元顔面画像から相同モデルを作成する方法を説明するための図である。 代表的な複数のランドマークが同定された相同モデルの時系列を例示する図である。 同定された各ランドマークについて、マーカーを用いて測定された正解値に対するｘ軸方向における誤差のばらつきを例示した箱ひげ図である。 同定された各ランドマークについて、マーカーを用いて測定された正解値に対するｙ軸方向における誤差のばらつきを例示した箱ひげ図である。 同定された各ランドマークについて、マーカーを用いて測定された正解値に対するｚ軸方向における誤差のばらつきを例示した箱ひげ図である。 笑顔表情表出運動時における複数のランドマークの移動量軌跡を例示する図である。 笑顔表情表出運動時における複数のランドマークの移動量軌跡を更に例示する図である。 笑顔表情表出運動時における複数のランドマークの移動量軌跡を更に例示する図である。 顔面軟組織の形態を、複数のランドマークを頂点とする多面体で模したばね格子モデルを例示する図である。 ランドマークよりも目が細かいサブランドマークを含むポリゴンメッシュで模したばね格子モデルを用いて、安静時の顔面軟組織の移動量をばねエネルギーに換算した例を示す図である。 ランドマークよりも目が細かいサブランドマークを含むポリゴンメッシュで模したばね格子モデルを用いて、笑顔表出時の顔面軟組織の移動量をばねエネルギーに換算した例を示す図である。
　図１に、本発明の一実施形態による、顔面軟組織評価システムの概略構成を示す。本システムは、三次元動画記録装置１０と、解析装置２０とを含み構成されている。三次元動画記録装置１０としては、例えば米国３ｄＭＤ社が提供する商品名「３ｄＭＤ　ｄｙｎａｍｉｃ　ＳＹＳＴＥＭ」を使用することができる。解析装置２０は、三次元動画記録装置１０と通信回線で接続されたコンピュータシステムであって、相同モデル作成手段２１、ランドマーク同定手段２２、軟組織移動量測定手段２３、運動機能評価手段２４等を備えている。運動機能評価手段２４は、更に、ジャークコスト演算手段２５、ばねエネルギー換算手段２６等を備えている。解析装置２０におけるこれらの手段は、コンピュータの演算処理により目的の機能が実現される演算処理手段である。
　図１のシステムを用いて、被検者の顔面軟組織を定量的に評価する方法について、以下具体的に説明する。
　先ず、三次元動画記録装置１０を使用して、被検者に表情変化を伴う顔面運動、例えば笑顔表情表出運動又は咀嚼・嚥下運動をさせながら、顔面頭部の三次元動画像を撮影する。三次元動画記録装置１０に記録された動画像データは、それぞれが三次元形態情報を有する時系列のフレームデータ３１に変換されて、解析装置２０に送信される。一実施例において、１０フレーム／秒で被検者の顔面運動を撮影し、撮影開始から２０フレーム目（約２秒後）の安静状態におけるフレームデータ３１を基準に座標系の原点を設定した。
　解析装置２０では、三次元動画記録装置１０から送信される被検者の三次元顔面動画像（フレームデータの時系列集合）に基づいて、以下説明する方法で、顔面運動時の軟組織の移動量や形態変化を自動的に測定する。
　三次元動画記録装置１０で撮影されたフレームデータ３１のセットは、被検者の顔面運動時の三次元的形態変化を時系列に表現する。相同モデル作成手段２１は、各フレームデータ３１から正規化した三次元の顔面形態モデル３２をそれぞれ作成する処理を行う。具体的に図２に示すように、相同モデル作成手段２１は、各フレームデータ３１の顔面形態モデル３１１から解剖学的特徴点（ランドマーク、セミランドマーク）を抽出し、それらの特徴点を同一点数、同一位相幾何学構造の標準テンプレートモデル３１２のスケールに合わせて再配置することで、正規化した相同モデル３２を構築する。このモデル化処理には、例えばＡＩＳＴ（産業技術総合研究所）が提供するＨＢＭ（Homologous Body Modeling）プログラムを利用することができる。
　ランドマーク同定手段２２は、各相同モデル３２において共通する代表的な複数の解剖学的特徴点であるランドマークを同定する処理を行う。ここで、図３には、代表的な複数のランドマークが同定された相同モデル３３の時系列が例示される。
　また、図４Ａ～Ｃに、代表的なランドマークＮｏ．１～３８について、マーカーを用いた測定値と本実施形態による同定値とを比較した結果を例示する。これらの箱ひげ図において、縦軸は、マーカーを用いた測定値（ゴールドスタンダード、すなわち正解値）に対する、ｘ軸（左右方向）、ｙ軸（上下方向）及びｚ軸（前後方向）における誤差を示す。図４Ａ～Ｃに示すように、殆どのランドマークにおいてマーカー基準に対する誤差は２ｍｍ以内であり、本実施例による顔面軟組織の移動追跡手法の精度は良好であることが確認された。
　軟組織移動量測定手段２３は、相同モデル３３において同定された各ランドマークについて、顔面運動に伴うそれぞれの移動量を測定する処理を行う。そして、運動機能評価手段２４は、各ランドマークの移動量に基づいて、運動力学的な変数（例えばジャークコスト、ピーク速度、運動時間等）を演算することで、被検者の実際の顔面軟組織の状態や運動機能を定量的に評価する。
　上述のシステムにおいて行われる顔面軟組織評価の方法の具体的な実施例を説明する。
（実施例１）
　笑顔表情表出運動時の顔面軟組織評価の例を説明する。先ず、三次元動画記録装置１０を用いて、被検者が顔を安静にした状態から笑顔を表出し、再び安静状態に戻るまでの三次元顔面動画像を撮影し、このステップを７回繰り返す。
　次に、解析装置２０において、三次元顔面動画像の各フレーム３１にランドマークとセミランドマークを設置することで、笑顔表情表出運動における相同モデル３２の時系列集合を作成する。作成された相同モデル群３２のデータは、解析装置２０のデータベースに記録される。
　続いて、各相同モデル３２において、計測に必要とされる代表的な３８個所の解剖学的特徴点（ランドマーク）を同定する。そして、個々のランドマークの三次元座標値を時間軸においてプロットし、フレーム間で適宜補間処理をすることにより、各ランドマークの三次元の運動軌跡を求める。
　そして、ジャークコスト演算手段２５は、各相同モデル３２において同定された各ランドマークの運動軌跡のジャークコストを演算する処理を行う。ここで、ジャークコストとは、運動軌跡の２階微分（つまり加速度）の二乗の総和である。ジャークコストの値が高いほど運動がぎごちないことを示し、ジャークコストの値が低いほど運動が円滑であることを示す。すなわち、ジャークコストの値によって、顔面軟組織の運動円滑性を定量的に評価することができる。図５Ａ～Ｃに、本実施例の追跡手法で測定された、笑顔表情表出運動時におけるランドマークの移動量の変化とトータルのジャークコストＪＣの例を示す。
　また、運動機能評価手段２４は、ジャークコスト以外にも、例えば各ランドマークの移動速度やピーク速度、運動時間等の変数に基づいて、当該被検者の顔面軟組織の運動機能性を定量的に評価することができる。
　また、解析装置２０は、データベースに記録された各相同モデル３３から、被検者の顔面軟組織の形態を多面体で模したばね格子モデル（非構造格子モデル）４１を構築してもよい。例えば図６の例において、このばね格子モデル４１の多面体の各頂点（格子点）は、例えば上述した３８個所の解剖学的特徴点であるランドマークの座標点にそれぞれ一致している。また、ばね格子モデル４１を構成する多面体の頂点（格子点）間を結ぶ辺は、ばね要素で置き換えられている。２つのランドマークを結ぶばね要素の自然長は、笑顔表出運動直前の安静状態で取得した三次元顔面画像を基準に定められる。
　解析装置２０のばねエネルギー換算手段２６は、被検者の顔面運動、すなわち顔を安静にした状態から笑顔を表出し、再び安静状態に戻るまでの動きを、ばね格子モデル４１で再現し、その際の軟組織の移動を各ばね要素に生じるばねエネルギーの変動に換算する処理を行う。なお、運動力学において、ばねに生じるエネルギーＥは、下記式（１）で表現されるように、ばねの伸縮量（Ｌｍ－Ｌ０）の二乗に比例する。
 
　　ばねエネルギーＥ ＝ １／２×ｋ×（Ｌ０－Ｌｍ）２　　　・・・（１）
　　　　　　　　ここで、ｋ：ばね定数
　　　　　　　　　　　　Ｌ０：ばねの自然長（格子点間距離の初期値）
　　　　　　　　　　　　Ｌｍ：移動後のばねの長さ（格子点間距離）
 
　しかし、式（１）では、ばねエネルギーＥの絶対量は得られるが、ばねに置換した軟組織が伸びているのか又は収縮しているのかを区別することができない。そのため、例えば軟組織が伸びたとき（Ｌ０－Ｌｍ＜０）には、式（１）のばねエネルギーＥの絶対量にマイナスの符号を付すことにより、その伸縮状態を区別することが好ましい。また、ばねエネルギーＥの変動量に応じて色を変えて顔面軟組織の運動状態を視覚的に表示することが好ましい。
　このようにして、被検者の顔面軟組織の運動を、ばね格子モデル４１の各ばね要素に生じるばねエネルギーＥの変動に換算することにより、当該被検者の顔面軟組織の運動柔軟性を定量的に評価することができる。
　なお、相同モデル３２を作成する際に用いた、ランドマークよりも目が細かいサブランドマークを含むポリゴンメッシュで模したばね格子モデル４２を作成して、顔面軟組織のばねエネルギー解析を行ってもよい（図７Ａ、７Ｂ参照）。この実施例によれば、比較的広範囲での顔面軟組織の状態や運動機能をより詳細に評価することができる。
（実施例２）
　次に、咀嚼運動時の顔面軟組織評価の例を説明する。先ず、三次元動画記録装置１０を用いて、被検者が顔を安静にした状態を５秒間、空噛みを３０秒間、チューイングガム咀嚼を３０秒間、三次元顔面動画像を撮影する。これにより、安静時のフレームデータ３１Ｒ、空噛み時のフレームデータ３１Ｅ、チューイングガム咀嚼時のフレームデータ３１Ｃを得る。
　次に、相同モデル作成手段２１は、各フレームデータ３１Ｒ、３１Ｅ、３１Ｃから解剖学的特徴点（ランドマーク、セミランドマーク）を抽出し、それぞれの運動時の相同モデル時系列群３２Ｒ、３２Ｅ、３２Ｃを作成する。作成された相同モデル群３２Ｒ、３２Ｅ、３２Ｃのデータは、解析装置２０のデータベースに記録される。
　続いて、ランドマーク同定手段２２は、各相同モデル３２Ｒ、３２Ｅ、３２Ｃにおいて共通する代表的な複数の解剖学的特徴点であるランドマークを同定する。軟組織移動量測定手段２３は、空噛み及び咀嚼運動時における、各ランドマークの移動量を測定する処理を行う。そして、運動機能評価手段２４は、個々のランドマークの三次元座標値を時間軸においてプロットし、フレーム間で適宜補間処理をすることにより、各ランドマークの三次元の運動軌跡を求め、得られたデータより運動力学変数（例えばジャークコスト、ピーク速度、運動時間等）を演算することができる。
　例えば、ジャークコスト演算手段２５は、空噛み及び咀嚼運動時における各ランドマークの運動軌跡のジャークコストを演算する処理を行うことができる。また、ばねエネルギー換算手段２６は、空噛み及び咀嚼運動時における各ランドマークの運きをばね格子モデル４１で再現し、その際の軟組織の移動を各ばね要素に生じるばねエネルギーの変動に換算する処理を行ってもよい。上記の運動力学変数を要素とする多次元特徴ベクトルを用いて各運動間の変化の差を統計学的に比較することで、例えば高齢者の咀嚼機能低下、口唇閉鎖不全の程度、及びリハビリによる効果や回復度合い等を定量的に評価する手法の確立に貢献することができる。
　以上説明した実施例によれば、被検者の顔にマーカーを設置しなくても、当該被検者の顔面軟組織の状態又はその運動機能を定量的に評価することができる。マーカーを設置する必要がないので、専門家でなくても簡便にかつ短時間で顔面測定を行うことができる。
　より具体的に、例えば矯正歯科においては、治療計画の立案や治療効果の確認のための有効な評価手段として用いることができる。例えば、安静状態から笑顔を表出するまでの三次元顔形態をダイナミックに計測し、表情筋を含む顔面軟組織の移動量を詳細に解析することにより、疾患固有の形態的歪みを検出することができる。また、そのような形態的歪みを数値化することにより、症例の分類や疾患の重篤度等の診断にも役立てることができる。
　また、顔の表情は、社会生活における重要な非言語的コミュニケーション手段であるとの認識の下、例えば良い笑顔を作るための練習やリハビリ訓練の効果確認のためのツールとしての用に供することができる。更に、スマートフォン等の携帯型カメラに本技術を適用できれば、例えば在宅で顔の表情を日常的に観察することができ、うつ病や認知症などの早期発見やそのような疾病への的確な医療介入等を支援する「表情診断システム」の実用化も期待できる。
　また、咀嚼・嚥下運動時の顔面運動機能を評価することにより、例えば咬合矯正治療を行った患者の咀嚼・嚥下機能の確認や回復度合いを把握することができる。また、例えばフレイル段階にある高齢者の嚥下機能がどの程度低下しているか予測評価することができる。
１０　三次元動画記録装置
２０　解析装置
２１　相同モデル作成手段
２２　ランドマーク同定手段
２３　軟組織移動量測定手段
２４　運動機能評価手段
２５　ジャークコスト演算手段
２６　ばねエネルギー換算手段
３１　三次元顔面動画像のフレームデータ
３２　三次元顔面形態を正規化した相同モデル
３３　代表的ランドマークが同定された相同モデル
３１１　三次元顔面形態モデル
３１２　標準テンプレートモデル
４１、４２　三次元顔面形態を模したばね格子モデル

Claims (5)

  1. 　被検者の顔面軟組織を評価する方法であって、
    　三次元動画記録装置を使用して被検者の顔面運動の動画像を撮影及び記録し、
    　解析装置による演算処理が、
    　前記三次元動画記録装置から送信された前記動画像の各フレームデータを正規化した相同モデルをそれぞれ作成するステップと、
    　前記各相同モデルにおいて複数のランドマークを同定するステップと、
    　同定された前記各ランドマークについて、前記顔面運動に伴うそれぞれの移動量を測定するステップとを含み、
    　前記移動量に基づいて当該被検者の顔面軟組織の運動機能を評価する、顔面軟組織評価方法。
  2. 　前記解析装置による演算処理が、前記各相同モデルにおいて同定された前記各ランドマークの移動軌跡のジャークコストを演算するステップを含み、
    　演算された前記ジャークコストに基づいて当該被検者の顔面軟組織の運動円滑性を評価する、請求項１に記載の顔面軟組織評価方法。
  3. 　前記解析装置による演算処理が、
    　前記各相同モデルの形態を多面体で模したばね格子モデルであって、当該多面体の複数の頂点のそれぞれが前記複数のランドマークのいずれかの座標点に対応し、当該多面体の頂点間を結ぶ辺がばね要素に置き換えられたばね格子モデルを構築するステップと、
    　前記顔面運動を前記ばね格子モデルの動きで再現した場合に、前記各ばね要素に生じるばねエネルギーを演算するステップとを含み、
    　演算された前記ばねエネルギーに基づいて当該被検者の顔面軟組織の運動柔軟性を評価する、請求項１に記載の顔面軟組織評価方法。
  4. 　前記顔面運動が笑顔表出運動である、請求項１～３の何れか１項に記載の顔面軟組織評価方法。
  5. 　前記顔面運動が咀嚼運動である、請求項１～３の何れか１項に記載の顔面軟組織評価方法。
PCT/JP2021/009303 2020-03-12 2021-03-09 顔面軟組織の移動量に基づく定量的評価方法 WO2021182470A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022507221A JPWO2021182470A1 (ja) 2020-03-12 2021-03-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020042687 2020-03-12
JP2020-042687 2020-03-12

Publications (1)

Publication Number Publication Date
WO2021182470A1 true WO2021182470A1 (ja) 2021-09-16

Family

ID=77672385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009303 WO2021182470A1 (ja) 2020-03-12 2021-03-09 顔面軟組織の移動量に基づく定量的評価方法

Country Status (2)

Country Link
JP (1) JPWO2021182470A1 (ja)
WO (1) WO2021182470A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150291A (ja) * 2000-11-06 2002-05-24 Nagoya Industrial Science Research Inst 動点軌跡計測方法及び動点軌跡計測装置、画像処理方法及び画像処理装置並びに動点軌跡計測プログラムを記録したコンピュータ読み取り可能な記録媒体及び動点軌跡計測プログラム
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の３次元モデルの作成方法及びその変形方法
JP2010142285A (ja) * 2008-12-16 2010-07-01 Yoshida Dental Mfg Co Ltd 下顎前歯部運動追尾システム、下顎前歯部運動追尾装置および顎関節雑音分析装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150291A (ja) * 2000-11-06 2002-05-24 Nagoya Industrial Science Research Inst 動点軌跡計測方法及び動点軌跡計測装置、画像処理方法及び画像処理装置並びに動点軌跡計測プログラムを記録したコンピュータ読み取り可能な記録媒体及び動点軌跡計測プログラム
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の３次元モデルの作成方法及びその変形方法
JP2010142285A (ja) * 2008-12-16 2010-07-01 Yoshida Dental Mfg Co Ltd 下顎前歯部運動追尾システム、下顎前歯部運動追尾装置および顎関節雑音分析装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAITO, YUSUKE ET AL.: "Design of a Status Monitoring System With Human Action and Face Expression", IEICE TECHNICAL REPORT, vol. 115, no. 415, 15 February 2016 (2016-02-15) *

Also Published As

Publication number Publication date
JPWO2021182470A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
CN109069097B (zh) 牙科用三维数据处理装置及其方法
Zollikofer et al. Computer‐assisted paleoanthropology
US8620045B2 (en) System , method and article for measuring and reporting craniomandibular biomechanical functions
Al-Hiyali et al. The impact of orthognathic surgery on facial expressions
JP2003044873A (ja) 顔の３次元モデルの作成方法及びその変形方法
WO2014044783A2 (de) Verfahren zur simulation der dynamischen okklusion
Tanikawa et al. Test-retest reliability of smile tasks using three-dimensional facial topography
Kalani et al. SEMG-based prediction of masticatory kinematics in rhythmic clenching movements
WO2021182470A1 (ja) 顔面軟組織の移動量に基づく定量的評価方法
JP3765776B2 (ja) 咀嚼機能評価システム
Jung et al. Walking-in-place characteristics-based geriatric assessment using deep convolutional neural networks
Pinheiro et al. A computational method for recording and analysis of mandibular movements
CN111292320B (zh) 基于三维数字模型和机器学习的咬合评价方法及评价系统
Otake et al. Real‐time mandibular movement analysis system using four‐dimensional cranial bone model
Allin et al. Video based analysis of standing balance in a community center
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
CN113096236A (zh) 用于牙齿冠桥功能性咬合面的虚拟牙合架设计方法
Gerstner et al. Predicting masticatory jaw movements from chin movements using multivariate linear methods
Mishima et al. Analysis methods for facial motion
JP2021105878A (ja) 咀嚼支援システム
JP2021015278A (ja) 歯科技能評価装置、及び歯科技能評価プログラム
Koseki et al. Three-dimensional display system of individual mandibular movement
Silverman Vertical dimension record: A three dimensional phenomenon. Part II
Becker Villamil et al. Virtual articulator–aid simulator at diagnosis, pre-Surgical planning and monitoring of bucomaxilofacial treatment
JP7058408B2 (ja) ブラッシング動作のシミュレーション方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768254

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507221

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21768254

Country of ref document: EP

Kind code of ref document: A1