WO2023190391A1 - 疾患該当性判定プログラム及び疾患該当性判定装置 - Google Patents

疾患該当性判定プログラム及び疾患該当性判定装置 Download PDF

Info

Publication number
WO2023190391A1
WO2023190391A1 PCT/JP2023/012303 JP2023012303W WO2023190391A1 WO 2023190391 A1 WO2023190391 A1 WO 2023190391A1 JP 2023012303 W JP2023012303 W JP 2023012303W WO 2023190391 A1 WO2023190391 A1 WO 2023190391A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
disease
determination
subject
dementia
Prior art date
Application number
PCT/JP2023/012303
Other languages
English (en)
French (fr)
Inventor
征史 亀山
友道 飯塚
祐美 亀山
雅弘 秋下
Original Assignee
地方独立行政法人東京都健康長寿医療センター
橋本 剛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 地方独立行政法人東京都健康長寿医療センター, 橋本 剛 filed Critical 地方独立行政法人東京都健康長寿医療センター
Publication of WO2023190391A1 publication Critical patent/WO2023190391A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a disease suitability determination device and a disease suitability determination program that are capable of non-invasively, inexpensively, easily, and accurately determining disease suitability such as dementia determination.
  • Patent Document 1 proposes a dementia testing system with improved determination accuracy.
  • the dementia testing system proposed in Patent Document 1 includes an information transmission unit that transmits information to the subject by acting on at least one of the subject's visual and auditory senses, and a reaction of the subject to whom the information is transmitted.
  • the measurement unit includes a sound collection unit that collects the sound emitted by the subject, and the control unit collects at least one acoustic feature amount that is an acoustic feature amount of the sound emitted by the subject and the sound emitted by the subject. It is determined whether the subject has dementia based on at least one linguistic feature amount that is a linguistic feature amount.
  • Patent Document 2 proposes a physiological state determining device and a physiological state determining method for easily determining the physiological state of a subject.
  • the physiological state determination device proposed in Patent Document 2 includes a facial change information acquisition section, a facial change information decomposition section, and a physiological state determination section.
  • the facial change information acquisition unit acquires facial change information indicating time-series changes in facial data of the subject.
  • the facial change information decomposition unit decomposes the facial change information into a plurality of components by singular value decomposition, principal component analysis, or independent component analysis.
  • the physiological state determination unit determines the physiological state of the subject's mind or body based on the determination component extracted from the plurality of components.
  • Patent Document 3 proposes a dementia diagnostic device that can realize highly accurate dementia diagnosis without making the patient feel psychologically reluctant.
  • a voice acquisition unit acquires voice data related to a conversation between a subject and a questioner, and a voice analysis of the voice data is performed to identify the type of question content in the utterance section uttered by the questioner.
  • the response characteristics of the test subject are transmitted to the voice analysis unit that extracts the response features in the utterance section uttered by the subject following the utterance section, and the learned classifier.
  • a dementia level calculation unit that calculates the dementia level of the subject by inputting the response characteristics in association with the type of the question content;
  • an object of the present invention is to provide a disease suitability determination device and a disease suitability determination program that can non-invasively, inexpensively, easily, and accurately determine dementia.
  • the present inventors found that the above object can be achieved by using not only facial data but also two types of facial data: a normal state and a smiling face.
  • the present invention has now been completed. That is, the present invention provides the following inventions. 1.
  • a program that causes a computer to execute each of the following steps to determine a subject's suitability for a disease The step is a feature point acquisition step of obtaining weighted feature point data X for a person who has developed a disease using default smiling face photo data obtained in advance; a determination data acquisition step of acquiring data A corresponding to the weighted feature points from the facial photo data of the subject; and a determination step of comparing the data A and the data X to determine the suitability of the subject for a disease.
  • a disease suitability determination program 2.
  • the program according to 1, wherein the feature points relate to the states of the eyes and mouth. 4. 1.
  • the computer that performs the determination data acquisition step is 6.
  • the disease suitability determining device of the present invention is non-invasive, inexpensive, easy, and can accurately determine disease suitability such as dementia. Furthermore, the disease suitability determination program of the present invention can provide the disease suitability determination apparatus of the present invention.
  • FIG. 1 is an explanatory diagram schematically showing the overall configuration of a dementia determining device as a disease suitability determining device of the present invention.
  • FIG. 2 is a flowchart schematically showing the flow of a dementia determination program as a disease suitability determination program of the present invention.
  • FIG. 3 is a sheet (including photos used) that visualizes the learning process using Grad-CAM in an embodiment of the disease suitability determination program of the present invention.
  • a dementia determination device 1 as a disease suitability determination device of the present embodiment includes one or more computers 10 storing a dementia determination program of the present embodiment, which will be described later.
  • input means 20 for inputting predetermined data into the computer; It also includes an output means 30 for outputting the determination result by the computer.
  • the computer 10 used in this embodiment includes a central processing unit (CPU) 13, a memory 11 as a temporary storage area, and a non-volatile memory such as a hard disk or solid state device. It includes a storage medium 15.
  • a server in addition to a normal personal computer, a server, a so-called mobile terminal such as a smartphone or a tablet terminal can also be used.
  • the computer for performing the feature point acquisition step and the computer for performing the other steps may be separate computers.
  • the computer for performing the feature point acquisition step may be a personal computer or a server, and the computer for performing other steps may be a tablet.
  • the computer in this embodiment preferably has a communication device and is capable of communicating via a network. It is also possible to connect to a server that has a database located on the network by communicating, and to obtain updated data from the database at any time.
  • the computer of this embodiment particularly the computer for performing the feature point acquisition step, also be equipped with a GPU (graphics processing unit).
  • a program of this embodiment described later is stored in the storage medium 15 of this computer, and the computer functions as a means for determining dementia.
  • an image input device such as a keyboard, a mouse, a camera, an audio input device such as a microphone, a communication input device using a communication device such as Bluetooth (registered trademark), etc. are used. These allow necessary data and information to be input as appropriate.
  • a camera is particularly important as an input means, and a photograph of the subject's face taken with the camera is used to accumulate data and perform judgments.
  • output means As the output means 30, a display for displaying the evaluation results, a printer for printing, or the like is used. This output means outputs the determination results in a desired format for use by users such as test subjects and doctors who utilize the data.
  • the dementia determining device 1 of this embodiment has at least an audio input device and an image input device as the input means, and at least a display and a speaker for audio output as the output means.
  • the computer then executes a smile creation step in which a program to be described later adds a question-and-answer function for the subject to have a conversation with the computer, or a video display function for showing images to the subject.
  • a smile creation step will be described later.
  • both the question and answer function and the video display function are intended to make the subject smile. The definition of a smile will be discussed later.
  • the question-and-answer function creates an environment in which the subject is likely to smile by presenting questions to the subject using the output means and having the subject answer, thereby obtaining a natural smile.
  • the questions to be prepared may be either specific for each subject or general questions.
  • the video display function allows the test subject to display a natural smile by displaying a relaxing video or a video that is likely to cause a smile through the output means.
  • the program of this embodiment is a program that is stored in a computer and causes the computer to execute the following steps to determine whether or not a subject has dementia.
  • the above steps are as shown in Figure 2.
  • This is a determination step (S3) for determining whether or not.
  • Pre-processing step (S02) In the program of this embodiment, default facial photo data is first obtained and stored in the storage medium.
  • the facial photo data a normal facial photo and a smiling facial photo are acquired.
  • a smiling face photo is one that is taken with an instruction to "smile” when the photo is taken
  • a normal face photo is one that is taken without any instructions or simply "smile” when the photo is taken. This means that the photograph was taken with a normal voice that does not give any special instructions, such as " Note that, as will be described later, a photograph of a smiling face may be obtained by showing a video or audio to the subject in place of the instruction to "smile" to induce the subject to smile naturally.
  • facial photo data it is preferable to obtain a normal facial photo and a smiling facial photo taken from the front and diagonally ahead.
  • "normal voice calls that are not special instructions” include voice calls that allow a photo to be taken without smiling, such as "with a poker face,””don'tsmile,” and “just like an ID photo.”
  • smiles made by the subject by instructing the subject to smile and natural smiles produced by having a conversation or watching a video. can. Since some subjects find it difficult to create an artificial smile, it is also possible to obtain a natural smile using the smile creation step described below.
  • face photo data when obtaining a learning model by deep learning, which will be described later, it is preferable to store face photo data as a learning data set with tags such as "dementia patient" and others (see FIG. 2).
  • the feature point obtaining step is a step of obtaining weighted feature point data X for the person with dementia using the default facial photo data obtained in the preprocessing step.
  • the feature points are related to the state of the eyes and the mouth.
  • the eyes are used as the weighted feature points.
  • the eyes are In normal face photo data, it is preferable to use the mouth as the feature point that is weighted. That is, in this embodiment, smiling data and normal data are sorted out from the face photo data, eye data is grasped as a feature point in the smiling data of the selected data, and normal data is In this method, mouth data is grasped as a feature point.
  • feature points it is possible to determine the differences in eye and mouth movements between dementia patients and non-dementia patients, and to understand facial conditions unique to dementia patients (smile detection). Then, the above feature points are grasped and extracted.
  • this understanding/extraction work can be performed by deep learning. Specifically, Keras with TensorFlow (registered trademark) (a software library developed by Google Inc. "TENSORFLOW” is a registered trademark) as a back end can be used. Then, learning can be performed using a system capable of machine learning of facial images (for example, VGG-Face, Exception, etc.). Furthermore, in this case, it is preferable that four data sets of smiling or normal photos are used for learning.
  • AD photos of smiling patients with dementia
  • NC photos of smiling patients with normal cognition
  • Dataset 1 smiles in AD and normal times
  • Dataset 2 smiles in both AD and NC
  • Dataset 3 smiles in both AD and NC
  • Dataset 4 normal times in both AD and NC
  • four data sets are used.
  • the configuration of the neural network used in deep learning of this embodiment is similar to known technology. That is, the neural network outputs facial feature points of a dementia patient from the output layer by propagating (computing) information input to the input layer to the intermediate layer and then to the output layer.
  • the intermediate layer is composed of a plurality of intermediate units. Then, the information input to the input units of the input layer is weighted (integrated) by respective coupling coefficients (not shown) and input to each intermediate unit of the intermediate layer, and the information is added to each intermediate unit. The value is .
  • the value of each intermediate unit of the intermediate layer is nonlinearly transformed by an input/output function (for example, a sigmoid function), weighted (integrated) by each coupling coefficient (not shown), and then input to the output unit of the output layer. and these are added to form the value of the output unit of the output layer (feature points in the face).
  • an input/output function for example, a sigmoid function
  • a convolutional neural network (also referred to as "CNN”) is a neural network that preferably has a convolution layer, an activation or ReLU layer, a pooling layer, etc., and that learns directly from image data. You can also do that. That is, a facial photograph (smiling and normal) and data as to whether the patient has dementia are input into the input layer by input means and transferred to the computer. The transferred data is then weighted and processed by a plurality of intermediate units in the intermediate layer. Finally, in the output layer, data (learned model) of eye and mouth feature points, which are feature points on the face, are calculated as weighted values.
  • CNN convolutional neural network
  • the deep learning described above has revealed that feature points exist in the eyes when smiling, and in the mouth during normal times.
  • feature points exist in the eyes when smiling, and in the mouth during normal times.
  • the characteristic differences in the eyes are more pronounced in smiles than in people without dementia, so the feature points in a smile are the eyes, and the characteristic differences in the mouth are Since it is noticeable in normal times, the feature point in normal times is the mouth.
  • the determination data acquisition step (S2) is a step of acquiring data A corresponding to the weighted feature points from the facial photograph data of the subject. This step simply processes the subject's face photo data, including eye data when smiling and mouth data when normal, in correspondence with the feature point data X grasped in the feature point acquisition step (S1). This can be obtained by This step can also be performed by learning using a machine learning system such as the above-mentioned VGG-Face, but since the feature points have already been grasped in the above-mentioned feature point acquisition step (S1), the above-mentioned feature point acquisition step (S1 ), desired data can be obtained in this step. In this embodiment, it can be performed integrally with the determination step (S3) described later.
  • the determination step is a step of comparing the data A and the data X to determine whether or not the subject has dementia. In this embodiment, the determination is made based on whether the specific value of the data A is 0.5 or more. In this embodiment, it is preferable that the determination data obtaining step (S2) and the determination step (S3) are performed consecutively. That is, when determining a subject by deep learning, the learned model obtained in the feature point acquisition step (S1) is used to extract and understand the feature points of the subject's facial photo data (smiling and normal). .
  • determination data acquisition step (S2) is performed using VGG-Face, determination can be performed by group-based 10-fold cross validation.
  • the learning curve can be created by creating a learning curve for 200 epochs.
  • the program may be configured to cause the computer to execute the following steps in addition to the steps described above.
  • output step not shown
  • It may also include an output step of outputting the determination result to the above-mentioned output means 30.
  • the output format is not particularly limited, and may be output to a display or printout.
  • Smile creation step S01
  • the dementia determination device 1 of the present embodiment includes a smile creation step in which the computer 10 is provided with a question-and-answer function for allowing the subject to have a conversation with the computer, or a video display function for showing images to the subject. It's okay to stay.
  • audio data such as questions and conversation items
  • video data such as various photos and videos are stored in a recording medium in advance, and these are displayed on an output means such as a speaker or display
  • an input means such as a keyboard or touch panel
  • the test subject is given an experience based on audio and/or video, and the test subject is asked to make a natural smile.
  • the state of the subject at this time is photographed using a camera (input means), and an image of the subject's smiling face is obtained.
  • a camera input means
  • the disease suitability determination program and disease suitability determination apparatus of the present invention can be used as follows. That is, by using the above-mentioned dementia determination device 1 and executing the above-described disease suitability determination program, the subject's disease suitability (dementia suitability) can be determined. Specifically, the steps include a step of obtaining smile and normal face data in advance, a feature point obtaining step of obtaining weighted feature point data X for a person who has developed a disease from the obtained facial data, and a photograph of the subject's face.
  • the disease suitability determination method is carried out by performing a data acquisition step of acquiring data A, which is data for determination, from the data, and a determination step of comparing data X and data A to determine the subject's disease suitability
  • the subject's suitability for the disease can then be determined.
  • the subject's suitability for a disease (dementia, etc.) can be determined through the steps described above. It is possible to determine whether a person has a disease simply by preparing or obtaining two types of face photos, one in normal condition and one with a smiling face, so that the disease can be determined simply and easily. In addition, since no special tests are required, there is less burden on the subjects, and it is possible to diagnose diseases such as dementia, which are difficult for the subjects to evaluate, without causing discomfort to the subjects, allowing for early detection of diseases. It is useful for
  • the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
  • it can be applied to diseases other than dementia that affect emotions and facial expressions (for example, Parkinson's disease, Lewy, depression, etc.).
  • it is preferable to perform the entire process from the feature point acquisition step to the determination step by deep learning, but in the feature point acquisition step, a threshold value for determination is extracted, and the data A acquired in the determination data acquisition step,
  • the configuration may be such that the determination is made by comparing the above threshold value in the determination step.
  • Example 1 Using a computer containing the program shown in the above-described embodiment, a study was conducted on 280 dementia patients (hereinafter referred to as "AD") and 190 patients with normal cognition (hereinafter referred to as "NC") at Double Cross Hospital Dementia Disease Medical Center. A learned model was created [pre-processing step (S02) and smile creation step (S01)]. The suitability of AD was diagnosed based on NINCDS-ADRDA (criteria of the National Institute of Neurological Disorders and Stroke, Alzheimer's Disease Related Disorders Association).
  • the Hachinski ischemic scale for each patient with AD was ⁇ 4. For all subjects, photographs of their normal faces were taken from the front and diagonally in front of them, as well as photographs of their smiling faces. [Feature point acquisition step (S1)] The following four datasets were created for binary differentiation. A combination of smiles and normal times in NC (Dataset 1), combinations of smiles and normal times in AD (Dataset 2), smiles in both AD and NC (Dataset 3), and normal times in both AD and NC (Dataset 4). For smile detection, we applied an approach based on transfer learning. The network was built using the Adam optimizer with the open source neural network library Keras and the symbolic tensor manipulation framework TensorFlow® (Google, Mountain View, CA, USA) as the backend.
  • TensorFlow® Google, Mountain View, CA, USA
  • VGG-FaceCNN a deep neural network developed by Visual Geometry Group and trained specifically for face images
  • the first Conv layer of the first block receives a 224x224x3 input for a 224x224 color image.
  • the size of the output of the VGG-16 model is 7 ⁇ 7 ⁇ 512. This is further converted into a 7x7x512 linear vector, and 25,088 outputs are output as a vector of 1,000 outputs by linear operation, which is input to the last layer consisting of 128 outputs. With these inputs and outputs, the final output for the seven emotional expressions was 7.
  • the training image data was augmented under the following conditions. Rotation range: 15, Height shift range: 0.03, Width shift range: 0.03, Shear range: 5, Zoom range: 0.1, Horizontal flip: True, Vertical flip: False, Brightness range: 0.3 ⁇ 1.0, channel shift range: 5.
  • the first four Conv blocks of VGG-Face were frozen as shown in Figure 3 for fine tuning.
  • the Conv block 5 was trained on the four above datasets of smiling or normal photos.
  • data X which is feature point data, was obtained.
  • Determination data acquisition step (S2) and determination step (S3) The acquisition and determination of data A, which is data for determination by VGG-Face, was replaced by performing group-based 10-fold cross validation without preparing a special subject.
  • the learning curve was created for 200 epochs.
  • the optimal number of epochs was determined by considering the accuracy/loss and stability of each model, and the diagnostic and predictive accuracy of the CNN (convolutional neural network) model was calculated by group-based 10-fold cross validation.
  • the amount of information obtained by applying the inverse sigmoid function to the output predicted value by combining the four data subsets and VGG-FaceCNN was as follows.
  • the binary differential of smiling and neutral facial expressions in facial images (data set 1) is called the "smile/neutral/NC score”
  • the differential of smiling faces in AD and NC facial images data set 3
  • the binary differential of the neutral expression in the AD face image and the NC face image is expressed as a "neutral-AD/NC score.”
  • These scores were obtained by applying an inverse sigmoid function to the predicted output values.
  • the sensitivity, specificity, accuracy, and area under the receiver operating characteristic (ROC) curve (AUC) of the above score were calculated by 10-fold cross validation.
  • the percentage of people who identified pictures of smiling faces as smiling was 91.6% in NC (Dataset 1) and 67.1% in AD (Dataset 2), and a significant percentage of people in the AD group had difficulty smiling. It was suggested that When the smile/normal-NC score was then applied to the smiling AD group, 48.6% were classified as negative.
  • CNN roughly captures the contours of the face in the first block, and focuses on facial components in the second and subsequent blocks.
  • CNN mainly focused on both eyes and the mouth in Conv5-1 of the 5th block, and selected either the eyes or the mouth in Conv5-3.
  • Grad-CAM mainly focused on the mouth and the corners of the mouth during normal AD and NC.
  • heat maps were frequently placed on the eyes, outer corners of the eyes, and eyebrows, especially for those with positive scores for smiling, normal, and NC. From these facts, it can be seen that the judgment focuses on the mouth for normal expressions and the eyes for smiling expressions. From the above results, it can be seen that by applying the program of the present invention, it is possible to determine dementia with high probability simply by acquiring a facial photograph.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】非侵襲的で、安価で簡単に、しかも正確に認知症判定ができる認知症判定装置及び認知症判定プログラムを提供すること。 【解決手段】コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、該ステップが、事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、である疾患該当性判定プログラム、及び当該疾患該当性判定プログラムが格納されてなるコンピュータを具備する疾患該当性判定装置。

Description

疾患該当性判定プログラム及び疾患該当性判定装置
　本発明は、非侵襲的で、安価で簡単に、しかも正確に認知症判定等の疾患該当性判定ができる疾患該当性判定装置及び疾患該当性判定プログラムに関するものである。
　疾患該当性、例えば認知症の診断には様々な方法があり、アミロイドＰＥＴや脳脊髄液バイオマーカー等が提案されている。しかし、アミロイドＰＥＴは非常に高額であるし放射線被ばくという侵襲的なデメリットもある。脳脊髄液バイオマーカーは、脊髄腔に針を刺すため非常に侵襲的である。このため、非侵襲的で、安価で簡単な認知症診断補助方法が要望されており、種々提案がなされている。
　例えば、特許文献１には、判定精度を向上した認知症検査システムが提案されている。具体的には、特許文献１に提案されている認知症検査システムは、被験者の視覚及び聴覚の少なくとも一方に働きかけて当該被験者に情報を伝達する情報伝達部と、情報が伝達された被験者の反応を測定する測定部と、測定部の測定結果に基づいて異なる複数の特徴量を算出するとともに当該特徴量に基づいて被験者が認知症であるか否かを判定する制御部と、を備える。測定部が、被験者が発する音声を集音する集音部を備えており、制御部が、少なくとも、被験者が発する音声の音響的な特徴量である少なくとも１つの音響特徴量と、被験者が発する音声の言語的な特徴量である少なくとも１つの言語特徴量と、に基づいて、被験者が認知症であるか否かを判定する。
　特許文献２には、対象者の生理状態を容易に判定するための生理状態判定装置及び生理状態判定方法を提案されている。具体的には、特許文献２に提案されている生理状態判定装置は、顔面変化情報取得部と、顔面変化情報分解部と、生理状態判定部と、を備える。顔面変化情報取得部は、対象者の顔面データの時系列変化を示す顔面変化情報を取得する。顔面変化情報分解部は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する。生理状態判定部は、複数の成分から抽出された判定用成分に基づいて、対象者の精神又は身体の生理状態を判定する。
　特許文献３には、患者自身に心理的な抵抗感を持たせることなく、高精度な認知症診断を実現し得る認知症診断装置が提案されている。具体的には、被検者と質問者の会話に係る音声データを取得する音声取得部と、前記音声データの音声解析を行って、前記質問者が発話する発話区間における質問内容の種別を特定すると共に、当該発話区間に続いて前記被検者が発話する発話区間における応答特徴を抽出する音声解析部と、学習済みの識別器に対して、前記被検者の前記応答特徴を前記質問内容の種別と関連付けて入力し、前記被検者の認知症レベルを算出する認知症レベル算出部と、を備え、前記識別器は、前記被検者の前記応答特徴が前記質問内容の種別と関連付けて入力された際に、所定の認知症レベル決定則に則した認知症レベルを出力するように、学習処理が施される装置が提案されている。
特開2018－15139号公報 特開2017－153938号公報 特開2019－84249号公報
日本認知症学会学術集会　利益相反開示　２０１９年１１月８日、タイトル「DEEP LEARNING を用いた顔写真からの認知症早期発見の検討」 Umeda-Kameyama Y, Kameyama M, Tanaka T, Son BK, Kojima T, Fukasawa M, Iizuka T, Ogawa S, Iijima K, Akishita M. Screening of Alzheimer’s disease by facial complexion using artificial intelligence. Aging (Albany NY). 2021 Jan 25；13(2)：1765-1772. Doi: 10.18632/aging.202545. Epub 2021 Jan 25.
　しかしながら、上述の提案にかかる装置等では、未だ十分な正確性をもって認知症の判断ができていなかった。
　本発明者らは、これらの提案の問題点を解消するために、非特許文献１及び２において、顔をＡＩで判断させることで簡易に認知症判定ができる方法を提案しているが、より正確に判定できる手法の開発が要望されていた。
　したがって、本発明の目的は、非侵襲的で、安価で簡単に、しかも正確に認知症判定ができる疾患該当性判定装置及び疾患該当性判定プログラムを提供することにある。
　本発明者らは、上記課題を解消すべく鋭意検討した結果、単なる顔データだけではなく、顔データとして通常状態と笑顔の２つを利用することで上記目的を達成し得ることを知見し、本発明を完成するに至った。
　すなわち、本発明は以下の各発明を提供するものである。
１．コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、
該ステップが、
事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び
上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、
である疾患該当性判定プログラム。
２．上記判定ステップは、上記データＡの特定値が０．５以上であるか否かで判定を行う１記載のプログラム。
３．上記特徴点は、目及び口の状態に関するものである１記載のプログラム。
４．笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる１記載のプログラム。
５．１記載の疾患該当性判定プログラムが格納されてなる１又は複数のコンピュータと、
上記コンピュータに所定のデータを入力する入力手段と、
上記コンピュータによる判定結果を出力する出力機器と
を具備する疾患該当性判定装置。
６．上記判別用データ取得ステップを行う上記コンピュータは、
被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加されている５記載の疾患該当性判定装置。
　本発明の疾患該当性判定装置は、非侵襲的で、安価で簡単に、しかも正確に認知症判定等の疾患該当性が判定できるものである。また、本発明の疾患該当性判定プログラムは、本発明の疾患該当性判定装置を提供可能なものである。
図１は、本発明の疾患該当性判定装置としての認知症判定装置の全体構成を模式的に示す説明図である。 図２は、本発明の疾患該当性判定プログラムとしての認知症判定プログラムのフローを模式的に示すフローチャートである。 図３は、本発明の疾患該当性判定プログラムの実施例において、学習の過程をＧｒａｄ－ＣＡＭで可視化したシート（使用写真を含む）である。
１　認知症判定装置、１０　コンピュータ、１１　メモリ、１３　ＣＰＵ、１５　記憶媒体
　以下、図面を参照して本発明の好ましい実施形態を詳細に説明する。
　なお、以下の説明においては、「疾患」として、認知症を例示して説明する。本発明において「疾患」は、認知症に限定されるものではなく、パーキンソン病、レビー、うつ病等種々顔面に影響の生じる疾患が挙げられる。
　本実施形態の疾患該当性判定装置としての認知症判定装置１は、図１に示すように、後述する本実施形態の認知症判定プログラムが格納されてなる１又は複数のコンピュータ１０と、
　コンピュータに所定のデータを入力する入力手段２０と、
　コンピュータによる判定結果を出力する出力手段３０とを具備する。
〔コンピュータ〕
　本実施形態において用いられるコンピュータ１０は、具体的には、図１に示すように、中央演算処理装置（ＣＰＵ）１３、一時記憶領域としてのメモリ１１、及びハードディスクやソリッドステートデバイス等の不揮発性の記憶媒体１５を含む。本発明において、「コンピュータ」としては、通常のパーソナルコンピュータの他、サーバー、いわゆるスマートフォンやタブレット端末のような携帯端末も用いることができる。そして、後述するプログラムのうち、特徴点取得ステップを行うためのコンピュータと、それ以外のステップを行うコンピュータとを別のものにすることもできる。例えば、特徴点取得ステップを行うためのコンピュータをパーソナルコンピュータ又はサーバーとし、それ以外のステップを行うコンピュータをタブレットとする等である。もちろん、すべてのステップを行うことができるように、一つのコンピューターに後述する本発明のプログラムのすべてのステップを実行させるようにしてもよい。
　本実施形態におけるコンピュータは、特に図示しないが、通信デバイスを有し、ネットワークを介しての通信が可能であるのが好ましい。通信を行うことでネットワーク上に置かれたデータベースを有するサーバーに接続し、データベースから随時更新されたデータを入手するように設定することもできる。
　また、本実施形態のコンピュータ、特に特徴点取得ステップを行うためのコンピュータには、特に図示ないが、ＧＰＵ（グラフィックスプロセッシングユニット）も実装されているのが好ましい。
　本実施形態においては、このコンピュータの記憶媒体１５に後述する本実施形態のプログラムが格納されて、当該コンピュータを、認知症の判定手段として機能させる。
〔入力手段〕
　入力手段２０としては、特に図示しないが、キーボード、マウス、カメラなどの画像入力装置、マイクなどの音声入力装置、ブルートゥース（登録商標）等の通信機器による通信入力装置等が用いられる。これらにより適宜必要なデータ及び情報を入力することができる。
　本実施形態においては、特にカメラが重要な入力手段であり、カメラで撮影した被験者の顔写真を用いて、データの蓄積及び判定を行う。
〔出力手段〕
　出力手段３０としては、評価結果を表示するディスプレイ、または印刷するプリンター等が用いられる。かかる出力手段により、判定結果を所望の形態で出力して、被験者やデータを活用する医師等の利用者の利用に供する。
〔他の機能の付与〕
　本実施形態の認知症判定装置１は、上記入力手段として、少なくとも音声入力装置及び画像入力装置を有し、且つ出力手段として、少なくともディスプレイ及び音声出力用のスピーカーを有するのが好ましい。そして、上記コンピュータは、後述するプログラムが、当該コンピュータに、被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加する、笑顔創造ステップを実行させるように構成されているのが好ましい。この笑顔創造ステップについては、後述する。
　ここで、質疑応答機能及び映像表示機能は、いずれも被験者に笑顔を作ってもらうためのものである。笑顔の定義については後述する。
　質疑応答機能は、出力手段により、被験者への質問を提示して、被験者に回答してもらうことにより、被験者が笑顔になりやすい環境を作り、自然な笑顔を取得するものである。用意する質問としては、被験者ごとの個別具体的なものでも一般的なものでもよい。
　また、映像表示機能は、出力手段により、リラックスできる映像や笑みが生じやすい映像を流すことにより、被験者の自然な笑顔を取得できるようにするものである。
＜他の部材（デバイス）＞
　本実施形態の装置は、上述した各デバイス以外に必要に応じて種々デバイスを含むことができる。
〔プログラム〕
　本実施形態のプログラムは、コンピュータに格納されて、当該コンピュータに以下の各ステップを実行させて、被験者が認知症であるか否かを判定するプログラムである。
　上記ステップは、図２に示すように、
事前に取得したデフォルトの顔写真データを用いて、認知症発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ（Ｓ１）、
被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ（Ｓ２）、及び
上記データＡと上記データＸとを対比して、被験者が認知症に該当するか否かを判定する判定ステップ（Ｓ３）、である。
〔前処理ステップ（Ｓ０２）〕
　本実施形態のプログラムにおいては、まずデフォルトの顔写真データを取得し、上記記憶媒体に格納する。
　ここで、顔写真データとしては、通常時の顔写真と、笑顔の顔写真とを取得する。笑顔の顔写真とは、写真を撮るときに「笑って」と指示して撮ったものを意味し、通常時の顔写真とは、写真を撮るときに何も指示せず又は単に「撮影します」等特別な指示ではない通常の声がけにて撮影したものを意味する。なお、後述するように、「笑って」の指示の代わりに動画や音声を被験者に示して自然と笑顔になるように仕向けることで笑顔の顔写真を取得しても良い。また、顔写真データとしては、正面から及び斜め前方から撮影した、通常時の顔写真と笑顔の顔写真とを取得するのが好ましい。また、「特別な指示ではない通常の声がけ」としては、「ポーカーフェイスで」「笑わずに」「証明写真のように」等笑わっていない写真が撮影できるような声がけが含まれる。
　なお、笑顔には、被験者に笑顔になるように指示して被験者自身で作った笑顔と、会話や映像を見ることで生じる自然な笑顔とがあるが、本発明においてはいずれ好適に用いることができる。人工的な笑顔を作りづらい被験者もいるので後述する笑顔創出ステップを用いて自然な笑顔を取得することもできる。
　また、後述するディープラーニングにより学習モデルを得る場合には、顔写真データを学習データセットとして、認知症患者とそれ以外のタグを付けて格納するのが好ましい（図２参照）。
〔特徴点取得ステップ（Ｓ１）〕
　特徴点取得ステップは、前処理ステップにて取得したデフォルトの顔写真データを用いて、認知症発症者における重み付けした特徴点のデータＸを取得するステップである。
　ここで、上記特徴点は、目及び口の状態に関するものである、特に、笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる、更には、笑顔の顔写真データにおいては目を、通常時の顔写真データにおいては口をそれぞれ重み付けした上記特徴点として用いるのが好ましい。
　すなわち、本実施形態においては、上記顔写真データから笑顔のデータと通常時のデータとを選別し、選別されたデータにおいて笑顔のデータにおいては目のデータを特徴点として把握し、通常時のデータにおいては口のデータを特徴点として把握する。
　特徴点については、目や口の動きが認知症患者とそれ以外の人とでどのように差異があるかを判別して、認知症患者特有の顔の状態を把握（笑顔の検出）することで、上記特徴点を把握し、抽出する。
　本実施形態においては、この把握・抽出作業をディープラーニングにより行うことができる。具体的には、ＴｅｎｓｏｒＦｌｏｗ（登録商標）（Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリ。「ＴＥＮＳＯＲＦＬＯＷ」は、登録商標）をバックエンドにしたＫｅｒａｓを用うことができる。そして、顔画像の機械学習が可能なシステム（例えばＶＧＧ－Ｆａｃｅやエクセプション等）により学習させて行うことができる。また、この場合に、笑顔または通常時の写真を４つのデータセットにして学習させるのが好ましい。具体的には、認知症（以下「ＡＤ」）患者の笑顔の写真と通常時の写真、並びに正常認知（以下「ＮＣ」）患者の笑顔の写真と通常時の写真を用いて、ＮＣにおける笑顔と通常時の組み合わせ（データセット１）、ＡＤにおける笑顔と通常時の組み合わせ（データセット２）、ＡＤ及びＮＣ両方における笑顔（データセット３）、ＡＤ及びＮＣ両方における通常時（データセット４）の４つのデータセットを用いるのが好ましい。
　本実施形態のディープラーニングにおいて用いられるニューラルネットワークの構成は、公知の技術と同様である。すなわち、ニューラルネットワークは、入力層に入力された情報が、中間層、出力層へと順に伝搬（演算）されることにより、出力層から認知症患者における顔の特徴点を出力する。例えば、中間層は、複数の中間ユニットにより構成されている。そして、入力層の入力ユニットに入力された情報が、夫々の結合係数（図示せず）で重みづけ（積算）されて、中間層の各中間ユニットに入力され、それらが加算されて各中間ユニットの値となる。中間層の各中間ユニットの値は、入出力関数（例えば、シグモイド関数）で非線形変換されて、夫々の結合係数（図示せず）で重みづけ（積算）されて、出力層の出力ユニットに入力され、それらが加算されて出力層の出力ユニットの値（顔における特徴点）となる。更に好ましくは、コンボリューショナルニューラルネットワーク（畳み込みネットワーク、「ＣＮＮ」ともいう）として、好ましくは畳み込み層、活性化またはReLU層、及びプーリング層等を有し、画像データから直接学習するニューラルネットワークを用いることもできる。
　すなわち、入力層に顔写真（笑顔及び通常時）と認知症であるか否かのデータを入力手段により入力し、コンピュータに移送する。ついで、移送されたデータを中間層において複数の中間ユニットにより重み付け処理される。最終に出力層にて、重み付けされた値として、顔における特徴点である目と口の特徴点のデータ（学習済モデル）が算出される。
　本実施形態においては、上記のディープラーニングにより、笑顔においては目、通常時は口に特徴点が存在することが判明した。すなわち、特徴点としては、認知症患者においては、そうでない人に比して、目における特徴的な差異は笑顔において顕著であるので、笑顔における特徴点は目とし、口における特徴的な差異は通常時において顕著であるので、通常時における特徴点は口とする。
〔判定用データ取得ステップ（Ｓ２）〕
　判定用データ取得ステップ（Ｓ２）は、被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得するステップである。
　このステップは、単に被験者の顔写真データから、笑顔においては目のデータ、通常時においては口のデータを、上記特徴点取得ステップ（Ｓ１）で把握された特徴点データＸに対応させて処理することにより得ることができる。
　本ステップも、上述のＶＧＧ－Ｆａｃｅ等の機械学習システムにより学習させて行うことができるが、すでに上記特徴点取得ステップ（Ｓ１）により特徴点が把握されているので、上記特徴点取得ステップ（Ｓ１）により得られた特徴点データに対応させて処理することで、本ステップにおいて所望のデータを得ることができる。
　本実施形態においては、後述する判定ステップ（Ｓ３）と一体として行うことができる。
〔判定ステップ（Ｓ３）〕
　判定ステップは、上記データＡと上記データＸとを対比して、被験者が認知症に該当するか否かを判定するステップである。本実施形態においては、上記データＡの特定値が０．５以上であるか否かで判定を行う。
　本実施形態においては、上記判定用データ所得ステップ（Ｓ２）と判定ステップ（Ｓ３）とを連続して行うのが好ましい。すなわち、ディープラーニングにより被験者の判定を行う場合、上記特徴点取得ステップ（Ｓ１）で得られた学習済モデルを用いて、被験者の顔写真データ（笑顔及び通常時）の特徴点を抽出・把握する。この際、被験者の顔写真データをディープラーニングにより出力する際に、シグモイド関数f(x)=1／1+e-xを用い、この際の特定値が０．５以上であるか否かで判定する。例えば、０．５未満の場合には認知症の可能性低い、０．５以上の場合には認知症の可能性が高い、と判定する。
　例えば、上述の判定用データ取得ステップ（Ｓ２）をＶＧＧ－Ｆａｃｅを用いて行った場合、グループベースの１０重クロスバリデーションで判定を行うことができる。学習曲線は２００エポック分作成するなどして行うことができる。各モデルの精度／損失と安定性を考慮して最適なエポック数を決定し、適宜、ＣＮＮ（畳み込みニューラルネットワーク）モデルの診断・予測精度を算出した上で、上述のシグモイド関数により認知症の可能性の判定を行うことができる。
〔他のステップ〕
　また、本発明においては、上述の各ステップの他に以下のステップをコンピュータに実行させるようにプログラムが構成されていても良い。
（出力ステップ、図示せず）
　判定結果を上述の出力手段３０に出力する出力ステップを含んでいても良い。
　出力形態は特に制限されず、ディスプレイへの出力でもプリントアウトの形態でもよい。
（笑顔創出ステップ（Ｓ０１））
　本実施形態の認知症判定装置１が、コンピュータ１０に、被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加する、笑顔創造ステップを含んでいても良い。
　笑顔創出ステップは、予め、質問事項、会話事項等の音声データ、各種写真や動画等の映像データを、記録媒体に格納しておき、これらをスピーカー又はディスプレイなどの出力手段にて表示させ、マイク、キーボード、タッチパネル等の入力手段にて被験者に入力をしてもらうことで、被験者に音声及び／又は映像に基づく体験をしてもらい、被験者に自然な笑顔を作ってもらう。この際の被験者の様子をカメラ（入力手段）により撮影しておき、笑顔の画像を取得する。
　ここで、質問事項や映像は特に制限はなく、人が自然と笑顔になるようなものであればよい。
〔実施方法・効果〕
　本発明の疾患該当性判定プログラム及び疾患該当性判定装置は、以下のようにして使用することができる。
　すなわち、上記の認知症判定装置１を用い、上記の疾患該当性判定プログラムを実行させることにより、被験者の疾患該当性（認知症該当性）を判定することができる。
　具体的には、事前に笑顔及び通常時の顔のデータを取得する工程、得られた顔のデータから疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得工程、被験者の顔写真のデータから判定用データであるデータＡを取得するデータ取得工程、データＸとデータＡとの対比を行い、被験者の疾患該当性を判定する判定工程を行うことにより、疾患該当性判定方法を実施して、被験者の疾患該当性を判定できる。
　本実施形態の疾患該当性判定プログラム及び疾患該当性判定装置によれば、上述のような工程で被験者の疾患（認知症等）該当性を判定することができる。通常時と笑顔の２種の顔写真を用意又は取得するだけで疾患に該当するか否かを判別する事ができるので、簡易且つ簡便に疾患の判定ができる。また、特別な試験を必要としないので、被験者の負担が少なく、認知症などの被験者にとっても抵抗の強い疾患であっても被験者に嫌がられることなく判定を行うことができ、疾患の早期発見に有用である。
　なお、本発明は上述の実施形態に何ら制限されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更可能である。
　たとえば、認知症以外の感情・表情に影響がある疾患（例えば、パーキンソン病、レビー、うつ病等）にも適用可能である。
　また、特徴点取得ステップから判定ステップまで全部通してディープラーニングにより行うのが好ましいが、特徴点取得ステップにおいて、判定のための閾値の抽出を行い、判定用データ取得ステップで取得したデータＡと、上記閾値とを判定ステップで比較して判定を行うように構成しても良い。
　また、上述の実施形態においては、笑顔のデータから特徴点を取得するケースを例示して説明したが、笑顔ではない状態、すなわち通常の状態の顔から特徴点を取得し、これを笑顔のデータと組み合わせて、特徴点を取得し、判定用データを取得し、判定を行うこともできる。
　以下、実施例により本発明を更に詳細に説明するが、本発明はこれらに何ら制限されるものではない。
〔実施例１〕
　上述の実施形態に示すプログラムを格納したコンピュータを用い、複十字病院認知症疾患医療センターの認知症（以下「ＡＤ」）患者２８０人および正常認知（以下「ＮＣ」）患者１９０人を対象として、学習済モデルを作成した〔前処理ステップ（Ｓ０２）及び笑顔創出ステップ（Ｓ０１）〕。
　ＡＤの該当性は、NINCDS-ADRDA(アメリカ国立神経障害脳卒中研究所、アルツハイマー病関連障害協会の基準)に基づいて診断した。ＡＤの各患者のＨａｃｈｉｎｓｋｉ虚血性スケールは≦４であった。対象者については、全員に正面から及び斜め前方から、通常時の顔写真を撮影するとともに、笑顔の顔写真を撮影した。
〔特徴点取得ステップ（Ｓ１）〕
　バイナリー分化のために以下の４つのデータセットを作成した。
ＮＣにおける笑顔と通常時の組み合わせ（データセット１）、ＡＤにおける笑顔と通常時の組み合わせ（データセット２）、ＡＤ及びＮＣ両方における笑顔（データセット３）、ＡＤ及びＮＣ両方における通常時（データセット４）。
　笑顔の検出には、転移学習に基づくアプローチを適用した。
　ネットワークは、オープンソースのニューラルネットワークライブラリKerasと、シンボリックテンソル操作フレームワークTensorFlow（登録商標）（Google, Mountain View, CA, USA）をバックエンドに、Adam optimizerを使用して構築した。
　検出は、ＶＧＧ－Ｆａｃｅにより学習させて行った。ＶＧＧ－Ｆａｃｅ（Visual Geometry Groupが開発したディープニューラルネットワークであり、顔画像に特化させて学習させたもの）により２６０万枚の顔画像で事前学習したＶＧＧ１６で、５つの畳み込み（Ｃｏｎｖ）ブロックからなり、それぞれが２～３層のＣｏｎｖ層とプーリング層で構成されている（以下、このＶＧＧ－Ｆａｃｅを「ＶＧＧ－ＦａｃｅＣＮＮ」という場合がある）。最初のＣｏｎｖブロックは、２つのＣｏｎｖ層とＭａｘＰｏｏｌｉｎｇ層をカスケード方式で有する。これらの層の出力が２番目のＣｏｎｖブロックの入力となっていた。例えば、最初のブロックの第１Ｃｏｎｖ層が２２４×２２４のカラー画像に対して、２２４×２２４×３の入力を受けるとする。異なるブロックでの連続した畳み込みとプーリング操作の後、ＶＧＧ－１６モデルの出力のサイズは７×７×５１２になる。これを更に７×７×５１２の線形ベクトルに変換し、２５，０８８の出力を線形演算により１，０００出力のベクトルとして出力し、１２８出力からなる最後層に入力される。これらの入出力により、７つの感情表現に対する最終の出力は７であった。オプティマイザとしてのＡｄａｍの設定とパラメータは、学習率０．００００１、β １＝０．９，β２＝０．９９９，＝Ｎｏｎｅ,ｄｅｃａｙ＝０．０;ａｍｓｇｒａｄ ＝Ｆａｌｓｅであった。トレーニング画像データは、以下の条件で補強した。回転範囲：１５、高さシフト範囲：０．０３、幅シフト範囲：０．０３、せん断範囲：５、ズーム範囲：０．１、水平反転：真、垂直反転：偽、輝度範囲：０．３～１．０、チャンネルシフト範囲：５、とした。
ＶＧＧ－Ｆａｃｅの最初の４つのＣｏｎｖブロックは微調整のために図３に示すように凍結した。次にＣｏｎｖブロック５を笑顔または通常時の写真の４つの上記データセットで学習させた。これにより、特徴点データであるデータＸを取得した。
〔判定用データ取得ステップ（Ｓ２）及び判定ステップ（Ｓ３）〕
　ＶＧＧ－Ｆａｃｅによる判定用データであるデータＡの取得と判定とは、特別に被験者を用意せず、グループベースの１０重クロスバリデーションを行うことで、代替した。学習曲線は２００エポック分作成した。各モデルの精度/損失と安定性を考慮して最適なエポック数を決定し、グループベース１０重クロスバリデーションによりＣＮＮ（畳み込みニューラルネットワーク）モデルの診断・予測精度を算出した。
　本実施例のように、４つのデータサブセットとＶＧＧ－ＦａｃｅＣＮＮとの組み合わせにより、出力予測値に逆シグモイド関数を適用して得られる情報量は以下の通りであった。
　顔画像（データセット１）の笑顔と中立的な表情の２値微分を「笑顔・中立・NCスコア」、ＡＤとＮＣの顔画像（データセット３）の笑顔の微分を「笑顔・ＡＤ・ＮＣスコア」として記載する。また、ＡＤ顔画像とＮＣ顔画像におけるニュートラルな表情の２値微分（データセット４）を「ニュートラル－ＡＤ／ＮＣスコア」として表現する。これらのスコアは、出力予測値に逆シグモイド関数を適用することで得られた。１０重クロスバリデーションにより、上記スコアの感度、特異度、精度、および受信者動作特性（ＲＯＣ）曲線下面積（ＡＵＣ）を算出した。
  笑顔の写真を笑顔と識別する割合は、ＮＣ（データセット１）で９１．６％、ＡＤ（データセット２）で６７．１％であり、ＡＤ群ではかなりの割合で笑顔を作ることが困難であることが示唆された。その後、笑顔のあるＡＤ群に笑顔／通常時－ＮＣスコアを適用したところ、４８．６％が陰性と分類された。この結果から、笑顔の画像データが笑顔であると認識するかを見ることで、高確率で認知症の判定が可能である事がわかる。
　別に目視での判定を行ったところ、ＮＣ群の笑顔写真の６９．５％でDuchenneの笑顔を目視で判定した。これらの笑顔の平均笑顔・ニュートラル・ＮＣスコアは３．８９（ＳＤ,０．５９）と高い値であった。このグループの非デュシェンヌの笑顔は、平均ポジティブスマイル／ニュートラル－ＮＣスコアが２．１３（ＳＤ, 0.98）であった。このスコアの差は有意であった（ｐ＝０．０００３５）。
　また、ＶＧＧ－ＦａｃｅＣＮＮが顔のどの部分を識別するのかを定義するために、Gradient weighted Class Activation Mapping (Ｇｒａｄ－ＣＡＭ)を適用した。ＶＧＧ－Ｆａｃｅは２６０万枚の顔写真で事前に学習させたＶＧＧ１６である。最初の４ブロックを凍結し、５ブロックを転移学習のために用意したデータセットで学習し、その過程をＧｒａｄ－ＣＡＭで可視化した。その結果を図３に示す。ＣＮＮは１ブロック目で顔の輪郭を大まかに捉え、２ブロック目以降で顔の構成要素に着目する。ＣＮＮは５ブロック目のＣｏｎｖ５－１で主に両目と口に着目し、Ｃｏｎｖ５－３で両目と口のどちらかを選択した。Ｇｒａｄ－ＣＡＭは、通常時のＡＤとＮＣにおいて、主に口と口角に着目していた。笑顔のＡＤとＮＣでは、特に笑顔・通常時・ＮＣのスコアが正のものでは、目、目尻、眉毛にヒートマップが頻繁に配置された。これらのことから、通常時の表情においては口元に、笑顔の表情においては目元に着目して判定していることがわかる。
　以上の結果から、本発明のプログラムを適用することにより、顔写真を取得するだけで、高確率で認知症の判定が可能であることがわかる。
 

 

Claims (6)

  1. コンピュータに以下の各ステップを実行させて、被験者の疾患該当性を判定するプログラムであって、
    該ステップが、
    事前に取得したデフォルトの笑顔の顔写真データを用いて、疾患発症者における重み付けした特徴点のデータＸを取得する特徴点取得ステップ、
    被験者の顔写真データから、上記重み付けした特徴点に相当するデータＡを取得する判別用データ取得ステップ、及び
    上記データＡと上記データＸとを対比して、被験者の疾患該当性を判定する判定ステップ、
    である疾患該当性判定プログラム。
     
  2. 上記判定ステップは、上記データＡの特定値が０．５以上であるか否かで判定を行う請求項１記載のプログラム。
     
  3. 上記特徴点は、目及び口の状態に関するものである請求項１記載のプログラム。
     
  4. 笑顔の顔写真データにおいては目を重み付けした上記特徴点として用いる請求項１記載のプログラム。
     
  5. 請求項１記載の疾患該当性判定プログラムが格納されてなる１又は複数のコンピュータと、
    上記コンピュータに所定のデータを入力する入力手段と、
    上記コンピュータによる判定結果を出力する出力機器と
    を具備する疾患該当性判定装置。
     
  6. 上記判別用データ取得ステップを行う上記コンピュータは、
    被験者に上記コンピュータとの会話を行わせるための質疑応答機能、又は被験者に映像を見せる映像表示機能を付加されている
    請求項５記載の疾患該当性判定装置。
     

     
PCT/JP2023/012303 2022-03-28 2023-03-27 疾患該当性判定プログラム及び疾患該当性判定装置 WO2023190391A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-051137 2022-03-28
JP2022051137A JP2023144244A (ja) 2022-03-28 2022-03-28 疾患該当性判定プログラム及び疾患該当性判定装置

Publications (1)

Publication Number Publication Date
WO2023190391A1 true WO2023190391A1 (ja) 2023-10-05

Family

ID=88202261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012303 WO2023190391A1 (ja) 2022-03-28 2023-03-27 疾患該当性判定プログラム及び疾患該当性判定装置

Country Status (2)

Country Link
JP (1) JP2023144244A (ja)
WO (1) WO2023190391A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020199072A (ja) * 2019-06-10 2020-12-17 国立大学法人滋賀医科大学 脳卒中判定装置、方法およびプログラム
WO2022091642A1 (ja) * 2020-10-29 2022-05-05 グローリー株式会社 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020199072A (ja) * 2019-06-10 2020-12-17 国立大学法人滋賀医科大学 脳卒中判定装置、方法およびプログラム
WO2022091642A1 (ja) * 2020-10-29 2022-05-05 グローリー株式会社 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANG ZIFAN, SEYEDI SALMAN, HAQUE RAFI U., PONGOS ALVINCE L., VICKERS KAYCI L., MANZANARES CECELIA M., LAH JAMES J., LEVEY ALLAN I: "Automated analysis of facial emotions in subjects with cognitive impairment", PLOS ONE, vol. 17, no. 1, 21 January 2022 (2022-01-21), pages e0262527, XP093096849, DOI: 10.1371/journal.pone.0262527 *
KAWAI TAKASHI, MATSUOKA SHIGEAKI, NORO KAGEYU: "A Fundamental Study on Laughter Expressions of Patients with Dementia", NINGEN KOGAKU - JAPANESE JOURNAL OF ERGONOMICS, NIHON NINGEN KOGAKKAI, TOKYO, JP, vol. 33, no. Supplement, 16 May 1997 (1997-05-16), JP , pages 382 - 383, XP093096842, ISSN: 0549-4974, DOI: 10.5100/jje.33.Supplement_382 *
UMEDA-KAMEYAMA YUMI, KAMEYAMA MASASHI, TANAKA TOMOKI, SON BO-KYUNG, KOJIMA TARO, FUKASAWA MAKOTO, IIZUKA TOMOMICHI, OGAWA SUMITO, : "Screening of Alzheimer’s disease by facial complexion using artificial intelligence", AGING, vol. 13, no. 2, 31 January 2021 (2021-01-31), pages 1765 - 1772, XP093096845, DOI: 10.18632/aging.202545 *

Also Published As

Publication number Publication date
JP2023144244A (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
Vinola et al. A survey on human emotion recognition approaches, databases and applications
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
CN109475294A (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
Gavrilescu et al. Predicting the Sixteen Personality Factors (16PF) of an individual by analyzing facial features
CN108024718A (zh) 健康信息(数据)医学收集、处理和反馈的连续性系统和方法
US20230162362A1 (en) Method and system for estimating early progression of dementia from human head images
US20220309665A1 (en) Processing fundus images using machine learning models to generate blood-related predictions
Jahanara et al. Detecting autism from facial image
CN116807476A (zh) 基于界面式情感交互的多模态心理健康评估系统及方法
CN115101191A (zh) 一种帕金森疾病诊断系统
WO2023190391A1 (ja) 疾患該当性判定プログラム及び疾患該当性判定装置
EP4325517A1 (en) Methods and devices in performing a vision testing procedure on a person
KR20210128138A (ko) 정신 질환 검사 시스템 및 정신 질환 검사 방법
Boiangiu et al. Fast and reliable emotions detection adapted for driver monitoring and online psychotherapy sessions
Guhan et al. Developing an effective and automated patient engagement estimator for telehealth: A machine learning approach
CN116205909B (zh) 一种用于预测帕金森病认知障碍的装置和存储介质
WO2022255674A1 (ko) 설명 가능한 생체 이미지 판독 지원 장치 및 방법
Hadjara et al. Video-based Emotion Detection Analyzing Facial Expressions and Contactless Vital Signs for Psychosomatic Monitoring
Hussein et al. Children's Autism Spectrum Diagnostic Techniques Using Machine Learning
Khandelwal et al. Depression Level Analysis Using Face Emotion Recognition Method
Lechuga et al. New Methods on Image Analysis, Two Applications: An Augmented Reality Application for Heartbeat Sound Analysis And A MRI Brain Injury Image Analysis
KR20220100206A (ko) 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템 및 방법
CN117788881A (zh) 多模态黄斑性变识别模型构建方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780400

Country of ref document: EP

Kind code of ref document: A1