WO2012001890A1 - 健康状態監視装置 - Google Patents

健康状態監視装置 Download PDF

Info

Publication number
WO2012001890A1
WO2012001890A1 PCT/JP2011/003330 JP2011003330W WO2012001890A1 WO 2012001890 A1 WO2012001890 A1 WO 2012001890A1 JP 2011003330 W JP2011003330 W JP 2011003330W WO 2012001890 A1 WO2012001890 A1 WO 2012001890A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
unit
health condition
monitoring apparatus
voice
Prior art date
Application number
PCT/JP2011/003330
Other languages
English (en)
French (fr)
Inventor
俊明 高木
佑輔 関根
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to CN201180032734.2A priority Critical patent/CN102985007B/zh
Publication of WO2012001890A1 publication Critical patent/WO2012001890A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces

Definitions

  • the present invention relates to a state monitoring device that monitors a health state based on a person's appearance and operation.
  • vital checks are performed to measure changes in physical condition by measuring body temperature, blood pressure, pulse, and the like.
  • caregivers etc. perform the above measurements on the subject, as well as grasping the health status of the subject by talking with the subject and examining the facial expression of the subject. Yes.
  • thermometers and sphygmomanometers which are devices for measuring a person's health status
  • pulse measurement which are devices for measuring a person's health status
  • Patent Document 1 discloses a health diagnosis system that detects body temperature, blood pressure, pulse, swelling of a face, and the like and transmits them to an external health diagnosis center.
  • a general health condition monitoring device only acquires static information such as body temperature, blood pressure, pulse, swelling of the face, etc. It is not something to monitor. In general, the judgment of the health state from such a dynamic state depends on the caregiver's observation.
  • the present invention has been made in view of the above problems, and according to a typical embodiment of the present invention, it is possible to monitor the health condition of a subject based on a change over time of a predetermined operation performed by the subject.
  • a health monitoring device is provided.
  • a health condition monitoring apparatus comprises the following arrangement. That is, Imaging means; Extraction means for extracting a feature point corresponding to a specific part in the face image of the subject from the image including the subject obtained by the imaging means; Detecting means for detecting a movement amount of the feature point corresponding to a predetermined operation performed by the subject; Storage means for storing the movement amount detected by the detection means in association with date information; Determination means for determining a health condition of the subject based on a change with time of the movement amount stored in the storage means.
  • a health condition monitoring apparatus capable of monitoring the health condition of a subject based on a change with time of a predetermined operation performed by the subject.
  • FIG. 1 is a diagram showing an appearance of a health condition monitoring apparatus according to the present embodiment.
  • a configuration in which a digital camera 2 as an imaging unit, a microphone 3 as a voice input unit, and a speaker 4 as a notification unit are embedded in the frame of the mirror 1 is adopted.
  • the digital camera 2, the microphone 3, and the speaker 4 do not need to be incorporated into the frame part of the mirror, respectively, and each of them captures the subject's face, records the subject's voice, What is necessary is just to perform a predetermined
  • a mirror is not essential, the use of the mirror enables the subject to monitor the health condition using the apparatus while observing his / her face.
  • the mirror 1 may constitute a part of the washstand.
  • a mirror is used, but the present invention is not limited to this. It is also possible to use a configuration like a notebook computer having a camera in the frame of the display. In this case, an image taken by the camera is displayed on the display of the notebook computer in real time, so that it can be used as a mirror.
  • FIG. 2 is a block diagram illustrating a configuration example of the health monitoring apparatus according to the present embodiment.
  • the control unit 200 collects information related to the operation of the subject from various information acquired from the digital camera 2 and the microphone 3, and determines the health state of the subject.
  • the face extraction unit 21 extracts a face image from an image photographed by the digital camera 2 by a known technique.
  • the feature extraction unit 22 normalizes the face image extracted by the face extraction unit 21 in order to make the size of the face uniform, and obtains feature points of specific parts (such as eyes and mouth) in the face image of the subject. Extract.
  • the movement amount detection unit 23 detects and collects movement amounts of facial feature points extracted by the face extraction unit 21 and the feature extraction unit 22 from a plurality of images obtained by the digital camera 2 sequentially capturing images.
  • the information is stored in the information storage unit 41.
  • the face authentication unit 24 performs personal authentication based on whether or not the face image extracted by the face extraction unit 21 is that of a registered subject.
  • the voice recognition unit 31 recognizes from the sound information collected by the microphone 3 that a predetermined voice such as “A”, “I”, and “U” is uttered by the subject using a known voice recognition technique.
  • the utterance part extraction unit 32 cuts out sound information of a part in which the voice recognition unit 31 recognizes a predetermined utterance from the sound information collected by the microphone 3 and uses it as voice information.
  • the feature amount calculation unit 33 calculates a speech feature amount from the speech information (speech signal) extracted by the utterance portion extraction unit 32, and stores this in the collected information storage unit 41.
  • the voiceprint authentication unit 34 acquires a voiceprint from voice information included in the sound information acquired by the microphone 3 and compares the voiceprint with the registered voiceprint of the subject to perform personal authentication.
  • the movement amount detection unit 23 detects the movement of the feature point for a predetermined period including a period in which the voice recognition unit 31 detects a predetermined utterance.
  • a face movement related to the movement of the subject to utter “a” that is, the movement of the face in a predetermined movement
  • the clock unit 42 has a clock function and provides date information (including time) to the collected information storage unit 41.
  • the health condition determination unit 43 determines the health condition of the subject based on the change over time of the collected information stored in the collected information storage unit 41 and the presence or absence of an abnormality indicated by the collected information.
  • the notification unit 44 notifies the health condition determined by the health condition determination unit 43.
  • the notification unit 44 notifies the subject of the health condition determined by the speaker 4.
  • the notification unit 44 notifies a health condition to an external facility (a hospital or the like) through a telephone line or a network such as the Internet.
  • the operation instruction unit 45 instructs the subject to perform a predetermined operation via the notification unit 44.
  • an instruction of the content of the speech “Please say“ A ”” from the speaker 4 and an operation instruction such as “Move your eyes up and down” are given by voice.
  • the operation instruction may be given to the subject by text on a display (not shown).
  • light emitting units such as LEDs may be provided on the top, bottom, left and right of the frame of the mirror 1, and these may be sequentially turned on to track the subject's line of sight.
  • FIG. 3 is a diagram illustrating a data configuration example of the collection information in the collection information storage unit 41.
  • the collected information is stored for each subject authenticated by the face authenticating unit 24 or the voiceprint authenticating unit 34, and for each date and time when the collected information is acquired.
  • the date and time information is date information acquired from the timer 42.
  • 3B in FIG. 3 shows the contents of the collected information in more detail.
  • the daily collection information includes, for each operation content, the voice feature amount calculated by the feature amount calculation unit 33, the position of the feature point extracted by the feature extraction unit 22 (face feature), and the feature point extracted by the movement amount detection unit 23. Movement amount (face feature movement amount).
  • the collected information includes the health condition determination result (state determination) by the health condition determination unit 43, but the state determination may store the determination result for each operation content, or instead of this, In addition, a comprehensive state determination may be stored.
  • the collected information storage unit 41 stores the movement amount of each part of the face detected as the motion of the subject and the feature amount of the voice for each individual in association with the date information.
  • the health state determination unit 43 uses the collected information as described above, for example, to set a normal value range related to the subject from the voice feature amount and the facial feature movement amount for the recent months, and newly acquire It is determined whether or not the voice feature amount and face feature movement amount are within the normal range. In addition, when the fluctuation is extremely large with respect to the voice feature amount and the facial feature movement amount collected on the previous day, it is determined to be abnormal.
  • control unit 200 can also be realized by a general-purpose computer. Therefore, the health condition monitoring apparatus of the present embodiment may be configured such that a digital camera or a microphone 3 is connected to a personal computer.
  • FIG. 4 is a flowchart for explaining the operation of the health condition monitoring apparatus according to this embodiment having the above-described configuration.
  • step S401 when the face authentication unit 24 and the voiceprint authentication unit 34 authenticate that the person is a specific subject, the control unit 200 starts a health check. That is, collection processing of information related to health condition monitoring (in this example, information related to face and voice) is started.
  • health condition monitoring in this example, information related to face and voice
  • authentication may be performed using either face authentication or voice authentication. When both face authentication and voice authentication are used, it may be determined that the authentication is successful only when both authentication results match, or when at least one of the authentication is successful, it is determined that the authentication is successful. You may do it.
  • the start of the inspection is not limited to the authentication as described above, and may be performed by the subject operating a specific switch.
  • Authentication is not limited to face authentication or voiceprint authentication, and password input, vein authentication, or the like may be used. Also, if the subject operating the specific switch as described above is limited to a specific subject, authentication processing and related functions (face authentication unit 24, voiceprint authentication unit 34). ) Can be omitted.
  • step S402 the control unit 200 starts imaging for inspection by the digital camera 2 and recording processing for inspection by the microphone 3.
  • step S ⁇ b> 403 the operation instruction unit 45 instructs the subject to operate using the notification unit 44.
  • the speaker 4 is used to give instructions such as “Please pronounce“ A ”” or “Move your eyes up and down and left and right”.
  • step S404 the control unit 200 determines whether the subject has performed an operation corresponding to the instruction. For example, if the voice recognition unit 31 recognizes the utterance “A” after the instruction “Please pronounce“ A ””, the process proceeds to Step S405 because the instruction operation is confirmed. Alternatively, if an instruction “Please move your eyes up, down, left and right” is issued in step S403, it is detected whether the eyeball has moved up, down, left, or right based on information from the movement amount detector 23. . Then, when it is recognized that the eyeball has moved up, down, left, and right, the process proceeds to step S405. Here, if the corresponding operation cannot be confirmed within a predetermined time after the operation instruction is given, the subject is urged to operate again, or the subject has an abnormality. As an alternative, a notification may be sent to an external facility such as a hospital.
  • step S405 the control unit 200 stores audio and / or images corresponding to the operation instructions.
  • the period during which “a” is uttered can be acquired from, for example, a voice waveform indicating that the voice recognition unit 31 has detected the utterance “a”.
  • the voice information and image information for this period are stored.
  • image information for a period in which the eyeball has been confirmed to move up / down / left / right is stored.
  • an image or sound over a predetermined time after the operation instruction is given may be stored as image information or sound information corresponding to the movement corresponding to the operation instruction.
  • step S406 the control unit 200 calculates a necessary feature amount from the image information and audio information stored in step S405, and stores the calculated feature amount in the collection information storage unit 41.
  • the face extraction unit 21 extracts an image of the face portion from the stored image information and normalizes it. The purpose of normalization is to align the size and orientation of the face in the image to a predetermined size and a predetermined direction (for example, the front) in order to enable comparison between data accumulated in time series.
  • the feature extraction unit 22 detects feature points corresponding to the eyes, mouth, nose, and the like from the face image extracted and normalized by the face extraction unit 21, and acquires their positions.
  • the movement amount detection unit 23 detects the movement of each feature point from a plurality of images during the period in which the instructed operation is performed. For example, the movement of each feature point (for example, the maximum amount of movement and its direction) is detected from the image during the period in which “a” is uttered. Then, it is stored in the collected information storage unit 41 as the facial feature movement amount in the utterance “a”. Needless to say, if there is information that has been processed up to the movement amount detection unit 23 in the above-described instruction operation confirmation, it may be used.
  • the voice information extracted by the utterance part extracting unit 32 is stored by the process of step S405.
  • the feature amount calculation unit 33 extracts the feature amount from the stored voice information and stores it in the collected information storage unit 41 as the voice feature amount in the utterance “a”.
  • step S407 if there is still an unprocessed operation instruction, the process returns to step S403, and the processes after step S403 described above are repeated. If data collection has been completed for all operation instructions, the process proceeds to step S408.
  • step S ⁇ b> 408 the health condition determination unit 43 determines the subject's subject based on the voice feature amount and the feature point movement amount in the past predetermined period (for example, the latest one month) stored in the collected information storage unit 41. A determination reference value (threshold value indicating a normal range) is created. Then, the health condition determination unit 43 determines whether or not an abnormality has occurred in the subject by comparing the created determination reference value with the voice feature amount and feature point movement amount obtained this time. The health condition determination unit 43 further provides the determination result to the notification unit 44, and the notification unit 44 notifies the determination result via, for example, the speaker 4. Thus, the subject or their caregivers can know the determination result by the health condition determination unit 43. Further, when an abnormality is found in the health condition of the subject, the notification unit 44 notifies that fact to an external facility such as a hospital via a telephone line or the Internet.
  • an external facility such as a hospital via a telephone line or the Internet.
  • preparation of the above-described determination standard includes, for example, setting a range of a predetermined size as a threshold range centering on an average value of data in a recent predetermined period.
  • the health state is determined based on whether or not the voice feature amount or the movement amount of the facial feature point falls within the threshold range.
  • the above processing procedure is an example, and the processing procedure according to the present invention is not limited to the above.
  • the operation instruction is given in the above embodiment, this may be omitted.
  • the subject voluntarily pronounces “a, i, u, e, o” or moves the eyeball up and down and up and down.
  • the control unit 200 detects that “a, i, c, e, o” is uttered by the voice recognition unit 31, and automatically extracts necessary image information and voice information.
  • the control unit 200 detects the left / right / up / down movement of the eyeball by the movement amount detection unit 23 and automatically extracts necessary image information.
  • the position of each feature point extracted by the feature extraction unit 22 from the image during the instructed operation period may be stored in the collection information storage unit 41 as a facial feature. In this way, it is possible to detect a change in a part that is not directly related to the instructed action, such as the degree of opening of the eyes being worse than usual, from the facial feature information.
  • the health state is monitored using both image information and audio information, but the health state may be monitored using either one of them.
  • the body temperature (face temperature) of the subject may be measured and recorded by an infrared sensor. Fever and the like can be monitored by recording the body temperature.
  • a blood pressure meter may be installed to enable blood pressure measurement, or a weight meter may be placed at a standing position when the subject faces the mirror 1 so that changes in weight can be monitored.
  • aphasia when there is no response even though the subject is instructed to speak.
  • Possible causes of aphasia include cerebrovascular disorders, brain trauma, encephalitis, epilepsy and Alzheimer's disease.
  • Other symptoms of stroke include paralysis of half of the face, unclear speech, lack of speech, and slow response time.
  • facial palsy can be determined from the amount of facial feature movement, and for words, it can be determined by looking at the speech recognition unit 31 and the response time from the subject to the action and utterance instructions. is there.
  • dysphagia not only the dysphagia itself, but also the possibility of paralysis of the glossopharyngeal nerve, vagus nerve, sublingual nerve, muscle diseases such as myasthenia gravis, multiple brains The possibility of brain diseases such as infarction can be discovered.
  • Symptoms of dysphagia may be that the speech is indistinct, the voice hangs on the nose, or if you try to eat or drink water.
  • the pre-stored health state operation is compared / discriminated,
  • the health condition of the subject is determined. For example, if the movement of the subject detected this time exceeds a predetermined threshold with respect to the movement in the health state, it is determined that an abnormality has occurred in the health state of the subject. This determination result is notified to the subject, the nurse, or an external facility such as a hospital. Therefore, a simple diagnosis (vital check) for the elderly can be performed easily and on a daily basis, and the occurrence of an abnormality in the health condition can be detected early.
  • the reference value (threshold value) for determination is set based on the operation during a recent predetermined period (for example, the latest one to several months) with respect to the operation in a healthy state. It is possible to reduce misjudgment of the health condition in consideration of the accompanying motion fluctuation.
  • the collected information storage unit 41 may store captured images and recorded audio for several days. In this way, when an abnormality occurs, a doctor or the like can confirm changes in the face (expression) and voice for several days.
  • a health condition input unit (not shown) is provided so that medical staff such as doctors and nurses can determine whether the subject is in a healthy or pathological state based on the operation instructions of the device. , It may be stored in the apparatus. The movement amount of the feature point due to the movement of the subject at this time can be stored and used as information used by the health condition determination unit 43.
  • the present invention is not limited to the above embodiment.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　健康状態監視装置は、撮像部と、撮像部により得られた被検者を含む画像から、当該被検者の顔画像の中の特定部位に対応した特徴点を抽出する抽出部と、被検者が行う所定動作に対応した特徴点の移動量を抽出された特徴点を用いて検出する検出部と、検出部で検出された移動量を日付情報に関連付けて格納する格納部と、格納部で格納された移動量の経時的な変化に基づいて被検者の健康状態を判定する判定部とを有する。

Description

健康状態監視装置
　本発明は、人の外観や動作に基づいて健康状態を監視する状態監視装置に関する。
　一般に、デイサービスなどでは、体温、血圧、脈拍などを測定することにより体調の変化を把握するバイタルチェックが行われている。このようなバイタルチェックでは、介護者等が被検者について上記測定を行うほか、被検者と会話したり被検者の表情を診たりすることにより、被検者の健康状態を把握している。
　近年、人の健康状態を測定するための機器である体温計や血圧計（脈拍計測を含む）のデジタル化が進み、そのような機器からの測定結果を記憶して健康状態の監視に役立てることが試みられている。また、体温、血圧、脈拍、顔のむくみ等を検出して外部の健康診断センターに送信する健康診断システムが特許文献１に記載されている。
特開２００５－０６５８１２号公報
　しかしながら、一般的な健康状態監視装置では、体温、血圧、脈拍、顔のむくみ等の静的な情報を取得するのみであり、被検者の動的な状態、すなわち表情の変化や動作等を監視するものではない。一般にそのような動的な状態からの健康状態の判断は、介護者の観察に頼っているのが現状である。
　昨今の核家族化や高齢化の進行により、高齢者の一人暮らしが増加している。このため、日常的に動作（反応）の変化などから健康状態を判断してくれる人がいない高齢者が増加しており、そのような高齢者の病状の発見の遅れが懸念される。
　本発明は上記課題に鑑みてなされたものであり、その典型的な一実施形態によれば、被検者が行う所定動作の経時的な変化に基づいて被検者の健康状態を監視する可能な健康状態監視装置が提供される。
　上記の目的を達成するための本発明の一態様による健康状態監視装置は、以下の構成を備える。すなわち、
　撮像手段と、
　前記撮像手段により得られた被検者を含む画像から、当該被検者の顔画像中の特定部位に対応した特徴点を抽出する抽出手段と、
　前記被検者が行う所定動作に対応した前記特徴点の移動量を検出する検出手段と、
　前記検出手段で検出された移動量を日付情報に関連付けて格納する格納手段と、
　前記格納手段で格納された移動量の経時的な変化に基づいて前記被検者の健康状態を判定する判定手段とを備える。
　本発明によれば、被検者が行う所定動作の経時的な変化に基づいて被検者の健康状態を監視する可能な健康状態監視装置が提供される。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
実施形態による健康状態監視装置の外観の位置例を示す図である。 実施形態による健康状態監視装置の機能構成例を示すブロック図である。 実施形態による収集情報の格納状態を説明する図である。 実施形態による健康状態監視装置の動作を説明するフローチャートである。
　以下、添付の素面を参照して、本発明の好適な実施形態の一例を説明する。
　図１は、本実施形態による健康状態監視装置の外観を示す図である。本実施形態では、鏡１のフレームに撮像手段としてのデジタルカメラ２、音声入力手段としてのマイク３、報知手段としてのスピーカ４が埋め込まれた構成を採用する。なお、デジタルカメラ２、マイク３、スピーカ４はそれぞれ鏡のフレーム部分に組み込まれている必要はなく、それぞれ、被検者の顔を撮影したり、被検者の声を録音したり、被検者に対して所定の通知を行えればよい。また、鏡は特に必須ではないが、鏡を用いたことにより、被検者が自身の顔を観察しながら装置による健康状態の監視も行えるようになる。なお、鏡１が洗面台の一部を構成するようにしてもよい。
　また、本実施形態では、鏡を用いたが、これに限られるものではない。ディスプレイのフレームにカメラを有するノートパソコンのような構成を用いることも可能である。この場合、カメラで撮影された画像をリアルタイムにノートパソコンのディスプレイに表示することで、鏡の代わりにもなる。
　図２は、本実施形態による健康監視装置の構成例を示すブロック図である。制御部２００は、デジタルカメラ２やマイク３から取得される各種情報から、被検者の動作に関連する情報を収集し、被検者の健康状態を判定する。
　制御部２００において、顔抽出部２１は、デジタルカメラ２により撮影された画像から、周知の技術により顔画像を抽出する。特徴抽出部２２は、顔抽出部２１が抽出した顔画像について、顔の大きさをそろえるために正規化を施し、被検者の顔画像中の特定部位（目や口など）の特徴点を抽出する。移動量検出部２３は、デジタルカメラ２が順次撮影を行うことで得られた複数の画像から、顔抽出部２１と特徴抽出部２２によって抽出された顔の特徴点の移動量を検出し、収集情報格納部４１に格納する。顔認証部２４は、顔抽出部２１により抽出された顔画像が、登録されている被検者のものであるか否かにより、個人認証を行う。
　音声認識部３１はマイク３により収集された音情報から、「ア」「イ」「ウ」などの所定の音声が被検者により発声されたことを、周知の音声認識技術により認識する。発声部分抽出部３２は、マイク３によって収集された音情報から、音声認識部３１が所定の発声を認識した部分の音情報を切り出し、音声情報とする。特徴量算出部３３は、発声部分抽出部３２が抽出した音声情報（音声の信号）から音声特徴量を計算し、これを収集情報格納部４１に格納する。声紋認証部３４は、マイク３により取得された音情報に含まれる音声の情報から声紋を取得し、登録された被検者の声紋と比較することで個人認証を行う。
　なお、移動量検出部２３は、音声認識部３１により所定の発声が検出された期間を含む所定期間について特徴点の移動を検出する。このような処理により、たとえば、被検者が「ア」という発声を行う動作に関連した顔の動き（すなわち所定の動作における顔の動き）が検出されることになる。
　計時部４２は時計機能を有し、日付情報（時刻を含む）を収集情報格納部４１に提供する。健康状態判定部４３は、収集情報格納部４１に格納された収集情報の経時的な変化、収集情報により示される異常の有無に基づいて被検者の健康状態を判定する。通知部４４は健康状態判定部４３で判定された健康状態を報知する。通知部４４は、たとえばスピーカ４により判定された健康状態を被検者に通知する。或いは、通知部４４は、外部施設（病院等）へ電話回線もしくはインターネット等のネットワークを通じて、健康状態を通知する。動作指示部４５は通知部４４を介して、被検者に所定動作を行わせる指示を行う。たとえば、スピーカ４から『「ア」と発声してください』といた発声内容の指示や、『目を上下に動かしてください』といった動作指示を音声により行う。なお、動作指示は、ディスプレイ（不図示）により文章で被検者に指示を行うようにしてもよい。また、目を動かす指示については、たとえば鏡１のフレームの上下左右にＬＥＤ等の発光部を設け、これを順次点灯させて、被検者の視線を追跡させるようにしてもよい。
　図３は、収集情報格納部４１における収集情報のデータ構成例を示す図である。図３の３Ａに示されるように、収集情報は、顔認証部２４或いは声紋認証部３４により認証された被検者別に、且つ、収集情報が取得された日付、時刻別に格納される。なお、日付、時刻の情報は計時部４２から取得される日付情報である。図３の３Ｂは収集情報の内容を更に細かく示している。日々の収集情報は、各動作内容毎に、特徴量算出部３３が算出した音声特徴量、特徴抽出部２２が抽出した特徴点の位置（顔特徴）、移動量検出部２３が抽出した特徴点の移動量（顔特徴移動量）を含む。また、収集情報は、健康状態判定部４３による健康状態の判定結果（状態判定）を含むものとするが、状態判定は各動作内容毎に判定結果を格納してもよいし、これに代えて或いはこれに加えて総合的な状態判定を格納するようにしてもよい。以上のように、収集情報格納部４１は、被検者の動作として検出された顔の各部の移動量や音声の特徴量が日付情報に関連付けて、個人別に格納される。
　健康状態判定部４３は、上述したような収集情報を用いて、たとえば、最近の数ヶ月間の音声特徴量や顔特徴移動量から当該被検者に関する正常値の範囲を設定し、新たに取得された音声特徴量や顔特徴移動量が正常範囲か否かを判定する。また、前日に収集された音声特徴量や顔特徴移動量に対して、極端に変動が激しい場合は、異常であると判断する。
　以上のような制御部２００の構成は、汎用のコンピュータによっても実現できる。したがって、本実施形態の健康状態監視装置は、パーソナルコンピュータにデジタルカメラやマイク３を接続したような構成であってもよい。
　図４は、以上のような構成を備えた本実施形態による健康状態監視装置の動作を説明するフローチャートである。
　ステップＳ４０１において、制御部２００は顔認証部２４と声紋認証部３４により、特定の被検者であることが認証されると、健康状態の検査を開始する。すなわち、健康状態の監視に関連する情報（本例では顔や音声に関する情報）の収集処理を開始する。なお、顔認証と音声認証のいずれかを用いて認証を行ってもよい。また、顔認証と音声認証の両方を用いる場合は、両方の認証結果が一致した場合にのみ認証成功と判断してもよいし、少なくともいずれか一方で認証成功した場合に、認証成功と判断するようにしてもよい。
　なお、検査の開始は上述したような認証に限定されるものではなく、被検者が特定のスイッチを操作することによりなされてもよい。また、認証は、顔認証や声紋認証に限られず、パスワードの入力や静脈認証等が用いられてもよい。また、上述したような特定のスイッチを操作する被検者が特定の被検者に限定されるような環境であれば、認証処理及びこれに関連する機能（顔認証部２４、声紋認証部３４）を省略することも可能である。
　検査が開始されると、ステップＳ４０２において、制御部２００はデジタルカメラ２による検査用の撮影とマイク３による検査用の録音処理を開始する。
　次に、ステップＳ４０３において、動作指示部４５は通知部４４により、被検者に動作の指示を行う。たとえば、スピーカ４を用いて、『「ア」と発音して下さい』『目を上下、左右に移動させてください』といった指示を発声する。
　次にステップＳ４０４において、制御部２００は、被検者が指示に対応した動作を行ったかどうかを判断する。たとえば、『「ア」と発音して下さい』という指示の後に、音声認識部３１が「ア」という発声を認識すれば、指示動作が確認されたとして処理をステップＳ４０５へ進める。あるいは、ステップＳ４０３で『目を上下、左右に移動させてください』という指示を行ったのであれば、移動量検出部２３からの情報に基づいて眼球が上下左右に移動したか否かを検出する。そして、眼球が上下左右に移動したことが認識されると、処理はステップＳ４０５へ進む。ここで、動作の指示を行ってから所定時間内に対応する動作の確認が取れない場合には、・被検者に再度動作を促す、或いは、・被検者に異常が発生しているものとして病院等の外部施設へ通知を行うようにしてもよい。
　ステップＳ４０５において、制御部２００は動作の指示に対応した音声及び／または画像を格納する。たとえば、「ア」という発声が行われた期間は、たとえば音声認識部３１が「ア」という発声を検出したとの音声波形から取得でき、ステップＳ４０５ではこの期間の音声情報及び画像情報が格納される。また、被検者に眼球を上下左右への移動させた場合には、眼球の上下左右の移動が確認された期間の画像情報が格納される。
　なお、本実施形態では、画像または音声から指示に対応した動作が実際に行われたことを確認しているが、これに限られるものではない。たとえば、動作の指示を行ってから所定時間にわたる画像または音声を、当該動作の指示に対応した動きに対応する画像情報や音声情報として格納するようにしてもよい。
　ステップＳ４０６において、制御部２００は、ステップＳ４０５で格納した画像情報や音声情報から必要な特徴量を算出し、算出した特徴量を収集情報格納部４１に格納する。たとえば、顔抽出部２１は、格納された画像情報から顔の部分の画像を抽出し、これを正規化する。なお、正規化の目的は、時系列に蓄積されたデータ間での比較を可能にするために、画像中の顔の大きさや向きを所定サイズ及び所定方向（たとえば正面）に揃えることである。続いて、特徴抽出部２２は、顔抽出部２１が抽出し、正規化した顔画像から、目、口、鼻などに対応する特徴点を検出し、それらの位置を取得する。移動量検出部２３は、指示された動作が行われた期間の複数の画像から、各特徴点の動きを検出する。たとえば、「ア」という発声が行われた期間の画像から、各特徴点の動き（たとえば最大移動量とその方向など）を検出する。そして、発声「ア」における顔特徴移動量として収集情報格納部４１に格納する。なお、上述の指示動作確認において移動量検出部２３までの処理を終えている情報があれば、それを利用してもよいことはいうまでもない。
　また、音声情報に関しては、発声部分抽出部３２で抽出された音声情報がステップＳ４０５の処理によって格納されている。特徴量算出部３３はその格納されている音声情報から特徴量を抽出し、発声「ア」における音声特徴量として収集情報格納部４１に格納する。
　ステップＳ４０７において、まだ未処理の動作指示があれば処理はステップＳ４０３に戻り、上述したステップＳ４０３以降の処理が繰り返される。全ての動作指示についてデータの収集を終えた場合には、処理はステップＳ４０８に進む。
　ステップＳ４０８において、健康状態判定部４３は、収集情報格納部４１に格納された過去の所定期間（たとえば最近の１ヶ月間）の音声特徴量や特徴点移動量に基づいて、当該被検者の判定基準値（正常範囲を示す閾値）を作成する。そして、健康状態判定部４３は、作成した判定基準値と今回得られた音声特徴量や特徴点移動量とを比較することにより、被検者に異常が発生しているかどうかを判断する。健康状態判定部４３は、さらに、その判定結果を通知部４４に提供し、通知部４４は判定結果を、たとえばスピーカ４を介して通知する。これにより被検者或いはその介護者らは、健康状態判定部４３による判定結果を知ることができる。また、被検者の健康状態に異常が発見された場合、通知部４４はその旨を病院などの外部施設に電話回線、またはインターネットを介して通知する。
　なお、上記した判定基準の作成は、たとえば、最近の所定期間のデータの平均値を中心として所定の大きさの範囲を閾値範囲として設定することが挙げられる。この場合、音声特徴量や顔の特徴点の移動量が当該閾値範囲に入るか否かで健康状態が判断される。
　また、上記処理手順は一例であり、本発明による処理の手順は上記に限られない。たとえば、上記実施形態では動作指示を行ったが、これを省略してもよい。この場合、例えば、被検者は、自主的に「ア、イ、ウ、エ、オ」と発音したり、眼球を左右上下に移動させたりする。制御部２００は、音声認識部３１により「ア、イ、ウ、エ、オ」と発声されたことを検出し、自動的に必要な画像情報や音声情報を抽出することになる。或いは、制御部２００は、移動量検出部２３により眼球の左右上下の移動を検出して自動的に必要な画像情報を抽出することになる。
　また、指示された動作の期間における画像から特徴抽出部２２で抽出された各特徴点の位置を顔特徴として収集情報格納部４１に格納させてもよい。このようにすれば、顔特徴の情報から、通常よりも目の開き具合は悪いといったような、指示された動作とは直接に関係ない部位の変化を検出できる。
　また、上記実施形態では、画像情報と音声情報の両方を用いて健康状態を監視するが、いずれか一方を用いて健康状態を監視するようにしてもよい。さらに、これらに加えて、赤外線センサにより被検者の体温（顔の温度）を計測して記録するようにしてもよい。このような体温の記録により、発熱などを監視できる。更に、血圧計を設置して血圧計測を可能にしたり、被検者が鏡１に向かう際の立ち位置に体重計を配置して、体重の変化を監視できるようにしたりしてもよい。
　ここで判定における異常について、さらに詳しく説明する。本実施形態によれば、様々な病症などの早期発見が可能である。例えば、被検者に発声の指示を出したにも関わらず、応答がない場合、失語症の可能性がある。失語症の原因疾患としては、脳血管障害や脳外傷、脳炎、さらには、てんかんやアルツハイマー病などが考えられる。他にも、脳卒中の兆候として、顔面の半分が麻痺、発語が不明瞭、言葉が出ない、応答に時間が掛かる、といった症状が表れる。この場合、顔面麻痺は、顔特徴移動量から判定可能であり、言葉に関しては、音声認識部３１や、動作や発声の指示に対しての被検者からの応答時間をみることで判定可能である。また、動作の１つとして嚥下状態を観察することで、嚥下障害そのものだけでなく、舌咽神経、迷走神経、舌下神経の麻痺の可能性や、重症筋無力症などの筋疾患、多発脳梗塞などの脳疾患の可能性を発見することができる。嚥下障害の症状としては、発語が不明瞭、声が鼻に掛かる、摂食・飲水をしようとするとむせる、といったものが考えられるため、発声や、何かを食する動作を指示すると良い。
　以上のように、本実施形態によれば、被検者が鏡１に向かって発声などを含むいくつかの動作を行うと、予め記憶させた健康状態時の動作と比較／判別が行われ、当該被検者の健康状態が判定される。たとえば、今回検出された被検者の動作が、健康状態時の動作に対して所定の閾値を越える変化があると、被検者の健康状態に異常が発生していると判定する。この判定結果は、当該被検者や看護者、或いは病院等の外部の施設に通知される。したがって、高齢者の簡易診断（バイタルチェック）を容易且つ日常的に行うことが可能となり、健康状態における異常の発生を早期に発見することが可能となる。
　また、上記実施形態によれば、健康状態時の動作に関して、最近の所定期間（たとえば最近の１ヶ月～数ヶ月）の動作に基づいて判定の基準値（閾値）を設定するので、加齢に伴う動作の変動を考慮し、健康状態の誤判定を低減することができる。
　また、収集情報格納部４１は、上述した情報に加えて、数日分の撮影画像や録音音声を格納するようにしてもよい。このようにすれば、異常が発生した際に、医師などが数日間の顔（表情）や声の変化を確認することができる。
　さらに、健康状態入力部（不図示）を設け、医師や看護師等の医療スタッフが装置の動作指示に基づいた被検者の動作について、健康な状態であるか病的な状態であるかを、装置に記憶させることができるようにしてもよい。この時の被検者の動作による特徴点の移動量を記憶させ、健康状態判定部４３で用いる情報とすることができる。なお本発明は、上記実施形態に限定されない。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１０年６月３０日提出の日本国特許出願特願２０１０－１５０１８３を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (7)

  1. 　撮像手段と、
    　前記撮像手段により得られた被検者を含む画像から、当該被検者の顔画像の中の特定部位に対応した特徴点を抽出する抽出手段と、
    　前記被検者が行う所定動作に対応した前記特徴点の移動量を検出する検出手段と、
    　前記検出手段で検出された移動量を日付情報に関連付けて格納する格納手段と、
    　前記格納手段で格納された移動量の経時的な変化に基づいて前記被検者の健康状態を判定する判定手段とを備えることを特徴とする健康状態監視装置。
  2. 　前記被検者の音声を入力する音声入力手段と、
    　所定の発声内容を前記被検者が発声することで前記音声入力手段から得られた音声の信号の特徴量を計算する計算手段とを更に備え、
    　前記格納手段は、さらに前記計算手段で計算された特徴量を日付情報に関連付けて格納し、
    　前記判定手段は、さらに前記特徴量の経時的な変化に基づいて前記被検者の健康状態を判定することを特徴とする請求項１に記載の健康状態監視装置。
  3. 　前記抽出手段が抽出した顔画像から個人認証を行う認証手段を更に備え、
    　前記格納手段は、前記検出手段で検出された移動量を前記認証手段で認証された被検者別に格納することを特徴とする請求項１に記載の健康状態監視装置。
  4. 　前記抽出手段は、前記認証手段で認証に成功した場合に機能することを特徴とする請求項３に記載の健康状態監視装置。
  5. 　前記検出手段は、前記被検者が前記所定の発声内容を発声しているときの、前記特徴点の移動量を検出することを特徴とする請求項２に記載の健康状態監視装置。
  6. 　前記所定の発声内容を前記被検者に発声させるための指示を音声または表示により行う指示手段を更に備えることを特徴とする請求項２に記載の健康状態監視装置。
  7. 　前記判定手段による判定結果を電話回線またはネットワークを介して外部装置に通知する通知手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の健康状態監視装置。
PCT/JP2011/003330 2010-06-30 2011-06-13 健康状態監視装置 WO2012001890A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201180032734.2A CN102985007B (zh) 2010-06-30 2011-06-13 健康装置监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-150183 2010-06-30
JP2010150183A JP2012010955A (ja) 2010-06-30 2010-06-30 健康状態監視装置

Publications (1)

Publication Number Publication Date
WO2012001890A1 true WO2012001890A1 (ja) 2012-01-05

Family

ID=45401638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003330 WO2012001890A1 (ja) 2010-06-30 2011-06-13 健康状態監視装置

Country Status (3)

Country Link
JP (1) JP2012010955A (ja)
CN (1) CN102985007B (ja)
WO (1) WO2012001890A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104622423A (zh) * 2013-11-08 2015-05-20 天津点康科技有限公司 电子健康镜终端系统
FR3014675A1 (fr) * 2013-12-12 2015-06-19 Oreal Procede d'evaluation d'au moins un signe clinique du visage
CN103690149B (zh) * 2013-12-30 2016-08-17 惠州Tcl移动通信有限公司 通过面部拍照识别身体健康状况的移动终端及其实现方法
EP2919142B1 (en) 2014-03-14 2023-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing health status information
KR102420100B1 (ko) * 2014-03-14 2022-07-13 삼성전자주식회사 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
CN105011903B (zh) * 2014-04-30 2018-06-29 上海华博信息服务有限公司 一种智能健康诊断系统
CN104523235A (zh) * 2014-12-31 2015-04-22 深圳泰山在线科技有限公司 一种家庭环境下体质数据的采集方法及系统
JP6731631B2 (ja) * 2016-02-26 2020-07-29 パナソニックＩｐマネジメント株式会社 認知機能評価装置、プログラム
CN105962895A (zh) * 2016-04-26 2016-09-28 广东小天才科技有限公司 一种用户状态的提醒方法及系统
CN105788172B (zh) * 2016-05-25 2017-12-01 浙江大学 基于物联网的室内老年人监护系统及方法
JP6767780B2 (ja) 2016-06-01 2020-10-14 オムロンヘルスケア株式会社 生体情報測定装置、生体情報の正当性判定方法、及び、生体情報の正当性判定プログラム
JP7056008B2 (ja) * 2017-04-27 2022-04-19 コニカミノルタ株式会社 身体状態分析装置および該プログラム
JP7000702B2 (ja) * 2017-04-27 2022-01-19 コニカミノルタ株式会社 健康管理システムおよび健康管理方法
EP3490344A1 (en) * 2017-11-23 2019-05-29 BrainLit AB A method for generating a database
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
JP7403129B2 (ja) * 2018-05-23 2023-12-22 パナソニックＩｐマネジメント株式会社 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム
CN113853602A (zh) 2019-03-26 2021-12-28 日本电气株式会社 生物识别信息认证系统、生物识别信息认证方法、认证设备、认证方法、测量设备、测量方法以及记录有程序的计算机可读记录介质
JP7033355B1 (ja) 2021-08-18 2022-03-10 友康 無藤 診断補助装置、診断補助方法及び診断補助プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245718A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 精神状態評価装置
WO2003068062A1 (fr) * 2002-02-18 2003-08-21 Takashi Yoshimine Systeme de diagnostic et telephone portable
JP2005237668A (ja) * 2004-02-26 2005-09-08 Kazuya Mera コンピュータネットワークにおける感情を考慮した対話装置
JP2008305261A (ja) * 2007-06-08 2008-12-18 Ritsumeikan 認証システム及びこれを用いた測定システム
JP2009520546A (ja) * 2005-12-21 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータに基づいた顔面麻痺の評価

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245718A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 精神状態評価装置
WO2003068062A1 (fr) * 2002-02-18 2003-08-21 Takashi Yoshimine Systeme de diagnostic et telephone portable
JP2005237668A (ja) * 2004-02-26 2005-09-08 Kazuya Mera コンピュータネットワークにおける感情を考慮した対話装置
JP2009520546A (ja) * 2005-12-21 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータに基づいた顔面麻痺の評価
JP2008305261A (ja) * 2007-06-08 2008-12-18 Ritsumeikan 認証システム及びこれを用いた測定システム

Also Published As

Publication number Publication date
CN102985007A (zh) 2013-03-20
CN102985007B (zh) 2015-07-29
JP2012010955A (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
WO2012001890A1 (ja) 健康状態監視装置
CA2872785C (en) Sound-based spirometric devices, systems, and methods
US20170319063A1 (en) Apparatus and method for recording and analysing lapses in memory and function
KR102198884B1 (ko) 섬망 여부의 조기 판단 및 섬망의 중증도 판단 방법 및 프로그램
JP6329696B2 (ja) 生体情報分析システム
CN112804941A (zh) 用于检测生理事件的装置和方法
US20170007126A1 (en) System for conducting a remote physical examination
US11826161B2 (en) Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and non-transitory computer-readable storage medium
US11800996B2 (en) System and method of detecting falls of a subject using a wearable sensor
CN109997178B (zh) 用于提醒紧急服务的计算机系统
Chatterjee et al. Assessing severity of pulmonary obstruction from respiration phase-based wheeze-sensing using mobile sensors
US10070787B2 (en) System and method for detection and monitoring of a physical condition of a user
KR20120036638A (ko) 다종센서를 융합 관리하는 헬스케어 시스템
JP2021045208A (ja) 認知症リスク判定システム
US20220005494A1 (en) Speech analysis devices and methods for identifying migraine attacks
US20220409120A1 (en) Information Processing Method, Computer Program, Information Processing Device, and Information Processing System
US20210315517A1 (en) Biomarkers of inflammation in neurophysiological systems
TWM573494U (zh) 根據臉部表情提供對應服務的系統
US10925548B2 (en) Device, system and method for detection of an asthma attack or asthma of a subject
CN113974631A (zh) 一种基于生理信号识别与分析的孤独症计算机辅助诊断系统
WO2023189313A1 (ja) プログラム、情報処理装置、および情報処理方法
Nathan et al. Assessing Severity of Pulmonary Obstruction from Respiration Phase-Based Wheeze Sensing Using Mobile Sensors

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180032734.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800366

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11800366

Country of ref document: EP

Kind code of ref document: A1