WO2022030592A1 - 脳卒中検査システム、脳卒中検査方法、及び、プログラム - Google Patents

脳卒中検査システム、脳卒中検査方法、及び、プログラム Download PDF

Info

Publication number
WO2022030592A1
WO2022030592A1 PCT/JP2021/029171 JP2021029171W WO2022030592A1 WO 2022030592 A1 WO2022030592 A1 WO 2022030592A1 JP 2021029171 W JP2021029171 W JP 2021029171W WO 2022030592 A1 WO2022030592 A1 WO 2022030592A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
subject
stroke
items
unit
Prior art date
Application number
PCT/JP2021/029171
Other languages
English (en)
French (fr)
Inventor
智輝 小川
和宏 井出
紘督 山本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2022030592A1 publication Critical patent/WO2022030592A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • This disclosure relates to a stroke testing system, a stroke testing method, and a program for testing signs of stroke in a subject.
  • the present disclosure is made in view of the above, and an object thereof is to provide a stroke examination system or the like capable of performing an appropriate examination.
  • one aspect of the stroke test system is a stroke test system that tests for signs of stroke in a subject, and among a plurality of test items related to stroke, for the subject.
  • a decision unit that determines two or more inspection items to be executed, and a plurality of inspection units that each execute each inspection of the plurality of inspection items, and at least the determined two or more inspection items. It is provided with a plurality of examination units that execute two examinations at the same time, and a diagnostic unit that outputs diagnostic information regarding the signs of stroke in the subject based on the examination results.
  • the stroke test method among a plurality of test items related to stroke, two or more test items to be performed on the subject are determined, and each of the plurality of test items is defined.
  • the inspection unit corresponding to at least two of the determined two or more inspection items included in the plurality of inspection units that execute the inspection is made to execute the inspection at the same time.
  • these comprehensive or specific embodiments may be realized by a recording medium such as a system, an apparatus, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the apparatus, the integrated circuit, the computer program. And may be realized by any combination of recording media.
  • a stroke test system or the like capable of performing an appropriate test is provided.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the stroke examination system according to the embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the stroke examination system according to the embodiment.
  • FIG. 3 is a block diagram comparing the functional configuration of the stroke examination system according to the embodiment with the functional configuration of a smartphone, which is a form of a mobile terminal device.
  • FIG. 4 is an explanatory diagram of a 3-axis sensor and a 3-axis angular velocity sensor provided in a smartphone, which is a form of a mobile terminal device.
  • FIG. 5A is a first partial block diagram showing a functional configuration of an inspection unit according to an embodiment.
  • FIG. 5B is a second partial block diagram showing the functional configuration of the inspection unit according to the embodiment.
  • FIG. 5C is a third partial block diagram showing the functional configuration of the inspection unit according to the mode of application.
  • FIG. 6 is a partial block diagram showing a functional configuration of the sensor unit according to the embodiment.
  • FIG. 7 is a flowchart showing an operation example of the stroke examination system according to the embodiment.
  • FIG. 8A is a diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • FIG. 8B is a second diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • FIG. 9A is a third diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • FIG. 9B is a fourth diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • FIG. 10 is a diagram showing an example of a neural network for inspecting facial palsy in carrying out the embodiment.
  • FIG. 11A is a diagram showing an example of a neural network in consideration of the influence of rotation of a facial image that occurs at the time of photographing for inspecting facial palsy in carrying out the embodiment.
  • FIG. 11B is an example of a neural network considering the influence of the inclination of the upper (forehead portion) and lower (chin portion) of the face of the facial image generated at the time of photographing for inspecting facial palsy in carrying out the embodiment. It is a figure which shows.
  • FIG. 12 is a diagram showing an example of a process of correcting an inclination generated when a facial image of a subject is photographed in carrying out the embodiment.
  • FIG. 13 shows a state in which a facial image of the subject himself / herself is taken with the arm of the person holding the stroke inspection device extended, and a valley sign test and a facial palsy test are performed at the same time. It is a
  • the present disclosure provides a stroke test system and the like that can appropriately perform tests of a plurality of test items from the viewpoint of shortening the test time.
  • the stroke test system is a stroke test system for testing signs of stroke in a subject, and among a plurality of test items related to stroke, two or more test items to be performed on the subject.
  • a decision unit that determines, and a plurality of inspection units, each of which executes each inspection of a plurality of inspection items, and a plurality of inspection units that simultaneously execute at least two inspections of two or more determined inspection items.
  • a diagnostic unit that outputs diagnostic information regarding the signs of stroke in the subject based on the test results.
  • Such a stroke test stem can simultaneously perform two or more tests among the tests of two or more test items determined to be performed on the subject. As a result, the time required to execute the two or more tests can be shortened as compared with the case where each of the tests is performed sequentially. Therefore, the urgent stroke test should be appropriately performed from the viewpoint of the test time. Is possible.
  • each of the plurality of inspection items is among the inspection items related to the subject's facial palsy, the inspection items related to the subject's valley signs, the inspection items related to the subject's dysarthria, and the inspection items related to the subject's gait disorder. It may be one that is different from each other.
  • two or more tests determined from the test items related to the subject's facial paralysis, the test items related to the subject's valley signs, the test items related to the subject's dysarthria, and the test items related to the subject's gait disorder within the inspection of an item, two or more inspections can be performed at the same time.
  • the inspection items of the inspections performed simultaneously by a plurality of inspection units may be inspection items relating to facial palsy of the subject and inspection items relating to the subject's valley signs.
  • the inspection items of the inspections executed simultaneously by a plurality of inspection units may be inspection items relating to the subject's valley sign and inspection items relating to the subject's dysarthria.
  • the inspection items of the inspections performed simultaneously by a plurality of inspection units may be inspection items related to facial paralysis of the subject and inspection items related to dysarthria of the subject.
  • the inspection unit that executes the inspection of the inspection items related to the subject's facial palsy is the first acquisition unit that acquires the image of the subject's face from the sensor that images the subject's face. And a first extraction unit that extracts a feature amount related to facial palsy based on the acquired image.
  • the first extraction unit can extract the feature amount related to facial palsy based on the image acquired by the first acquisition unit and execute the inspection of the inspection items related to the facial palsy of the subject.
  • the inspection unit that executes the inspection of the inspection items related to the subject's valley sign acquires the movement data of the subject's upper arm from the sensor that detects the movement of the subject's upper arm. It may have two acquisition units and a second extraction unit that extracts feature quantities related to valley signs based on the acquired motion data.
  • the second extraction unit can extract the feature amount related to the valley sign and execute the inspection of the inspection items related to the valley sign of the subject based on the operation data acquired by the second acquisition unit.
  • the inspection unit that executes the inspection of the inspection items related to the subject's dysarthria acquires the voice data of the subject's voice from the sensor that collects the subject's voice. It may have an acquisition unit and a third extraction unit that extracts a feature amount related to dysarthria based on the acquired voice data.
  • the third extraction unit can extract the feature amount related to the dysarthria and execute the inspection of the inspection items related to the dysarthria of the subject.
  • the determination unit determines three or more inspection items to be executed for the subject, and the plurality of inspection units simultaneously execute three inspections out of the three or more determined inspection items. You may.
  • the stroke test method among a plurality of test items related to stroke, two or more test items to be performed on the subject are determined, and each test of the plurality of test items is performed.
  • Such a stroke test method can have the same effect as the stroke test system described above.
  • the program according to one aspect of the present disclosure is a program for causing a computer to execute the stroke examination method described above.
  • Such a program can have the same effect as the stroke testing system described above using a computer.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the stroke examination system according to the embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the stroke examination system according to the embodiment.
  • FIG. 3 is, as an example, a block diagram in the case where the stroke inspection system according to the embodiment is configured by a portable terminal device such as a smartphone.
  • the stroke inspection system 500 includes a stroke inspection device 100 realized by an information terminal and a server device 200.
  • the stroke inspection device 100 includes sensors and the like corresponding to various inspection items for inspecting a sign of stroke.
  • the stroke test device 100 sequentially gives instructions necessary for the test to the operator of the stroke test system 500, that is, the operator of the stroke test device 100, and makes full use of these sensors and the like to make full use of these sensors and the like to stroke the subject. Perform a symptom test.
  • the stroke inspection device 100 is realized by an information terminal, but may be another device as long as it has a configuration for realizing various functions described below.
  • the stroke test device 100 may be a dedicated device that is lent to a person at high risk of stroke in a medical examination or the like and is used when a suspicion of stroke is suspected.
  • the server device 200 is a device connected to the stroke test device 100 via a network such as the Internet.
  • the server device 200 is a storage device for storing the information used in the stroke examination device 100.
  • the server device 200 may be realized by a cloud computer installed on the network, or may be realized by an edge computer in a local communication network with which the stroke examination device 100 can communicate.
  • a storage unit that stores the same information may be built in the stroke test device 100. That is, the stroke examination system 500 may be realized with only one information terminal.
  • the stroke inspection device 100 includes an acquisition unit 101, a determination unit 102, an inspection unit 103, a diagnosis unit 104, a sensor unit 105, a transmission / reception unit 106, an output unit 107, and a storage unit 108. And prepare.
  • the acquisition unit 101, the determination unit 102, the inspection unit 103, and the diagnosis unit 104 are the CPU (Central Processing Unit) of the control unit 110, the memory, and the program stored in the memory. Is realized by executing.
  • CPU Central Processing Unit
  • the output unit 107 is composed of a display unit composed of a display or the like and an audio output means composed of a speaker or the like.
  • the storage unit 108 functions as a memory for storing a program executed by the CPU of the control unit 110 and profile information related to the subject's brain disease.
  • the acquisition unit 101 is a processing unit that acquires profile information about the target person.
  • the profile information about the subject is the information stored in the storage unit 201 of the server device 200. This information is, for example, data regarding the electronic medical record of the subject, the result of the medical examination, and the like. Therefore, it is desirable that the server device 200 is a server device installed in a medical institution.
  • the acquisition unit 101 outputs the acquired profile information to the determination unit 102 after processing the acquired profile information into a usable format by performing processing such as conversion and decryption of encrypted information as necessary.
  • the determination unit 102 determines the priority of each of the plurality of preset test items related to stroke based on the profile information output from the acquisition unit 101. Then, the determination unit 102 determines the inspection item to be executed for the target person from the plurality of inspection items based on the determined priority.
  • the number of inspection items determined here is two or more. In this embodiment, an example in which the inspection is executed only for the inspection items determined from the plurality of inspection items will be described, but the inspections for all the inspection items may be executed. In this case, it can be said that the determination unit 102 determines all the inspection items as the inspection items to be inspected among the plurality of inspection items. Further, at this time, since it is not necessary to determine the priority as described above, the acquisition unit 101 and the profile information acquired by the acquisition unit are also unnecessary.
  • the inspection unit 103 is a processing unit that acquires physical quantities from various sensors included in the sensor unit 105 and inspects the subject for a sign of stroke.
  • the inspection unit 103 determines the sensor and timing for acquiring the physical quantity for each inspection item, acquires the physical quantity of the sensor corresponding to the inspection item to be executed, and outputs the inspection result according to the physical quantity.
  • the inspection unit 103 in the present disclosure can also be regarded as a plurality of inspection units 103 that execute a plurality of inspection items.
  • the test result output from each test unit 103 may be a binary result such as whether or not a sign of stroke was observed in a certain test item, or there is a possibility that a sign of stroke has occurred. It may be the result in a scale expression such as%. Then, a comprehensive test result is output to the diagnostic unit from the test results output from each of the plurality of test units 103.
  • This comprehensive test result may be, for example, the average value of the scale expression, the number of test items showing signs of stroke, or even one of a plurality of test items. It may be a binary result of whether or not there is a sign of stroke.
  • the output of the test result from the test unit 103 is, for example, a trained machine using at least one of a physical quantity when a sign of stroke is seen and a physical quantity when no sign of stroke is seen as training data. Obtained by inputting the obtained physical quantity into the learning model.
  • each of the plurality of inspection units 103 has a trained machine learning model in which optimum learning has been performed.
  • FIG. 5A is a first partial block diagram showing the functional configuration of the inspection unit according to the embodiment.
  • FIG. 5B is a second partial block diagram showing a functional configuration of the inspection unit according to the embodiment.
  • FIG. 5C is a third partial block diagram showing a functional configuration of the inspection unit according to the embodiment.
  • FIGS. 5A to 5C shows one of a plurality of inspection units 103.
  • the first inspection unit 103a shown in FIG. 5A is, for example, an inspection unit 103 provided for inspection items related to facial paralysis of a subject, which is included in inspection items at the time of inspection of a sign of stroke.
  • the first inspection unit 103a acquires an image of the subject's face from the first sensor 105a (see FIG. 6 described later) that captures the subject's face, and the face surface based on the acquired image. It has a first extraction unit 123a for extracting a feature amount related to paralysis.
  • the first sensor 105a is, for example, a camera or the like.
  • the function of the first acquisition unit 113a may be integrated into the acquisition unit 101.
  • the first extraction unit 123a extracts a predetermined feature amount from the input of an image and outputs a test result of a sign of stroke from the viewpoint of facial paralysis based on the predetermined feature amount.
  • the first extraction unit 123a teaches at least one of an image when a sign of stroke is seen from the viewpoint of facial paralysis and an image when no sign of stroke is seen from the viewpoint of facial paralysis, for example. It is realized by using the trained machine learning model used as data.
  • the second inspection unit 103b shown in FIG. 5B is, for example, an inspection unit 103 provided for inspection items related to the subject's valley sign, which is included in the inspection items at the time of inspection of a sign of stroke.
  • the second inspection unit 103b and the second acquisition unit 113b acquire the motion data (sensor detection result) of the subject's upper arm from the second sensor 105b (see FIG. 6 described later) that detects the motion of the subject's upper arm.
  • a second extraction unit 123b which extracts a feature amount related to a valley sign based on the acquired motion data.
  • the second sensor 105b is a sensor that detects the movement of the stroke inspection device 100 itself, such as a 6-axis sensor (3-axis acceleration sensor and 3-axis angular velocity sensor), for example, when the operator and the target person match. Further, the second sensor 105b is, for example, a camera or the like when the operator and the target person are different.
  • the function of the second acquisition unit 113b may be integrated into the acquisition unit 101.
  • the second extraction unit 123b extracts a predetermined feature amount from the input of exercise data, and outputs a test result of a stroke sign from the viewpoint of a valley sign based on the predetermined feature amount.
  • the second extraction unit 123b is, for example, at least one of the exercise data when there is a sign of stroke in terms of valley signs and the exercise data when there is no sign of stroke in terms of valley signs. Is realized by using a trained machine learning model using as teacher data.
  • the third inspection unit 103c shown in FIG. 5C is, for example, an inspection unit 103 provided for inspection items related to dysarthria of the subject, which is included in the inspection items at the time of inspection of a sign of stroke.
  • the third inspection unit 103c is based on the third acquisition unit 113c that acquires the voice data of the subject's voice from the third sensor 105c (see FIG. 6 described later) that collects the voice of the subject, and the acquired voice data. It has a third extraction unit 123c for extracting a feature amount related to dysarthria.
  • the third sensor 105c is, for example, a microphone or the like.
  • the function of the third acquisition unit 113c may be integrated into the acquisition unit 101.
  • the third extraction unit 123c extracts a predetermined feature amount from the input of voice data, and outputs a test result of a sign of stroke from the viewpoint of dysarthria based on the predetermined feature amount.
  • the third extraction unit 123c is, for example, at least one of the voice data when a sign of stroke is seen from the viewpoint of dysarthria and the voice data when no sign of stroke is seen from the viewpoint of dysarthria. Is realized by using a trained machine learning model using as teacher data.
  • the diagnostic unit 104 is a processing unit that outputs diagnostic information regarding the signs of stroke in the subject based on the test results.
  • the diagnostic information output by the diagnostic unit 104 includes, for example, at least one of image information indicating the test result and inquiry information for outputting the test result to the outside.
  • the image information indicating the test result output from the diagnostic unit 104 is displayed on, for example, the screen of a smartphone. The operator of the stroke examination system 500 can see the displayed image information and take necessary measures.
  • the inquiry information output from the diagnostic unit 104 to output the test result to the outside is transmitted to the medical institution or the like as it is via the network or the like. Then, the medical institution starts responding from the inquiry information received at the medical institution.
  • the sensor unit 105 is a group of various sensors provided in the stroke inspection device 100.
  • FIG. 6 is a partial block diagram showing a functional configuration of the sensor unit according to the embodiment.
  • the sensor unit 105 includes a first sensor 105a, a second sensor 105b, and a third sensor 105c.
  • the sensor included in the sensor unit 105 is, for example, a sensor such as a camera, a microphone, a touch panel, a fingerprint sensor, a distance sensor, a GPS, a 6-axis sensor, a magnetic sensor, and a brightness sensor.
  • the transmission / reception unit 106 is a communication module that connects the stroke inspection device 100 and an external device so as to be able to communicate with each other via a network.
  • the transmission / reception unit 106 is used when communicating between the stroke inspection device 100 and the server device 200, and when communicating between the stroke inspection device 100 and the inquiry information receiving device of a medical institution.
  • the storage unit 201 is a storage device such as a semiconductor memory.
  • the storage unit 201 stores information corresponding to profile information, such as information extracted from the subject's electronic medical record and information extracted from the result of the subject's health examination.
  • the transmission / reception unit 202 is a communication module that connects the server device 200 and an external device so as to be able to communicate with each other via a network.
  • the transmission / reception unit 202 is used when the server device 200 and the stroke test device 100 communicate with each other.
  • mobile terminal devices such as smartphones include a control unit 301, a display unit 302, a storage unit 303, various sensor groups (GPS304, 3-axis sensor 305, 3-axis angular speed sensor 306, proximity sensor 307, magnetic). Sensor 308, ambient light sensor 309, microphone 310, etc.), camera 311, speaker 312, communication unit 313, touch panel 314, fingerprint sensor 315, face recognition sensor group 316, battery 317, power supply unit 318 and the like.
  • GPS304 3-axis sensor 305, 3-axis angular speed sensor 306, proximity sensor 307, magnetic
  • Sensor 308 ambient light sensor 309, microphone 310, etc.
  • the control unit 301 can control the smartphone in an integrated manner, and although not shown, the control unit 301 includes a CPU and a storage element (for example, SRAM, etc.).
  • the control unit 301 corresponds to the control unit 110 of FIG. 2, and has at least the functions of the acquisition unit 101, the determination unit 102, the inspection unit 103, and the diagnosis unit 104.
  • the display unit 302 constitutes a part of the output unit 107 of FIG. 2, and displays based on the information received from the control unit 301.
  • the storage unit 303 stores an OS (Operating System) read and executed by the control unit 301, various application programs, and various data used by various programs. Further, a part or all of the profile information regarding the brain disease of the subject, which is the information stored in the storage unit 201 of the server device 200, may be stored.
  • OS Operating System
  • the communication unit 313 corresponds to the transmission / reception unit 106 in FIG. 2, controls wireless communication technologies such as LTE (LongTermEvolution, registered trademark) and 5th generation mobile communication system (so-called 5G), and is operated by a communication operator. It is wirelessly connected to a base station (not shown) and connected to the Internet via the communication base station. Regarding the means of communication with the outside, it is not the essence of the present application, and it does not exclude the type of mobile terminal device connected by Wi-Fi (registered trademark) and the type of mobile terminal device connected by a wired LAN.
  • Wi-Fi registered trademark
  • wired LAN wired LAN
  • the touch panel 314 receives an input to the screen (display unit 302) from the operator of the stroke inspection system 500 of FIG. 2, that is, the operator of the stroke inspection device 100, and the control unit 301 receives a signal based on the input (for example, a screen). Which part above is touched and how much pressure is touched) can be transmitted.
  • the various sensor groups correspond to the sensor unit 105 in FIG. 2, GPS304 that measures the position of the smartphone on the earth, X-axis, Y-axis, and Z-axis are set for the smartphone, and the acceleration of each axis is measured.
  • 3-axis sensor 305 3-axis angular velocity sensor 306 that measures the angular velocity in the rotation direction for each axis set by the 3-axis sensor 305, proximity sensor 307 that detects a nearby object (for example, a face approaching a smartphone),
  • a magnetic sensor 308 that detects geomagnetism and indicates the direction
  • an ambient light sensor 309 that detects the brightness of the surroundings of the smartphone
  • a microphone 310 that collects ambient sounds and voices
  • a camera 311 that captures the front or rear side of the smartphone
  • the speaker 312 that emits sound
  • the face authentication sensor group 316 that authenticates the face (actually, an infrared camera, a floodlight illuminator,
  • the functions of the 3-axis sensor 305 (accelerometer) and the 3-axis angular velocity sensor will be described with reference to FIG.
  • the acceleration when the terminal itself is accelerated in the linear direction is measured in the three directions of X-axis, Y-axis, and Z-axis (3-axis sensor), and works in the direction of rotating the terminal.
  • the angular velocity (represented by the X-axis angular velocity, the Y-axis angular velocity, and the Z-axis angular velocity, which are collectively referred to as a 3-axis angular velocity sensor) can be measured.
  • a subject takes a facial image with the stroke inspection device 100
  • the stroke test device 100 is held vertically and a self-portrait is taken, it is determined whether the stroke test device 100 is tilted with respect to the horizon, and if it is tilted, at what angle it is tilted. It is possible.
  • FIG. 7 is a flowchart showing an operation example of the stroke examination system according to the embodiment.
  • the acquisition unit 101 acquires profile information from the server device 200 via the transmission / reception unit 106.
  • the acquired profile information is output to the determination unit 102.
  • the determination unit 102 determines the inspection item to be actually inspected among the plurality of inspection items by setting the priority of each of the plurality of inspection items based on the output profile information (S101). ..
  • S101 the output profile information
  • the determination unit 102 determines the three inspection items of the first inspection item, the second inspection item, and the third inspection item.
  • the first inspection item is an inspection item relating to facial palsy of the subject.
  • the second inspection item is an inspection item relating to the subject's valley signs.
  • the third inspection item is an inspection item relating to the subject's dysarthria.
  • inspection items related to gait disturbance and other inspection items may be determined.
  • FIG. 8A is a diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • an image is displayed on the display screen of the terminal device (stroke test device 100) after both the test items related to the subject's facial palsy and the test items related to the subject's valley sign have been started. The state is shown.
  • the inspection time is shortened.
  • executing A and B at the same time means that B is started after A is started and before A is finished. Therefore, at least a period in which A and B are performed in parallel is formed. In this period, the inspection process of A and the inspection process of B may be processed in parallel or may be processed in a time division manner.
  • the inspection items related to the subject's facial palsy and the inspection items related to the subject's valley signs are simultaneously executed, but the combination of inspection items to be simultaneously executed is limited to this. No.
  • the inspection items for the subject's valley signs and the inspection items for the subject's dysarthria may be performed at the same time
  • the inspection items for the subject's facial paralysis, and the inspection for the subject's dysarthria. Inspection of items may be performed at the same time.
  • FIG. 8B is a diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • the display screen of the terminal device after each inspection of the inspection item related to the subject's facial paralysis, the inspection item related to the subject's valley sign, and the inspection item related to the subject's dysarthria is started. It shows how the image is displayed. The image displayed in FIG.
  • FIG. 8B is an image following the image displayed in FIG. 8A.
  • the acquisition of further voice data is started triggered by the normal start of the acquisition of the image and the acquisition of the motion data, and the image displayed changes from the image of FIG. 8A to the image of FIG. 8B. ..
  • each inspection is individually executed. It is also possible to significantly reduce the inspection time as compared with the case of doing so.
  • the inspection of the first inspection item is completed (S105), the inspection of the second inspection item is completed (S106), and the inspection of the third inspection item is completed (S107).
  • the timing of the start of each inspection is not limited to this, and the timing of the end of each inspection is not limited to this.
  • the inspection of the first inspection item is started, the inspection of the second inspection item is started, the inspection of the first inspection item is completed, the inspection of the third inspection item is started, and the inspection of the second inspection item is completed.
  • the order may be such that the inspection of the third inspection item is completed.
  • the inspection of the first inspection item is started, the inspection of the second inspection item is started, the inspection of the second inspection item is completed, the inspection of the third inspection item is started, and the inspection of the third inspection item is started. May be completed, and the inspection of the first inspection item may be completed. In this way, if the inspection of at least one inspection item is started and the inspection of another inspection item is started before the inspection of the one inspection item is completed, one inspection item and another inspection item are started. Each inspection of the inspection items will be performed at the same time. By doing so, as described above, it is possible to enjoy the effect of shortening the inspection time.
  • the diagnostic unit 104 outputs the diagnostic information and outputs it to the display screen, an external device, or the like (S108).
  • the stroke test system 500 that can quickly obtain the test results by reducing the time required to perform multiple tests is realized. can.
  • the stroke test system 500 can expand the number of tests that can be performed in the same time, so that various tests with multiple items can be performed in a short time, so that the test results can be utilized. Can improve sex.
  • FIG. 9A is a third diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • FIG. 9B is a fourth diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
  • FIG. 10 shows a method for inspecting facial palsy using a neural network called deep learning.
  • the data set with the correct answer information indicating that there is no paralysis corresponding to the face image is used as the teacher data (in FIG. 10, the first and second faces from the top are paralyzed and the third face is not paralyzed). input.
  • the weighting coefficient at each node included in the intermediate layer is adjusted to fit the data set by an operation such as backpropagation.
  • FIG. 11A is a diagram showing an example of a neural network in consideration of the influence of rotation of a facial image that occurs at the time of photographing for inspecting facial palsy in carrying out the embodiment.
  • the captured image or image tends to shift at an angle (for example, if paralysis of the arm remains, the stroke inspection device 100 rotates to the left or right, and the captured image is captured. Or the image may rotate), the neural network is trained using the corrected teacher data.
  • FIG. 11A is a diagram showing an example of a neural network in consideration of the influence of rotation of a facial image that occurs at the time of photographing for inspecting facial palsy in carrying out the embodiment.
  • the stroke inspection device 100 rotates to the left or right, and the captured image is captured. Or the image may rotate
  • the neural network is trained using the corrected teacher data.
  • 11B shows a neural network in which the influence of the inclination of the upper (forehead portion) and lower (chin portion) of the face of the facial image generated at the time of photographing for inspecting facial palsy in carrying out the embodiment is taken into consideration. It is a figure which shows an example. As shown in FIG. 11B, it is assumed that it is difficult to hold the stroke inspection device 100 in the vertical direction, and it is assumed in advance that the upper part (forehead part) and the lower part (chin part) of the face are tilted back and forth. Prepare an image and use it as teacher data to train a neural network.
  • each of these multiple neural networks can be used to detect facial palsy.
  • the rotation of the stroke examination device 100 is corrected by using the neural network shown in FIG. 11A, but the present invention is not limited to this.
  • the angle at which the stroke inspection device 100 is tilted with respect to the horizontal is acquired. This angle is, for example, an angle ⁇ shown in FIG. 9A as an angle difference between the vertical direction of the stroke inspection device 100 and the vertical direction of the subject.
  • FIG. 12 is a diagram showing an example of a process for correcting the inclination generated when the facial image of the subject is photographed in carrying out the embodiment.
  • the angle ⁇ may be calculated from the sensor value output by the sensor unit 105 at the time of photographing, or the sensor value may be held at the time of photographing the face and the image rotation processing means (for example, for example). It may be calculated from the sensor value when the image of the face tilted by the affine transformation) is restored. Alternatively, the angle ⁇ is calculated from the sensor value at the time of photographing the face, and before recording the image of the face on the stroke inspection device 100, or the means for detecting facial paralysis (the neural network capable of detecting the facial paralysis shown in FIG. 10).
  • the tilt may be corrected by the image rotation processing means before inputting to. Further, these correction processes may be processed by the stroke inspection device 100, or may be transmitted to the server device 200 and corrected by the cloud side. Further, the same processing may be performed for the angle difference between the orientation of the subject and the orientation of the stroke inspection device 100 in the horizontal plane of the stroke inspection device 100 shown in FIG. 9B.
  • the position information of each of the healthy person and the person with paralysis of the arm is accumulated, and as learning data between the healthy person and the person with paralysis of the arm in the neural network. You may let them learn. Also, simply based on the position of the elbow of the arm and the position of the shoulder or wrist, an appropriate threshold (in this case, how the position of the elbow changed with respect to the position of the shoulder or wrist, or the arm In any case, the doctor may examine the patient and make a judgment by setting a threshold indicating that the position of the wrist is lowered from the initial state while taking the so-called imitation posture of extending the arm forward.
  • the processing to be performed can be determined by replacing the moving image taken by the camera with the image analysis obtained from the moving image.
  • this method requires a third party as an operator to shoot the subject, or the camera needs to be fixed on a predetermined table in order to shoot itself at an angle of view including the subject's arm. There is.
  • FIG. 13 shows a state in which a facial image of the subject himself / herself is taken with the arm of the person holding the stroke inspection device extended, and a valley sign test and a facial palsy test are performed at the same time. It is a figure shown.
  • the subject is made to hold the stroke test device 100 with one or both hands, and the one arm holding the stroke test device 100 or the posture of extending both arms to the front of the body is maintained for a predetermined time. At this time, if either the left or right arm is paralyzed, the arm with the paralysis falls, so that the stroke inspection device 100 is tilted with respect to the horizontal state.
  • This inclination angle is discriminated by a predetermined threshold, or the neural network is trained by using the sensor value when the same operation is performed in each of a healthy person and a person with arm paralysis as teacher data.
  • the detected sensor value may be input to the neural network after learning to output the presence or absence of arm paralysis.
  • the stroke test device 100 when the subject detects paralysis of one arm holding the stroke test device 100 or whether both arms can be maintained horizontally for a predetermined time, the stroke test device 100 is held with the arm extended.
  • the stroke test device 100 By taking a picture of the subject's face with a camera, it is possible to carry out an examination for facial paralysis at the same time.
  • TIA Transient Ischemic Attack
  • the test for dysarthria means a speech test in this embodiment, and is a test for whether or not a predetermined sentence can be spoken without delay.
  • the voice data when the subject repeatedly utters the prepared sentence is stored in the storage unit 303 via the microphone 310.
  • the prepared sentence is a specific sentence to give a standardized audio sample, or a repetitive plosive ("PA", "KA”, and "TA") for a specific duration. It is desirable to be prompted.
  • the quality of the subject's utterance is judged using voice recognition technology.
  • pre-processing detection of voice and other sounds, statistical analysis of voice data, and signal filtering processing for feature extraction may be performed.
  • Raw audio data and / or any derived features are, by way of example, given as inputs to the neural network to perform further feature extraction.
  • the subject read the prepared sentence aloud and carry out a dysarthria assessment.
  • the subject's voice data is input to the neural network, and if it is judged to be "clear and smooth voice", it is judged to be normal, and if it is judged to "pronounce the voice somewhat indistinctly", it is judged to be mild. If it is determined that the articulation disorder is moderate, and if it is determined that "the voice is unclearly pronounced or the voice cannot be pronounced so that it cannot be understood", it is determined to be a severe articulation disorder.
  • each function of the components included in the stroke test system may be distributed to a plurality of parts constituting the stroke test system. good.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component may be realized by hardware.
  • each component may be a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits from each other. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • the general or specific aspects of the present disclosure may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM. Further, it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program and a recording medium.
  • This disclosure is useful in the application of performing an appropriate stroke test.
  • Stroke inspection device 101 Acquisition unit 102 Determination unit 103 Inspection unit 103a 1st inspection unit 103b 2nd inspection unit 103c 3rd inspection unit 104 Diagnosis unit 105 Sensor unit 105a 1st sensor 105b 2nd sensor 105c 3rd sensor 106 Transmission / reception unit 107 Output unit 108, 201, 303 Storage unit 110, 301 Control unit 113a 1st acquisition unit 113b 2nd acquisition unit 113c 3rd acquisition unit 123a 1st extraction unit 123b 2nd extraction unit 123c 3rd extraction unit 200 Server device 202 Transmission / reception unit 302 Display unit 305 3-axis sensor 306 3-axis angular velocity sensor 310 Microphone 311 Camera 312 Speaker 313 Communication Department 500 Stroke Examination System

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

脳卒中検査システム（５００）は、対象者における脳卒中の兆候を検査する脳卒中検査システム（５００）であって、脳卒中に関する複数の検査項目のうち、前記対象者に対して実行する２つ以上の検査項目を決定する決定部（１０２）と、それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された前記２つ以上の検査項目の少なくとも２つの検査を同時に実行する複数の検査部（１０３）と、検査結果に基づいて、前記対象者における脳卒中の兆候に関する診断情報を出力する診断部（１０４）と、を備える。

Description

脳卒中検査システム、脳卒中検査方法、及び、プログラム
　本開示は、対象者における脳卒中の兆候を検査する脳卒中検査システム、脳卒中検査方法、及び、プログラムに関する。
　脳卒中が生じた際に、迅速な処置を行うことができれば大きな後遺症を残すことなく治癒をできる可能性が高くなることが知られている。このため、脳卒中の疑いがあるときに、即座に脳卒中の予兆の検査が実行できることが望まれている。近年、多くの人が所有し、携行しているスマートフォンなどの情報端末を用いて、簡易な検査を行うことで、脳卒中の予兆の検査が即座に実行できる脳卒中検出の方法なども開発されている（例えば、特許文献１参照）。
国際公開２０１８／０５３５２１号
　ところで、適切な検査を実行するという観点では、上記の特許文献１に開示されたような脳卒中検出の方法などでは、十分ではない場合がある。
　本開示は、上記に鑑みてなされ、適切な検査を実行することができる脳卒中検査システム等を提供することを目的とする。
　上記目的を達成するために、本開示に係る脳卒中検査システムの一態様は、対象者における脳卒中の兆候を検査する脳卒中検査システムであって、脳卒中に関する複数の検査項目のうち、前記対象者に対して実行する２つ以上の検査項目を決定する決定部と、それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された前記２つ以上の検査項目の少なくとも２つの検査を同時に実行する複数の検査部と、検査結果に基づいて、前記対象者における脳卒中の兆候に関する診断情報を出力する診断部と、を備える。
　また、本開示に係る脳卒中検査方法の一態様は、脳卒中に関する複数の検査項目のうち、対象者に対して実行する２つ以上の検査項目を決定し、それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部に含まれる、決定された前記２つ以上の検査項目のうちの少なくとも２つの検査に対応する検査部に同時に検査を実行させる。
　なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、適切な検査を実行することが可能な脳卒中検査システム等が提供される。
図１は、実施の形態に係る脳卒中検査システムの構成の一例を示す概略図である。 図２は、実施の形態に係る脳卒中検査システムの機能構成を示すブロック図である。 図３は、実施の形態に係る脳卒中検査システムの機能構成を携帯端末装置の一形態であるスマートフォンの機能構成と対比したブロック図である。 図４は、携帯端末装置の一形態であるスマートフォンに備えられている３軸センサおよび３軸角速度センサについての説明図である。 図５Ａは、実施の形態に係る検査部の機能構成を示す第１部分ブロック図である。 図５Ｂは、実施の形態に係る検査部の機能構成を示す第２部分ブロック図である。 図５Ｃは、施の形態に係る検査部の機能構成を示す第３部分ブロック図である。 図６は、実施の形態に係るセンサ部の機能構成を示す部分ブロック図である。 図７は、実施の形態に係る脳卒中検査システムの動作例を示すフローチャートである。 図８Ａは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第１図である。 図８Ｂは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第２図である。 図９Ａは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第３図である。 図９Ｂは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第４図である。 図１０は、実施の形態を実施するにあたり顔面麻痺を検査するためのニューラルネットワークの一例を示す図である。 図１１Ａは、実施の形態を実施するにあたり顔面麻痺を検査するための撮影時に生じる顔面画像の回転の影響を考慮したニューラルネットワークの一例を示す図である。 図１１Ｂは、実施の形態を実施するにあたり顔面麻痺を検査するための撮影時に生じる顔面画像の顔面の上（額部分）と下（顎部分）との傾きの影響を考慮したニューラルネットワークの一例を示す図である。 図１２は、実施の形態を実施するにあたり対象者の顔面画像の撮影時に発生した傾きを補正する処理の一例を示す図である。 図１３は、対象者自身が脳卒中検査装置を保持した方の腕を伸ばした状態で対象者自身の顔面画像を撮影し、バレー兆候の検査と顔面麻痺の検査とを同時に実施している状態を示した図である。
　（開示の基礎となった知見）
　近年、多くの人は、高性能な情報処理を行うことが可能な情報端末（スマートフォン、タブレット端末、ＰＣなど）を携行している。一方で、上記の背景技術の欄において説明したように、脳卒中の疑いがもたれる検査対象者に対しては、迅速に脳卒中の予兆を検査する必要がある。もし、対象者において脳卒中の疑いがもたれた場合に、その場にある情報端末によって、簡易な脳卒中の予兆の検査を行うことができれば、その緊急性に応じて、すぐに適切な対処を行うことができる。このため、特許文献１に示すように、情報端末を用いて、簡易な検査を行うことで、脳卒中の予兆の検査が即座に実行できる脳卒中検出の方法なども開発されている。
　しかしながら、上記したように脳卒中の疑いがもたれた場合に、端末上で実行されるアプリケーションで、数ある検査項目を１つひとつ検査すると診断結果を得られるまでに時間を要してしまうことが考えられる。具体的には、１分１秒を争う状況で、例えば、複数ある検査項目を順次実行すると、その人にとって必要な検査項目が実行されるまでに時間を消費してしまうことがある。
　本開示では、上記に鑑みて、検査時間短縮の観点で複数の検査項目の検査を適切に実行することができる脳卒中検査システム等を提供する。
　（開示の概要）
　本開示の概要は、以下のとおりである。
　本開示の一態様に係る脳卒中検査システムは、対象者における脳卒中の兆候を検査する脳卒中検査システムであって、脳卒中に関する複数の検査項目のうち、対象者に対して実行する２つ以上の検査項目を決定する決定部と、それぞれが複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された２つ以上の検査項目の少なくとも２つの検査を同時に実行する複数の検査部と、検査結果に基づいて、対象者における脳卒中の兆候に関する診断情報を出力する診断部と、を備える。
　このような脳卒中検査ステムは、対象者に対して実行することが決定された２以上の検査項目の検査の中で、２つ以上の検査を同時に実行することができる。この結果、当該２つ以上の検査を実行するための時間を、それぞれ順次実行する場合に比べて短縮することができるので、緊急性の高い脳卒中の検査を検査時間の観点で適切に実行することが可能となる。
　また、例えば、複数の検査項目のそれぞれは、対象者の顔面麻痺に関する検査項目、対象者のバレー兆候に関する検査項目、対象者の構音障害に関する検査項目、対象者の歩行障害に関する検査項目のうちの互いに異なる１つであってもよい。
　これによれば、対象者の顔面麻痺に関する検査項目、対象者のバレー兆候に関する検査項目、対象者の構音障害に関する検査項目、対象者の歩行障害に関する検査項目の中から決定された２以上の検査項目の検査の中で、２つ以上の検査を同時に実行することができる。
　また、例えば、複数の検査部によって同時に実行される検査の検査項目は、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目であってもよい。
　これによれば、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目の検査を同時に実行することができる。
　また、例えば、複数の検査部によって同時に実行される検査の検査項目は、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目であってもよい。
　これによれば、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目の検査を同時に実行することができる。
　また、例えば、複数の検査部によって同時に実行される検査の検査項目は、対象者の顔面麻痺に関する検査項目、及び、対象者の構音障害に関する検査項目であってもよい。
　これによれば、対象者の顔面麻痺に関する検査項目、及び、対象者の構音障害に関する検査項目の検査を同時に実行することができる。
　また、例えば、複数の検査部のうち、対象者の顔面麻痺に関する検査項目の検査を実行する検査部は、対象者の顔を撮像するセンサから対象者の顔の画像を取得する第１取得部と、取得した画像に基づいて、顔面麻痺に関する特徴量を抽出する第１抽出部と、を有してもよい。
　これによれば、第１取得部が取得した画像に基づいて、第１抽出部が顔面麻痺に関する特徴量を抽出して対象者の顔面麻痺に関する検査項目の検査を実行することができる。
　また、例えば、複数の検査部のうち、対象者のバレー兆候に関する検査項目の検査を実行する検査部は、対象者の上腕の動作を検知するセンサから対象者の上腕の動作データを取得する第２取得部と、取得した動作データに基づいて、バレー兆候に関する特徴量を抽出する第２抽出部と、を有してもよい。
　これによれば、第２取得部が取得した動作データに基づいて、第２抽出部がバレー兆候に関する特徴量を抽出して対象者のバレー兆候に関する検査項目の検査を実行することができる。
　また、例えば、複数の検査部のうち、対象者の構音障害に関する検査項目の検査を実行する検査部は、対象者の声を収音するセンサから対象者の声の音声データを取得する第３取得部と、取得した音声データに基づいて、構音障害に関する特徴量を抽出する第３抽出部と、を有してもよい。
　これによれば、第３取得部が取得した音声データに基づいて、第３抽出部が構音障害に関する特徴量を抽出して対象者の構音障害に関する検査項目の検査を実行することができる。
　また、例えば、決定部は、対象者に対して実行する３つ以上の検査項目を決定し、複数の検査部は、決定された３つ以上の検査項目のうちの３つの検査を同時に実行してもよい。
　これによれば、対象者に対して実行することが決定された３以上の検査項目の検査の中で、３つの検査を同時に実行することができる。この結果、当該３つの検査を実行するための時間を、それぞれ順次実行する場合に比べてより短縮することができるので、緊急性の高い脳卒中の検査を検査時間の観点でより適切に実行することが可能となる。
　また、本開示の一態様に係る脳卒中検査方法は、脳卒中に関する複数の検査項目のうち、対象者に対して実行する２つ以上の検査項目を決定し、それぞれが複数の検査項目のそれぞれの検査を実行する複数の検査部に含まれる、決定された２つ以上の検査項目のうちの少なくとも２つの検査に対応する検査部に同時に検査を実行させる。
　このような脳卒中検査方法は、上記に記載の脳卒中検査システムと同様の効果を奏することができる。
　また、本開示の一態様に係るプログラムは、上記に記載の脳卒中検査方法を、コンピュータに実行させるためのプログラムである。
　このようなプログラムは、コンピュータを用いて上記に記載の脳卒中検査システムと同様の効果を奏することができる。
　以下では、本開示の実施の形態について図面とともに説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置、及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
　また、本明細書において、平行などの要素間の関係性を示す用語、及び、矩形などの要素の形状を示す用語、ならびに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の誤差等の差異も含むことを意味する表現である。
　（実施の形態）
　［構成］
　はじめに、実施の形態における脳卒中検査システムの概要について、図１～図６を用いて説明する。図１は、実施の形態に係る脳卒中検査システムの構成の一例を示す概略図である。また、図２は、実施の形態に係る脳卒中検査システムの機能構成を示すブロック図である。また、図３は、一例として、実施の形態に係る脳卒中検査システムをスマートフォンなどの携帯端末装置で構成した場合のブロック図である。
　図１に示すように、本実施の形態における脳卒中検査システム５００は、情報端末によって実現される脳卒中検査装置１００と、サーバ装置２００と、を備える。
　脳卒中検査装置１００は、脳卒中の予兆を検査するための各種の検査項目に対応するセンサなどを備える。脳卒中検査装置１００は、脳卒中検査システム５００の操作者、すなわち、脳卒中検査装置１００の操作者に対して、検査に必要な指示を順次与えながら、これらのセンサなどを駆使して、対象者の脳卒中の予兆の検査を実行する。なお、脳卒中検査装置１００は、情報端末によって実現されるが、以下に説明する各種機能を実現するための構成を有していればその他の装置であってもよい。例えば、脳卒中検査装置１００は、健康診断などにおいて脳卒中のリスクが高い人に貸与され、いざ脳卒中の疑いがもたれた場合に使用されるような専用の装置であってもよい。
　サーバ装置２００は、脳卒中検査装置１００とインターネット等のネットワークを介して接続される装置である。ここでは、サーバ装置２００は、脳卒中検査装置１００において使用される情報を記憶するための記憶装置である。サーバ装置２００は、ネットワーク上に設置されるクラウドコンピュータによって実現されてもよいし、脳卒中検査装置１００が通信可能な局所通信網内のエッジコンピュータによって実現されてもよい。また、サーバ装置２００の代わりに、同じ内容の情報を記憶する記憶部が脳卒中検査装置１００に内蔵されてもよい。つまり、脳卒中検査システム５００は、１つの情報端末のみで実現されてもよい。
　図２に示すように、脳卒中検査装置１００は、取得部１０１と、決定部１０２と、検査部１０３と、診断部１０４と、センサ部１０５と、送受信部１０６と出力部１０７と、記憶部１０８と、を備える。ここで、本実施の形態では、取得部１０１、決定部１０２、検査部１０３、及び、診断部１０４は、制御部１１０のＣＰＵ（Central Processing Unit）と、メモリと、当該メモリに記憶されたプログラムが実行されることによって実現される。
　出力部１０７は、ディスプレイなどで構成された表示部と、スピーカなどで構成される音声出力手段とにより構成される。
　記憶部１０８は、制御部１１０のＣＰＵによって実行されるプログラム及び対象者の脳疾患に関するプロファイル情報などを記憶するメモリとして機能する。
　取得部１０１は、対象者に関するプロファイル情報を取得する処理部である。本実施の形態においては、対象者に関するプロファイル情報とは、サーバ装置２００の記憶部２０１に記憶された情報である。この情報は、例えば、対象者の電子カルテや健康診断の結果等に関するデータである。したがって、サーバ装置２００は医療機関に設置されたサーバ装置であることが望ましい。取得部１０１は、取得したプロファイル情報を、必要に応じて変換及び暗号化情報の複合等の処理をして利用可能な形式にした後、決定部１０２へと出力する。
　決定部１０２は、取得部１０１から出力されたプロファイル情報に基づいて、あらかじめ設定された脳卒中に関する複数の検査項目のそれぞれの優先度を決定する。そして、決定部１０２は、決定した優先度に基づいて、複数の検査項目の中から対象者に対して実行する検査項目を決定する。ここで決定される検査項目の数は２つ以上である。なお、本実施の形態では、複数の検査項目の中から決定された検査項目のみ検査を実行する例を説明するが、すべての検査項目の検査を実行してもよい。この場合、決定部１０２は、複数の検査項目のうち、検査する検査項目としてすべての検査項目を決定するともいえる。また、このとき、上記した優先度の決定は必要なくなるので、取得部１０１、及び、取得部が取得するプロファイル情報も必要なくなる。
　検査部１０３は、センサ部１０５に含まれる各種センサから物理量を取得して、対象者の脳卒中の予兆の検査を行う処理部である。検査部１０３は、検査項目ごとに物理量を取得するセンサ及びタイミングが決められており、実行する検査項目に応じたセンサの物理量を取得しては、その物理量に応じた検査結果を出力する。このように、本開示における検査部１０３は、複数の検査項目をそれぞれ実行する複数の検査部１０３とみなすこともできる。
　各検査部１０３から出力される検査結果は、ある検査項目において、脳卒中の予兆がみられたか否かといった２値的な結果であってもよいし、脳卒中の予兆が生じている可能性が８０％などのスケール表現での結果であってもよい。そして、複数の検査部１０３のそれぞれから出力された検査結果から総合的な検査結果が診断部へと出力される。この総合的な検査結果は、例えば、スケール表現の平均値であってもよいし、脳卒中の予兆がみられた検査項目の数であってもよいし、複数の検査項目のうち、１つでも脳卒中の予兆がみられたか否かという２値的な結果であってもよい。検査部１０３からの検査結果の出力は、例えば、脳卒中の予兆がみられたときの物理量、及び、脳卒中の予兆がみられなかったときの物理量の少なくとも一方を教師データとして用いた学習済みの機械学習モデルに、得られた物理量を入力することで得る。このために、複数の検査部１０３のそれぞれは、それぞれに最適な学習が行われた学習済みの機械学習モデルを有する。
　ここで、図５Ａは、実施の形態に係る検査部の機能構成を示す第１部分ブロック図である。また、図５Ｂは、実施の形態に係る検査部の機能構成を示す第２部分ブロック図である。また、図５Ｃは、実施の形態に係る検査部の機能構成を示す第３部分ブロック図である。図５Ａ～図５Ｃのそれぞれは、複数の検査部１０３のうちの１つを示している。
　図５Ａに示す第１検査部１０３ａは、例えば、脳卒中の予兆の検査のときの検査項目に含まれる、対象者の顔面麻痺に関する検査項目のために設けられた検査部１０３である。第１検査部１０３ａは、対象者の顔を撮像する第１センサ１０５ａ（後述する図６参照）から対象者の顔の画像を取得する第１取得部１１３ａと、取得した画像に基づいて、顔面麻痺に関する特徴量を抽出する第１抽出部１２３ａと、を有する。第１センサ１０５ａは、例えば、カメラ等である。第１取得部１１３ａの機能は、取得部１０１に統合されていてもよい。また、第１抽出部１２３ａは、画像という入力に対して所定の特徴量を抽出して当該所定の特徴量に基づいて顔面麻痺の観点での脳卒中の予兆の検査結果を出力する。第１抽出部１２３ａは、例えば、顔面麻痺の観点での脳卒中の予兆がみられたときの画像、及び、顔面麻痺の観点での脳卒中の予兆がみられなかったときの画像の少なくとも一方を教師データとして用いた学習済みの機械学習モデルを用いて実現される。
　図５Ｂに示す第２検査部１０３ｂは、例えば、脳卒中の予兆の検査のときの検査項目に含まれる、対象者のバレー兆候に関する検査項目のために設けられた検査部１０３である。第２検査部１０３ｂは、対象者の上腕の運動を検知する第２センサ１０５ｂ（後述する図６参照）から対象者の上腕の運動データ（センサの検知結果）を取得する第２取得部１１３ｂと、取得した運動データに基づいて、バレー兆候に関する特徴量を抽出する第２抽出部１２３ｂと、を有する。第２センサ１０５ｂは、例えば、操作者と対象者とが一致する場合は、６軸センサ（３軸加速度センサ及び３軸角速度センサ）などの脳卒中検査装置１００自体の動きを検知するセンサである。また、第２センサ１０５ｂは、例えば、操作者と対象者とが異なる場合はカメラ等である。第２取得部１１３ｂの機能は、取得部１０１に統合されていてもよい。また、第２抽出部１２３ｂは、運動データという入力に対して所定の特徴量を抽出して当該所定の特徴量に基づいてバレー兆候の観点での脳卒中の予兆の検査結果を出力する。第２抽出部１２３ｂは、例えば、バレー兆候の観点での脳卒中の予兆がみられたときの運動データ、及び、バレー兆候の観点での脳卒中の予兆がみられなかったときの運動データの少なくとも一方を教師データとして用いた学習済みの機械学習モデルを用いて実現される。
　図５Ｃに示す第３検査部１０３ｃは、例えば、脳卒中の予兆の検査のときの検査項目に含まれる、対象者の構音障害に関する検査項目のために設けられた検査部１０３である。第３検査部１０３ｃは、対象者の声を収音する第３センサ１０５ｃ（後述する図６参照）から対象者の声の音声データを取得する第３取得部１１３ｃと、取得した音声データに基づいて、構音障害に関する特徴量を抽出する第３抽出部１２３ｃと、を有する。第３センサ１０５ｃは、例えば、マイクロフォン等である。第３取得部１１３ｃの機能は、取得部１０１に統合されていてもよい。また、第３抽出部１２３ｃは、音声データという入力に対して所定の特徴量を抽出して当該所定の特徴量に基づいて構音障害の観点での脳卒中の予兆の検査結果を出力する。第３抽出部１２３ｃは、例えば、構音障害の観点での脳卒中の予兆がみられたときの音声データ、及び、構音障害の観点での脳卒中の予兆がみられなかったときの音声データの少なくとも一方を教師データとして用いた学習済みの機械学習モデルを用いて実現される。
　診断部１０４は、検査結果に基づいて、対象者における脳卒中の兆候に関する診断情報を出力する処理部である。診断部１０４において出力される診断情報とは、例えば、検査結果を示す画像情報及び検査結果を外部に出力する問い合わせ情報の少なくとも一方を含む。診断部１０４から出力される、検査結果を示す画像情報は、例えば、スマートフォンの画面などに表示される。脳卒中検査システム５００の操作者は、表示された画像情報をみて、必要な対処を行うことが可能となる。また、診断部１０４から出力される、検査結果を外部に出力する問い合わせ情報は、そのまま、ネットワークなどを介して医療機関等に送信される。そして、医療機関で受診された問い合わせ情報から、医療機関側の対応が開始される。
　センサ部１０５は、脳卒中検査装置１００に備えられる各種のセンサ群である。図６は、実施の形態に係るセンサ部の機能構成を示す部分ブロック図である。図６に示すように、センサ部１０５は、第１センサ１０５ａ、第２センサ１０５ｂ、及び第３センサ１０５ｃを含む。センサ部１０５に含まれるセンサは、例えば、カメラ、マイクロフォン、タッチパネル、指紋センサ、距離センサ、ＧＰＳ、６軸センサ、磁気センサ、輝度センサ等のセンサである。
　送受信部１０６は、脳卒中検査装置１００と、外部の装置とをネットワークを介して通信可能に接続する通信モジュールである。送受信部１０６は、脳卒中検査装置１００と、サーバ装置２００とで通信する際、及び、脳卒中検査装置１００と医療機関の問い合わせ情報の受信装置とで通信する際等に用いられる。
　記憶部２０１は、半導体メモリ等の記憶装置である。記憶部２０１には、対象者の電子カルテから抽出された情報や、対象者の健康診断の結果から抽出された情報などプロファイル情報に対応する情報が記憶されている。
　送受信部２０２は、サーバ装置２００と、外部の装置とをネットワークを介して通信可能に接続する通信モジュールである。送受信部２０２は、サーバ装置２００と、脳卒中検査装置１００とで通信する際等に用いられる。
　図３に示すように、スマートフォン等の携帯端末装置には、制御部３０１、表示部３０２、記憶部３０３、各種センサ群（ＧＰＳ３０４、３軸センサ３０５、３軸角速度センサ３０６、近接センサ３０７、磁気センサ３０８、環境光センサ３０９、マイクロフォン３１０など）、カメラ３１１、スピーカ３１２、通信部３１３、タッチパネル３１４、指紋センサ３１５、顔認証センサ群３１６、バッテリ３１７、電源部３１８等から構成される。
　制御部３０１は、スマートフォンを統合的に制御可能で、いずれも図示しないがＣＰＵ、及び記憶素子（例えばＳＲＡＭ等）を備えている。制御部３０１は、図２の制御部１１０に対応し、少なくとも取得部１０１と、決定部１０２と、検査部１０３と、診断部１０４との機能を備えている。
　表示部３０２は、図２の出力部１０７の一部を構成し、制御部３０１から受信した情報に基づいて表示を行う。
　記憶部３０３には、制御部３０１に読みだされて実行されるＯＳ（Operating System）、各種アプリケーションプログラム、及び各種プログラムによって使用される各種データが保存される。また、サーバ装置２００の記憶部２０１に記憶された情報である対象者の脳疾患に関するプロファイル情報の一部又は全てが保存されていてもよい。
　通信部３１３は、図２の送受信部１０６に対応し、ＬＴＥ（Long Term Evolution、登録商標）や第５世代移動通信システム（いわゆる５Ｇ）などの無線通信技術を司り、通信事業者が運営する通信基地局（不図示）と無線で接続され、当該通信基地局を介してインターネットに接続される。なお、外部との通信手段に関しては、本出願の本質ではなく、Ｗｉ－Ｆｉ（登録商標）で接続する種別、及び、有線ＬＡＮで接続する種別の携帯端末装置を排除するわけではない。
　タッチパネル３１４は、図２の脳卒中検査システム５００の操作者、すなわち、脳卒中検査装置１００の操作者からの画面（表示部３０２）への入力を受け付け、制御部３０１にその入力に基づく信号（例えば画面上のどの部分が触れられているか、どの程度の圧力で触れられているか）を送信することが出来る。
　各種センサ群は、図２のセンサ部１０５に対応し、地球上でのスマートフォンの位置を計測するＧＰＳ３０４、スマートフォンに対してＸ軸、Ｙ軸、Ｚ軸を設定し、各軸の加速度を計測する３軸センサ３０５、３軸センサ３０５によって設定される各軸に対して、回転方向の角速度を計測する３軸角速度センサ３０６、近接する物体（例えば、スマートフォンに近づく顔）を検知する近接センサ３０７、地磁気を検知して方角を示す磁気センサ３０８、スマートフォンの周囲の明るさを検知する環境光センサ３０９、周囲の音や音声を集音するマイクロフォン３１０、スマートフォンの前面又は後面側を撮影するカメラ３１１、音を発するスピーカ３１２、ユーザ認証などで使われる指紋センサ３１５、顔の認証を行う顔認証センサ群３１６（実際には、不図示の赤外線カメラ、投光イルミネータ、及び、ドットプロジェクタ等と、図示しているセンサ群（近接センサ３０７、環境光センサ３０９、カメラ３１１）との組み合わせで、顔を認証するためのセンサとして動作している）を備えている。
　ここで、図４を用いて、３軸センサ３０５（加速度センサ）、３軸角速度センサの機能について説明する。多くのスマートフォンには、端末自体が直線方向に加速される際の加速度を、Ｘ軸、Ｙ軸、Ｚ軸の３方向に対して測定する（３軸センサ）とともに、端末を回転させる方向に働く角速度（Ｘ軸角速度、Ｙ軸角速度、Ｚ軸角速度であらわされ、これらを合わせて３軸角速度センサとも呼ばれる）が測定可能である。
　例えば、対象者が脳卒中検査装置１００で顔面の画像を撮影する際に、これらのセンサで検知された数値を用いることによって、脳卒中検査装置１００がどのような角度（姿勢）で撮影された対象者の顔面画像であるかを判定できる。例えば、脳卒中検査装置１００を縦向きに保持し、自撮りした場合に脳卒中検査装置１００が水平線に対して傾いているかどうか、さらには、傾いている場合に、どの角度に傾いているのかを判定可能である。
　［動作］
　次に、上記のように構成された脳卒中検査システム５００の動作について、図７～図８Ｂを用いて説明する。図７は、実施の形態に係る脳卒中検査システムの動作例を示すフローチャートである。
　脳卒中検査システム５００の動作が開始されると、まず、取得部１０１が送受信部１０６を介してネットワーク越しに、サーバ装置２００からプロファイル情報を取得する。取得したプロファイル情報は、決定部１０２へと出力される。決定部１０２は、出力されたプロファイル情報に基づいて複数の検査項目のそれぞれの優先度を設定するなどして、複数の検査項目の中で実際に検査を実行する検査項目を決定する（Ｓ１０１）。ここでは、決定部１０２が第１検査項目、第２検査項目、及び第３検査項目の３つの検査項目を決定した例について説明する。なお、第１検査項目は、対象者の顔面麻痺に関する検査項目である。また、第２検査項目は、対象者のバレー兆候に関する検査項目である。また、第３検査項目は、対象者の構音障害に関する検査項目である。実行される検査項目として、歩行障害に関する検査項目やその他の検査項目が決定されてもよい。
　続いて、第１検査部１０３ａが第１センサ１０５ａから画像の取得を開始することにより、決定した第１検査項目の検査が開始される（Ｓ１０２）。さらに、第１検査項目の検査が開始されたあと、かつ、第１検査項目の検査が終了する前に、第２検査部１０３ｂが第２センサ１０５ｂから運動データの取得を開始することにより、決定した第２検査項目の検査が開始される（Ｓ１０３）。例えば、図８Ａは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第１図である。図８Ａでは、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目それぞれの検査がいずれも開始された後の端末装置（脳卒中検査装置１００）の表示画面に画像が表示される様子が示されている。図８Ａに示すように、本実施の形態では、第１検査項目及び第２検査項目の２つの検査項目の検査を同時に実行することにより、１つずつの検査を個別に実行する場合に比べて、検査時間の短縮を行っている。なお、Ａ及びＢを同時に実行するとは、Ａが開始されたあと、かつ、Ａが終了するよりも前に、Ｂが開始されることを意味する。したがって、少なくともＡとＢとが並行して行われる期間が形成される。この期間では、Ａの検査の処理とＢの検査の処理とが並列処理されてもよいし、時分割に処理されてもよい。
　上記の例では、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目の検査が同時に実行されているが、同時に検査が実行される検査項目の組み合わせは、これに限られない。例えば、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目の検査が同時に実行されてもよいし、対象者の顔面麻痺に関する検査項目、及び、対象者の構音障害に関する検査項目の検査が同時に実行されてもよい。
　図７に戻り、さらに、第１検査項目及び第２検査項目の検査が開始されたあと、かつ、第１検査項目及び第２検査項目の検査が終了する前に、第３検査部１０３ｃが第３センサ１０５ｃから音声データの取得を開始することにより、決定した第３検査項目の検査が開始される（Ｓ１０４）。例えば、図８Ｂは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第１図である。図８Ｂでは、対象者の顔面麻痺に関する検査項目、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目のそれぞれの検査がいずれも開始された後の端末装置の表示画面に画像が表示される様子が示されている。なお、図８Ｂで表示されている画像は、図８Ａにおいて表示されている画像に続く画像である。例えば、画像の取得と、運動データの取得とが正常に開始されたことをトリガとして更なる音声データの取得が開始されて図８Ａの画像から図８Ｂの画像へと表示される画像が遷移する。
　図８Ｂに示すように、本実施の形態では、第１検査項目、第２検査項目及び第３検査項目の３つの検査項目の検査を同時に実行することにより、１つずつの検査を個別に実行する場合に比べて、大幅な検査時間の短縮を行うこともできる。
　再び図７に戻り、第１検査項目の検査を終了し（Ｓ１０５）、第２検査項目の検査を終了し（Ｓ１０６）、第３検査項目の検査を終了する（Ｓ１０７）。なお、各検査の開始のタイミングはこれに限られないし、各検査の終了のタイミングもこれに限られない。例えば、第１検査項目の検査が開始され、第２検査項目の検査が開始され、第１検査項目の検査が終了し、第３検査項目の検査が開始され、第２検査項目の検査が終了し、第３検査項目の検査が終了するという順序であってもよい。また、例えば、第１検査項目の検査が開始され、第２検査項目の検査が開始され、第２検査項目の検査が終了し、第３検査項目の検査が開始され、第３検査項目の検査が終了し、第１検査項目の検査が終了するという順序であってもよい。このように、少なくとも１つの検査項目の検査が開始され、かつ、当該１つの検査項目の検査が終了するまでの間に別の検査項目の検査が開始されれば、１つの検査項目及び別の検査項目のそれぞれの検査が同時に行われることとなる。こうすることで、上記したように、検査時間の短縮の効果を享受することが可能である。
　そして、診断部１０４が診断情報を出力して、表示画面及び外部の装置などへ出力する（Ｓ１０８）。
　このようにして、２つ以上の検査項目の検査を同時に実行することによって、複数の検査を行うために要する時間を縮小することで迅速に検査結果を得ることが可能な脳卒中検査システム５００が実現できる。言い換えると、脳卒中検査システム５００は、同じ時間内で実行可能な検査の数を拡大することができるので、短時間に、複数の項目による多彩な検査を実施することができるので、検査結果の活用性を向上できる。
　（対象者の顔面麻痺に関する検査について）
　上記した実施の形態を実施するにあたり、顔面麻痺を検知するための方法を説明する。
　図９Ａは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第３図である。また、図９Ｂは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第４図である。また、図１０は、ディープラーニングと呼ばれるニューラルネットワークを用いた顔面麻痺の検査方法を示している。中間層が多段から構成されるニューラルネットワークに、顔面麻痺が有する顔画像と当該顔画像に対応する麻痺ありであることを示す正解情報とのデータセット、及び、顔面麻痺を有しない顔画像と当該顔画像に対応する麻痺なしであることを示す正解情報とのデータセットを（図１０では、上から１番目及び２番目の顔が麻痺有り、３番目の顔が麻痺無しとなる）教師データとして入力する。この際、バックプロパゲーションなどの演算によって、中間層に含まれる各ノードでの重み係数を、データセットに適合するように調整する。
　このような操作を行うことによって、顔面麻痺のある場合と、無い場合との特徴がニューラルネットワークによって学習され、学習に使われていない顔面の画像を入力すると、その画像が顔面麻痺ありなのか、又は、無しなのかが判別できるようになる。
　図１０に示すように、ニューラルネットワークに学習させる際に、教師データとして正面画像を使用するのが望ましい。ここで、図１１Ａは、実施の形態を実施するにあたり顔面麻痺を検査するための撮影時に生じる顔面画像の回転の影響を考慮したニューラルネットワークの一例を示す図である。図１１Ａに示すように、脳卒中の患者が顔面を撮影する時に撮影画像又は映像がずれやすい角度（例えば、腕の麻痺が残っていると、左右どちらかに脳卒中検査装置１００が回転し、撮影画像又は映像が回転する虞がある）に、補正した教師データを用いてニューラルネットワークを学習させる。また、図１１Ｂは、実施の形態を実施するにあたり顔面麻痺を検査するための撮影時に生じる顔面画像の顔面の上（額部分）と下（顎部分）との傾きの影響を考慮したニューラルネットワークの一例を示す図である。図１１Ｂに示すように、脳卒中検査装置１００を垂直方向に保持することが難しい場合を想定し、顔面の上（額部分）と下（顎部分）とが前後に傾いている場合をあらかじめ想定した画像を用意し、教師データとして用いてニューラルネットワークを学習させる。
　このように、あらかじめ、撮影時に想定される傾きに合わせた顔面の画像データを使って、複数のニューラルネットワークを生成しておけば、顔面麻痺を検知させる場合に、これら複数のニューラルネットワークのそれぞれに検知対象となる画像を入力することで、画像に写る顔面が真正面から撮影されていない場合でも、顔面の麻痺の有無を好適に検知可能となる。
　また、上記した例では、それぞれ異なる撮影角度を想定して補正した後の教師データを、複数のニューラルネットワークのそれぞれに独立して入力して、学習を行う例を説明したが、１つのニューラルネットワークに補正した後の教師データを含め、全ての教師データを入力し、単一のニューラルネットワークを生成しても良い。
　上記の説明では、図１１Ａに示したニューラルネットワークを用いて脳卒中検査装置１００の回転を補正したが、これに限定されない。撮影時に脳卒中検査装置１００のセンサ部１０５（３軸センサ３０５、３軸角速度センサ３０６）が出力するセンサ値より、水平に対して、脳卒中検査装置１００が傾いていた角度を取得する。この角度は、例えば、図９Ａに、脳卒中検査装置１００の上下方向に対する対象者の上下方向との角度差として示す角度αなどである。
　ここで、図１２は、実施の形態を実施するにあたり対象者の顔面画像の撮影時に発生した傾きを補正する処理の一例を示す図である。図１２に示したように、角度αは、撮影時にセンサ部１０５が出力するセンサ値から算出されても良いし、顔面の撮影時にセンサ値を保持しておき、画像の回転処理手段（例えば、アフィン変換）により傾いた顔面の画像を元に戻す際にセンサ値から算出しても良い。又は、顔面の撮影時にセンサ値から角度αを算出し、脳卒中検査装置１００に顔面の画像を記録する前、もしくは、顔面麻痺の検出手段（図１０に示した顔面麻痺を検知可能なニューラルネットワーク）に入力する前に、画像の回転処理手段で傾きを補正しても良い。また、これらの補正処理は、脳卒中検査装置１００で処理しても良いし、サーバ装置２００に送信してクラウド側で補正処理しても良い。また、図９Ｂに示す、脳卒中検査装置１００の水平面内における対象者の向きと脳卒中検査装置１００の向きとの角度差などについても同様の処理を行ってもよい。
　（対象者のバレー兆候に関する検査について）
　上記した実施の形態を実施するにあたり、バレー兆候を検知するための方法を説明する。
　腕の麻痺を医師が診断する場合には、対象者に両腕を水平に上げさせ、所定時間（例えば５秒間）この状態を保つことが出来るかで判定を行う。
　このようなバレー兆候の検査を端末装置で実施するための方法が提案されている（例えば、特許文献１参照）。この方法は、対象者に両腕を水平に上げている状態を保持させ、その様子を動画で撮影し、手首の位置や、ひじの位置、肩の位置から、片腕が落ちることを検出するものである。
　本実施の形態においては、腕の水平位置に関して、健常者と腕に麻痺がある者とのそれぞれにおける位置情報を蓄積し、ニューラルネットワークに健常者と腕の麻痺症状がある人との学習データとして学習させても良い。また、単純に腕の肘の位置と、肩や手頸の位置とを基準に、適切な閾値（この場合、肘の位置が肩や手頸の位置に対してどう変化したか、あるいは、腕を前方に伸ばす、いわゆる前倣えの姿勢をとった状態で、手首の位置が初期状態から下がることを示す閾値を設けて、判定しても良い。いずれの場合でも、医師が患者を診て判断する処理を、カメラによって撮影される動画像と、動画像から得られる画像解析によって置き換えることによって判断可能となる。
　しかしながら、この方法では、対象者を撮影する操作者としての第三者を必要とするか、あるいは対象者の腕を含む画角で自己を撮影するために、カメラを所定の台に固定する必要がある。
　次に、脳卒中検査装置１００の３軸センサ３０５を利用し、バレー兆候を検知する方法を説明する。図１３は、対象者自身が脳卒中検査装置を保持した方の腕を伸ばした状態で対象者自身の顔面画像を撮影し、バレー兆候の検査と顔面麻痺の検査とを同時に実施している状態を示した図である。図１３に示すように、対象者に脳卒中検査装置１００を片手、または、両手で保持させ、脳卒中検査装置１００を保持した片腕、または、両腕を体の前方に伸ばす姿勢を所定時間維持させる。この時、左右どちらかの腕に麻痺が生じている場合には、麻痺を有する腕が落ちるので、脳卒中検査装置１００が水平状態に対して、傾きが生じる。この傾き角度を所定の閾値で判別するか、あるいは、健常者と腕の麻痺がある人とのそれぞれにおいて、同様の動作を行った際のセンサ値を教師データとして用いてニューラルネットワークを学習させ、学習後のニューラルネットワークに検知されたセンサ値を入力して腕の麻痺の有無を出力させても良い。
　また、対象者が脳卒中検査装置１００を保持した片腕、あるいは、両腕を水平に伸ばした状態を所定時間だけ維持できたかで腕の麻痺を検知する場合、腕を伸ばした状態で脳卒中検査装置１００の画面を見ている状態になるため、対象者の顔面をカメラで撮影することで、顔面麻痺の検査を同時に実施することが可能となる。バレー兆候の検査と顔面麻痺の検査を同時に実施することで、脳卒中の予兆の１つであるＴＩＡ（Transient Ischemic Attack）の検査時間を短縮する効果も期待できる。
　（対象者の構音障害の検査について）
　上記した実施の形態を実施するにあたり、構音障害を検知するための方法を説明する。
　構音障害の検査とは、本実施の形態では発話テストを意味し、決められた文を滞りなく発話できるか否かの検査である。対象者が準備された文を繰り返し発声したときの音声データをマイクロフォン３１０を介して記憶部３０３に記憶する。準備された文としては、標準化された音声サンプルを与えるために特定の文、あるいは、特定の持続時間の間、反復的な破裂音（「ＰＡ」、「ＫＡ」、及び「ＴＡ」）を発するようにプロンプトされることが望ましい。音声認識技術を用いて対象者の発話の良否を判定する。このとき、前処理として、音声及び他の音の検出、音声データの統計的分析、特徴抽出のための信号のフィルタ処理を行っても良い。生音声データ及び／又は任意の導出された特徴は、一例として、さらなる特徴抽出を実施するためにニューラルネットワークに入力として与えられる。
　準備された文を対象者に音読させ、構音障害アセスメントを実施する。対象者の音声データをニューラルネットワークに入力し、「クリアで滑らかな音声」と判定された場合には正常と判定し、「音声をいくらか不明瞭に発音する」と判定された場合には軽度から中度の構音障害と判定し、「理解され得ないほど、音声が不明瞭に発音される、又は、音声を発音することができない」と判定された場合には重度構音障害と判定する。
　（その他の実施の形態）
　以上、実施の形態等について説明したが、本開示は、上記実施の形態等に限定されるものではない。
　また、上記実施の形態等において脳卒中検査システムを構成する構成要素について例示したが、脳卒中検査システムが備える構成要素の各機能は、脳卒中検査システムを構成する複数の部分にどのように振り分けられてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　その他、実施の形態等に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示は、適切な脳卒中の検査を実行するという用途において有用である。
　　１００　脳卒中検査装置
　　１０１　取得部
　　１０２　決定部
　　１０３　検査部
　　１０３ａ　第１検査部
　　１０３ｂ　第２検査部
　　１０３ｃ　第３検査部
　　１０４　診断部
　　１０５　センサ部
　　１０５ａ　第１センサ
　　１０５ｂ　第２センサ
　　１０５ｃ　第３センサ
　　１０６　送受信部
　　１０７　出力部
　　１０８、２０１、３０３　記憶部
　　１１０、３０１　制御部　
　　１１３ａ　第１取得部
　　１１３ｂ　第２取得部
　　１１３ｃ　第３取得部
　　１２３ａ　第１抽出部
　　１２３ｂ　第２抽出部
　　１２３ｃ　第３抽出部
　　２００　サーバ装置
　　２０２　送受信部
　　３０２　表示部
　　３０５　３軸センサ
　　３０６　３軸角速度センサ
　　３１０　マイクロフォン
　　３１１　カメラ
　　３１２　スピーカ
　　３１３　通信部
　　５００　脳卒中検査システム

Claims (11)

  1. 　対象者における脳卒中の兆候を検査する脳卒中検査システムであって、
    　脳卒中に関する複数の検査項目のうち、前記対象者に対して実行する２つ以上の検査項目を決定する決定部と、
    　それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された前記２つ以上の検査項目の少なくとも２つの検査を同時に実行する複数の検査部と、
    　検査結果に基づいて、前記対象者における脳卒中の兆候に関する診断情報を出力する診断部と、を備える
    　脳卒中検査システム。
  2. 　前記複数の検査項目のそれぞれは、前記対象者の顔面麻痺に関する検査項目、前記対象者のバレー兆候に関する検査項目、前記対象者の構音障害に関する検査項目、前記対象者の歩行障害に関する検査項目のうちの互いに異なる１つである
    　請求項１に記載の脳卒中検査システム。
  3. 　前記複数の検査部によって同時に実行される検査の検査項目は、前記対象者の顔面麻痺に関する検査項目、及び、前記対象者のバレー兆候に関する検査項目である
    　請求項２に記載の脳卒中検査システム。
  4. 　前記複数の検査部によって同時に実行される検査の検査項目は、前記対象者のバレー兆候に関する検査項目、及び、前記対象者の構音障害に関する検査項目である
    　請求項２に記載の脳卒中検査システム。
  5. 　前記複数の検査部によって同時に実行される検査の検査項目は、前記対象者の顔面麻痺に関する検査項目、及び、前記対象者の構音障害に関する検査項目である
    　請求項２に記載の脳卒中検査システム。
  6. 　前記複数の検査部のうち、前記対象者の顔面麻痺に関する検査項目の検査を実行する検査部は、
    　前記対象者の顔を撮像するセンサから前記対象者の顔の画像を取得する第１取得部と、
    　取得した前記画像に基づいて、顔面麻痺に関する特徴量を抽出する第１抽出部と、を有する
    　請求項１～３のいずれか１項に記載の脳卒中検査システム。
  7. 　前記複数の検査部のうち、前記対象者のバレー兆候に関する検査項目の検査を実行する検査部は、
    　前記対象者の上腕の動作を検知するセンサから前記対象者の上腕の動作データを取得する第２取得部と、
    　取得した前記動作データに基づいて、バレー兆候に関する特徴量を抽出する第２抽出部と、を有する
    　請求項１～３のいずれか１項に記載の脳卒中検査システム。
  8. 　前記複数の検査部のうち、前記対象者の構音障害に関する検査項目の検査を実行する検査部は、
    　前記対象者の声を収音するセンサから前記対象者の声の音声データを取得する第３取得部と、
    　取得した前記音声データに基づいて、構音障害に関する特徴量を抽出する第３抽出部と、を有する
    　請求項１～３のいずれか１項に記載の脳卒中検査システム。
  9. 　前記決定部は、前記対象者に対して実行する３つ以上の検査項目を決定し、
    　前記複数の検査部は、決定された前記３つ以上の検査項目のうちの３つの検査を同時に実行する
    　請求項１～８のいずれか１項に記載の脳卒中検査システム。
  10. 　脳卒中に関する複数の検査項目のうち、対象者に対して実行する２つ以上の検査項目を決定し、
    　それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部に含まれる、決定された前記２つ以上の検査項目のうちの少なくとも２つの検査に対応する検査部に同時に検査を実行させる
    　脳卒中検査方法。
  11. 　請求項１０に記載の脳卒中検査方法を、コンピュータに実行させるための
    　プログラム。
PCT/JP2021/029171 2020-08-05 2021-08-05 脳卒中検査システム、脳卒中検査方法、及び、プログラム WO2022030592A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063061691P 2020-08-05 2020-08-05
US63/061,691 2020-08-05

Publications (1)

Publication Number Publication Date
WO2022030592A1 true WO2022030592A1 (ja) 2022-02-10

Family

ID=80118098

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2021/029165 WO2022030591A1 (ja) 2020-08-05 2021-08-05 脳卒中検査システム、脳卒中検査方法、及び、プログラム
PCT/JP2021/029171 WO2022030592A1 (ja) 2020-08-05 2021-08-05 脳卒中検査システム、脳卒中検査方法、及び、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029165 WO2022030591A1 (ja) 2020-08-05 2021-08-05 脳卒中検査システム、脳卒中検査方法、及び、プログラム

Country Status (4)

Country Link
US (1) US20230238144A1 (ja)
JP (1) JP7450239B2 (ja)
CN (1) CN115666405A (ja)
WO (2) WO2022030591A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189309A1 (ja) * 2022-03-28 2023-10-05 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012139425A (ja) * 2010-12-30 2012-07-26 Chiba Univ 上肢運動機能複合的診断装置
JP2018171443A (ja) * 2017-03-31 2018-11-08 コリア リサーチ インスティトゥート オブ スタンダーズ アンド サイエンス 脳卒中モニタリングシステム
US20190029606A1 (en) * 2016-01-12 2019-01-31 Yale University System and method for diagnosing and notification regarding the onset of a stroke
JP2019535069A (ja) * 2016-09-19 2019-12-05 エヌ・ティ・ティ イノベーション インスティチュート インクＮＴＴ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｓｔｉｔｕｔｅ， Ｉｎｃ． 脳卒中検出及び予防システム及び方法
CN111358449A (zh) * 2020-01-16 2020-07-03 董思羽 一种脑卒中监护及早发现预警的家用设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132143A (ja) 2001-10-23 2003-05-09 Jeol Ltd 臨床検査システム
DE10230878B4 (de) 2002-07-09 2008-05-08 Siemens Ag Verfahren und Rechnersystem zur automatischen Bearbeitung von Studien bildgebender Untersuchungssysteme
US7733224B2 (en) 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
JP4969994B2 (ja) 2006-11-06 2012-07-04 株式会社日立メディコ 健診情報入力システム
EP2227765A1 (en) 2007-11-02 2010-09-15 Siegbert Warkentin System and methods for assessment of the aging brain and its brain disease induced brain dysfunctions by speech analysis
US10537262B2 (en) 2015-05-14 2020-01-21 Elwha Llc Systems and methods for detecting strokes
US11638550B2 (en) 2015-07-07 2023-05-02 Stryker Corporation Systems and methods for stroke detection
US11116426B2 (en) 2015-12-09 2021-09-14 Zoll Medical Corporation Device administered tests and adaptive interactions
EP3549138A1 (en) 2016-12-02 2019-10-09 Cardiac Pacemakers, Inc. Multi-sensor stroke detection
JP2020048683A (ja) 2018-09-25 2020-04-02 公立大学法人大阪 片麻痺の検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012139425A (ja) * 2010-12-30 2012-07-26 Chiba Univ 上肢運動機能複合的診断装置
US20190029606A1 (en) * 2016-01-12 2019-01-31 Yale University System and method for diagnosing and notification regarding the onset of a stroke
JP2019535069A (ja) * 2016-09-19 2019-12-05 エヌ・ティ・ティ イノベーション インスティチュート インクＮＴＴ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｓｔｉｔｕｔｅ， Ｉｎｃ． 脳卒中検出及び予防システム及び方法
JP2018171443A (ja) * 2017-03-31 2018-11-08 コリア リサーチ インスティトゥート オブ スタンダーズ アンド サイエンス 脳卒中モニタリングシステム
CN111358449A (zh) * 2020-01-16 2020-07-03 董思羽 一种脑卒中监护及早发现预警的家用设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189309A1 (ja) * 2022-03-28 2023-10-05 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置

Also Published As

Publication number Publication date
WO2022030591A1 (ja) 2022-02-10
JPWO2022030591A1 (ja) 2022-02-10
CN115666405A (zh) 2023-01-31
US20230238144A1 (en) 2023-07-27
CN115666405A9 (zh) 2023-03-24
JP7450239B2 (ja) 2024-03-15

Similar Documents

Publication Publication Date Title
JP6124308B2 (ja) 動作評価装置及びそのプログラム
CN107945625A (zh) 一种英语发音测试与评价系统
CN108354578B (zh) 一种胶囊内镜定位系统
JP7183483B1 (ja) 自動的で客観的な症状の重症度スコア
US20210100453A1 (en) Systems and methods for diagnosing and analyzing concussions
WO2022030592A1 (ja) 脳卒中検査システム、脳卒中検査方法、及び、プログラム
WO2017003883A1 (en) System and method for optical detection of cognitive impairment
JP6407521B2 (ja) 診療支援装置
JP6798258B2 (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
KR102426792B1 (ko) 무음 발화 인식 방법 및 장치
US10643636B2 (en) Information processing apparatus, information processing method, and program
US11830292B2 (en) System and method of image processing based emotion recognition
CN115813343A (zh) 儿童行为异常评估方法和系统
KR20230013236A (ko) 음성인식을 사용한 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법
CN113197542B (zh) 一种在线自助视力检测系统、移动终端及存储介质
JP7014761B2 (ja) 認知機能推定方法、コンピュータプログラム及び認知機能推定装置
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
US20220319654A1 (en) System and method of evaluating a subject using a wearable sensor
US20230027320A1 (en) Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking
US20230389867A1 (en) Systems and Methods for Detecting Impairment Based Upon Movement Data
US20230307106A1 (en) Movement code-based emotional behavior analysis system
US20210392427A1 (en) Systems and Methods for Live Conversation Using Hearing Devices
Gong et al. Continuous Human Action Detection Based on Wearable Inertial Data
US20110158489A1 (en) Detection devices and detection method
CN114974572A (zh) 基于人机交互的孤独症早期筛查系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21852179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21852179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP