WO2024070741A1 - 情報処理方法、プログラムおよび情報処理装置 - Google Patents

情報処理方法、プログラムおよび情報処理装置 Download PDF

Info

Publication number
WO2024070741A1
WO2024070741A1 PCT/JP2023/033583 JP2023033583W WO2024070741A1 WO 2024070741 A1 WO2024070741 A1 WO 2024070741A1 JP 2023033583 W JP2023033583 W JP 2023033583W WO 2024070741 A1 WO2024070741 A1 WO 2024070741A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
person
control unit
information processing
Prior art date
Application number
PCT/JP2023/033583
Other languages
English (en)
French (fr)
Inventor
俊彦 西村
康之 本間
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Publication of WO2024070741A1 publication Critical patent/WO2024070741A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an information processing method, a program, and an information processing device.
  • a health condition determination system has been proposed that determines a health condition, such as the condition of the skin, based on a facial image and displays the determination result together with the facial image used for the determination (Patent Document 1).
  • a determination device has been proposed that determines the possibility of a stroke based on the presence or absence of facial nerve paralysis determined based on a user's facial image, as well as the results of a speech test and a medical interview (Patent Document 2).
  • the health condition determination system in Patent Document 1 and the determination device in Patent Document 2 are both intended to be used by the person being assessed.
  • the purpose is to provide an information processing method etc. that provides a display that is unlikely to cause discomfort to either the person in question or a third party.
  • the present invention provides: Taking a user determination image including a user as a subject; Accept the selection of the image to be processed, If the person in the processing target image is the user included in the user determination image, the processing target image is output as a mirror image; When a person appearing in the image to be processed is not the user included in the image for user determination, the image to be processed is output as a normal image.
  • an embodiment of the present invention is (2)
  • the information processing method according to (1) above comprises: When the user determination image includes a plurality of persons, it is preferable to accept a selection of which person is the user.
  • Identifying a person appearing in the user determination image by referring to a user database in which an image of a person who may appear in the user determination image is associated with whether or not the person is a monitoring target, Refer to the user database to determine whether the identified person is a monitoring target; If it is determined that the person is a monitoring target, it is preferable to start a first examination program that executes a first examination regarding the possibility that the person has suffered a stroke and outputs the result.
  • the user database records an image of a person who may appear in the user determination image, and whether or not the person is a monitoring target, as well as whether or not the person is an event record target, in association with each other;
  • the first examination program outputs that the user may be suffering from a stroke, it is preferable to record in the user database that the user is a person for whom an event is to be recorded.
  • the user database records an image of a person who may appear in the user determination image, and whether or not the person is a monitoring target, as well as whether or not the person is an event record target, in association with each other; Refer to the user database to determine whether the identified person is a person to be recorded as an event recorder; If it is determined that the user is a person subject to event recording, it is preferable to record the date and time when the first test was conducted and the results of the first test in an event database that records the date and time when an event occurred to the user in association with the content of the event.
  • the notification preferably includes detailed information about the results output by the second testing program.
  • the notification preferably includes a captured image of the user.
  • the notification preferably includes a uniform resource locator (URL) at which an image of the user can be viewed.
  • URL uniform resource locator
  • the program is as follows: A user determination image including the user is captured as a subject, Acquire the captured user determination image, Accept the selection of the image to be processed, If the person in the processing target image is the user included in the user determination image, the processing target image is output as a mirror image; If a person appearing in the image to be processed is not the user included in the image for user determination, the image to be processed is output as a normal image.
  • An information processing device comprising: An information processing device including a control unit, The control unit causes a subject to capture a user determination image including the user; Acquire the captured user determination image, Accept the selection of the image to be processed, If the person in the processing target image is the user included in the user determination image, the processing target image is output as a mirror image; When a person appearing in the image to be processed is not the user included in the image for user determination, the information processing device outputs the image to be processed as a normal image.
  • an information processing method etc. that provides a display that is unlikely to cause discomfort to either the person in question or a third party.
  • FIG. 2 is an explanatory diagram illustrating an overview of a screen displayed by an information processing device.
  • FIG. 2 is an explanatory diagram illustrating a configuration of an information processing device.
  • FIG. 2 is an explanatory diagram illustrating a record layout of an image DB.
  • 11 is a flowchart illustrating a process flow of a program.
  • 13 is a flowchart illustrating a process flow of a user identification subroutine.
  • 13 is a flowchart illustrating a process flow of a subroutine for identity verification. This is an example screen. This is an example screen. This is an example screen. This is an example screen. This is an example screen. This is an example screen. This is an example screen. This is an example screen. This is an example screen. This is an example screen.
  • 13 is a flowchart illustrating a process flow of a user identification subroutine according to the second embodiment.
  • FIG. 13 is a screen example according to the second embodiment. 13 is a flowchart illustrating the flow of processing of a program according to a third embodiment. 11 is a flowchart illustrating a process flow of a test subroutine. 13 is a screen example according to the third embodiment. 13 is a screen example according to the third embodiment. 13 is a screen example according to the third embodiment. 13 is a screen example according to the third embodiment. 13 is a screen example according to the third embodiment.
  • FIG. 2 is an explanatory diagram illustrating a record layout of a user DB.
  • FIG. 2 is an explanatory diagram illustrating a record layout of an event DB.
  • 13 is a flowchart illustrating the flow of processing of a program according to a fourth embodiment.
  • 13 is a flowchart illustrating the process flow of a subroutine of test 2.
  • 13 is a flowchart illustrating the processing flow of a program according to a fifth embodiment.
  • 13 is a screen example according to the fifth embodiment.
  • 23 is a flowchart illustrating the flow of processing of a user identification subroutine according to the sixth embodiment.
  • 23 is a flowchart illustrating the processing flow of a program according to a seventh embodiment.
  • 13 is a flowchart illustrating the processing flow of a program according to an eighth embodiment.
  • FIG. 13 is an explanatory diagram illustrating the configuration of an information processing device according to a ninth embodiment.
  • TIA Transit Ischemic Attack
  • the person who is being assessed for the presence or absence of a stroke will be referred to as the "subject.” Any person other than the subject will be referred to as “others,” regardless of whether they are related by blood to the subject.
  • FIG. 1 is an explanatory diagram outlining a screen displayed by information processing device 10 (see FIG. 2).
  • the original image is an image acquired from image DB (database) 41 (see FIG. 2).
  • the original image contains a subject.
  • the original image is an example of an image to be processed in this embodiment.
  • the image DB 41 will be described later.
  • the information processing device 10 displays a mirror image of the original image on the touch panel 15 (see FIG. 2). If the user is another person, the information processing device 10 displays a normal image of the original image on the touch panel 15 (see FIG. 2).
  • FIG. 2 is an explanatory diagram illustrating the configuration of the information processing device 10.
  • the information processing device 10 includes a control unit 11, a main memory device 12, an auxiliary memory device 13, a communication unit 14, a touch panel 15, a camera 16, and a bus.
  • the touch panel 15 includes a display unit 151 and an input unit 152.
  • the control unit 11 is an arithmetic and control device that executes the program of this embodiment.
  • the control unit 11 uses one or more CPUs (Central Processing Units), GPUs (Graphics Processing Units), multi-core CPUs, etc.
  • the control unit 11 is connected to each hardware component that constitutes the information processing device 10 via a bus.
  • the main memory device 12 is a memory device such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory any type of non-volatile memory
  • the main memory device 12 temporarily stores information required during processing performed by the control unit 11 and programs being executed by the control unit 11.
  • the auxiliary storage device 13 is a storage device such as an SRAM, a flash memory, a hard disk, or a magnetic tape.
  • the auxiliary storage device 13 stores an image DB 41, programs to be executed by the control unit 11, and various data required for executing the programs.
  • the image DB 41 may be stored in an external large-capacity storage device connected to the control unit 11.
  • the image DB 41 may be stored in a so-called cloud server distributed on a network.
  • the communication unit 14 is an interface that communicates between the information processing device 10 and a network.
  • the display unit 151 is, for example, a liquid crystal display panel or an organic EL (electro-luminescence) panel.
  • the input unit 152 is a sensor that is stacked on the display unit 151.
  • the input unit 152 may be an input device separate from the touch panel 15, such as a keyboard, a mouse, or a microphone.
  • the camera 16 is provided, for example, on the edge of the touch panel 15.
  • the camera 16 may be an external camera connected to the information processing device 10 via a wired or wireless connection.
  • the camera 16 may be a so-called network camera connected to the information processing device 10 via a network. Multiple cameras 16 may be provided.
  • Camera 16 is, for example, a general camera that captures visible light. Camera 16 may also be an infrared camera, a thermography camera, or a ToF (Time of Flight) camera that images the distance to an object. Camera 16 may also be a camera for stereoscopic photography that is made up of two cameras. Different types of cameras 16 may be used in combination.
  • the information processing device 10 is a general-purpose information device used by a user, such as a smartphone, a personal computer, a tablet, or a smart speaker.
  • the information processing device 10 may be dedicated hardware prepared for the determination method of the present embodiment.
  • the information processing device 10 may be incorporated into, for example, a pet-type or other pet robot, or a nursing care robot. Multiple pieces of hardware may work together to realize the functions of the information processing device 10.
  • the information processing device 10 may be configured by combining so-called IoT devices such as a touch panel 15 and a camera 16 placed near the user with a mainframe computer connected via a network, a virtual machine running on a mainframe computer, or a cloud computing system.
  • IoT devices such as a touch panel 15 and a camera 16 placed near the user with a mainframe computer connected via a network, a virtual machine running on a mainframe computer, or a cloud computing system.
  • FIG. 3 is an explanatory diagram explaining the record layout of image DB 41.
  • Image DB 41 is a DB that records the shooting date and time and the captured image in association with each other.
  • Image DB 41 has a date and time field and an image field. The shooting date and time is recorded in the date and time field. The image is recorded in the image field. The image may be a still image or a video.
  • Image DB 41 has one record for each image.
  • the image DB 41 may have a field that records which camera 16 each image was taken with.
  • the image DB 41 may have a field that records shooting conditions such as shutter speed and aperture.
  • the image DB 41 may record images with Exif (Exchangeable image file format) information, which includes information such as the shooting date and time, shutter speed, and aperture. When images with Exif information are recorded, the image DB 41 does not need to have a date and time field.
  • Images captured by the camera 16 are recorded in the image DB 41 at any time. Images are captured at predetermined time intervals, for example. Images may also be captured each time an event is detected, such as a person entering the field of view of the camera or movement within the field of view of the camera. The process of automatically capturing images and recording them in the DB has been performed for some time, so a detailed explanation is omitted.
  • the capturing of images and recording of the images in the image DB 41 may be performed by an information processing device different from the information processing device 10. Images captured by an event-driven camera that operates independently of the information processing device 10 may be recorded in the image DB 41.
  • FIG. 4 is a flowchart explaining the flow of program processing. Note that new images are recorded in the image DB 41 from time to time in parallel with the execution of the flowchart explained using FIG. 4. Images taken within the flowchart explained using FIG. 4 may or may not be recorded in the image DB 41.
  • the control unit 11 controls the camera 16 based on instructions received from the user to capture a still image for user determination (step S501).
  • the image for user determination is an image that includes the user as a subject. Note that when multiple cameras 16 are installed, the control unit 11 uses a camera 16 that is suitable for capturing an image of a person operating the touch panel 15.
  • the control unit 11 starts a user identification subroutine (step S502).
  • the user identification subroutine is a subroutine that identifies the portion of the user determination image in which the user's face is shown. The processing flow of the user identification subroutine will be described later.
  • the control unit 11 determines whether or not it has succeeded in identifying the portion showing the user's face (step S503). For example, if the user is not facing the camera 16, the user's face will not appear in the user determination image. Therefore, the control unit 11 cannot identify the portion showing the user's face.
  • step S503 If it is determined that the process was not successful (NO in step S503), the control unit 11 returns to step S501. If it is determined that the process was successful (YES in step S503), the control unit 11 accepts the selection of an image to be processed from among the images recorded in the image DB 41 (step S504).
  • the control unit 11 starts a subroutine for determining the identity of the user (step S505).
  • the subroutine for determining the identity of the user is a subroutine for determining whether or not the person appearing in the image to be processed is the user himself/herself. The processing flow of the subroutine for determining the identity of the user will be described later.
  • the control unit 11 determines whether or not the person is determined to be the actual person in the identity determination subroutine (step S506). If it is determined that the person is the actual person (YES in step S506), the control unit 11 displays the image to be processed as a mirror image (step S507). If it is determined that the person is not the actual person (NO in step S506), the control unit 11 displays the image to be processed as a normal image (step S508).
  • step S507 or step S508 the control unit 11 determines whether or not to display another image to be processed (step S509). For example, when the control unit 11 receives an operation of the other image button 65 (see FIG. 11) by the user, the control unit 11 determines that another image to be processed is to be displayed. When it is determined that the image is to be displayed (YES in step S509), the control unit 11 returns to step S504.
  • control unit 11 determines whether or not to end the process (step S510). For example, if the control unit 11 receives a selection of the end button 69 (see FIG. 11) by the user, the control unit 11 determines that the process should be ended.
  • step S510 If it is determined that the process should not be terminated (NO in step S510), the control unit 11 returns to step S501. If it is determined that the process should be terminated (YES in step S510), the control unit 11 terminates the process.
  • FIG. 5 is a flowchart explaining the process flow of the user identification subroutine.
  • the user identification subroutine is a subroutine that identifies the portion of the user determination image that contains the user's face.
  • the control unit 11 detects a person's face from the user determination image using face detection technology (step S521). Face detection technology has been used for a long time, so detailed explanation is omitted.
  • the control unit 11 determines whether or not the face detection was successful (step S522). If it is determined to be successful (YES in step S522), the control unit 11 determines whether or not the detected face is the face of one person (step S523).
  • control unit 11 assigns a flag to the face detected in step S521 indicating that it is the face of a user, and temporarily stores the face in the main memory device 12 or the auxiliary memory device 13 (step S524).
  • the control unit 11 sets a flag indicating that the user has been successfully identified (step S525). Thereafter, the control unit 11 ends the process.
  • control unit 11 If it is determined that the face is not that of a single person, i.e. that the faces of multiple people have been detected in step S523 (NO in step S523), the control unit 11 superimposes a bounding box 58 (see FIG. 8) showing the detected faces on the user determination image and displays it on the touch panel 15 (step S531).
  • the control unit 11 prompts the user to make a selection, for example by displaying "Please select a user's face” on the touch panel 15.
  • the control unit 11 accepts the face selection by the user via the touch panel 15 (step S532).
  • the control unit 11 determines whether the acceptance was successful (step S533).
  • control unit 11 determines that the selection was successful (YES in step S533).
  • control unit 11 receives a selection of the cancel button 63 (see FIG. 8) by the user, or when the control unit 11 does not receive an operation by the user even after a predetermined time has elapsed, the control unit 11 determines that the selection was not successful (NO in step S533).
  • control unit 11 If it is determined that the acceptance was successful (YES in step S533), the control unit 11 temporarily stores the face selected by the user in the main memory device 12 or the auxiliary memory device 13 with a flag indicating that it is the user's face (step S534). The control unit 11 sets a flag indicating that the user has been successfully identified (step S535). Thereafter, the control unit 11 ends the process.
  • control unit 11 sets a flag indicating that identification of the user has failed (step S536). Thereafter, the control unit 11 ends the process.
  • FIG. 6 is a flowchart explaining the process flow of the identity determination subroutine.
  • the identity determination subroutine is a subroutine that determines whether or not the person appearing in the image to be processed is the user.
  • the control unit 11 determines whether a mode for manually determining whether the person is the person in question is set (step S541).
  • the control unit 11 accepts the mode setting via, for example, the mode button 64 (see FIG. 10) displayed on the touch panel 15.
  • step S541 If it is determined that the mode is manual (YES in step S541), the control unit 11 displays the image to be processed, a question such as "Is yourself in the picture?", and a Yes button 681 (see FIG. 10) and a No button 682 (see FIG. 10) on the touch panel 15 (step S542). The control unit 11 acquires the user's answer via the Yes button 681 or the No button 682 (step S543). Thereafter, the control unit 11 ends the process.
  • control unit 11 determines whether the user has hemiplegia (step S551). An overview of a specific example of a method for determining hemiplegia will be described below.
  • the control unit 11 continues to track feature points of the person's face in the user assessment image.
  • Feature points include, for example, the inner corners and outer corners of the eyes and the corners of the mouth. If these feature points on the user's face move approximately symmetrically around the bridge of the user's nose, the control unit 11 determines that the user does not suffer from hemiplegia, and if they move asymmetrically, determines that the user suffers from hemiplegia.
  • Methods for extracting feature points and the bridge of the nose from a person's face, and methods for tracking feature points in videos, have been used for some time, so detailed explanations will be omitted.
  • control unit 11 determines whether the face of the person in the image to be processed is similar to the user's face temporarily stored in the main memory device 12 or the auxiliary memory device 13 in step S524 or step S534 described using Figure 5 (step S552).
  • the control unit 11 detects a face from the image to be processed.
  • the control unit 11 calculates the similarity between the face detected from the image to be processed and the user's face based on a known method such as perceptual hash or feature point matching. If the similarity exceeds a predetermined threshold, the control unit 11 determines that the face of the person in the image to be processed and the user's face are similar.
  • step S552 determines that the person in the image to be processed is the user himself/herself (step S553). If it is determined that there is no similarity (NO in step S552), the control unit 11 determines that the person in the image to be processed is a different person from the user (step S554). After step S553 or step S554 is completed, the control unit 11 ends the process.
  • control unit 11 extracts the unparalyzed half of each of the face of the person in the image to be processed and the user's face temporarily stored in the main memory device 12 or the auxiliary memory device 13 (step S555). The control unit 11 determines whether or not the half of the face detected from the image to be processed is similar to the half of the user's face (step S556).
  • step S556 determines that the person in the image to be processed is the user himself/herself (step S557). If it is determined that there is no similarity (NO in step S556), the control unit 11 determines that the person in the image to be processed is a different person from the user (step S558). After step S557 or step S558 is completed, the control unit 11 ends the process.
  • a trained model may be used that accepts input of a face detected from the image to be processed and the user's face, and outputs whether the two are the same person.
  • a trained model may be used that has been trained to accept input of an image of the user's face and output whether or not the user has hemiplegia.
  • FIGS. 7 to 12 are example screens.
  • FIG. 7 shows an example of a screen that the control unit 11 displays on the touch panel 15 before executing step S501 described using FIG. 4.
  • a real-time field 51 and a start button 61 are displayed on the touch panel 15.
  • an image currently being captured by the camera 16 is displayed.
  • control unit 11 When the control unit 11 receives a selection of the start button 61 by the user, the control unit 11 executes step S501. That is, the control unit 11 controls the camera 16 to obtain a still image for user determination.
  • FIG. 8 shows an example of a screen that the control unit 11 displays on the touch panel 15 in step S531 described using FIG. 5.
  • a real-time field 51, a still image field 52, a re-shoot button 62, a cancel button 63, and a message field 71 are displayed on the touch panel 15.
  • the still image field 52 an image for user determination is displayed with a bounding box 58 indicating the result of face detection superimposed thereon.
  • the message "Please select the user's face” is displayed in the message field 71 located below the still image field 52.
  • the control unit 11 accepts the user's selection of a face (step S532).
  • the real-time column 51 is displayed in a smaller size than the still image column 52 at the top right of the still image column 52.
  • the real-time column 51 displays the image currently being captured by the camera 16.
  • the control unit 11 acquires a new image for user judgment and updates the still image column 52.
  • FIG. 9 shows an example of a screen that the control unit 11 displays on the touch panel 15 in step S504 described using FIG. 4.
  • the touch panel 15 displays a user image field 53, a candidate image field 54, a cancel button 63, a mode button 64, and a message field 71.
  • the user image field 53 displays the user's face that was temporarily recorded in the main memory device 12 or the auxiliary memory device 13 in step S524 or step S534 described using Figure 5.
  • images recorded in the image DB 41 are displayed as thumbnails.
  • a predetermined number of images are displayed, for example, starting with the most recent image taken.
  • the images recorded in the image DB 41 may be hierarchically organized based on the image taken date and time, for example, and displayed in the candidate image field 54 in a tree format.
  • control unit 11 accepts the user's selection of the image to be processed (step S504).
  • the mode button 64 is used to switch the mode for determining whether or not the person in the image being processed is the person himself/herself, as described above.
  • Figure 9 shows an example in which the mode is set to manual determination.
  • FIG. 10 shows an example of a screen that the control unit 11 displays on the touch panel 15 in step S542 described using FIG. 6.
  • a user image field 53 a processing target image field 55, a cancel button 63, a mode button 64, a yes button 681, a no button 682, and a message field 71 are displayed.
  • the user's face is displayed in the user image field 53, as in FIG. 9.
  • the processing target image field 55 displays the processing target image selected by the user from the candidate image field 54 on the screen described in FIG. 9.
  • Control unit 11 accepts the user's response via Yes button 681 or No button 682.
  • control unit 11 accepts the selection of mode button 64, it switches to a mode that automatically determines whether or not the person in the processing target image is the user, and proceeds to step S551 described using FIG. 6.
  • FIG. 11 shows an example of an image that the control unit 11 displays on the touch panel 15 in step S507 described using FIG. 4.
  • FIG. 12 shows an example of an image that the control unit 11 displays on the touch panel 15 in step S508 described using FIG. 4.
  • the touch panel 15 in Figs. 11 and 12 displays a user image field 53, a processing target image field 55, a different image button 65, and an end button 69.
  • the user's face is displayed in the user image field 53, as in Fig. 9.
  • the image to be processed is displayed in a mirror image in the image to be processed field 55.
  • the message "Mirror image being displayed” is displayed above the image to be processed field 55.
  • the processing target image is displayed in normal image.
  • the explanation "Normal image being displayed” is displayed above the processing target image field 55.
  • a mirror image and a normal image may be indicated, for example, by superimposing mirror text on the processing target image field 55 in FIG. 11 and displaying normal text in the processing target image field 55 in FIG. 12.
  • An illustration showing a mirror may be displayed near the processing target image field 55 in FIG. 11 to indicate that it is a mirror image.
  • Text and illustrations are examples of markers that indicate whether an image is a mirror image or a normal image.
  • the control unit 11 may also assign metadata, such as a tag, to the image indicating whether it is a mirror image or a normal image.
  • the control unit 11 determines that an instruction to display another image to be processed has been received (YES in step S509), and the process returns to step S504 described using FIG. 4.
  • the control unit 11 determines that an instruction to end the process has been received (YES in step S510), and the process ends.
  • an information processing device 10 can be provided that displays an image recorded in the image DB 41 in a mirror image as shown in FIG. 11 when the image is viewed by the subject himself, and displays the image in a mirror image as shown in FIG. 12 when the same image is viewed by another person.
  • the difference between the mirror image and the correct image is unlikely to cause any discomfort, so if symptoms of a stroke appear in the processed image, it can be keenly detected by either the subject himself or another person.
  • the image to be processed that is stored in the image DB 41 at any time is displayed, it is possible to provide an information processing device 10 that is easy to detect even transient ischemic attacks that have subsided in a short time. As a result, it is possible to provide an information processing device 10 that contributes to the early detection and early treatment of stroke.
  • This embodiment relates to an information processing device 10 that automatically identifies a portion in which a user's face is captured from a user determination image. Description of portions common to the first embodiment will be omitted.
  • FIG. 13 is a flowchart illustrating the process flow of a user-specific subroutine in the second embodiment. The subroutine described using FIG. 13 is used in place of the user-specific subroutine described using FIG. 5.
  • step S521 to step S525 The processing from step S521 to step S525 is the same as the processing of the subroutine described using FIG. 5, and therefore the description will be omitted. If it is determined that the faces are not of a single person, i.e., that the faces of multiple people have been detected in step S521 (NO in step S523), the control unit 11 calculates the area of each face detected from the user determination image (step S561). The area of the face is, for example, the area of the bounding box 58 corresponding to each face.
  • the control unit 11 may perform semantic segmentation to classify the pixels in each bounding box 58 into face and background, and then calculate the area of the pixels corresponding to the face. Semantic segmentation is well known, so a description thereof will be omitted.
  • the control unit 11 determines the face with the largest area (step S562).
  • the control unit 11 superimposes a bounding box 58 representing the detected face on the user determination image and displays it on the touch panel 15 (step S563).
  • the control unit 11 displays the bounding box 58 corresponding to the face determined to have the largest area in step S562 in a manner different from the other bounding boxes 58.
  • the control unit 11 temporarily stores the face determined to have the largest area in the main memory unit 12 or the auxiliary memory unit 13 with a flag indicating that it is the user's face (step S564).
  • the control unit 11 sets a flag indicating that the user has been successfully identified (step S565). Thereafter, the control unit 11 ends the process.
  • control unit 11 sets a flag indicating that identification of the user has failed (step S566). After that, the control unit 11 ends the process.
  • FIG. 14 is an example of a screen in the second embodiment.
  • FIG. 14 shows an example of a screen that the control unit 11 displays on the touch panel 15 in step S563 described using FIG. 13.
  • a real-time column 51, a still image column 52, a re-shoot button 62, a cancel button 63, and a message column 71 are displayed on the touch panel 15.
  • the still image column 52 an image for user determination with a bounding box 58 superimposed thereon is displayed. Note that, apart from the form of the bounding box 58 and the notation in the message column 71, the screen is the same as the example screen described using FIG. 8, and therefore a description thereof will be omitted.
  • the bounding box 58 corresponding to the face determined to have the largest area is displayed with a thick solid line, and the bounding boxes 58 corresponding to the other faces are displayed with dashed lines.
  • the message "Identified" is displayed in the message field 71 located below the still image field 52. The user can check which part of the user determination image the control unit 11 has determined to contain the user's face.
  • an information processing device 10 that automatically identifies the portion of the user's face from the user determination image.
  • the control unit 11 may accept corrections to a face determined to be the user's face via the image shown in FIG. 14. For example, when the user touches the bounding box 58 shown by the dashed line in FIG. 14, the control unit 11 determines that the face corresponding to the touched bounding box 58 is the user's face. It is possible to provide an information processing device 10 that allows the user to make appropriate corrections when the control unit 11 makes an erroneous determination.
  • This embodiment relates to an information processing device 10 that automatically performs a screening test for determining whether or not a stroke has occurred and a test that is more detailed than the screening test. Explanation of parts common to the first embodiment will be omitted.
  • the screening test is an example of the first test in this embodiment, and the test is an example of the second test in this embodiment.
  • FIG. 15 is a flowchart explaining the processing flow of the program of the third embodiment.
  • the control unit 11 acquires an image captured by the camera 16, performs image analysis in real time, and detects a trigger (step S581). Examples of triggers include a person's whole body or upper body being included in the image, a person facing the camera 16, a person standing up, or a room light being turned on.
  • the control unit 11 may detect a trigger based on a sound acquired from a microphone.
  • the control unit 11 may detect a trigger based on the passage of a predetermined time.
  • the control unit 11 may detect a trigger based on the operation of an air conditioner, a television, a radio, or the like.
  • the control unit 11 waits in step S581 until it detects a trigger.
  • the control unit 11 After detecting the trigger, the control unit 11 starts the first test program (step S582).
  • the first test program is a program that performs a so-called screening test, which monitors the subject's normal movements to determine whether or not a stroke has occurred.
  • the first test program may be a program independent of the program of this embodiment, or may be a subroutine that constitutes part of the program of this embodiment.
  • the first test program is executed by the control unit 11, but the first test program may also be executed by hardware different from the control unit 11. Note that the control unit 11 does not notify the subject that a screening test is in progress.
  • the control unit 11 acquires images captured by the camera 16, for example, and performs a motion analysis in real time to determine the presence or absence of falls, tremors, unsteadiness, paralysis, or the like. When the subject faces the camera 16 directly, the control unit 11 may determine the presence or absence of facial paralysis. When the subject is speaking, the control unit 11 may perform a voice analysis in real time to determine the presence or absence of a speech disorder. Motion analysis and voice analysis have been used for a long time, so detailed explanations will be omitted.
  • the control unit 11 determines whether the results of the screening test are normal or not (step S583). This ends the first test program.
  • the control unit 11 acquires the results of the determination made by the first test program. If the results of the determination made by the first test program are normal, i.e., if it is determined that a stroke has not occurred (YES in step S583), the control unit 11 returns to step S581.
  • control unit 11 If it is determined that the subject is not normal, i.e. that there is a possibility that the subject may have had a stroke (NO in step S583), the control unit 11 outputs a message encouraging the subject to operate the touch panel 15, such as "A screening test was performed and abnormalities were found. Please come to the touch panel," and guides the subject to the touch panel 15 (step S584).
  • the control unit 11 controls the camera 16 to capture a still image for user determination (step S585). Note that if multiple cameras 16 are installed, the control unit 11 uses a camera 16 that is suitable for capturing an image of a person operating the touch panel 15.
  • the control unit 11 starts a user identification subroutine (step S586).
  • the user identification subroutine is a subroutine that identifies the portion of the user determination image in which the user's face is shown.
  • the user identification subroutine is the same as the subroutine described using FIG. 5 or FIG. 13.
  • the control unit 11 determines whether or not it has succeeded in identifying the portion showing the user's face (step S587). For example, if the user ignores the message output in step S584, the user's face will not appear in the user identification image. Therefore, the control unit 11 cannot identify the portion showing the user's face.
  • the control unit 11 sets the display mode so that the image captured by the camera 16 is displayed as a mirror image on the touch panel 15 (step S588).
  • the control unit 11 starts a test subroutine (step S589).
  • the test subroutine is a subroutine that performs a specified test on a person suspected of having a stroke, and notifies a specified contact person if a stroke has occurred. The processing flow of the test subroutine will be described later.
  • the control unit 11 determines whether or not to end the process (step S590). For example, if the control unit 11 receives a selection of the end button 69 by the user, it determines that the process is to end.
  • step S587 If it is determined that the process has not been successful (NO in step S587), or if it is determined that the process should not end (NO in step S590), the control unit 11 returns to step S581. If it is determined that the process should end (YES in step S590), the control unit 11 ends the process.
  • step S584 If the test processing from step S584 to step S590 is performed too frequently, the subject may feel burdened and may ignore the message output in step S584. Even if the control unit 11 determines that the subject is not normal in step S583 (NO in step S583), the control unit 11 may be configured to return to step S581 without performing a test if a predetermined time has not elapsed since the previous test.
  • the control unit 11 may proceed to step S584 if the number of consecutive abnormal determinations in step S583 exceeds a predetermined number. This provides an information processing device 10 that prevents the subject from being excessively bothered by erroneous determinations in the screening test.
  • control unit 11 may estimate the age of the person being photographed, and if it estimates that the person is an age group with a low risk of developing a stroke, such as an infant or child, the process may return to step S581.
  • the control unit 11 counts the number of times that step S587 is judged as NO, i.e., the number of times that the subject does not respond appropriately to the message output in step S584, and may send a notification to a specified contact such as a family member, helper, or family doctor if the number of times within a specified period, such as one day or one week, exceeds a specified threshold.
  • a specified contact such as a family member, helper, or family doctor if the number of times within a specified period, such as one day or one week, exceeds a specified threshold.
  • FIG. 16 is a flowchart explaining the process flow of the test subroutine.
  • the test subroutine is a subroutine that performs a specified test on a person suspected of having a stroke, and notifies a specified contact if the person has developed a stroke.
  • the control unit 11 starts the second test program (step S601).
  • the second test program is a program that outputs a test regarding the possibility of developing a stroke, obtains the subject's response, and determines the possibility of a stroke.
  • the second test program may be a program independent of the program of this embodiment, or may be a subroutine that constitutes part of the program of this embodiment. In the following explanation, an example is given in which the second test program is executed by the control unit 11, but the second test program may be executed by hardware different from the control unit 11.
  • Tests known to assess the likelihood of developing a stroke include the Cincinnati Prehospital Stroke Scale (CPSS) and the Kurashiki Prehospital Stroke Scale (KPSS).
  • CPSS Cincinnati Prehospital Stroke Scale
  • KPSS Kurashiki Prehospital Stroke Scale
  • the control unit 11 outputs the above-mentioned instructions via the speaker or touch panel 15.
  • the control unit 11 captures an image of the subject via the camera 16 and displays it on the touch panel 15.
  • step S588 described using FIG. 15 if the display mode is set to mirror image, the subject uses the touch panel 15 instead of a mirror to perform the instructed actions, etc.
  • the control unit 11 detects the subject's response via the camera 16 and microphone.
  • the control unit 11 scores the subject's response to each instruction.
  • the control unit 11 determines the probability that the subject has suffered a stroke based on the scoring results. This ends the second test program.
  • the second test program outputs the results of the determination.
  • CPSS and KPSS are examples of tests that the second inspection program that the control unit 11 starts in step S601 supports.
  • the tests that the second inspection program supports are not limited to these two tests.
  • the control unit 11 displays the results output from the second test program on the touch panel 15 (step S602).
  • the control unit 11 determines whether the subject has had a stroke (step S603). Specifically, the control unit 11 determines that the subject has had a stroke when the probability that the subject has had a stroke exceeds a predetermined threshold.
  • control unit 11 determines whether or not to contact a doctor such as a family doctor (step S604).
  • a doctor such as a family doctor
  • the need to contact a doctor and the contact information are registered in advance via a setting screen of the program, etc.
  • a doctor is an example of an expert on stroke.
  • the control unit 11 creates information for the doctor (step S605).
  • the information for the doctor includes specialized information such as the results of the test performed by the second test program executed in step S601 and video footage of the subject taken during the test.
  • the control unit 11 sends the information for the doctor to the registered contact information (step S606).
  • step S607 determines whether or not to contact the family. Whether or not to contact the family and the contact information are also registered in advance via the program settings screen, etc.
  • the control unit 11 creates information for the family (step S608).
  • the information for the family includes information that there is a high possibility of a stroke, that the subject should immediately visit a medical institution, and a recent portrait of the subject.
  • the control unit 11 sends the information for the family to the registered contacts (step S609).
  • step S603 If it is determined that no stroke has occurred (NO in step S603), if it is determined that no contact should be made with the family (NO in step S607), or after step S609 is completed, the control unit 11 ends the process.
  • control unit 11 may upload information for the doctor to a web server and transmit to the registered contact a URL (Uniform Resource Locator) at which the uploaded information can be viewed.
  • control unit 11 may upload information for family members to a web server and transmit to the registered contact a URL at which the uploaded information can be viewed.
  • FIGS. 17 to 20 are example screens in the third embodiment.
  • FIG. 17 and FIG. 18 are example screens that the control unit 11 displays on the touch panel 15 in step S602 of the flow chart described using FIG. 16.
  • the touch panel 15 displays a close-up column 56, a switch button 66, a message column 71, a contact button 67, and an end button 69.
  • the contact button 67 includes a first contact button 671, a second contact button 672, and a third contact button 673.
  • the family doctor is registered in the first contact button 671, the eldest son in the second contact button 672, and the second son in the third contact button 673.
  • the first contact button 671 and the second contact button 672 are selected, and the third contact button 673 is not selected.
  • the close-up section 56 displays a close-up of the subject taken during testing by the second examination program executed in step S601 of FIG. 16, for example.
  • the close-up is displayed as a mirror image by default.
  • the user can switch between a mirror image and a normal image by operating the switch button 66.
  • a moving image may also be displayed in the close-up section 56.
  • a message field 71 located below the recent photograph field 56 displays the message "Suspected stroke has been detected. Contacts will be notified.”
  • the control unit 11 sends a notification to the contacts corresponding to the selected first contact button 671 and second contact button 672.
  • the control unit 11 may transmit the information described using FIG. 17 and FIG. 18 to, for example, a smartphone carried by the subject.
  • the subject can quickly share the situation with a helper or emergency team that has rushed to the scene by showing the screen of the smartphone.
  • the helper or emergency team can switch the close-up column 56 to a normal image by operating the switch button 66.
  • FIG. 19 is an example of a screen displayed on the personal computer used by the family doctor based on the information sent in step S606 described using FIG. 16.
  • the screen displays a close-up column 56, a message column 71, a test results column 72, a video button 77, and a details button 78.
  • the recent photograph column 56 a recent photograph of the subject is displayed in a normal image.
  • the date and time of the notification, information identifying the subject, the subject's condition, and the status of contact with family members, etc. are briefly displayed, such as "8/15 18:20 A suspected stroke has been detected in Tanaka Taro, patient card number 3456. His eldest son, Tanaka Ichiro, has also been contacted.”
  • the test result field 72 at the bottom of the screen displays an overview of the results of the test performed by the second test program started in step S601 of FIG. 16, such as "Test results: Facial distortion: difference between left and right sides: 4 cm; Upper limb elevation: right arm not held up 25 cm.” If the family doctor selects the video button 77, a video taken during the test is displayed. If the family doctor selects the details button 78, detailed information about the test is displayed.
  • the family doctor can check the screen described in Figure 19 and take specialized action, such as making a house call, giving instructions to the family, or giving instructions to the emergency team.
  • FIG. 20 shows an example of a screen displayed on a smartphone used by a family member of the subject based on the information transmitted in step S609 described using FIG. 16.
  • the screen displays a recent photograph column 56 and a message column 71.
  • the recent image column 56 a recent image of the subject is displayed in a normal image.
  • the date and time of the notification, the subject's condition, and the status of contact with the family doctor, etc. are briefly displayed, such as "8/15 18:20 A suspected stroke has been detected in Tanaka Taro. Dr. ** Internal Medicine has also been contacted.”
  • a screening test is performed on the subject on a daily basis, and if a suspected stroke is detected, the second examination program is automatically started to perform a test, thereby providing an information processing device 10 that can detect the onset of a stroke at an early stage.
  • an information processing device 10 that displays a close-up image of a subject as a mirror image to the subject himself/herself and as a normal image to others.
  • the information processing device 10 may also automatically perform tests for the onset of diseases other than stroke.
  • the control unit 11 photographs the subject's lower limbs using the camera 16.
  • the control unit 11 determines the degree of swelling from the contours of each of the left and right lower limbs. If only one lower limb is severely swollen, there is a possibility that venous thrombosis has developed in that lower limb. If both legs are severely swollen, there is a possibility that the swelling is due to heart failure.
  • the control unit 11 may determine the difference in color between the left and right lower limbs. If there is a difference in the color of the skin or nails between the left and right, leg infarction may be occurring.
  • the control unit 11 may take images of the joints of the left and right lower limbs, upper limbs, shoulders, etc., and determine the degree of swelling or deformation of the joints. If swelling is occurring in both the left and right joints, the subject may be suffering from rheumatoid arthritis.
  • control unit 11 In any case of disease, it is desirable for the control unit 11 to notify the subject of the judgment result and encourage the subject to visit a medical institution.
  • the control unit 11 may judge both the occurrence of stroke and the occurrence of diseases other than stroke.
  • This embodiment relates to an information processing device 10 that performs personal identification of a subject by referring to a database that records information about the subject and his/her family, etc. Description of parts common to the third embodiment will be omitted.
  • FIG. 21 is an explanatory diagram illustrating the record layout of user DB 42.
  • User DB 42 is a DB that records information about the subject and his/her family, etc.
  • User DB 42 has a name field, an age field, a monitoring subject field, a face image field, and a caution flag field.
  • User DB 42 has one record for each person.
  • User DB 42 is stored in the auxiliary storage device 13 or an external large-capacity storage device connected to the control unit 11.
  • User DB 42 may also be stored in a so-called cloud server distributed on a network.
  • the name field records the name.
  • the age field records the age.
  • the monitoring subject field records whether or not the person is a subject of monitoring to be observed for the occurrence of a stroke.
  • a "T” in the monitoring subject field indicates that the person is a subject of monitoring, and an "F” indicates that the person is not a subject of monitoring.
  • the control unit 11 performs screening tests on the monitoring subject from time to time, and if the screening test determines that the person may have developed a stroke, it launches the second test program to conduct the test.
  • the face image field records the face image of each person. Note that instead of a face image, information such as features used for face recognition may be recorded.
  • the information recorded in the face image field is an example of identification information that identifies the person appearing in the image.
  • the attention flag field records whether or not each person is a subject for event recording. Events are, for example, screening tests and tests using the second test program. A "T” in the attention flag field indicates that the person is a subject for event recording, and an “F” indicates that the person is not a subject for event recording. For people who are not subjects for monitoring, a "-" is recorded in the attention flag field.
  • FIG. 22 is an explanatory diagram illustrating the record layout of event DB 43.
  • Event DB 43 is a DB that records events that occur to people who are to be recorded.
  • Event DB 43 has a name field, an occurrence time field, and a summary data field.
  • Event DB 43 has one record for each person who is to be recorded.
  • Event DB 43 is stored in the auxiliary storage device 13 or an external large-capacity storage device connected to control unit 11.
  • Event DB 43 may also be stored in so-called cloud servers distributed on a network.
  • the name field records the name.
  • the time of occurrence field records the date and time the event occurred.
  • the summary data field records the details of the event, specifically the results of the screening test and the results of the test.
  • control unit 11 determines that a monitored subject who is not a subject for recording events may have suffered a stroke, it records a "T" in the caution flag in the user DB 42. The control unit 11 records any subsequent events that occur to the monitored subject in the event DB 43.
  • FIG. 23 is a flowchart explaining the flow of processing of the program of the fourth embodiment.
  • the control unit 11 acquires an image captured by the camera 16, performs image analysis in real time, and detects a trigger (step S581).
  • the control unit 11 starts the first inspection program (step S582).
  • the control unit 11 acquires the results determined by the first inspection program.
  • the control unit 11 determines whether the screening test was successful (step S631). For example, if the person leaves the field of view of the camera 16 before the screening test is completed after detecting the trigger, or if the person does not perform an action suitable for the screening test, the control unit 11 determines that the screening test was not successful. If it is determined that the screening test was not successful (NO in step S631), the control unit 11 returns to step S581.
  • step S631 If it is determined that the screening test was successful (YES in step S631), the control unit 11 determines whether or not the person who took the screening test is a monitoring target (step S632).
  • control unit 11 compares the face of the person photographed during the screening test with the face image recorded in the face image field of the user DB 42, and extracts records that include the same person. If "T" is recorded in the monitoring target field of the extracted record, the control unit 11 determines that the person who took the screening test is a monitoring target.
  • control unit 11 determines that the person who underwent the screening test is not a monitoring target.
  • step S632 If it is determined that the subject is not a monitoring target (NO in step S632), the control unit 11 returns to step S581. If it is determined that the subject is a monitoring target (YES in step S632), the control unit 11 determines whether the results of the screening test are normal (step S633).
  • the control unit 11 determines whether or not the person who underwent the screening test is a record target in the event DB 43 (step S634). Specifically, if "T" is recorded in the caution flag field in the record in the user DB 42 corresponding to the person who underwent the screening test, the control unit 11 determines that the person is a record target in the event DB 43.
  • step S634 If it is determined that the event is to be recorded (YES in step S634), the control unit 11 creates a new record in the event DB 43 and records summary data summarizing the occurrence time and screening results (step S635). If it is determined that the event is not to be recorded (NO in step S634), or after step S635 is completed, the control unit 11 returns to step S581.
  • control unit 11 determines whether or not the person who underwent the screening test is a record target in the event DB 43 (step S641). If it is determined that the person is not a record target (NO in step S641), the control unit 11 extracts the record corresponding to the person from the user DB 42 and updates the data in the caution flag field from "F" to "T" (step S642).
  • step S641 If it is determined that the event is to be recorded in the event DB 43 (YES in step S641), or after step S642 is completed, the control unit 11 creates a new record in the event DB 43 and records summary data summarizing the occurrence time and screening results (step S643).
  • the control unit 11 starts the subroutine Test 2 (step S644).
  • the subroutine Test 2 is a subroutine that performs a test and records the results after setting whether the image of the subject is to be displayed as a normal image or a mirror image. The processing flow of the subroutine Test 2 will be described later.
  • the control unit 11 determines whether or not to end the process (step S645). If it is determined that the process should not be ended (NO in step S645), the control unit 11 returns to step S581. If it is determined that the process should be ended (YES in step S645), the control unit 11 ends the process.
  • the control unit 11 may update the caution flag field in the user DB 42, for example, when a predetermined number of consecutive screening tests are determined to be abnormal.
  • the control unit 11 may update the caution flag field in the user DB 42, when a test is determined to be abnormal instead of a screening test.
  • FIG. 24 is a flowchart explaining the process flow of the Test 2 subroutine.
  • the Test 2 subroutine is a subroutine that performs the test and records the results after setting whether the image of the subject is to be displayed as a normal image or a mirror image.
  • the control unit 11 outputs a message prompting the subject to operate the touch panel 15, and guides the subject in front of the touch panel 15 (step S651).
  • the control unit 11 captures an image for user assessment (step S652).
  • the control unit 11 determines whether the person who underwent the screening test is included among the people appearing in the image for user assessment (step S653). If it is determined that the person is not included (NO in step S653), the control unit 11 records information in the summary field of the event DB 43 that the subject did not respond to the guidance after the screening test (step S654). The control unit 11 then ends the process.
  • control unit 11 determines whether or not all people appearing in the user determination image are registered in the user DB 42 (step S661). If it is determined that all people are registered (YES in step S661), the control unit 11 sets the display mode so that the image captured by the camera 16 is displayed as a mirror image on the touch panel 15 (step S662).
  • control unit 11 sets the display mode so that the image captured by the camera 16 is displayed in a normal image on the touch panel 15 (step S663).
  • the control unit 11 starts a test subroutine (step S664).
  • the test subroutine is the same as the subroutine described using FIG. 16.
  • the control unit 11 records a summary of the test results in the summary field of the event DB 43 (step S665). Thereafter, the control unit 11 ends the process.
  • the normal image of the image captured by the camera 16 is displayed on the touch panel 15; otherwise, a mirror image of the image captured by the camera 16 is displayed on the touch panel 15.
  • People who are not recorded in the user DB 42 are assumed to be visitors, such as emergency personnel, helpers, care managers, or visiting nurses. Such visitors are more knowledgeable and experienced than the subject himself or herself and his or her family, and are thought to be more likely to notice signs of stroke.
  • visitors By displaying a normal image on the touch panel 15 during the test, visitors can observe the subject from the front during the test, making it easier to determine signs of stroke.
  • the control unit 11 may display a mirror image on one side and a normal image on the other side.
  • the subject can use the display device displaying the mirror image in place of a mirror to perform instructed actions, etc.
  • Visitors and family members present can use the display device displaying the normal image to observe the subject.
  • This embodiment provides an information processing device 10 that makes it easy for visitors to notice signs of stroke in a subject.
  • the control unit 11 outputs the data recorded in the event DB 43 based on the instructions of the subject himself or a doctor, etc. Doctors, etc. can use information on screening examinations and tests performed in the past as reference information for diagnosis and treatment.
  • This embodiment relates to an information processing device 10 that judges the results of a screening test based on a time-series change. Descriptions of parts common to the fourth embodiment will be omitted.
  • FIG. 25 is a flow chart explaining the processing flow of the program of embodiment 5. Steps S581 to S631 are the same as the processing flow of the program of embodiment 4 explained using FIG. 23, so the explanation will be omitted. If it is determined that the screening test was successful (YES in step S631), the control unit 11 determines whether or not the person who underwent the screening test is a record target in the event DB 43 (step S681).
  • step S681 the control unit 11 acquires past data on the person from the user DB 42 (step S682).
  • the control unit 11 determines whether the results of the screening test output from the first test program started in step S582 are normal or not by comparing them with past test results (step S683). Specifically, for example, the control unit 11 determines that each item of the screening test is normal if it is within the range of data variation for the past month.
  • control unit 11 If it is determined to be normal (YES in step S683), the control unit 11 creates a new record in the summary field of the event DB 43 and records the occurrence time and a summary of the screening test results (step S684). The control unit 11 then ends the process.
  • step S681 determines whether or not the person is a recording target (NO in step S681). If it is determined that the person is not a monitoring target (NO in step S691), the control unit 11 returns to step S581.
  • step S691 determines whether the results of the screening test output from the first test program started in step S582 are normal (step S692). If it is determined that the results are normal (YES in step S692), the control unit 11 returns to step S581.
  • control unit 11 extracts the record corresponding to the individual from the user DB 42 and updates the data in the caution flag field from "F" to "T” (step S693).
  • control unit 11 If it is determined that the event is not normal (NO in step S683), or after step S693 is completed, the control unit 11 creates a new record in the event DB 43 and records summary data summarizing the occurrence time and screening results (step S643).
  • the subsequent processing is the same as the processing flow of the program of embodiment 4 described using Figure 23, so a description thereof will be omitted.
  • FIG. 26 is an example of a screen in embodiment 5.
  • the screen shown in FIG. 26 is displayed.
  • a graph column 57 is displayed on the screen.
  • the horizontal axis of graph column 57 is the date
  • the vertical axis is the degree of asymmetry of the corners of the mouth, which is one of the test items.
  • Below graph column 57 the image used to determine the degree of asymmetry of the corners of the mouth on each date is displayed.
  • the doctor can see that the test conducted on June 3rd showed a sudden increase in the degree of asymmetry of the corners of the mouth, which then returned to normal. By displaying the images used for each assessment, the doctor can check the validity of the numerical value of the degree of asymmetry of the corners of the mouth itself.
  • an information processing device 10 that performs a test when there is a large variation in the results of a screening test. For example, even for subjects who are likely to be judged as having abnormalities in screening tests due to aftereffects of a past stroke, the frequency of performing the test can be reduced.
  • This embodiment relates to an information processing device 10 that, when only one person appears in a user determination image, confirms the name of that person. Description of parts common to the first embodiment will be omitted.
  • FIG. 27 is a flowchart illustrating the process flow of a user-specific subroutine in embodiment 6.
  • the subroutine in FIG. 27 is used instead of the subroutine described using FIG. 5 or the subroutine described using FIG. 13.
  • step S521 to step S523 The process flow from step S521 to step S523 and the process flow when the determination is NO at step S523 are the same as the process flow of the subroutine described using FIG. 5, so the description will be omitted.
  • control unit 11 compares the face of the person appearing in the image for user determination with the face images recorded in the face image field of the user DB 42, and extracts records related to the person appearing in the image for user determination (step S701).
  • the control unit 11 displays a message such as "Are you Tanaka Taro? (y/n)" on the touch panel 15 (step S702).
  • the control unit 11 determines whether or not a correct answer has been received (step S703). If it is determined that a correct answer has been received (YES in step S703), the control unit 11 temporarily stores the face detected in step S521 in the main memory unit 12 or the auxiliary memory unit 13 with a flag indicating that it is the user's face (step S524). The control unit 11 sets a flag indicating that the user has been successfully identified (step S525). The control unit 11 then ends the process.
  • control unit 11 sets a flag indicating that identification of the user has failed (step S704). After that, the control unit 11 ends the process.
  • an information processing device 10 that can accept a response from a user even if there is only one person in the user determination image.
  • control unit 11 may perform the same process as steps S701 to S703 to confirm the user's name.
  • This embodiment relates to an information processing device 10 that displays images recorded in an image DB 41 in normal images when a visitor such as an ambulance, a helper, a care manager, or a visiting nurse is present. Explanations of parts common to the first embodiment will be omitted.
  • FIG. 28 is a flowchart explaining the processing flow of the program of embodiment 7. Note that new images are recorded in the image DB 41 from time to time in parallel with the execution of the flowchart explained using FIG. 28. Images taken within the flowchart explained using FIG. 28 may or may not be recorded in the image DB 41.
  • the control unit 11 controls the camera 16 based on the instruction received from the user to capture a still image for user determination (step S721).
  • the control unit 11 performs face detection on the image for user determination (step S722).
  • the control unit 11 determines whether or not face detection was successful (step S723). For example, if the user is not facing the camera 16, the user's face will not appear in the user determination image. Therefore, face detection in step S722 will not be successful.
  • step S723 If it is determined that the process was not successful (NO in step S723), the control unit 11 returns to step S721. If it is determined that the process was successful (YES in step S723), the control unit 11 determines whether or not all people appearing in the user determination image are registered in the user DB 42 (step S724).
  • control unit 11 accepts the selection of an image to be processed from among the images recorded in the image DB 41 (step S725).
  • the control unit 11 determines whether the person in the user-determined image includes the person who appears in the image to be processed (step S726).
  • step S726 If it is determined that the image is included (YES in step S726), the control unit 11 displays the image to be processed as a mirror image (step S727). If it is determined that the image is not included (NO in step S726), the control unit 11 displays the image to be processed as a normal image (step S728).
  • step S727 or step S728 the control unit 11 determines whether or not to display another image to be processed (step S729). If it is determined that the image should be displayed (YES in step S729), the control unit 11 returns to step S725.
  • step S724 the control unit 11 accepts the selection of an image to be processed from among the images recorded in the image DB 41 (step S731).
  • the control unit 11 displays the image to be processed in normal view (step S732).
  • the control unit 11 determines whether or not to display another image to be processed (step S733). If it is determined that the image should be displayed (YES in step S733), the control unit 11 returns to step S731.
  • step S734 determines whether or not to end the process. If it is determined that the process is not to be ended (NO in step S734), the control unit 11 returns to step S721. If it is determined that the process is to be ended (YES in step S734), the control unit 11 ends the process.
  • an information processing device 10 that displays images recorded in the image DB 41 in a manner that makes it easy for visitors to notice signs of stroke in a subject.
  • This embodiment relates to an information processing device 10 that promptly transmits a notification when an abnormality is clearly detected in a screening test. Description of parts common to the third embodiment will be omitted.
  • FIG. 29 is a flowchart explaining the flow of processing of the program of embodiment 8.
  • the processing from step S581 to step S583 is similar to the processing of the program of embodiment 3 explained using FIG. 15, so the explanation is omitted.
  • Step S741 the control unit 11 determines whether or not there is a clear abnormality in the subject's condition. Clear abnormality refers to a state such as falling, clearly different left and right facial movements, paralysis or tremors in one limb, convulsions, etc.
  • control unit 11 If it is determined that there is no obvious abnormality (NO in step S741), the control unit 11 outputs a message prompting the subject to operate the touch panel 15, such as "A screening test was performed and an abnormality was found. Please come to the touch panel," and guides the subject to the touch panel 15 (step S584).
  • the subsequent processing is similar to the processing of the program of embodiment 3 described using FIG. 15, and therefore will not be described.
  • control unit 11 If it is determined that there is an obvious abnormality (YES in step S741), the control unit 11 outputs a message such as "There is something abnormal in your physical condition. Your emergency contact will be notified" (step S742).
  • the control unit 11 creates information for other people (step S743).
  • the information for other people includes the results of the screening test and a normal image of the subject taken during the screening test.
  • the control unit 11 transmits the created information to pre-registered contacts such as the subject's family doctor and family members (step S744).
  • the control unit 11 creates information for the individual (step S745).
  • the information for the individual includes the results of the screening test and the normal and mirror images of the subject taken during the screening test.
  • the control unit 11 assigns a marker or tag to each image indicating whether it is a normal or mirror image.
  • the control unit 11 transmits the information for the individual to the individual's smartphone or the like (step S746).
  • the control unit 11 then proceeds to step S590.
  • the control unit 11 may create and transmit information for the doctor and information for the family separately, as in embodiment 3. Also, in step S744, the control unit 11 may upload information for other people to a web server and transmit a URL (Uniform Resource Locator) at which the uploaded information can be viewed to a registered contact. Similarly, in step S746, the control unit 11 may upload information for the individual to a web server and transmit a URL at which the uploaded information can be viewed to the individual's smartphone, etc.
  • a URL Uniform Resource Locator
  • an information processing device 10 can be provided that promptly notifies family members and others when the subject's physical condition is clearly abnormal and the subject is in a state where he or she is unable to respond to a message to conduct a test.
  • Ninth Embodiment 30 is an explanatory diagram for explaining the configuration of an information processing device 10 according to a ninth embodiment.
  • This embodiment relates to a form in which the information processing device 10 of this embodiment is realized by combining and operating a general-purpose computer 90 and a program 97. Explanations of parts common to the first embodiment will be omitted.
  • the computer 90 includes the aforementioned control unit 11, main memory device 12, auxiliary memory device 13, communication unit 14, touch panel 15, camera 16, and bus, as well as a reading unit 19.
  • the program 97 is recorded on a portable recording medium 96.
  • the control unit 11 reads the program 97 via the reading unit 19 and stores it in the auxiliary storage device 13.
  • the control unit 11 may also read out the program 97 stored in a semiconductor memory 98 such as a flash memory implemented in the computer 90.
  • the control unit 11 may download the program 97 from another server computer (not shown) connected via the communication unit 14 and a network (not shown) and store it in the auxiliary storage device 13.
  • the program 97 is installed as a control program for the computer 90, and is loaded into the main storage device 12 and executed. In this way, the information processing device 10 described in the first embodiment is realized.
  • the program 97 in this embodiment is an example of a program product.
  • the program 97 can be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communications network.
  • Control unit 12 Main memory device 13 Auxiliary memory device 14 Communication unit 15 Touch panel 151 Display unit 152 Input unit 16 Camera 19 Reading unit 41 Image DB 42 User DB 43 Event DB 51 Real time field 52 Still image field 53 User image field 54 Candidate image field 55 Processing target image field 56 Close-up field 57 Graph field 58 Bounding box 61 Start button 62 Retake button 63 Cancel button 64 Mode button 65 Another image button 66 Switch button 67 Contact button 671 First contact button 672 Second contact button 673 Third contact button 681 Yes button 682 No button 69 Exit button 71 Message field 72 Inspection results field 77 Video button 78 Details button 90 Computer 96 Removable recording medium 97 Program 98 Semiconductor memory

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本人および第三者の双方が違和感を覚えにくい表示を提供する情報処理方法等を提供すること。 情報処理方法は、被写体にユーザを含むユーザ判定用画像を撮影し、処理対象画像の選択を受け付け、前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザである場合、前記処理対象画像を鏡像で出力し、前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザではない場合、前記処理対象画像を正像で出力する処理をコンピュータが実行する。

Description

情報処理方法、プログラムおよび情報処理装置
 本発明は、情報処理方法、プログラムおよび情報処理装置に関する。
 顔画像に基づいて肌の状態等の健康状態を判定し、判定に使用した顔画像と共に判定結果を表示する健康状態判定システムが提案されている(特許文献1)。ユーザの顔画像に基づいて判定した顔面神経麻痺の有無と、発語テスト結果および問診結果とに基づいて、脳卒中の可能性を判定する判定装置が提案されている(特許文献2)。
 特許文献1の健康状態判定システム、および、特許文献2の判定装置では、いずれも判定を受ける対象者本人が使用することが想定されている。
特開2020-52505号公報 特開2020-199072号公報
 しかしながら、たとえば対象者の家族または医師等の第三者と、対象者本人との双方が、特許文献1または特許文献2で判定に使用した画像を閲覧する場合、いずれか片方が違和感を覚える可能性がある。
 すなわち、自分自身の顔は通常は鏡を使って見るため、鏡像を使用することで対象者本人にとって違和感がない表示を実現できるが、第三者にとっては見慣れていない状態であり違和感がある表示になる。一方、正像を使用することで、第三者にとって違和感がない表示を実現できるが、対象者本人にとっては見慣れていない状態であり違和感がある表示になる。
 一つの側面では、本人および第三者の双方が違和感を覚えにくい表示を提供する情報処理方法等の提供を目的とする。
 本発明は、(1)
  被写体にユーザを含むユーザ判定用画像を撮影し、
  処理対象画像の選択を受け付け、
  前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザである場合、前記処理対象画像を鏡像で出力し、
  前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザではない場合、前記処理対象画像を正像で出力する
  処理をコンピュータが実行する情報処理方法である。
 ここで、本発明の実施形態は、
 (2)上記(1)の情報処理方法は、
  前記ユーザ判定用画像に複数の人物が含まれる場合、どの人物が前記ユーザであるかの選択を受け付けることが好ましい。
 (3)上記(1)または(2)の情報処理方法は、
  前記ユーザ判定用画像に複数の人物が含まれる場合、面積が最大である人物が前記ユーザであると判定することが好ましい。
 (4)上記(1)から(3)のいずれかに記載の情報処理方法は、
  前記処理対象画像に写っている人物が前記ユーザであるか否かの選択を受け付けることが好ましい。
 (5)上記(1)から(4)のいずれかに記載の情報処理方法は、
  前記処理対象画像に写っている人物と、前記ユーザ判定用画像に写っている人物とが類似している場合、前記処理対象画像に写っている人物が前記ユーザであると判定することが好ましい。
 (6)上記(1)から(5)のいずれかに記載の情報処理方法は、
  鏡像であるか正像であるかを示すマーカを付与した前記処理対象画像を出力することが好ましい。
 (7)上記(1)から(6)のいずれかに記載の情報処理方法は、
  前記ユーザ判定用画像に写る可能性がある人物の画像と、前記人物がモニタリング対象であるか否かとを関連づけて記録したユーザデータベースを参照して、前記ユーザ判定用画像に写っている人物を識別し、
  前記ユーザデータベースを参照して、識別した前記人物がモニタリング対象であるか否かを判定し、
  モニタリング対象であると判定した場合、前記人物が脳卒中を発症している可能性に関する第1検査を実行して結果を出力する第1検査プログラムを起動することが好ましい。
 (8)上記(7)に記載の情報処理方法は、
  前記ユーザデータベースは、前記ユーザ判定用画像に写る可能性がある人物の画像と、前記人物がモニタリング対象であるか否かとに加えて、前記人物がイベント記録対象者であるか否かを関連づけて記録しており、
  前記第1検査プログラムにより、前記ユーザが脳卒中を発症している可能性があると出力された場合、前記ユーザデータベースに、前記ユーザがイベント記録対象者である旨を記録することが好ましい。
 (9)上記(7)または(8)に記載の情報処理方法は、
  前記ユーザデータベースは、前記ユーザ判定用画像に写る可能性がある人物の画像と、前記人物がモニタリング対象であるか否かとに加えて、前記人物がイベント記録対象者であるか否かを関連づけて記録しており、
  前記ユーザデータベースを参照して、識別した前記人物がイベント記録対象者であるか否かを判定し、
  イベント記録対象者であると判定した場合、前記ユーザにイベントが発生した日時と、前記イベントの内容とを関連づけて記録するイベントデータベースに、前記第1検査を実施した日時と、前記第1検査の結果とを関連づけて記録することが好ましい。
 (10)上記(7)から(9)のいずれかに記載の情報処理方法は、
  前記第1検査プログラムにより、前記ユーザが脳卒中を発症している可能性があると出力された場合、前記ユーザに対して所定の動作を促して、前記ユーザの反応を判定する第2検査を実行して結果を出力する第2検査プログラムを起動することが好ましい。
 (11)上記(10)に記載の情報処理方法は、
  前記ユーザにイベントが発生した日時と、前記イベントの内容とを関連づけて記録するイベントデータベースに、前記第2検査プログラムを起動した日時と、前記第2検査プログラムにより出力された結果とを関連づけて記録することが好ましい。
 (12)上記(10)または(11)に記載の情報処理方法は、
  前記第2検査プログラムにより前記ユーザが脳卒中を発症している可能性があると出力された場合、
  所定の連絡先に通知を送ることが好ましい。
 (13)上記(11)に記載の情報処理方法は、
  前記第2検査プログラムにより出力された結果が、前記イベントデータベースに記録されている過去に実施した前記第2検査プログラムにより出力された結果に対して所定の閾値を超える変化がある場合、
  所定の連絡先に通知を送ることが好ましい。
 (14)上記(12)または(13)に記載の情報処理方法は、
  前記連絡先が専門家である場合、前記通知に前記第2検査プログラムにより出力された結果に関する詳細情報を含めることが好ましい。
 (15)上記(12)から(14)のいずれかに記載の情報処理方法は、
  前記通知は、前記ユーザを撮影した画像を含むことが好ましい。
 (16)上記(12)から(15)のいずれかに記載の情報処理方法は、
  前記通知は、前記ユーザを撮影した画像を閲覧可能なURL(Uniform Resource Locator)を含むことが好ましい。
 (17)プログラムは、
  被写体にユーザを含むユーザ判定用画像を撮影させ、
  撮影させた前記ユーザ判定用画像を取得し、
  処理対象画像の選択を受け付け、
  前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザである場合、前記処理対象画像を鏡像で出力し、
  前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザではない場合、前記処理対象画像を正像で出力する
  処理をコンピュータに実行させるプログラムである。
 (18)情報処理装置は、
  制御部を備える情報処理装置であって、
  前記制御部は
   被写体にユーザを含むユーザ判定用画像を撮影させ、
  撮影させた前記ユーザ判定用画像を取得し、
   処理対象画像の選択を受け付け、
   前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザである場合、前記処理対象画像を鏡像で出力し、
   前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザではない場合、前記処理対象画像を正像で出力する
  情報処理装置である。
 一つの側面では、本人および第三者の双方が違和感を覚えにくい表示を提供する情報処理方法等を提供できる。
情報処理装置が表示する画面の概要を説明する説明図である。 情報処理装置の構成を説明する説明図である。 画像DBのレコードレイアウトを説明する説明図である。 プログラムの処理の流れを説明するフローチャートである。 ユーザ特定のサブルーチンの処理の流れを説明するフローチャートである。 本人判定のサブルーチンの処理の流れを説明するフローチャートである。 画面例である。 画面例である。 画面例である。 画面例である。 画面例である。 画面例である。 実施の形態2のユーザ特定のサブルーチンの処理の流れを説明するフローチャートである。 実施の形態2の画面例である。 実施の形態3のプログラムの処理の流れを説明するフローチャートである。 テストのサブルーチンの処理の流れを説明するフローチャートである。 実施の形態3の画面例である。 実施の形態3の画面例である。 実施の形態3の画面例である。 実施の形態3の画面例である。 ユーザDBのレコードレイアウトを説明する説明図である。 イベントDBのレコードレイアウトを説明する説明図である。 実施の形態4のプログラムの処理の流れを説明するフローチャートである。 テスト2のサブルーチンの処理の流れを説明するフローチャートである。 実施の形態5のプログラムの処理の流れを説明するフローチャートである。 実施の形態5の画面例である。 実施の形態6のユーザ特定のサブルーチンの処理の流れを説明するフローチャートである。 実施の形態7のプログラムの処理の流れを説明するフローチャートである。 実施の形態8のプログラムの処理の流れを説明するフローチャートである。 実施の形態9の情報処理装置の構成を説明する説明図である。
[実施の形態1]
 脳梗塞、くも膜下出血および脳出血等の脳卒中は、発見および治療開始が早いほど、患者の予後が良いことが知られている。脳卒中が発症した場合の初期症状には、顔面の歪み、片方の手足の脱力、および、言語障害等がある。
 上述の症状が数分から30分程度で消失する一過性脳虚血発作(TIA:Transit Ischemic Attack)という発作がある。一過性脳虚血発作が生じた場合には、その後重篤な脳梗塞を発症するリスクが高い。一過性脳虚血発作の発症後は、症状が治まっていても速やかに治療を受けることで、その後の重篤な脳卒中の発症リスクを大幅に低減できる。
 ところで、普段から接している人物については、表情から体調の変化を察知できる場合があることが知られている。とりわけ普段から接している人物が軽度の脳卒中を発症している場合には、症状が軽微なものであっても表情に何らかの違和感を覚える場合がある。自分自身が軽度の脳卒中を発症している場合には、鏡で自分自身の顔を見た場合に同様の違和感を覚える場合がある。
 顔が明らかに歪むような重度の脳卒中に関しては、たとえば特許文献2に開示されているような、顔画像を用いる自動診断技術が提案されている。しかしながら、軽度の脳卒中に関しては、これらの自動診断技術よりも親しい人および本人が感じる違和感の方が、感度が高いことが期待できる。
 ところで前述のとおり、自分自身の顔は通常は鏡を使って見る。そのため、正像で自分の顔を見た場合、脳卒中の有無にかかわらず違和感を覚える。脳卒中に起因する違和感を感知するためには、自分自身については鏡像で見ることが望ましい。
 一方、家族等の本人以外の人は、普段から正像で観察している。そのため、鏡像で相手の顔を見た場合、脳卒中の有無にかかわらず違和感を覚える。脳卒中に起因する違和感を感知するためには、家族等については正像で見ることが望ましい。
 なお、以下の説明では脳卒中の有無の判定を受ける人物を対象者と記載する。対象者との血縁関係の有無にかかわらず対象者以外の人物を他人と記載する。
 図1は、情報処理装置10(図2参照)が表示する画面の概要を説明する説明図である。元画像は、画像DB(Database)41(図2参照)から取得された画像である。元画像には、対象者が写っている。元画像は、本実施の形態の処理対象画像の例示である。画像DB41については後述する。
 情報処理装置10のユーザが対象者自身である場合、情報処理装置10は元画像の鏡像をタッチパネル15(図2参照)に表示する。ユーザが他人である場合、情報処理装置10は元画像の正像をタッチパネル15(図2参照)に表示する。
 以上により、ユーザに対して、日頃から見慣れた違和感の少ない状態で対象者の画像を表示する情報処理装置10を提供できる。したがって、情報処理装置10のユーザは、脳卒中に起因する違和感を検知しやすい。
 医学的知識の少ない一般の人は、一過性脳虚血発作の症状が治まった段階では、大した症状ではなかった、または、気のせいだった等と思い込みがちである。しかしながら、画像DB41に記録されている一過性脳虚血発作発症中の画像を表示することで、受診の要否について客観的な判断を促す情報処理装置10を提供できる。
 図2は、情報処理装置10の構成を説明する説明図である。情報処理装置10は、制御部11、主記憶装置12、補助記憶装置13、通信部14、タッチパネル15、カメラ16およびバスを備える。タッチパネル15は、表示部151と、入力部152とを含む。
 制御部11は、本実施の形態のプログラムを実行する演算制御装置である。制御部11には、一または複数のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)またはマルチコアCPU等が使用される。制御部11は、バスを介して情報処理装置10を構成するハードウェア各部と接続されている。
 主記憶装置12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置12には、制御部11が行なう処理の途中で必要な情報および制御部11で実行中のプログラムが一時的に保存される。
 補助記憶装置13は、SRAM、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置13には、画像DB41、制御部11に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。画像DB41は、制御部11に接続された外部の大容量記憶装置に記憶されていてもよい。画像DB41は、ネットワーク上に分散したいわゆるクラウドサーバに記憶されていてもよい。
 通信部14は、情報処理装置10とネットワークとの間の通信を行なうインターフェースである。表示部151は、たとえば液晶表示パネルまたは有機EL(electro-luminescence)パネルである。入力部152は、表示部151に積層されたセンサである。入力部152は、キーボード、マウスまたはマイク等、タッチパネル15とは別体の入力デバイスであってもよい。
 カメラ16は、たとえばタッチパネル15の縁に設けられている。カメラ16は、有線または無線で情報処理装置10に接続された外付けカメラであってもよい。カメラ16は、ネットワークを介して情報処理装置10に接続された、いわゆるネットワークカメラであってもよい。カメラ16は、複数台設けられていてもよい。
 カメラ16は、たとえば可視光を撮影する一般的なカメラである。カメラ16は、赤外線カメラ、サーモグラフィカメラ、または、対象物との距離を画像化するToF(Time of Flight)カメラ等であってもよい。カメラ16は、2台のカメラで構成された、立体撮影用のカメラであってもよい。異なる種類のカメラ16が組み合わせて使用されてもよい。
 たとえば情報処理装置10は、スマートフォン、パソコン、タブレットまたはスマートスピーカ等の、ユーザが使用する汎用の情報機器である。情報処理装置10は、本実施の形態の判定手法用に用意された専用のハードウェアであってもよい。情報処理装置10は、たとえばペット型等の愛玩用のロボット、または、介護用のロボット等に組み込まれていてもよい。複数のハードウェアが連携して、情報処理装置10の機能を実現してもよい。
 情報処理装置10は、ユーザの近くに配置されたタッチパネル15およびカメラ16等のいわゆるIoT機器と、ネットワークを介して接続された大型計算機、大型計算機上で動作する仮想マシン、またはクラウドコンピューティングシステム等との組み合わせにより構成されていてもよい。
 図3は、画像DB41のレコードレイアウトを説明する説明図である。画像DB41は、撮影日時と撮影された画像とを関連づけて記録するDBである。画像DB41は、日時フィールドおよび画像フィールドを有する。日時フィールドには、撮影日時が記録されている。画像フィールドには、画像が記録されている。画像は、静止画であっても、動画であってもよい。画像DB41は、1枚の画像について1つのレコードを有する。
 複数のカメラ16が使用される場合、画像DB41はそれぞれの画像がどのカメラ16で撮影されたかを記録するフィールドを有しても良い。画像DB41は、シャッター速度および絞り等の撮影条件を記録するフィールドを有してもよい。画像DB41には、撮影日時、シャッター速度、絞り等の情報を含むExif(Exchangeable image file format)情報付きの画像が記録されても良い。Exif情報付きの画像が記録される場合、画像DB41は日時フィールドを備えなくてもよい。
 画像DB41には、カメラ16により撮影された画像が随時記録される。撮影は、たとえば所定時間ごとに行なわれる。撮影視野に人物が入る、または、撮影視野内に動きがある等のイベントが検出されるたびに撮影が行なわれてもよい。自動的に撮影を行ない、画像をDBに記録する処理は、従来から行なわれているため、詳細については説明を省略する。
 画像の撮影および画像DB41への記録は、情報処理装置10とは異なる情報処理装置により実行されてもよい。情報処理装置10とは独立して動作するイベント駆動カメラにより撮影された画像が、画像DB41に記録されてもよい。
 図4は、プログラムの処理の流れを説明するフローチャートである。なお、図4を使用して説明するフローチャートの実行と平行して、画像DB41に随時新しい画像が記録される。図4を使用して説明するフローチャート内で撮影した画像は、画像DB41に記録されても、記録されなくてもよい。
 制御部11は、ユーザから受け付けた指示に基づいてカメラ16を制御して、静止画であるユーザ判定用画像を撮影する(ステップS501)。ユーザ判定用画像は、ユーザを被写体に含む画像である。なお、複数のカメラ16が配置されている場合、制御部11はタッチパネル15を操作する人物を撮影するのに適したカメラ16を使用する。
 制御部11は、ユーザ特定のサブルーチンを起動する(ステップS502)。ユーザ特定のサブルーチンは、ユーザ判定用画像からユーザの顔が写っている部分を特定するサブルーチンである。ユーザ特定のサブルーチンの処理の流れは後述する。
 制御部11は、ユーザの顔が写っている部分の特定に成功したか否かを判定する(ステップS503)。たとえば、ユーザがカメラ16に顔を向けていない場合、ユーザ判定用画像にユーザの顔が映らない。したがって、制御部11はユーザの顔が写っている部分を特定できない。
 成功していないと判定した場合(ステップS503でNO)、制御部11はステップS501に戻る。成功したと判定した場合(ステップS503でYES)、制御部11は画像DB41に記録されている画像の中から処理対象画像の選択を受け付ける(ステップS504)。
 制御部11は、本人判定のサブルーチンを起動する(ステップS505)。本人判定のサブルーチンは、処理対象画像に写っている人物がユーザ本人であるか否かを判定するサブルーチンである。本人判定のサブルーチンの処理の流れは後述する。
 制御部11は、本人判定のサブルーチンにおいて、本人であると判定されたか否かを判定する(ステップS506)。本人であると判定した場合(ステップS506でYES)、制御部11は処理対象画像を鏡像で表示する(ステップS507)。本人ではないと判定した場合(ステップS506でNO)、制御部11は処理対象画像を正像で表示する(ステップS508)。
 ステップS507またはステップS508の終了後、制御部11は別の処理対象画像を表示するか否かを判定する(ステップS509)。たとえば、ユーザによる別画像ボタン65(図11参照)の操作を受け付けた場合に、制御部11は別の処理対象画像を表示すると判定する。表示すると判定した場合(ステップS509でYES)、制御部11はステップS504に戻る。
 表示しないと判定した場合(ステップS509でNO)、制御部11は処理を終了するか否かを判定する(ステップS510)。たとえば、ユーザによる終了ボタン69(図11参照)の選択を受け付けた場合、制御部11は処理を終了すると判定する。
 処理を終了しないと判定した場合(ステップS510でNO)、制御部11はステップS501に戻る。処理を終了すると判定した場合(ステップS510でYES)、制御部11は処理を終了する。
 図5は、ユーザ特定のサブルーチンの処理の流れを説明するフローチャートである。ユーザ特定のサブルーチンは、ユーザ判定用画像からユーザの顔が写っている部分を特定するサブルーチンである。
 制御部11は、顔検出の技術を用いてユーザ判定用画像から人物の顔を検出する(ステップS521)。顔検出の技術は従来から使用されているため、詳細については説明を省略する。制御部11は、顔の検出に成功したか否かを判定する(ステップS522)。成功したと判定した場合(ステップS522でYES)、制御部11は検出された顔が一人の顔であるか否かを判定する(ステップS523)。
 一人の顔であると判定した場合(ステップS523でYES)、制御部11はステップS521で検出した顔に、ユーザの顔である旨のフラグを付けて主記憶装置12または補助記憶装置13に一時的に記憶する(ステップS524)。制御部11はユーザの特定に成功した旨のフラグを立てる(ステップS525)。その後、制御部11は処理を終了する。
 一人の顔ではない、すなわちステップS523で複数の人物の顔を検出したと判定した場合(ステップS523でNO)、制御部11はユーザ判定用画像に検出した顔を示すバウンディングボックス58(図8参照)を重畳させて、タッチパネル15に表示する(ステップS531)。
 制御部11は、たとえば「ユーザの顔を選んでください」とタッチパネル15に表示して、ユーザに選択を促す。制御部11は、タッチパネル15を介してユーザによる顔の選択を受け付ける(ステップS532)。制御部11は、受け付けに成功したか否かを判定する(ステップS533)。
 たとえば、タッチパネル15に表示した複数のバウンディングボックス58の中から一つのバウンディングボックス58の選択を受け付けた場合、制御部11は受け付けに成功したと判定する(ステップS533でYES)。ユーザによるキャンセルボタン63(図8参照)の選択を受け付けた場合、または所定の時間が経過してもユーザによる操作を受け付けない場合、制御部11は受け付けに成功していないと判定する(ステップS533でNO)。
 受付に成功したと判定した場合(ステップS533でYES)、制御部11は、ユーザによる選択を受け付けた顔に、ユーザの顔である旨のフラグを付けて主記憶装置12または補助記憶装置13に一時的に記憶する(ステップS534)。制御部11はユーザの特定に成功した旨のフラグを立てる(ステップS535)。その後、制御部11は処理を終了する。
 顔の検出に成功していないと判定した場合(ステップS522でNO)、または、選択の受付に成功していないと判定した場合(ステップS533でNO)、制御部11はユーザの特定に失敗した旨のフラグを立てる(ステップS536)。その後、制御部11は処理を終了する。
 図6は、本人判定のサブルーチンの処理の流れを説明するフローチャートである。本人判定のサブルーチンは、処理対象画像に写っている人物がユーザ本人であるか否かを判定するサブルーチンである。
 制御部11は、本人であるか否かを手動で判定するモードに設定されているか否かを判定する(ステップS541)。制御部11は、たとえばタッチパネル15に表示したモードボタン64(図10参照)を介してモードの設定を受け付ける。
 手動モードであると判定した場合(ステップS541でYES)、制御部11はタッチパネル15に処理対象画像と、たとえば「自分自身が写っていますか?」という質問と、はいボタン681(図10参照)と、いいえボタン682(図10参照)とを表示する(ステップS542)。制御部11は、はいボタン681またはいいえボタン682を介してユーザによる回答を取得する(ステップS543)。その後、制御部11は処理を終了する。
 手動モードではないと判定した場合(ステップS541でNO)、制御部11はユーザが片麻痺を起こしているか否かを判定する(ステップS551)。片麻痺に関する判定方法の具体例の概要を説明する。
 制御部11は、ステップS501でユーザ判定用画像を撮影した後も、ユーザ判定用画像中の人物の顔の特徴点を追跡し続ける。特徴点は、たとえば、目頭、目尻および口角等である。制御部11は、ユーザの顔中のこれらの特徴点が、ユーザの鼻梁を中心としてほぼ対称に動いている場合には片麻痺を起こしていないと判定し、非対称に動いている場合には片麻痺を起こしていると判定する。人物の顔から特徴点および鼻梁を抽出する方法、および、動画において特徴点を追跡する方法は、従来から使用されているため、詳細については説明を省略する。
 片麻痺を起こしていないと判定した場合(ステップS551でNO)、制御部11は、処理対象画像中の人物の顔と、図5を使用して説明したステップS524またはステップS534で主記憶装置12または補助記憶装置13に一時的に記憶されたユーザの顔とが類似しているか否かを判定する(ステップS552)。
 具体例を挙げて説明する。制御部11は、処理対象画像から顔を検出する。制御部11は、処理対象画像から検出した顔と、ユーザの顔との類似度を、たとえばPerceptual Hashまたは特徴点マッチング等の公知の手法に基づいて算出する。類似度が所定の閾値を超える場合、制御部11は処理対象画像中の人物の顔と、ユーザの顔とが類似していると判定する。
 類似していると判定した場合(ステップS552でYES)、制御部11は処理対象画像中の人物がユーザ本人であると判定する(ステップS553)。類似していないと判定した場合(ステップS552でNO)、制御部11は処理対象画像中の人物はユーザとは別人であると判定する(ステップS554)。ステップS553またはステップS554の終了後、制御部11は処理を終了する。
 片麻痺を起こしていると判定した場合(ステップS551でYES)、制御部11は、処理対象画像中の人物の顔と、主記憶装置12または補助記憶装置13に一時的に記憶されたユーザの顔とから、それぞれ麻痺が生じていない側の半分を抽出する(ステップS555)。制御部11は、処理対象画像から検出した顔の半分と、ユーザの顔との半分とが類似しているか否かを判定する(ステップS556)。
 類似していると判定した場合(ステップS556でYES)、制御部11は処理対象画像中の人物がユーザ本人であると判定する(ステップS557)。類似していないと判定した場合(ステップS556でNO)、制御部11は処理対象画像中の人物はユーザとは別人であると判定する(ステップS558)。ステップS557またはステップS558の終了後、制御部11は処理を終了する。
 なお、本人判定のサブルーチンの代わりに、処理対象画像から検出した顔と、ユーザの顔との入力を受け付けて、両者が同一人物であるか否かを出力するように訓練された学習済モデルが使用されてもよい。
 ステップS551において、ユーザの顔を撮影した画像の入力を受け付けて、片麻痺を起こしているか否かを出力するように訓練された学習済モデルが使用されてもよい。機械学習を用いた学習済モデルの生成方法および利用方法は公知であるため、詳細については説明を省略する。
 図7から図12は、画面例である。図7は、図4を使用して説明したステップS501を実行する前に制御部11がタッチパネル15に表示する画面の例を示す。タッチパネル15には、リアルタイム欄51および開始ボタン61が表示されている。リアルタイム欄51には、カメラ16により撮影中の画像が表示されている。
 ユーザによる開始ボタン61の選択を受け付けた場合、制御部11はステップS501を実行する。すなわち制御部11はカメラ16を制御して静止画であるユーザ判定用画像を取得する。
 図8は、図5を使用して説明したステップS531で制御部11がタッチパネル15に表示する画面の例を示す。タッチパネル15には、リアルタイム欄51、静止画欄52、再撮影ボタン62、キャンセルボタン63およびメッセージ欄71が表示されている。静止画欄52には、顔検出の結果を示すバウンディングボックス58が重畳されたユーザ判定用画像が表示されている。
 静止画欄52の下側に配置されたメッセージ欄71に、「ユーザの顔を選んでください」というメッセージが表示されている。ユーザが、いずれかのバウンディングボックス58の近傍にタッチした場合、制御部11は、ユーザによる顔の選択を受け付ける(ステップS532)。
 静止画欄52の右上に、静止画欄52よりも小さいサイズでリアルタイム欄51が表示されている。リアルタイム欄51にはカメラ16により撮影中の画像が表示されている。再撮影ボタン62の選択を受け付けた場合、制御部11は新たにユーザ判定用画像を取得して、静止画欄52を更新する。
 図9は、図4を使用して説明したステップS504で制御部11がタッチパネル15に表示する画面の例を示す。タッチパネル15には、ユーザ画像欄53、候補画像欄54、キャンセルボタン63、モードボタン64およびメッセージ欄71が表示されている。
 ユーザ画像欄53には、図5を使用して説明したステップS524またはステップS534で主記憶装置12または補助記憶装置13に一時的に記録されたユーザの顔が表示されている。
 候補画像欄54には、画像DB41に記録されている画像がサムネール表示されている。候補画像欄54には、たとえば撮影日時が新しい方から所定の枚数の画像が表示される。画像DB41に記録されている画像は、たとえば撮影日時等に基づいて階層化されて、ツリー形式で候補画像欄54に表示されていてもよい。
 候補画像欄54の下側に配置されたメッセージ欄71に、「画像を選んでください」というメッセージが表示されている。ユーザが、候補画像欄54に表示されている画像のいずれかにタッチした場合、制御部11は、ユーザによる処理対象画像の選択を受け付ける(ステップS504)。
 モードボタン64は、前述のとおり処理対象画像に写っている人物が本人であるか否かを判定するモードの切り替えに使用される。図9においては、手動で判定するモードに設定されている場合の例を示す。
 図10は、図6を使用して説明したステップS542で制御部11がタッチパネル15に表示する画面の例を示す。タッチパネル15には、ユーザ画像欄53、処理対象画像欄55、キャンセルボタン63、モードボタン64、はいボタン681、いいえボタン682およびメッセージ欄71が表示されている。
 ユーザ画像欄53には、図9と同様にユーザの顔が表示されている。処理対象画像欄55には、図9で説明した画面の候補画像欄54からユーザにより選択された処理対象画像が表示されている。
 処理対象画像欄55の下側に配置されたメッセージ欄71に、「自分自身が写っていますか?」というメッセージが表示されている。制御部11は、はいボタン681またはいいえボタン682を介してユーザによる回答を受け付ける。モードボタン64の選択を受け付けた場合、制御部11は処理対象画像に写っている人物が本人であるか否かを自動的に判定するモードに切り替えて、図6を使用して説明したステップS551に移動する。
 図11は、図4を使用して説明したステップS507で制御部11がタッチパネル15に表示する画像の例を示す。図12は、図4を使用して説明したステップS508で制御部11がタッチパネル15に表示する画像の例を示す。
 図11および図12のタッチパネル15には、ユーザ画像欄53、処理対象画像欄55、別画像ボタン65および終了ボタン69が表示されている。ユーザ画像欄53には、図9と同様にユーザの顔が表示されている。
 図11の処理対象画像欄55には、処理対象画像が鏡像で表示されている。処理対象画像欄55に鏡像が表示されていることをユーザが容易に認識できるように、処理対象画像欄55の上に「鏡像表示中」という説明が表示されている。
 図12の処理対象画像欄55には、処理対象画像が正像で表示されている。処理対象画像欄55に正像が表示されていることをユーザが容易に認識できるように、処理対象画像欄55の上に「正像表示中」という説明が表示されている。
 なお、たとえば図11の処理対象画像欄55に鏡文字を重畳させ、図12の処理対象画像欄55に通常の文字を表示させることにより、鏡像と正像との区別を示してもよい。図11の処理対象画像欄55の近傍に鏡を示すイラスト等を表示して、鏡像であることを示してもよい。文字およびイラストは、画像が鏡像であるか正像であるかを示すマーカの例示である。制御部11は、画像に鏡像であるか正像を示すタグ等のメタデータを付与してもよい。
 前述の通り、別画像ボタン65が選択された場合、制御部11は別の処理対象画像を表示する旨の指示を受け付けたと判定し(ステップS509でYES)、図4を使用して説明したステップS504に戻る。同様に終了ボタン69が選択された場合、制御部11は処理を終了する旨の指示を受け付けたと判定し(ステップS510でYES)、処理を終了する。
 本実施の形態によると、画像DB41に記録された画像を対象者本人が閲覧する場合には、図11に例示するように鏡像で表示し、同じ画像を他人が閲覧する場合には図12に例示するように鏡像で表示する情報処理装置10を提供できる。
 対象者本人が閲覧する場合も、他人が閲覧する場合も、鏡像と正像との相違による違和感を覚えにくいため、処理対象画像に脳卒中の症状が現れている場合には対象者本人であっても他人であっても鋭敏に察知できる。
 画像DB41に随時蓄積された処理対象画像を表示するため、短時間で終息した一過性脳虚血発作についても察知しやすい情報処理装置10を提供できる。以上により、脳卒中の早期発見および早期治療に寄与する情報処理装置10を提供できる。
[実施の形態2]
 本実施の形態は、ユーザ判定用画像からユーザの顔が写っている部分を自動的に特定する情報処理装置10に関する。実施の形態1と共通する部分については、説明を省略する。
 図13は、実施の形態2のユーザ特定のサブルーチンの処理の流れを説明するフローチャートである。図13を使用して説明するサブルーチンは、図5を使用して説明したユーザ特定のサブルーチンの代わりに使用される。
 ステップS521からステップS525までの処理は、図5を使用して説明したサブルーチンの処理と同一であるため説明を省略する。一人の顔ではない、すなわちステップS521で複数の人物の顔を検出したと判定した場合(ステップS523でNO)、制御部11はユーザ判定用画像から検出したそれぞれの顔の面積を算出する(ステップS561)。顔の面積は、たとえばそれぞれの顔に対応するバウンディングボックス58の面積である。
 制御部11は、セマンティックセグメンテーションを行ない、それぞれのバウンディングボックス58内の画素を顔と背景とに分類した後に、顔に対応する画素の面積を算出してもよい。セマンティックセグメンテーションは公知であるため、説明を省略する。
 制御部11は、面積が最大である顔を判定する(ステップS562)。制御部11はユーザ判定用画像に検出した顔を示すバウンディングボックス58を重畳させて、タッチパネル15に表示する(ステップS563)。ステップS563において制御部11は、ステップS562で面積が最大であると判定した顔に対応するバウンディングボックス58を、他のバウンディングボックス58とは異なる態様で表示する。
 制御部11は、面積が最大であると判定した顔に、ユーザの顔である旨のフラグを付けて主記憶装置12または補助記憶装置13に一時的に記憶する(ステップS564)。制御部11はユーザの特定に成功した旨のフラグを立てる(ステップS565)。その後、制御部11は処理を終了する。
 顔の検出に成功していないと判定した場合(ステップS522でNO)、制御部11はユーザの特定に失敗した旨のフラグを立てる(ステップS566)。その後、制御部11は処理を終了する。
 図14は、実施の形態2の画面例である。図14は、図13を使用して説明したステップS563で制御部11がタッチパネル15に表示する画面の例を示す。タッチパネル15には、リアルタイム欄51、静止画欄52、再撮影ボタン62、キャンセルボタン63およびメッセージ欄71が表示されている。静止画欄52には、バウンディングボックス58が重畳されたユーザ判定用画像が表示されている。なお、バウンディングボックス58の態様およびメッセージ欄71の表記以外は図8を使用して説明した画面例と同様であるため、説明を省略する。
 図14に示す例では、面積が最大であると判定した顔に対応するバウンディングボックス58が太い実線で、他の顔に対応するバウンディングボックス58が破線で表示されている。静止画欄52の下側に配置されたメッセージ欄71に、「特定しました」というメッセージが表示されている。ユーザは、制御部11がユーザ判定用画像のどの部分にユーザの顔が写っていると特定したかを、確認できる。
 本実施の形態によると、ユーザ判定用画像からユーザの顔が写っている部分を自動的に特定する情報処理装置10を提供できる。
 制御部11は、図14に示す画像を介してユーザの顔であると判定した顔の訂正を受け付けてもよい。たとえば、図14において破線で示されているバウンディングボックス58をユーザがタッチした場合に、制御部11はタッチされたバウンディングボックス58に対応する顔がユーザの顔であると判定する。制御部11が誤判定した場合にユーザが適切に修正できる情報処理装置10を提供できる。
[実施の形態3]
 本実施の形態は、脳卒中を発症しているか否かに関するスクリーニング検査およびスクリーニング検査よりも詳細な検査を自動的に行なう情報処理装置10に関する。実施の形態1と共通する部分については、説明を省略する。スクリーニング検査は本実施の形態の第1検査の例示であり、検査は本実施の形態の第2検査の例示である。
 図15は、実施の形態3のプログラムの処理の流れを説明するフローチャートである。制御部11は、カメラ16により撮影された画像を取得して、リアルタイムで画像解析を行ない、トリガーを検出する(ステップS581)。トリガーは、たとえば人物の全身または上半身が画像内に含まれたこと、人物がカメラ16に正対したこと、人物が立ち上がったこと、部屋の照明が点灯したこと等である。
 制御部11は、マイクから取得した音に基づいてトリガーを検出してもよい。制御部11は、所定の時間が経過したことに基づいてトリガーを検出してもよい。制御部11は、エアコン、テレビまたはラジオ等が操作されたことに基づいてトリガーを検出してもよい。制御部11は、トリガーを検出するまでステップS581で待機する。
 トリガーを検出した後、制御部11は第1検査プログラムを起動する(ステップS582)。第1検査プログラムは、対象者の通常の動作をモニタリングして、脳卒中の発症有無を判定する、いわゆるスクリーニング検査を実行するプログラムである。
 第1検査プログラムは、本実施の形態のプログラムとは独立したプログラムであっても、本実施の形態のプログラムの一部を構成するサブルーチンであってもよい。以下の説明では、第1検査プログラムが制御部11により実行される場合を例にして説明するが、第1検査プログラムは制御部11とは異なるハードウェアにより実行されてもよい。なお制御部11は、スクリーニング検査中であることを対象者に通知しない。
 第1検査プログラムにより実行されるスクリーニング検査の具体例について説明する。制御部11は、たとえばカメラ16により撮影された画像を取得して、リアルタイムで動作分析を行ない、転倒、振戦、ふらつき、または麻痺などの有無を判定する。対象者がカメラ16に正対している場合には、制御部11は顔面麻痺の有無を判定してもよい。対象者が発話している場合には、制御部11はリアルタイムで音声解析を行ない、言語障害の有無を判定してもよい。動作分析および音声解析は従来から使用されているため、詳細については説明を省略する。
 制御部11は、スクリーニング検査の結果が正常であるか否かを判定する(ステップS583)。以上により第1検査プログラムが終了する。制御部11は、第1検査プログラムによる判定結果を取得する。第1検査プログラムによる判定結果が正常である、すなわち脳卒中を発症していないと判定された場合(ステップS583でYES)、制御部11はステップS581に戻る。
 正常でない、すなわち脳卒中を発症している可能性があると判定された場合(ステップS583でNO)、制御部11はたとえば「スクリーニング検査を実施して異常が見られました。タッチパネルの前に来てください」等のタッチパネル15の操作を促すメッセージを出力して、対象者をタッチパネル15の前に誘導する(ステップS584)。
 制御部11は、カメラ16を制御して、静止画であるユーザ判定用画像を撮影する(ステップS585)。なお、複数のカメラ16が配置されている場合、制御部11はタッチパネル15を操作する人物を撮影するのに適したカメラ16を使用する。
 制御部11は、ユーザ特定のサブルーチンを起動する(ステップS586)。ユーザ特定のサブルーチンは、ユーザ判定用画像からユーザの顔が写っている部分を特定するサブルーチンである。ユーザ特定のサブルーチンは、図5または図13を使用して説明したサブルーチンと同一である。
 制御部11は、ユーザの顔が写っている部分の特定に成功したか否かを判定する(ステップS587)。たとえば、ユーザがステップS584で出力されたメッセージを無視した場合、ユーザ判定用画像にユーザの顔が映らない。したがって、制御部11はユーザの顔が写っている部分を特定できない。
 成功したと判定した場合(ステップS587でYES)、制御部11はカメラ16により撮影された画像を、タッチパネル15に鏡像で表示するように、表示モードを設定する(ステップS588)。制御部11はテストのサブルーチンを起動する(ステップS589)。テストのサブルーチンは、脳卒中の疑いがある人物に対して所定の検査を行ない、発症している場合には所定の連絡先に通知するサブルーチンである。テストのサブルーチンの処理の流れは後述する。
 制御部11は処理を終了するか否かを判定する(ステップS590)。たとえば、ユーザによる終了ボタン69の選択を受け付けた場合、制御部11は処理を終了すると判定する。
 成功していないと判定した場合(ステップS587でNO)、または、処理を終了しないと判定した場合(ステップS590でNO)、制御部11はステップS581に戻る。処理を終了すると判定した場合(ステップS590でYES)、制御部11は処理を終了する。
 なお、ステップS584からステップS590までのテストに関する処理の頻度が高すぎる場合、対象者が負担に感じてステップS584で出力されたメッセージを無視する可能性が高まる。制御部11は、ステップS583で正常でないと判定した場合であっても(ステップS583でNO)、前回のテストから所定の時間が経過していない場合にはテストを行なわずにステップS581に戻るように設定されていてもよい。
 制御部11は、ステップS583で正常でないという判定が連続して所定の回数を超えた場合に、ステップS584に進んでもよい。スクリーニング検査の誤判定により、対象者を煩わせすぎることを防止する情報処理装置10を提供できる。
 制御部11は、ステップS582で第1検査プログラムを起動してスクリーニング検査を行なう前に、撮影されている人物の年齢を推定し、幼児または小児等の脳卒中の発症リスクが低い年代であると推定した場合にはステップS581に戻ってもよい。
 制御部11は、ステップS587でNOと判定した回数、すなわち対象者がステップS584で出力されたメッセージに適切に対応しなかった回数をカウントし、たとえば1日または1週間等の所定期間内の回数が所定の閾値を超えた場合に、家族、ヘルパー、またはかかりつけ医等の所定の連絡先に通知を送信してもよい。
 図16は、テストのサブルーチンの処理の流れを説明するフローチャートである。テストのサブルーチンは、脳卒中の疑いがある人物に対して所定の検査を行ない、発症している場合には所定の連絡先に通知するサブルーチンである。
 制御部11は、第2検査プログラムを起動する(ステップS601)。第2検査プログラムは、脳卒中の発症可能性に関するテストを出力し、被験者の反応を取得して、脳卒中の可能性を判定するプログラムである。第2検査プログラムは、本実施の形態のプログラムとは独立したプログラムであっても、本実施の形態のプログラムの一部を構成するサブルーチンであってもよい。以下の説明では、第2検査プログラムが制御部11により実行される場合を例にして説明するが、第2検査プログラムは制御部11とは異なるハードウェアにより実行されてもよい。
 脳卒中の発症可能性に関するテストとしては、CPSS(Cincinnati Prehospital Stroke Scale:シンシナティ病院前脳卒中スケール)、および、KPSS(Kurashiki Prehospital Stroke Scale:倉敷プレホスピタル脳卒中スケール)等のテストが知られている。
 これらのテストでは、対象者にたとえば「歯を見せて笑ってください」、「目を閉じて、両腕を挙げてください」、「『今日はいい天気です』と言ってください」等の指示を行ない、それぞれの指示に対する対象者の反応を採点する。採点結果と、対象者が脳卒中を発症している確率とが対応づけられている。
 制御部11は、スピーカまたはタッチパネル15を介して上述の指示を出力する。制御部11は、カメラ16を介して対象者を撮影し、タッチパネル15に表示する。図15を使用して説明したステップS588で、表示モードが鏡像に表示されている場合、対象者はタッチパネル15を鏡の代わりに使用して、指示された動作等を実行する。
 制御部11は、カメラ16およびマイクを介して対象者の反応を検出する。制御部11は、それぞれの指示に対する対象者の反応を採点する。制御部11は、採点結果に基づいて対象者が脳卒中を発症している確率を判定する。以上により第2検査プログラムが終了する。第2検査プログラムは判定した結果を出力する。
 なお、CPSSおよびKPSSは、ステップS601で制御部11が起動する第2検査プログラムが対応するテストの例示である。第2検査プログラムが対応するテストはこれらの2つのテストに限定されない。
 制御部11は、第2検査プログラムから出力された結果をタッチパネル15に表示する(ステップS602)。制御部11は、対象者が脳卒中を発症しているか否かを判定する(ステップS603)。具体的には制御部11は、対象者が脳卒中である確率が所定の閾値を超える場合に、対象者が脳卒中を発症していると判定する。
 脳卒中を発症していると判定した場合(ステップS603でYES)、制御部11は、かかりつけ医等の医師への連絡を行なうか否かを判定する(ステップS604)。医師への連絡要否および連絡先は、プログラムの設定画面等を介して事前に登録されている。医師は脳卒中に関する専門家の例示である。
 医師への連絡を行なうと判定した場合(ステップS604でYES)、制御部11は医師用の情報を作成する(ステップS605)。医師用の情報には、ステップS601で実行した第2検査プログラムにより行なわれたテストの結果、テスト中に対象者を撮影した動画等の、専門的な情報が含まれる。制御部11は、登録されている連絡先へ医師用の情報を送信する(ステップS606)。
 医師への連絡を行なわないと判定した場合(ステップS604でNO)、またはステップS606の終了後、制御部11は家族への連絡を行なうか否かを判定する(ステップS607)。家族への連絡要否および連絡先も、プログラムの設定画面等を介して事前に登録されている。
 家族への連絡を行なうと判定した場合(ステップS607でYES)、制御部11は家族用の情報を作成する(ステップS608)。家族用の情報には、脳卒中を発症している可能性が高いこと、速やかに医療機関を受診するべきこと、および対象者の近影等が含まれる。制御部11は登録されている連絡先へ家族用の情報を送信する(ステップS609)。
 脳卒中を発症していないと判定した場合(ステップS603でNO)、家族への連絡を行なわないと判定した場合(ステップS607でNO)、またはステップS609の終了後、制御部11は処理を終了する。
 なお、ステップS606において、制御部11は医師用の情報をWEBサーバにアップロードし、登録されている連絡先へアップロードした情報を閲覧可能なURL(Uniform Resource Locator)を送信してもよい。同様にステップS609において、制御部11は家族用の情報をWEBサーバにアップロードし、登録されている連絡先へアップロードした情報を閲覧可能なURLを送信してもよい。
 図17から図20は、実施の形態3の画面例である。図17および図18は、図16を使用して説明したフローチャートのステップS602で制御部11がタッチパネル15に表示する画面の例である。タッチパネル15には、近影欄56、切替ボタン66、メッセージ欄71、連絡先ボタン67および終了ボタン69が表示されている。
 連絡先ボタン67は、第1連絡先ボタン671、第2連絡先ボタン672および第3連絡先ボタン673を含む。第1連絡先ボタン671にはかかりつけ医が、第2連絡先ボタン672には長男が、第3連絡先ボタン673には次男がそれぞれ登録されている。図17および図18においては、第1連絡先ボタン671と第2連絡先ボタン672とが選択されており、第3連絡先ボタン673は選択されていない。ユーザは、連絡先ボタン67を操作して、たとえば海外出張中等の理由で緊急連絡を受けても対応できない家族等を緊急連絡先から一時的に外すことができる。
 近影欄56には、たとえば図16のステップS601で実行された第2検査プログラムによるテスト中に撮影された対象者の近影が表示されている。近影は、デフォルトでは鏡像で表示される。ユーザは、切替ボタン66を操作することにより、鏡像と正像とを切り替え可能である。近影欄56には、動画が表示されてもよい。対象者の近影が動画で表示されることにより、運動障害の発生状態等が判りやすくなる。
 図17においては、近影欄56の下側に配置されたメッセージ欄71に、「お疲れ様でした。脳卒中の症状は見つかりません。」というメッセージが表示されている。対象者は、テストの結果を見て安心できる。
 図18においては、近影欄56の下側に配置されたメッセージ欄71に、「脳卒中の疑いが検知されました。連絡先に通知します。」というメッセージが表示されている。制御部11は、選択中である第1連絡先ボタン671および第2連絡先ボタン672に対応する連絡先に、通知を送信する。
 制御部11は、図17および図18を使用して説明した情報を、たとえば対象者が持つスマートフォン等に送信してもよい。駆け付けたヘルパーまたは救急隊等に対象者がスマートフォン等の画面を見せることにより、状況を速やかに共有できる。なお、ヘルパーまたは救急隊等は、切替ボタン66を操作することにより、近影欄56を正像に切り替えて閲覧できる。
 図19は、図16を使用して説明したステップS606で送信された情報に基づいて、かかりつけ医が使用するパソコンに表示される画面の例である。画面には、近影欄56、メッセージ欄71、検査結果欄72、動画ボタン77および詳細ボタン78が表示されている。
 近影欄56には、対象者の近影が正像で表示されている。近影欄56の右側のメッセージ欄71には、「8/15 18:20 診察券番号3456 田中太郎さんに脳卒中の疑いが検知されました。 長男の田中一郎氏にも連絡済です。」のように、通知を発した日時、対象者を特定する情報、対象者の状況および家族等への連絡状況が簡潔に表示されている。
 画面下側の検査結果欄72には、「検査結果 ・顔の歪み:左右差4cm ・上肢挙上:右腕25cm不保持」のように、図16のステップS601で起動された第2検査プログラムにより実施されたテストの結果の概要が表示されている。かかりつけ医が動画ボタン77を選択した場合、テスト中に撮影された動画が表示される。かかりつけ医が詳細ボタン78を選択した場合、テストに関する詳細情報が表示される。
 かかりつけ医は、図19を使用して説明した画面を確認して、たとえば往診、家族への指示、または、救急隊への指示等の専門的な対処を行なえる。
 図20は、図16を使用して説明したステップS609で送信された情報に基づいて、対象者の家族が使用するスマートフォンに表示される画面の例である。画面には、近影欄56およびメッセージ欄71が表示されている。
 近影欄56には、対象者の近影が正像で表示されている。近影欄56の下側のメッセージ欄71には、「8/15 18:20 田中太郎さんに脳卒中の疑いが検知されました。 **内科**先生にも連絡済です。」のように、通知を発した日時、対象者の状況およびかかりつけ医等への連絡状況が簡潔に表示されている。
 家族等は、対象者に連絡して状況を確認し、自力での受診が困難であれば救急車の手配等の支援を行なう。
 本実施の形態によると、日常的に対象者にスクリーニング検査を行ない、脳卒中の疑いを検知した場合には自動的に第2検査プログラムを起動してテストを行なうことで、脳卒中の発症を早期に検出する情報処理装置10を提供できる。
 本実施の形態によると、対象者の近影を本人に対しては鏡像で、他人に対しては正像でそれぞれ表示する情報処理装置10を提供できる。
 なお情報処理装置10は、脳卒中以外の疾病の発症に関する検査を自動的に行なってもよい。たとえば制御部11は、カメラ16により対象者の下肢を撮影する。制御部11は、左右それぞれの下肢の輪郭線から、むくみの程度を判定する。片方の下肢だけに強いむくみが生じている場合には、その下肢に静脈血栓が生じている可能性がある。両側の足に強いむくみが生じている場合には、心不全によるむくみが生じている可能性がある。
 制御部11は、左右それぞれの下肢の色の相違を判定してもよい。皮膚の色、または、爪の色に左右差が生じている場合には、足梗塞が生じている可能性がある。制御部11は、左右それぞれの下肢、上肢、肩等の関節部を撮影し、関節の腫れまたは変形の程度を判定してもよい。左右の関節に対象に腫れが生じている場合には、対象者は関節リウマチを発症している可能性がある。
 いずれの疾病の場合であっても、制御部11は判定結果を対象者に通知して、医療機関の受診を促すことが望ましい。制御部11は、脳卒中の発症有無と、これらの脳卒中以外の疾病の発症有無との両方を判定してもよい。
[実施の形態4]
 本実施の形態は、対象者およびその家族等に関する情報を記録したデータベースを参照して、対象者の個人識別を行なう情報処理装置10に関する。実施の形態3と共通する部分については、説明を省略する。
 図21は、ユーザDB42のレコードレイアウトを説明する説明図である。ユーザDB42は、対象者およびその家族等に関する情報を記録するDBである。ユーザDB42は、氏名フィールド、年齢フィールド、モニタリング対象フィールド、顔画像フィールドおよび要注意フラグフィールドを有する。ユーザDB42は、一人の人物について一つのレコードを有する。ユーザDB42は、補助記憶装置13または制御部11に接続された外部の大容量記憶装置に記憶されている。ユーザDB42は、ネットワーク上に分散したいわゆるクラウドサーバに記憶されていてもよい。
 氏名フィールドには、氏名が記録されている。年齢フィールドには年齢が記録されている。モニタリング対象フィールドには、脳卒中の発症有無を観察するモニタリングの対象者であるか否かが記録されている。モニタリング対象フィールドの「T」はモニタリング対象者であることを示し、「F」はモニタリング対象者ではないことを示す。制御部11は、モニタリング対象者に対しては、スクリーニング検査を随時実施し、スクリーニング検査で脳卒中を発症している可能性があると判定した場合には、第2検査プログラムを起動してテストを実施する。
 顔画像フィールドには、それぞれの人物の顔画像が記録されている。なお、顔画像の代わりに、顔認証に使用する特徴量等の情報が記録されていてもよい。顔画像フィールドに記録される情報は、画像に写っている人物を識別する識別情報の例示である。
 要注意フラグフィールドには、それぞれの人物がイベントの記録を行なう対象者であるか否かが記録されている。イベントは、たとえばスクリーニング検査および第2検査プログラムによるテストである。要注意フラグフィールドの「T」は、イベント記録対象者であることを示し、「F」はイベント記録対象者ではないことを示す。モニタリング対象者ではない人物については、要注意フラグフィールドに「-」が記録されている。
 図22は、イベントDB43のレコードレイアウトを説明する説明図である。イベントDB43は、イベントの記録対象者に発生したイベントを記録するDBである。イベントDB43は、氏名フィールド、発生時刻フィールドおよび要約データフィールドを有する。イベントDB43は1人の記録対象者について1つのレコードを有する。イベントDB43は、補助記憶装置13または制御部11に接続された外部の大容量記憶装置に記憶されている。イベントDB43は、ネットワーク上に分散したいわゆるクラウドサーバに記憶されていてもよい。
 氏名フィールドには、氏名が記録されている。発生時刻フィールドには、イベントが発生した日時が記録されている。要約データフィールドには、イベントの内容、具体的にはスクリーニング検査の結果およびテストの結果が記録されている。
 なお、制御部11はイベントの記録対象者ではないモニタリング対象者に脳卒中を発症した可能性があると判定した場合、ユーザDB42の要注意フラグに「T」を記録する。制御部11は、それ以降に当該モニタリング対象者に発生したイベントをイベントDB43に記録する。
 図23は、実施の形態4のプログラムの処理の流れを説明するフローチャートである。制御部11は、カメラ16により撮影された画像を取得して、リアルタイムで画像解析を行ない、トリガーを検出する(ステップS581)。制御部11は第1検査プログラムを起動する(ステップS582)。制御部11は、第1検査プログラムにより判定された結果を取得する。
 制御部11は、スクリーニング検査に成功したか否かを判定する(ステップS631)。たとえば、トリガーを検出後、スクリーニング検査を終了する前に人物がカメラ16の視野から外れた場合、または、人物がスクリーニング検査に適した動作を行なわなかった場合等は、制御部11はスクリーニング検査に成功していないと判定する。成功していないと判定した場合(ステップS631でNO)、制御部11はステップS581に戻る。
 スクリーニング検査に成功したと判定した場合(ステップS631でYES)、制御部11はスクリーニング検査を受けた人物がモニタリング対象であるか否かを判定する(ステップS632)。
 具体的には、制御部11はスクリーニング検査の過程で撮影した人物の顔と、ユーザDB42の顔画像フィールドに記録されている顔画像とを照合して、同一人物が含まれているレコードを抽出する。抽出したレコードのモニタリング対象フィールドに「T」が記録されている場合、制御部11はスクリーニング検査を受けた人物がモニタリング対象であると判定する。
 抽出したレコードのモニタリング対象フィールドに「T」が記録されていない場合、および、同一人物が含まれているレコードが存在しない場合、制御部11はスクリーニング検査を受けた人物がモニタリング対象ではないと判定する。
 モニタリング対象ではないと判定した場合(ステップS632でNO)、制御部11はステップS581に戻る。モニタリング対象であると判定した場合(ステップS632でYES)、制御部11は、スクリーニング検査の結果が正常であるか否かを判定する(ステップS633)。
 正常である、すなわち脳卒中を発症していないと判定した場合(ステップS633でYES)、制御部11はスクリーニング検査を受けた人物がイベントDB43の記録対象であるか否かを判定する(ステップS634)。具体的には、スクリーニング検査を受けた人物に対応するユーザDB42のレコードにおける要注意フラグフィールドに「T」が記録されている場合、制御部11は当該人物がイベントDB43の記録対象であると判定する。
 記録対象であると判定した場合(ステップS634でYES)、制御部11はイベントDB43に新規レコードを作成して、発生時刻およびスクリーニング結果を要約した要約データを記録する(ステップS635)。記録対象ではないと判定した場合(ステップS634でNO)、またはステップS635の終了後、制御部11はステップS581に戻る。
 正常でない、すなわち脳卒中を発症している可能性があると判定した場合(ステップS633でNO)、制御部11はスクリーニング検査を受けた人物がイベントDB43の記録対象であるか否かを判定する(ステップS641)。記録対象ではないと判定した場合(ステップS641でNO)、制御部11はユーザDB42の当該人物に対応するレコードを抽出して、要注意フラグフィールドのデータを「F」から「T」に更新する(ステップS642)。
 イベントDB43の記録対象であると判定した場合(ステップS641でYES)、またはステップS642の終了後、制御部11はイベントDB43に新規レコードを作成して、発生時刻およびスクリーニング結果を要約した要約データを記録する(ステップS643)。
 制御部11は、テスト2のサブルーチンを起動する(ステップS644)。テスト2のサブルーチンは、対象者を撮影した画像を正像で表示するか、鏡像で表示するかの設定を行なった後に、テストを実施して、結果を記録するサブルーチンである。テスト2のサブルーチンの処理の流れは後述する。
 制御部11は処理を終了するか否かを判定する(ステップS645)。処理を終了しないと判定した場合(ステップS645でNO)、制御部11はステップS581に戻る。処理を終了すると判定した場合(ステップS645でYES)、制御部11は処理を終了する。
 なお、制御部11は、たとえば連続して所定回数のスクリーニング検査で正常ではないと判定した場合に、ユーザDB42の要注意フラグフィールドを更新してもよい。制御部11は、スクリーニング検査の代わりにテストで正常ではないと判定された場合に、ユーザDB42の要注意フラグフィールドを更新してもよい。
 図24は、テスト2のサブルーチンの処理の流れを説明するフローチャートである。テスト2のサブルーチンは、対象者を撮影した画像を正像で表示するか、鏡像で表示するかの設定を行なった後に、テストを実施して、結果を記録するサブルーチンである。
 制御部11は、タッチパネル15の操作を促すメッセージを出力して、対象者をタッチパネル15の前に誘導する(ステップS651)。制御部11は、ユーザ判定用画像を撮影する(ステップS652)。制御部11は、スクリーニング検査を行なった人物が、ユーザ判定用画像に写っている人物に含まれているか否かを判定する。(ステップS653)。含まれていないと判定した場合(ステップS653でNO)、制御部11はイベントDB43の要約フィールドに、スクリーニング検査後の誘導に反応しなかった旨の情報を記録する(ステップS654)。その後、制御部11は処理を終了する。
 含まれていると判定した場合(ステップS653でYES)、制御部11はユーザ判定用画像に写っている人物全員がユーザDB42に登録されているか否かを判定する(ステップS661)。全員が登録されていると判定した場合(ステップS661でYES)、制御部11はカメラ16により撮影された画像を、タッチパネル15に鏡像で表示するように、表示モードを設定する(ステップS662)。
 ユーザ判定用画像に写っている人物に、ユーザDB42に登録されていない人物が含まれていると判定した場合(ステップS661でNO)、制御部11はカメラ16により撮影された画像を、タッチパネル15に正像で表示するように、表示モードを設定する(ステップS663)。
 制御部11はテストのサブルーチンを起動する(ステップS664)。テストのサブルーチンは、図16を使用して説明したサブルーチンと同一である。制御部11はイベントDB43の要約フィールドに、テスト結果の要約を記録する(ステップS665)。その後、制御部11は処理を終了する。
 本実施の形態においては、ステップS652で撮影したユーザ判定用画像にユーザDB42に記録されていない人物が含まれている場合にはカメラ16により撮影された画像の正像をタッチパネル15に表示し、それ以外の場合にはカメラ16により撮影された画像の鏡像をタッチパネル15に表示する。
 ユーザDB42に記録されていない人物は、たとえば救急隊、ヘルパー、ケアマネージャー、または訪問看護師等の訪問者であると想定される。このような訪問者は、対象者本人および家族等に比べて知識、経験共に豊富であり、脳卒中の兆候等に気が付きやすいと考えられる。テスト中に、タッチパネル15に正像を表示することにより、訪問者はテスト中の対象者を正面からみた状態で観察できるため、脳卒中の兆候を判断しやすい。
 なお、タッチパネル15の他にも表示装置が接続されており、制御部11がそれぞれの表示装置の表示を個別に制御できる場合、制御部11は一方には鏡像を、他方には正像を表示してもよい。対象者は鏡像が表示されている表示装置を鏡の代わりに使用して、指示された動作等を実行できる。訪問者および同席している家族は、正像が表示されている表示装置を使用して、対象者を観察できる。
 本実施の形態によると、訪問者が対象者の脳卒中の兆候に気付きやすい情報処理装置10を提供できる。
 制御部11は、対象者本人または医師等の指示に基づいてイベントDB43に記録されているデータを出力する。医師等は、過去に行なわれたスクリーニング検査およびテストの情報を、診断および治療のための参考情報に利用できる。
 異常があると判定されたことのない対象者についてはイベントDB43にデータを記録しないことにより、データの容量および、データを記録するために要する時間を省略できる。異常があると判定されたことのある対象者については、イベントDB43にデータを記録することにより、医師の判断に寄与するデータを保存し、必要に応じて提供できる。
[実施の形態5]
 本実施の形態は、時系列的な変化に基づいてスクリーニング検査結果を判定する情報処理装置10に関する。実施の形態4と共通する部分については、説明を省略する。
 図25は、実施の形態5のプログラムの処理の流れを説明するフローチャートである。ステップS581からステップS631までは、図23を使用して説明した実施の形態4のプログラムの処理の流れと同一であるため、説明を省略する。スクリーニング検査に成功したと判定した場合(ステップS631でYES)、制御部11はスクリーニング検査を受けた人物がイベントDB43の記録対象であるか否かを判定する(ステップS681)。
 記録対象であると判定した場合(ステップS681でYES)、制御部11はユーザDB42から当該人物に関する過去のデータを取得する(ステップS682)。制御部11は、ステップS582で起動した第1検査プログラムから出力されたスクリーニング検査の結果が、過去の検査結果と比較して正常であるか否かを判定する(ステップS683)。具体的には、たとえば制御部11はスクリーニング検査の各項目について、過去1か月間のデータのばらつきの範囲内である場合に、正常であると判定する。
 正常であると判定した場合(ステップS683でYES)、制御部11はイベントDB43の要約フィールドに新規レコードを作成して、発生時刻、今回のスクリーニング検査結果の要約を記録する(ステップS684)。その後、制御部11は処理を終了する。
 記録対象ではないと判定した場合(ステップS681でNO)、制御部11は当該人物がモニタリング対象であるか否かを判定する(ステップS691)。モニタリング対象ではないと判定した場合(ステップS691でNO)、制御部11はステップS581に戻る。
 モニタリング対象であると判定した場合(ステップS691でYES)、制御部11はステップS582で起動した第1検査プログラムから出力されたスクリーニング検査の結果が正常であるか否かを判定する(ステップS692)。正常であると判定した場合(ステップS692でYES)、制御部11はステップS581に戻る。
 正常でない、すなわち脳卒中を発症している可能性があると判定した場合(ステップS692でNO)、制御部11はユーザDB42の当該人物に対応するレコードを抽出して、要注意フラグフィールドのデータを「F」から「T」に更新する(ステップS693)。
 正常ではないと判定した場合(ステップS683でNO)、またはステップS693の終了後、制御部11はイベントDB43に新規レコードを作成して、発生時刻およびスクリーニング結果を要約した要約データを記録する(ステップS643)。以後の処理は図23を使用して説明した実施の形態4のプログラムの処理の流れと同一であるため、説明を省略する。
 図26は、実施の形態5の画面例である。図19を使用して説明した画面において、医師が詳細ボタン78を選択した場合に、図26に示す画面が表示される。画面には、グラフ欄57が表示されている。図26に示す例では、グラフ欄57の横軸は日付であり、縦軸はテスト項目の一つである口角の非対称度である。グラフ欄57の下に、各日付において口角の非対称度の判定に使用した画像が表示されている。
 医師は、6月3日に実施したテストで口角の非対称度が突然上昇し、その後元に戻ったことを確認できる。それぞれの判定に使用された画像が表示されることにより、医師は口角の非対称度の数値自体の妥当性を確認できる。
 本実施の形態によると、スクリーニング検査で大きな変動があった場合にテストを実施する情報処理装置10を提供できる。たとえば過去の脳卒中発作に後遺症等によりスクリーニング検査で異常と判定されやすい対象者であっても、テストを実施する頻度を低減できる。
[実施の形態6]
 本実施の形態は、ユーザ判定用画像に一人だけが写っている場合に、当該人物の名前を確認する情報処理装置10に関する。実施の形態1と共通する部分については、説明を省略する。
 図27は、実施の形態6のユーザ特定のサブルーチンの処理の流れを説明するフローチャートである。図27のサブルーチンは、図5を使用して説明したサブルーチンまたは図13を使用して説明したサブルーチンの代わりに使用される。
 ステップS521からステップS523まで、およびステップS523でNOと判定した場合の処理の流れは、図5を使用して説明したサブルーチンの処理の流れと同一であるため、説明を省略する。
 一人の顔であると判定した場合(ステップS523でYES)、制御部11はユーザ判定用画像に写っている人物の顔として、ユーザDB42の顔画像フィールドに記録されている顔画像とを照合して、ユーザ判定用画像に写っている人物に関するレコードを抽出する(ステップS701)。
 制御部11は、たとえば「田中太郎さんですか? (y/n)」のようなメッセージをタッチパネル15に表示する(ステップS702)。制御部11は、正解である旨の回答を受け付けたか否かを判定する(ステップS703)。正解である旨の回答を受け付けたと判定した場合(ステップS703でYES)、制御部11はステップS521で検出した顔に、ユーザの顔である旨のフラグを付けて主記憶装置12または補助記憶装置13に一時的に記憶する(ステップS524)。制御部11はユーザの特定に成功した旨のフラグを立てる(ステップS525)。その後、制御部11は処理を終了する。
 所定の時間内に正解である旨の回答を受け付けていないと判定した場合(ステップS703でNO)、制御部11はユーザの特定に失敗した旨のフラグを立てる(ステップS704)。その後、制御部11は処理を終了する。
 本実施の形態によると、ユーザ判定用画像に写っている人物が一人だけである場合であっても、ユーザからの応答を受け付ける情報処理装置10を提供できる。
 なお制御部11は、ステップS532でユーザによる選択を受け付けた後に、ステップS701からステップS703と同様の処理を行ないユーザの名前を確認してもよい。
[実施の形態7]
 本実施の形態は、救急隊等、ヘルパー、ケアマネージャー、または訪問看護師等の訪問者が同席している場合には、画像DB41に記録されている画像を正像で表示する情報処理装置10に関する。実施の形態1と共通する部分については、説明を省略する。
 図28は、実施の形態7のプログラムの処理の流れを説明するフローチャートである。なお、図28を使用して説明するフローチャートの実行と平行して、画像DB41に随時新しい画像が記録される。図28を使用して説明するフローチャート内で撮影した画像は、画像DB41に記録されても、記録されなくてもよい。
 制御部11は、ユーザから受け付けた指示に基づいてカメラ16を制御して、静止画であるユーザ判定用画像を撮影する(ステップS721)。制御部11は、ユーザ判定用画像について顔検出を行なう(ステップS722)。
 制御部11は、顔検出に成功したか否かを判定する(ステップS723)。たとえば、ユーザがカメラ16に顔を向けていない場合、ユーザ判定用画像にユーザの顔が映らない。したがって、ステップS722の顔検出は成功しない。
 成功していないと判定した場合(ステップS723でNO)、制御部11はステップS721に戻る。成功したと判定した場合(ステップS723でYES)、制御部11はユーザ判定用画像に写っている人物全員がユーザDB42に登録されているか否かを判定する(ステップS724)。
 全員が登録されていると判定した場合(ステップS724でYES)、制御部11は画像DB41に記録されている画像の中から処理対象画像の選択を受け付ける(ステップS725)。制御部11は、ユーザ判定画像中の人物に処理対象画像に写っている本人が含まれているか否かを判定する(ステップS726)。
 含まれていると判定した場合(ステップS726でYES)、制御部11は処理対象画像を鏡像で表示する(ステップS727)。含まれていないと判定した場合(ステップS726でNO)、制御部11は処理対象画像を正像で表示する(ステップS728)。
 ステップS727またはステップS728の終了後、制御部11は別の処理対象画像を表示するか否かを判定する(ステップS729)。表示すると判定した場合(ステップS729でYES)、制御部11はステップS725に戻る。
 画像DB41に登録されていない人物が含まれると判定した場合(ステップS724でNO)、制御部11は画像DB41に記録されている画像の中から処理対象画像の選択を受け付ける(ステップS731)。制御部11は処理対象画像を正像で表示する(ステップS732)。制御部11は別の処理対象画像を表示するか否かを判定する(ステップS733)。表示すると判定した場合(ステップS733でYES)、制御部11はステップS731に戻る。
 別の処理対象画像を表示しないと判定した場合(ステップS729でNO、または、ステップS733でNO)、制御部11は処理を終了するか否かを判定する(ステップS734)。処理を終了しないと判定した場合(ステップS734でNO)、制御部11はステップS721に戻る。処理を終了すると判定した場合(ステップS734でYES)、制御部11は処理を終了する。
 本実施の形態によると、訪問者が対象者の脳卒中の兆候に気付きやすい態様で画像DB41に記録されている画像を表示する情報処理装置10を提供できる。
[実施の形態8]
 本実施の形態は、スクリーニング検査で明らかに異常がみられる場合には、速やかに通知を送信する情報処理装置10に関する。実施の形態3と共通する部分については、説明を省略する。
 図29は、実施の形態8のプログラムの処理の流れを説明するフローチャートである。ステップS581からステップS583までの処理は、図15を使用して説明した実施の形態3のプログラムの処理と同様であるため、説明を省略する。
 正常でない、すなわち脳卒中を発症している可能性があると判定した場合(ステップS583でNO)、制御部11は対象者の状態が明らかな異常があるか否かを判定する(ステップS741)。明らかな異常とは、転倒、顔の左右の動きが明らかに異なる、片方の手足に麻痺または振戦が生じている、痙攣している等の状態を意味する。
 明らかな異常はないと判定した場合(ステップS741でNO)、制御部11はたとえば「スクリーニング検査を実施して異常が見られました。タッチパネルの前に来てください」等のタッチパネル15の操作を促すメッセージを出力して、対象者をタッチパネル15の前に誘導する(ステップS584)。以後の処理は、図15を使用して説明した実施の形態3のプログラムの処理と同様であるため、説明を省略する。
 明らかな異常があると判定した場合(ステップS741でYES)、制御部11はたとえば「体調に異常があります。緊急連絡先に通知します。」等のメッセージを出力する(ステップS742)。
 制御部11は、他人用の情報を作成する(ステップS743)。他人用の情報には、スクリーニング検査の結果と、スクリーニング検査中に撮影された対象者の画像の正像とが含まれる。制御部11は、かかりつけ医および家族等の事前に登録されている連絡先に、作成した情報を送信する(ステップS744)。
 制御部11は、本人用の情報を作成する(ステップS745)。本人用の情報には、スクリーニング検査の結果と、スクリーニング検査中に撮影された対象者の画像の正像および鏡像とが含まれる。制御部11は、それぞれに画像に正像であるか鏡像であるかを示すマーカまたはタグを付与する。制御部11は、本人のスマートフォン等に本人用の情報を送信する(ステップS746)。その後、制御部11はステップS590に進む。
 なお制御部11は、実施の形態3と同様に医師用の情報と家族用の情報をそれぞれ作成して送信してもよい。また、ステップS744において、制御部11は他人用の情報をWEBサーバにアップロードし、登録されている連絡先へアップロードした情報を閲覧可能なURL(Uniform Resource Locator)を送信してもよい。同様にステップS746において、制御部11は本人用の情報をWEBサーバにアップロードし、本人のスマートフォン等へアップロードした情報を閲覧可能なURLを送信してもよい。
 本実施の形態によると、対象者の体調に明らかに異常があり、テストを行なうためのメッセージに反応できないような状態である場合に、家族等への通知を速やかに行なう情報処理装置10を提供できる。
[実施の形態9]
 図30は、実施の形態9の情報処理装置10の構成を説明する説明図である。本実施の形態は、汎用のコンピュータ90と、プログラム97とを組み合わせて動作させることにより、本実施の形態の情報処理装置10を実現する形態に関する。実施の形態1と共通する部分については、説明を省略する。
 コンピュータ90は、前述の制御部11、主記憶装置12、補助記憶装置13、通信部14、タッチパネル15、カメラ16およびバスに加えて読取部19を備える。
 プログラム97は、可搬型記録媒体96に記録されている。制御部11は、読取部19を介してプログラム97を読み込み、補助記憶装置13に保存する。また制御部11は、コンピュータ90内に実装されたフラッシュメモリ等の半導体メモリ98に記憶されたプログラム97を読出してもよい。さらに、制御部11は、通信部14および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム97をダウンロードして補助記憶装置13に保存してもよい。
 プログラム97は、コンピュータ90の制御プログラムとしてインストールされ、主記憶装置12にロードして実行される。以上により、実施の形態1で説明した情報処理装置10が実現される。本実施の形態のプログラム97は、プログラム製品の例示である。
 プログラム97は、単一のコンピュータ上で、または一つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。
 各実施例で記載されている技術的特徴(構成要件)はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
 今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 請求の範囲に記載した独立請求項および従属請求項は、引用形式に関わらずあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載しても良い。
 11  制御部
 12  主記憶装置
 13  補助記憶装置
 14  通信部
 15  タッチパネル
 151 表示部
 152 入力部
 16  カメラ
 19  読取部
 41  画像DB
 42  ユーザDB
 43  イベントDB
 51  リアルタイム欄
 52  静止画欄
 53  ユーザ画像欄
 54  候補画像欄
 55  処理対象画像欄
 56  近影欄
 57  グラフ欄
 58  バウンディングボックス
 61  開始ボタン
 62  再撮影ボタン
 63  キャンセルボタン
 64  モードボタン
 65  別画像ボタン
 66  切替ボタン
 67  連絡先ボタン
 671 第1連絡先ボタン
 672 第2連絡先ボタン
 673 第3連絡先ボタン
 681 はいボタン
 682 いいえボタン
 69  終了ボタン
 71  メッセージ欄
 72  検査結果欄
 77  動画ボタン
 78  詳細ボタン
 90  コンピュータ
 96  可搬型記録媒体
 97  プログラム
 98  半導体メモリ

Claims (18)

  1.  被写体にユーザを含むユーザ判定用画像を撮影し、
     処理対象画像の選択を受け付け、
     前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザである場合、前記処理対象画像を鏡像で出力し、
     前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザではない場合、前記処理対象画像を正像で出力する
     処理をコンピュータが実行する情報処理方法。
  2.  前記ユーザ判定用画像に複数の人物が含まれる場合、どの人物が前記ユーザであるかの選択を受け付ける
     請求項1に記載の情報処理方法。
  3.  前記ユーザ判定用画像に複数の人物が含まれる場合、面積が最大である人物が前記ユーザであると判定する
     請求項1に記載の情報処理方法。
  4.  前記処理対象画像に写っている人物が前記ユーザであるか否かの選択を受け付ける
     請求項1に記載の情報処理方法。
  5.  前記処理対象画像に写っている人物と、前記ユーザ判定用画像に写っている人物とが類似している場合、前記処理対象画像に写っている人物が前記ユーザであると判定する
     請求項1に記載の情報処理方法。
  6.  鏡像であるか正像であるかを示すマーカを付与した前記処理対象画像を出力する
     請求項1に記載の情報処理方法。
  7.  前記ユーザ判定用画像に写る可能性がある人物の画像と、前記人物がモニタリング対象であるか否かとを関連づけて記録したユーザデータベースを参照して、前記ユーザ判定用画像に写っている人物を識別し、
     前記ユーザデータベースを参照して、識別した前記人物がモニタリング対象であるか否かを判定し、
     モニタリング対象であると判定した場合、前記人物が脳卒中を発症している可能性に関する第1検査を実行して結果を出力する第1検査プログラムを起動する
     請求項1に記載の情報処理方法。
  8.  前記ユーザデータベースは、前記ユーザ判定用画像に写る可能性がある人物の画像と、前記人物がモニタリング対象であるか否かとに加えて、前記人物がイベント記録対象者であるか否かを関連づけて記録しており、
     前記第1検査プログラムにより、前記ユーザが脳卒中を発症している可能性があると出力された場合、前記ユーザデータベースに、前記ユーザがイベント記録対象者である旨を記録する
     請求項7に記載の情報処理方法。
  9.  前記ユーザデータベースは、前記ユーザ判定用画像に写る可能性がある人物の画像と、前記人物がモニタリング対象であるか否かとに加えて、前記人物がイベント記録対象者であるか否かを関連づけて記録しており、
     前記ユーザデータベースを参照して、識別した前記人物がイベント記録対象者であるか否かを判定し、
     イベント記録対象者であると判定した場合、前記ユーザにイベントが発生した日時と、前記イベントの内容とを関連づけて記録するイベントデータベースに、前記第1検査を実施した日時と、前記第1検査の結果とを関連づけて記録する
     請求項7に記載の情報処理方法。
  10.  前記第1検査プログラムにより、前記ユーザが脳卒中を発症している可能性があると出力された場合、前記ユーザに対して所定の動作を促して、前記ユーザの反応を判定する第2検査を実行して結果を出力する第2検査プログラムを起動する
     請求項7に記載の情報処理方法。
  11.  前記ユーザにイベントが発生した日時と、前記イベントの内容とを関連づけて記録するイベントデータベースに、前記第2検査プログラムを起動した日時と、前記第2検査プログラムにより出力された結果とを関連づけて記録する
     請求項10に記載の情報処理方法。
  12.  前記第2検査プログラムにより前記ユーザが脳卒中を発症している可能性があると出力された場合、
     所定の連絡先に通知を送る
     請求項10に記載の情報処理方法。
  13.  前記第2検査プログラムにより出力された結果が、前記イベントデータベースに記録されている過去に実施した前記第2検査プログラムにより出力された結果に対して所定の閾値を超える変化がある場合、
     所定の連絡先に通知を送る
     請求項11に記載の情報処理方法。
  14.  前記連絡先が専門家である場合、前記通知に前記第2検査プログラムにより出力された結果に関する詳細情報を含める
     請求項12または請求項13に記載の情報処理方法。
  15.  前記通知は、前記ユーザを撮影した画像を含む
     請求項12または請求項13に記載の情報処理方法。
  16.  前記通知は、前記ユーザを撮影した画像を閲覧可能なURL(Uniform Resource Locator)を含む
     請求項12または請求項13に記載の情報処理方法。
  17.  被写体にユーザを含むユーザ判定用画像を撮影させ、
     撮影させた前記ユーザ判定用画像を取得し、
     処理対象画像の選択を受け付け、
     前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザである場合、前記処理対象画像を鏡像で出力し、
     前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザではない場合、前記処理対象画像を正像で出力する
     処理をコンピュータに実行させるプログラム。
  18.  制御部を備える情報処理装置であって、
     前記制御部は
      被写体にユーザを含むユーザ判定用画像を撮影させ、
     撮影させた前記ユーザ判定用画像を取得し、
      処理対象画像の選択を受け付け、
      前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザである場合、前記処理対象画像を鏡像で出力し、
      前記処理対象画像に写っている人物が前記ユーザ判定用画像に含まれる前記ユーザではない場合、前記処理対象画像を正像で出力する
     情報処理装置。
PCT/JP2023/033583 2022-09-27 2023-09-14 情報処理方法、プログラムおよび情報処理装置 WO2024070741A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-153965 2022-09-27
JP2022153965 2022-09-27

Publications (1)

Publication Number Publication Date
WO2024070741A1 true WO2024070741A1 (ja) 2024-04-04

Family

ID=90477656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/033583 WO2024070741A1 (ja) 2022-09-27 2023-09-14 情報処理方法、プログラムおよび情報処理装置

Country Status (1)

Country Link
WO (1) WO2024070741A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304308A (ja) * 2001-10-31 2003-10-24 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2009204817A (ja) * 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP3154529U (ja) * 2009-07-31 2009-10-22 佐藤 均 テレビジョン受像機、携帯電話機、及び電子鏡
JP2013236252A (ja) * 2012-05-09 2013-11-21 Nec Casio Mobile Communications Ltd 画像処理装置及び画像処理方法並びにコンピュータプログラム
JP2020199072A (ja) * 2019-06-10 2020-12-17 国立大学法人滋賀医科大学 脳卒中判定装置、方法およびプログラム
US20220044821A1 (en) * 2018-12-11 2022-02-10 Cvaid Ltd Systems and methods for diagnosing a stroke condition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304308A (ja) * 2001-10-31 2003-10-24 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2009204817A (ja) * 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP3154529U (ja) * 2009-07-31 2009-10-22 佐藤 均 テレビジョン受像機、携帯電話機、及び電子鏡
JP2013236252A (ja) * 2012-05-09 2013-11-21 Nec Casio Mobile Communications Ltd 画像処理装置及び画像処理方法並びにコンピュータプログラム
US20220044821A1 (en) * 2018-12-11 2022-02-10 Cvaid Ltd Systems and methods for diagnosing a stroke condition
JP2020199072A (ja) * 2019-06-10 2020-12-17 国立大学法人滋賀医科大学 脳卒中判定装置、方法およびプログラム

Similar Documents

Publication Publication Date Title
CN109477951B (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
WO2021015381A1 (en) Pulmonary function estimation
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
JP6668942B2 (ja) 撮影制御装置、プログラム及び方法
JP2019185752A (ja) 画像抽出装置
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP2019152914A (ja) 保育施設児童見守りシステム及び情報処理方法
WO2024070741A1 (ja) 情報処理方法、プログラムおよび情報処理装置
US20230360199A1 (en) Predictive data analysis techniques using a hierarchical risk prediction machine learning framework
JP6827734B2 (ja) 検知システム、検知方法及びプログラム
JP7009021B2 (ja) 異常者予知システム、異常者予知方法、およびプログラム
JP6734487B2 (ja) 地域別笑顔度表示システム、地域別笑顔度表示方法及びプログラム
JP2021068432A (ja) 試験システム、サーバおよび試験方法
WO2023171356A1 (ja) 患者モニタリングシステム、患者モニタリング方法、およびプログラム
JP2020177383A (ja) 高齢者等見守システム
TWM579360U (zh) Questioning system for detecting facial expressions
JP2020107216A (ja) 情報処理装置、その制御方法およびプログラム
JP7476091B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7310929B2 (ja) 運動メニュー評価装置、方法、及びプログラム
US20220386981A1 (en) Information processing system and information processing method
JP7355969B1 (ja) 情報処理システム、情報処理方法、プログラム
WO2023054295A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2023189313A1 (ja) プログラム、情報処理装置、および情報処理方法
US20240115175A1 (en) Communication apparatus, communication method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871974

Country of ref document: EP

Kind code of ref document: A1