WO2024090218A1 - 診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法 - Google Patents

診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法 Download PDF

Info

Publication number
WO2024090218A1
WO2024090218A1 PCT/JP2023/036984 JP2023036984W WO2024090218A1 WO 2024090218 A1 WO2024090218 A1 WO 2024090218A1 JP 2023036984 W JP2023036984 W JP 2023036984W WO 2024090218 A1 WO2024090218 A1 WO 2024090218A1
Authority
WO
WIPO (PCT)
Prior art keywords
diagnostic
user
face
unit
diagnosis
Prior art date
Application number
PCT/JP2023/036984
Other languages
English (en)
French (fr)
Inventor
剛 武樋
素樹 ▲高▼田
怡 陳
洋平 小林
めぐみ 関野
駿騁 李
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Publication of WO2024090218A1 publication Critical patent/WO2024090218A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to a diagnostic system, a diagnostic device, a program, a diagnostic method, a skin diagnostic method, and a stress diagnostic method.
  • Patent Document 1 describes a method of acquiring multiple images showing the process of a change in facial expression, extracting images between the image where the facial expression change begins and the image where the facial expression change ends as analysis targets, and analyzing skin features using the extracted images.
  • the imaging method and the user's facial condition required for one diagnosis are different from those required for another diagnosis. Therefore, when performing multiple types of diagnoses, the necessary requirements for each diagnosis must be met, which means many diagnostic procedures and a burden on the user.
  • the present invention aims to provide efficient diagnosis when the essential requirements for each diagnosis are different.
  • the diagnostic system which is one embodiment of the present invention, is a system including a terminal and a server, and includes a first diagnostic processing unit that executes a first diagnostic process, a second diagnostic processing unit that executes a second diagnostic process different from the first diagnostic process, a face state detection unit that detects the state of the user's face, and a diagnostic process switching unit that determines whether to execute the first diagnostic process or the second diagnostic process depending on the result of the detection.
  • the present invention allows for efficient diagnosis when the essential requirements for each diagnosis are different.
  • FIG. 11 is a diagram for explaining a process flow when a plurality of types of diagnoses are executed in sequence.
  • FIG. 1 is a diagram for explaining an overview of the present invention. 1 is an example of an overall configuration according to an embodiment of the present invention. 1 is a functional block diagram of a diagnostic device according to an embodiment of the present invention; 4 is a flowchart of a diagnostic process according to an embodiment of the present invention.
  • FIG. 2 is a hardware configuration diagram of a diagnostic device and a terminal according to an embodiment of the present invention.
  • step 1 (S1) a device with an imaging function, such as a smart mirror, captures an image of the user's face when the user is looking straight ahead. Note that a high-resolution image and an image of the user's straight face are required for skin diagnosis.
  • step 2 the user's skin is diagnosed using the image captured in S1.
  • step 3 the skin diagnosis mode of S1 and S2 is switched to the stress diagnosis mode.
  • step 4 the smart mirror or the like takes an image of the user's face when they are smiling. Note that in order to diagnose stress, a low-resolution image of the user smiling is required. S4 will be explained in detail below in steps 41 to 43.
  • step 41 (S41) the smart mirror or the like instructs the user to keep a straight face.
  • step 42 the smart mirror or the like instructs the user to smile.
  • step 43 (S43) the smart mirror or the like takes a picture of the user.
  • step 5 (S5) the user's stress is diagnosed using the image captured in S4.
  • FIG. 2 is a diagram for explaining an outline of the present invention.
  • step 100 a device with an imaging function, such as a smart mirror, starts taking a video of the user's face. If a straight face is detected during video recording, the process proceeds to step 101, and if a smiling face is detected during video recording, the process proceeds to step 111.
  • an imaging function such as a smart mirror
  • step 101 it is assumed that the user's straight face is detected during video capture that was started in S100.
  • step 102 in response to the detection of the user's straight face in S101, the smart mirror or the like switches to a high-resolution shooting mode and captures a picture of the user's face (takes a still image).
  • step 103 the user's skin is diagnosed using the image captured in S102.
  • the smart mirror or the like then resumes capturing video of the user's face.
  • step 104 it is assumed that the user's smile is detected during video recording that was resumed in S103.
  • step 105 in response to the user's smile being detected in S104, the smart mirror or the like switches to a low-resolution shooting mode and captures a picture of the user's face (takes a still image).
  • step 106 the image captured in S105 is used to diagnose the user's stress.
  • step 111 it is assumed that the user's smile is detected during video capture that was started in S100.
  • step 112 in response to the user's smile being detected in S111, the smart mirror or the like switches to a low-resolution shooting mode and captures a picture of the user's face (takes a still image).
  • step 113 the image captured in S112 is used to diagnose the user's stress. After that, the smart mirror or the like resumes capturing video of the user's face.
  • step 114 it is assumed that the user's straight face is detected during video recording that was resumed in S113.
  • step 115 in response to the detection of the user's straight face in S114, the smart mirror or the like switches to a high-resolution shooting mode and captures a picture of the user's face (takes a still image).
  • step 116 the user's skin is diagnosed using the image captured in S115.
  • FIG. 3 shows an example of the overall configuration according to an embodiment of the present invention.
  • the diagnostic system 1 includes a diagnostic device (e.g., a server) 10 and a terminal 11.
  • the diagnostic device 10 and the terminal 11 are communicably connected via an arbitrary network.
  • a user 20 or a beauty consultant at a cosmetics store, etc. operates the terminal 11. Each of them will be described below.
  • the diagnostic device 10 is a device that determines which of a plurality of diagnostic processes (a first diagnostic process and a second diagnostic process different from the first diagnostic process) to execute in accordance with the facial state of the user 20, and executes the diagnostic process.
  • the diagnostic device 10 is a server or the like that is composed of one or a plurality of computers.
  • the diagnostic device 10 detects the facial expression of the user 20 based on the characteristics of an image in which the face of the user 20 is captured.
  • the diagnostic device 10 causes the terminal 11 to capture a still image in high image quality
  • the diagnostic device 10 causes the terminal 11 to capture a still image in low image quality.
  • the terminal 11 photographs the face of the user 20 and transmits the photographed image to the diagnostic device 10.
  • the terminal 11 also receives and displays the results of the diagnosis by the diagnostic device 10.
  • the terminal 11 may execute part of the processing of the diagnostic device 10 described in this specification.
  • the terminal 11 is a smart mirror (specifically, a display with an imaging function) installed in a store, a smartphone with an imaging function, a tablet with an imaging function, etc.
  • the terminal 11 without an imaging function may acquire an image by having an imaging device take a photograph.
  • the diagnostic device 10 is a device that determines which of a plurality of diagnostic processes (a first diagnostic process and a second diagnostic process different from the first diagnostic process) to execute according to the state of the face of the user 20, and executes the diagnostic process.
  • the diagnostic device 10 is a smart mirror (specifically, a display with an imaging function), a smartphone with an imaging function, a tablet with an imaging function, etc. Note that the diagnostic device 10 that does not have an imaging function may acquire an image by having an imaging device take a photograph.
  • the diagnostic device 10 captures an image of the face of the user 20 and detects the facial expression of the user 20 based on the characteristics of the image of the face of the user 20.
  • the diagnostic device 10 captures a still image with high image quality when the facial expression of the user 20 is serious, and captures a still image with low image quality when the facial expression of the user 20 is smiling, and displays the diagnosis result.
  • ⁇ Function block> 4 is a functional block diagram of a diagnostic device 10 according to an embodiment of the present invention.
  • the diagnostic device 10 includes an image acquisition unit 101, a face state detection unit 102, a first judgment unit 103, a second judgment unit 104, a diagnostic process switching unit 105, a first diagnostic processing unit 106, a second diagnostic processing unit 107, a diagnostic history storage unit 108, a reception unit 109, and a notification unit 110.
  • the diagnostic device 10 executes a program to function as the image acquisition unit 101, the face state detection unit 102, the first judgment unit 103, the second judgment unit 104, the diagnostic process switching unit 105, the first diagnostic processing unit 106, the second diagnostic processing unit 107, the reception unit 109, and the notification unit 110.
  • the image acquisition unit 101 acquires an image of the face of the user 20. For example, the image acquisition unit 101 acquires a video captured when the imaging mode is the "video capture mode”. The image acquisition unit 101 also acquires a high-quality still image captured when the imaging mode is the "skin diagnosis mode”. The image acquisition unit 101 also acquires a low-quality still image captured when the imaging mode is the "stress diagnosis mode”.
  • the face state detection unit 102 detects the face state of the user 20.
  • the face state detection unit 102 detects the facial expression of the user 20 based on the characteristics of the image acquired by the image acquisition unit 101. Specifically, the face state detection unit 102 determines whether the user 20 has a straight face based on the coordinates of each part of the user 20's face (e.g., eyes, nose, mouth, etc.) in a video captured when the imaging mode is the "video capture mode”. The face state detection unit 102 also determines whether the user 20 is smiling based on the coordinates of each part of the user 20's face (e.g., eyes, nose, mouth, etc.) in a video captured when the imaging mode is the "video capture mode".
  • the first determination unit 103 determines whether the first diagnostic process has already been executed a predetermined number of times (at least once). For example, the first determination unit 103 can determine whether the first diagnostic process has already been executed a predetermined number of times within a session (i.e., whether it has already been executed within a series of processes currently being performed). For example, the first determination unit 103 can determine whether the first diagnostic process has already been executed a predetermined number of times outside a session (e.g., whether it has already been executed on another day in the past) (Note that the first determination unit 103 can determine whether the user 20 has executed the first diagnostic process outside a session by identifying the user 20 through facial recognition, input of an ID, etc.).
  • the second determination unit 104 determines whether the second diagnostic process has already been executed a predetermined number of times (at least once). For example, the second determination unit 104 can determine whether the second diagnostic process has already been executed a predetermined number of times within a session (i.e., whether it has already been executed within a series of processes currently being performed). For example, the second determination unit 104 can determine whether the second diagnostic process has already been executed a predetermined number of times outside a session (e.g., whether it has already been executed on another day in the past) (Note that the second determination unit 104 can determine whether the user 20 has executed the second diagnostic process outside a session by identifying the user 20 through facial recognition, input of an ID, etc.).
  • the diagnostic process switching unit 105 determines whether to execute the first diagnostic process or the second diagnostic process depending on the result detected by the face state detection unit 102 (e.g., the facial expression of the user 20).
  • the first diagnostic processing unit 106 executes the first diagnostic processing.
  • the first diagnostic processing unit 106 can execute the first diagnostic processing when the first determination unit 103 determines that the first diagnostic processing has not yet been executed a predetermined number of times. For example, a representative value such as an average value of the results of diagnoses executed multiple times may be used, or a portion of the results of diagnoses executed multiple times may be used.
  • the predetermined number of times may be set by the user 20.
  • the second diagnostic processing unit 107 executes a second diagnostic processing different from the first diagnostic processing.
  • the second diagnostic processing unit 107 can execute the second diagnostic processing when the second judgment unit 104 judges that the second diagnostic processing has not yet been executed a predetermined number of times. For example, a representative value such as an average value of the results of diagnoses executed multiple times may be used, or a portion of the results of diagnoses executed multiple times may be used.
  • the predetermined number of times may be set by the user 20.
  • the user 20 may select either the first diagnostic process only, the second diagnostic process only, or both the first diagnostic process and the second diagnostic process, and the first diagnostic processing unit 106 and the second diagnostic processing unit 107 may execute the diagnostic process selected by the user 20.
  • the diagnosis history storage unit 108 stores a history of when the first diagnosis process was performed and a history of when the second diagnosis process was performed.
  • An expiration date may be set for each piece of history information, and the first judgment unit 103, the first diagnosis processing unit 106, the second judgment unit 104, and the second diagnosis processing unit 107 may use only the history information within the expiration date (the expiration date may be set manually or automatically based on past data (e.g., the progress of an individual's diagnosis results (progression of stress state)), the season, etc.).
  • the reception unit 109 receives instructions (e.g., settings) input by the user 20 to the terminal 11 (in the case of configuration example 1) or the diagnostic device 10 (in the case of configuration example 2).
  • instructions e.g., settings
  • the notification unit 110 notifies the user 20 of information (e.g., the results of the diagnosis) by displaying it on the screen of the terminal 11 (in the case of configuration example 1) or the diagnostic device 10 (in the case of configuration example 2).
  • information e.g., the results of the diagnosis
  • the notification unit 110 can specify a first face state or a second face state for the user 20 (and the face state detection unit 102 can set the face state specified by the notification unit 110 as the detected face state of the user).
  • the notification unit 110 can notify the user 20 of the undetected face state.
  • the certain period of time may be set by the user 20, or may be determined based on past detection times (for example, the average or longest time required to detect the face states of multiple users in the past, or a detection time is set for each individual from the past detection times for each individual).
  • the diagnostic device 10 may skip processing related to the face condition that has not been detected within a certain period of time (i.e., not execute diagnostic processing).
  • the diagnostic device 10 may also inquire of the user 20 as to whether or not to skip.
  • the diagnostic device 10 may also switch between automatically executing the skip and inquiring of the user 20 as to whether or not to skip.
  • the diagnostic device 10 may also notify the user 20 that the skip has been executed.
  • facial state will be described in detail.
  • the facial state of the user 20 is "expression” will be mainly described, but the present invention is not limited to this, and the facial state of the user 20 may be any facial state such as "face position” or "face direction”.
  • the facial state may be a combination of two or more of "expression", "face position", and "face direction”.
  • the facial state of the user 20 is the facial expression of the user 20.
  • the facial expressions are a "straight face” and a “smiling face” are mainly described, but the present invention is not limited to this, and other facial expressions may also be used.
  • a neutral face is an expression when no emotion is shown on the face (expressionless), and for example, whether or not the user 20 has a neutral face is determined based on the coordinates of each part of the user's 20 face in the image (e.g., eyes, nose, mouth, etc.). For example, if the height of the corners of the mouth is equal to or less than a certain value relative to the height of the center of the mouth, the face is determined to be neutral. Note that the determination may also be made based on the results of machine learning that distinguishes between neutral and smiling faces from a large number of previously acquired photographs of facial expressions.
  • a smile is a smiling expression, and for example, it is determined whether or not the user 20 is smiling based on the coordinates of each part of the user's 20 face in the image (e.g., eyes, nose, mouth, etc.). For example, if the height of the corners of the mouth is equal to or greater than a certain value relative to the height of the center of the mouth, it is determined to be smiling. Note that the determination may also be made based on the results of machine learning that distinguishes between straight faces and smiling faces from a large number of previously acquired photographs of facial expressions.
  • the facial state of the user 20 is the position of the user's 20 face.
  • the state of the face of the user 20 is "face position"
  • the distance between the position of the face of the user 20 and the position of the terminal 11 (in the case of configuration example 1) or the diagnostic device 10 (in the case of configuration example 2) is short (i.e., the face is photographed from close up)
  • a diagnosis can be performed in which it is appropriate to use an image of the face photographed from close up
  • the distance between the position of the face of the user 20 and the position of the terminal 11 (in the case of configuration example 1) or the diagnostic device 10 (in the case of configuration example 2) is long (i.e., the face is photographed from far away)
  • a diagnosis can be performed in which it is appropriate to use an image of the face photographed from far away.
  • the state of the face of the user 20 is "face position,” if the face of the user 20 is photographed in a first position, a diagnosis can be made that it is appropriate to use the face image photographed in the first position, and if the face of the user 20 is photographed in a second position, a diagnosis can be made that it is appropriate to use the face image photographed in the second position.
  • the facial state of the user 20 is the direction of the user's 20 face.
  • the state of the face of the user 20 is "face orientation”
  • a diagnosis can be made that indicates it is appropriate to use the face image photographed in the first orientation
  • a diagnosis can be made that indicates it is appropriate to use the face image photographed in the second orientation.
  • diagnosis will be described in detail.
  • the diagnosis will be mainly described as a skin diagnosis and a stress diagnosis, but the present invention is not limited to this, and may be any diagnosis such as a body diagnosis including a face diagnosis, a psychological or mental diagnosis, etc.
  • the imaging method for the images required in each diagnostic process is different (i.e., the imaging method for the first diagnostic process is different from the imaging method for the second diagnostic process).
  • the imaging method includes at least one of the following: resolution, angle of view, focal length, and shutter speed.
  • fine lines can be identified from the frequency components of images of each part of the face.
  • the length of the nasolabial folds can be detected by detecting the length of the edge components in the range below the cheeks.
  • smoothness can be determined from the frequency components of an image of the entire cheek.
  • pores and their blockage can be determined from changes in brightness values and the magnitude of the changes.
  • predictions can be made using machine learning that uses measurement results from other devices and visual evaluation results as correct answer data.
  • the positions of the corners of the mouth and the corners of the eyes when smiling are detected, and facial distortion is detected from the positions of the corners of the mouth and the corners of the eyes on both sides of the face.
  • the level of stress can be determined from the degree of facial distortion.
  • the presence or absence of biased chewing may be diagnosed using an image when the face is in a serious state (expression).
  • the presence or absence of teeth grinding/clenching may be diagnosed using an image when the face is in a serious state (expression).
  • sagging may be diagnosed using an image when the face is in a sideways state (face orientation).
  • the scalp may be diagnosed using an image when the face is facing downward.
  • the scalp may be diagnosed using an image when the face is in a state (face position) that is downward relative to the camera lens.
  • Methods 5 is a flowchart of a diagnostic process according to an embodiment of the present invention. The process starts when it is detected that the user 20 is in front of the terminal 11 (in the case of configuration example 1 in FIG. 1 ) or the diagnostic device 10 (in the case of configuration example 2 in FIG. 1 ), or when the user 20 inputs an instruction to the terminal 11 (in the case of configuration example 1 in FIG. 1 ) or the diagnostic device 10 (in the case of configuration example 2 in FIG. 1 ).
  • step 1001 the diagnostic device 10 switches the imaging mode of the terminal 11 (in the case of configuration example 1 in FIG. 1) or the diagnostic device 10 (in the case of configuration example 2 in FIG. 1) to the "video capture mode.” Note that the image captured in the "video capture mode” only needs to be of a quality sufficient to detect the facial expression of the user 20.
  • step 1002 the diagnostic device 10 detects the facial expression of the user 20 while capturing video in the "video capture mode" switched to in S1001.
  • step 1003 the diagnostic device 10 judges whether the facial expression detected in S1002 is a "serious face” or a "smiling face.” If it is a "serious face,” the process proceeds to step 1004, and if it is a "smiling face,” the process proceeds to step 1010.
  • step 1004 the diagnostic device 10 determines whether or not a diagnosis (skin diagnosis) using an image of a straight face has been completed. If a skin diagnosis has been completed, the process proceeds to step 1005, and if a skin diagnosis has not been completed, the process proceeds to step 1007.
  • step 1005 the diagnostic device 10 determines whether or not both the skin diagnosis and the stress diagnosis have been completed. If both the skin diagnosis and the stress diagnosis have been completed, the process proceeds to step 1006, and if either the skin diagnosis or the stress diagnosis has not been completed, the process returns to S1001.
  • step 1006 the diagnostic device 10 displays the diagnosis results on the terminal 11 (in the case of configuration example 1 in FIG. 1) or on the diagnostic device 10 (in the case of configuration example 2 in FIG. 1).
  • step 1007 the diagnostic device 10 switches the imaging mode of the terminal 11 (in the case of configuration example 1 in FIG. 1) or the diagnostic device 10 (in the case of configuration example 2 in FIG. 1) to the "skin diagnosis mode.”
  • step 1008 the diagnostic device 10 causes the terminal 11 (in the case of configuration example 1 in FIG. 1) or the diagnostic device 10 (in the case of configuration example 2 in FIG. 1) to capture a still image in high image quality.
  • step 1009 the diagnostic device 10 executes a skin diagnosis process using the still image of a straight face with high image quality captured in S1008. Then, the process proceeds to step 1005.
  • step 1010 the diagnostic device 10 determines whether or not a diagnosis (stress diagnosis) using an image of a smiling face has been completed. If a stress diagnosis has been completed, the process proceeds to step 1005, and if a stress diagnosis has not been completed, the process proceeds to step 1011.
  • step 1011 the diagnostic device 10 switches the imaging mode of the terminal 11 (in the case of configuration example 1 in FIG. 1) or the diagnostic device 10 (in the case of configuration example 2 in FIG. 1) to the "stress diagnosis mode.”
  • step 1012 the diagnostic device 10 causes the terminal 11 (in the case of configuration example 1 in FIG. 1) or the diagnostic device 10 (in the case of configuration example 2 in FIG. 1) to capture a still image in low image quality.
  • step 1013 the diagnostic device 10 executes a stress diagnosis process using the still image of a smiling face with low image quality captured in S1012. Then, the process proceeds to step 1005.
  • the process switches to and executes a diagnosis (e.g., a skin diagnosis or a stress diagnosis) based on the user's facial condition (e.g., facial expression, facial position, facial orientation, etc.), making it possible to easily perform multiple types of diagnoses without bothering the user or beauty consultants, etc.
  • a diagnosis e.g., a skin diagnosis or a stress diagnosis
  • the user's facial condition e.g., facial expression, facial position, facial orientation, etc.
  • Diagnostic device 10 and terminal 11 can include a control unit 1001, a main memory unit 1002, an auxiliary memory unit 1003, an input unit 1004, an output unit 1005, and an interface unit 1006. Each of these will be described below.
  • the control unit 1001 is a processor (e.g., a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.) that executes various programs installed in the auxiliary memory unit 1003.
  • a processor e.g., a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the main memory unit 1002 includes non-volatile memory (ROM (Read Only Memory)) and volatile memory (RAM (Random Access Memory)).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the ROM stores various programs, data, etc. required for the control unit 1001 to execute the various programs installed in the auxiliary memory unit 1003.
  • the RAM provides a working area into which the various programs installed in the auxiliary memory unit 1003 are expanded when they are executed by the control unit 1001.
  • the auxiliary memory unit 1003 is an auxiliary memory device that stores various programs and information used when the various programs are executed.
  • the input unit 1004 is an input device through which the operator of the diagnostic device 10 and the terminal 11 inputs various instructions to the diagnostic device 10 and the terminal 11.
  • the output unit 1005 is an output device that outputs the internal state of the diagnostic device 10 and the terminal 11, etc.
  • the interface unit 1006 is a communication device that connects to a network and communicates with other devices.
  • Diagnosis system 10 Diagnosis device 11 Terminal 20 User 101 Image acquisition unit 102 Face state detection unit 103 First judgment unit 104 Second judgment unit 105 Diagnosis processing switching unit 106 First diagnosis processing unit 107 Second diagnosis processing unit 108 Diagnosis history storage unit 109 Reception unit 110 Notification unit 1001 Control unit 1002 Main memory unit 1003 Auxiliary memory unit 1004 Input unit 1005 Output unit 1006 Interface unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

各診断で求められる必須要件が異なるときに効率よく診断する。本発明の一実施形態である診断システムは、端末とサーバを含むシステムであって、第１の診断処理を実行する第１の診断処理部と、前記第１の診断処理とは異なる第２の診断処理を実行する第２の診断処理部と、ユーザの顔の状態を検出する顔状態検出部と、前記検出の結果に応じて、前記第１の診断処理と前記第２の診断処理のどちらを実行するかを決定する診断処理切替部と、を備える。

Description

診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法
　本発明は、診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法に関する。
　従来、ユーザの顔を撮影した画像を解析して、ユーザの状態を診断する手法が知られている。例えば、特許文献１には、表情変化の過程を表す複数の画像を取得し、表情変化が開始する画像および表情変化が終了する画像の間の画像を解析対象として抽出し、抽出された画像を用いて、肌の特徴を解析することが記載されている。
特開２０１９－０９８１６８号公報
　ある診断で求められる撮像方法やユーザの顔の状態と、別の診断で求められる撮像方法やユーザの顔の状態と、は異なる。そのため、複数の種類の診断を実行する場合には、それぞれの診断で求められる必須要件を満たさなければならず、診断の手順が多くユーザに負担がかかる。
　そこで、本発明では、各診断で求められる必須要件が異なるときに効率よく診断することを目的とする。
　本発明の一実施形態である診断システムは、端末とサーバを含むシステムであって、第１の診断処理を実行する第１の診断処理部と、前記第１の診断処理とは異なる第２の診断処理を実行する第２の診断処理部と、ユーザの顔の状態を検出する顔状態検出部と、前記検出の結果に応じて、前記第１の診断処理と前記第２の診断処理のどちらを実行するかを決定する診断処理切替部と、を備える。
　本発明によれば、各診断で求められる必須要件が異なるときに効率よく診断することができる。
複数の種類の診断を順に実行するときの処理の流れを説明するための図である。 本発明の概要を説明するための図である。 本発明の一実施形態に係る全体の構成例である。 本発明の一実施形態に係る診断装置の機能ブロック図である。 本発明の一実施形態に係る診断処理のフローチャートである。 本発明の一実施形態に係る診断装置および端末のハードウェア構成図である。
　以下、図面に基づいて本発明の実施の形態を説明する。
　まず、図１を参照しながら、複数の種類の診断（図１の例では、肌の診断とストレスの診断の２つの診断）を順に実行するときの処理の流れを説明する。ステップ1とステップ２では肌の診断の処理が実行され、ステップ4とステップ５ではストレスの診断の処理が実行される。
　ステップ１（Ｓ１）において、スマートミラー等の撮像機能を備えた装置は、ユーザが真顔であるときの顔を撮影する。なお、肌の診断のためには、高解像度の画像かつユーザの真顔の画像が求められる。
　ステップ２（Ｓ２）において、Ｓ１で撮影した画像を用いて、ユーザの肌が診断される。
　ステップ３（Ｓ３）において、Ｓ１およびＳ２の肌診断用モードから、ストレス診断用モードへ切り替えられる。
　ステップ４（Ｓ４）において、スマートミラー等は、ユーザが笑顔であるときの顔を撮影する。なお、ストレスの診断のためには、低解像度の画像かつユーザの笑顔の画像が求められる。以下、ステップ４１～４３で、Ｓ４を詳細に説明する。
　ステップ４１（Ｓ４１）において、スマートミラー等は、ユーザに真顔になるよう指示する。
　ステップ４２（Ｓ４２）において、スマートミラー等は、ユーザに笑顔になるよう指示する。
　ステップ４３（Ｓ４３）において、スマートミラー等は、ユーザを撮影する。
　ステップ５（Ｓ５）において、Ｓ４で撮影した画像を用いて、ユーザのストレスが診断される。
　このように、複数の種類の診断（図１の例では、肌の診断とストレスの診断の２つの診断）を実行する場合には、それぞれの診断に求められる必須要件（図１の例では、肌の診断では、高解像度の真顔の画像が求められ、ストレスの診断では、低解像度の笑顔の画像が求められる）を満たさなければならず、診断の手順が多くユーザに負担がかかる。そこで、本発明では、ユーザの顔の状態によって診断処理を切り替えることとした。
＜概要＞
　図２は、本発明の概要を説明するための図である。
　ステップ１００（Ｓ１００）において、スマートミラー等の撮像機能を備えた装置は、ユーザの顔の動画撮影を開始する。動画撮影中に真顔が検出されるとステップ１０１へ進み、動画撮影中に笑顔が検出されるとステップ１１１へ進む。
　まず、ステップ１０１～１０６について説明する。
　ステップ１０１（Ｓ１０１）において、Ｓ１００で開始された動画撮影中に、ユーザの真顔が検出されたとする。
　ステップ１０２（Ｓ１０２）において、スマートミラー等は、Ｓ１０１でユーザの真顔が検出されたことに応じて、高解像度の撮影モードへ切り替えてユーザの顔を撮影（静止画を撮影）する。
　ステップ１０３（Ｓ１０３）において、Ｓ１０２で撮影した画像を用いて、ユーザの肌が診断される。その後、スマートミラー等は、ユーザの顔の動画撮影を再開する。
　ステップ１０４（Ｓ１０４）において、Ｓ１０３で再開された動画撮影中に、ユーザの笑顔が検出されたとする。
　ステップ１０５（Ｓ１０５）において、スマートミラー等は、Ｓ１０４でユーザの笑顔が検出されたことに応じて、低解像度の撮影モードへ切り替えてユーザの顔を撮影（静止画を撮影）する。
　ステップ１０６（Ｓ１０６）において、Ｓ１０５で撮影した画像を用いて、ユーザのストレスが診断される。
　次に、ステップ１１１～１１６について説明する。
　ステップ１１１（Ｓ１１１）において、Ｓ１００で開始された動画撮影中に、ユーザの笑顔が検出されたとする。
　ステップ１１２（Ｓ１１２）において、スマートミラー等は、Ｓ１１１でユーザの笑顔が検出されたことに応じて、低解像度の撮影モードへ切り替えてユーザの顔を撮影（静止画を撮影）する。
　ステップ１１３（Ｓ１１３）において、Ｓ１１２で撮影した画像を用いて、ユーザのストレスが診断される。その後、スマートミラー等は、ユーザの顔の動画撮影を再開する。
　ステップ１１４（Ｓ１１４）において、Ｓ１１３で再開された動画撮影中に、ユーザの真顔が検出されたとする。
　ステップ１１５（Ｓ１１５）において、スマートミラー等は、Ｓ１１４でユーザの真顔が検出されたことに応じて、高解像度の撮影モードへ切り替えてユーザの顔を撮影（静止画を撮影）する。
　ステップ１１６（Ｓ１１６）において、Ｓ１１５で撮影した画像を用いて、ユーザの肌が診断される。
＜全体の構成例＞
　図３は、本発明の一実施形態に係る全体の構成例である。
［構成例１］
　診断システム１は、診断装置（例えば、サーバ）１０と、端末１１と、を含む。診断装置１０と端末１１は、任意のネットワークを介して、通信可能に接続されている。構成例１では、ユーザ２０（あるいは、化粧品販売店の美容部員等）は、端末１１を操作する。以下、それぞれについて説明する。
＜＜診断装置＞＞
　診断装置１０は、ユーザ２０の顔の状態に応じて、複数の診断処理（第１の診断処理、および、第１の診断処理とは異なる第２の診断処理）のどちらを実行するかを決定して、診断処理を実行する装置である。例えば、診断装置１０は、１つまたは複数のコンピュータからなるサーバ等である。
　例えば、診断装置１０は、ユーザ２０の顔が撮影された画像の特徴に基づいて、ユーザ２０の表情を検出する。診断装置１０は、ユーザ２０の表情が真顔である場合には、端末１１に高画質で静止画を撮影させ、ユーザ２０の表情が笑顔である場合には、端末１１に低画質で静止画を撮影させる。
＜＜端末＞＞
　端末１１は、ユーザ２０の顔を撮影して、撮影した画像を診断装置１０へ送信する。また、端末１１は、診断装置１０が診断した結果を受信して表示する。なお、端末１１は、本明細書で説明される診断装置１０の処理の一部を実行してもよい。例えば、端末１１は、店頭に設置されたスマートミラー（具体的には、撮像機能を備えたディスプレイ）、撮像機能を備えたスマートフォン、撮像機能を備えたタブレット等である。なお、撮像機能を備えていない端末１１が、撮像機器に撮影させて画像を取得するようにしてもよい。
［構成例２］
　構成例２では、ユーザ２０（あるいは、化粧品販売店の美容部員等）は、診断装置１０を操作する。
＜＜診断装置＞＞
　診断装置１０は、ユーザ２０の顔の状態に応じて、複数の診断処理（第１の診断処理、および、第１の診断処理とは異なる第２の診断処理）のどちらを実行するかを決定して、診断処理を実行する装置である。例えば、診断装置１０は、スマートミラー（具体的には、撮像機能を備えたディスプレイ）、撮像機能を備えたスマートフォン、撮像機能を備えたタブレット等である。なお、撮像機能を備えていない診断装置１０が、撮像機器に撮影させて画像を取得するようにしてもよい。
　例えば、診断装置１０は、ユーザ２０の顔を撮影して、ユーザ２０の顔が撮影された画像の特徴に基づいて、ユーザ２０の表情を検出する。診断装置１０は、ユーザ２０の表情が真顔である場合には高画質で静止画を撮影し、ユーザ２０の表情が笑顔である場合には低画質で静止画を撮影し、診断した結果を表示する。
＜機能ブロック＞
　図４は、本発明の一実施形態に係る診断装置１０の機能ブロック図である。診断装置１０は、画像取得部１０１と、顔状態検出部１０２と、第１の判断部１０３と、第２の判断部１０４と、診断処理切替部１０５と、第１の診断処理部１０６と、第２の診断処理部１０７と、診断履歴記憶部１０８と、受付部１０９と、通知部１１０と、を備える。診断装置１０は、プログラムを実行することで、画像取得部１０１、顔状態検出部１０２、第１の判断部１０３、第２の判断部１０４、診断処理切替部１０５、第１の診断処理部１０６、第２の診断処理部１０７、受付部１０９、通知部１１０、として機能する。
　画像取得部１０１は、ユーザ２０の顔が撮影された画像を取得する。例えば、画像取得部１０１は、撮像モードが“動画撮影モード”であるときに撮影された動画を取得する。また、画像取得部１０１は、撮像モードが“肌診断用モード”であるときに撮影された高画質の静止画を取得する。また、画像取得部１０１は、撮像モードが“ストレス診断用モード”であるときに撮影された低画質の静止画を取得する。
　顔状態検出部１０２は、ユーザ２０の顔の状態を検出する。
　例えば、顔状態検出部１０２は、画像取得部１０１が取得した画像の特徴に基づいて、ユーザ２０の表情を検出する。具体的には、顔状態検出部１０２は、撮像モードが“動画撮影モード”であるときに撮影された動画中のユーザ２０の顔の各部位（例えば、目、鼻、口等）の座標に基づいて、ユーザ２０が真顔であるか否かを判定する。また、顔状態検出部１０２は、撮像モードが“動画撮影モード”であるときに撮影された動画中のユーザ２０の顔の各部位（例えば、目、鼻、口等）の座標に基づいて、ユーザ２０が笑顔であるか否かを判定する。
　第１の判断部１０３は、第１の診断処理が既に所定の回数（少なくとも1回）実行されたか否かを判断する。例えば、第１の判断部１０３は、セッション内で第１の診断処理が既に所定の回数実行されたか否か（つまり、現在行われている一連の処理内で既に実行されたか否か）を判断することができる。例えば、第１の判断部１０３は、セッション外で第１の診断処理が既に所定の回数実行されたか否か（例えば、過去の別の日に既に実行されたか否か）を判断することができる（なお、第１の判断部１０３は、顔認識、ＩＤの入力等によってユーザ２０を特定することにより、当該ユーザ２０がセッション外で第１の診断処理を実行したかを判断することができる）。
　第２の判断部１０４は、第２の診断処理が既に所定の回数（少なくとも１回）実行されたか否かを判断する。例えば、第２の判断部１０４は、セッション内で第２の診断処理が既に所定の回数実行されたか否か（つまり、現在行われている一連の処理内で既に実行されたか否か）を判断することができる。例えば、第２の判断部１０４は、セッション外で第２の診断処理が既に所定の回数実行されたか否か（例えば、過去の別の日に既に実行されたか否か）を判断することができる（なお、第２の判断部１０４は、顔認識、ＩＤの入力等によってユーザ２０を特定することにより、当該ユーザ２０がセッション外で第２の診断処理を実行したかを判断することができる）。
　診断処理切替部１０５は、顔状態検出部１０２が検出した結果（例えば、ユーザ２０の表情）に応じて、第１の診断処理と第２の診断処理のどちらを実行するかを決定する。
　第１の診断処理部１０６は、第１の診断処理を実行する。なお、第１の診断処理部１０６は、第１の判断部１０３が第１の診断処理が未だ所定の回数実行されていないと判断した場合に第１の診断処理を実行することができる。例えば、複数回実行した診断の結果の平均値等の代表値を用いてもよいし、複数回実行した診断の結果のうちの一部の結果を用いてもよい。所定の回数は、ユーザ２０によって設定されてもよい。
　第２の診断処理部１０７は、第１の診断処理とは異なる第２の診断処理を実行する。なお、第２の診断処理部１０７は、第２の判断部１０４が第２の診断処理が未だ所定の回数実行されていないと判断した場合に第２の診断処理を実行することができる。例えば、複数回実行した診断の結果の平均値等の代表値を用いてもよいし、複数回実行した診断の結果のうちの一部の結果を用いてもよい。所定の回数は、ユーザ２０によって設定されてもよい。
　なお、第１の診断処理のみ、第２の診断処理のみ、第１の診断処理と第２の診断処理の両方、のいずれかがユーザ２０によって選択され、第１の診断処理部１０６と第２の診断処理部１０７は、ユーザ２０によって選択された診断処理を実行するようにしてもよい。
　診断履歴記憶部１０８には、第１の診断処理が実行された履歴、および、第２の診断処理が実行された履歴が記憶されている。なお、各履歴の情報に有効期限を設定し、第１の判断部１０３、第１の診断処理部１０６、第２の判断部１０４、第２の診断処理部１０７は、有効期限内の履歴の情報のみを用いるようにしてもよい（なお、有効期限は、手動で設定されてもよいし、過去のデータ（例えば、個人の診断の結果の推移（ストレス状態の推移））、季節等に基づいて自動で設定されてもよい）。
　受付部１０９は、ユーザ２０が端末１１（構成例１の場合）あるいは診断装置１０（構成例２の場合）に入力した指示（例えば、設定）を受け付ける。
　通知部１１０は、端末１１（構成例１の場合）あるいは診断装置１０（構成例２の場合）の画面上に表示すること等によってユーザ２０に情報（例えば、診断の結果）を通知する。
　例えば、通知部１１０は、第１の顔の状態または第２の顔の状態をユーザ２０に指定することができる（そして、顔状態検出部１０２は、通知部１１０が指定した顔の状態を、検出されたユーザの顔の状態とすることができる）。
　例えば、通知部１１０は、第１の顔の状態と第２の顔の状態の少なくとも一方が一定の期間内に検出されなかった場合、検出されなかった顔の状態をユーザ２０に指示することができる。なお、一定の期間は、ユーザ２０によって設定されてもよいし、あるいは、過去の検出時間（例えば、過去に複数のユーザの顔の状態を検出するまでに要した時間の平均値、最長値等、あるいは、個人ごとの過去の検出時間から個人ごとに検出時間を設定する）に基づき決定されてもよい。
　なお、診断装置１０は、一定の期間内に検出されなかった顔の状態に関する処理をスキップする（つまり、診断処理を実行しない）ようにしてもよい。また、診断装置１０は、当該スキップの可否をユーザ２０に照会してもよい。また、診断装置１０は、当該スキップを自動で実行することと、当該スキップの可否をユーザ２０に照会することと、を切り替えてもよい。また、診断装置１０は、当該スキップを実行したことをユーザ２０に通知してもよい。
＜＜顔の状態＞＞
　ここで、顔の状態について詳細に説明する。本明細書では、ユーザ２０の顔の状態が「表情」である場合を主に説明するが、本発明はこれに限らず、ユーザ２０の顔の状態が「顔の位置」、「顔の向き」等の任意の顔の状態であってよい。なお、「表情」、「顔の位置」、「顔の向き」のうちの２つ以上を組み合わせて、顔の状態としてもよい。
［表情］
　例えば、ユーザ２０の顔の状態は、ユーザ２０の表情である。本明細書では、表情が“真顔”と“笑顔”である場合を主に説明するが、本発明はこれに限らず、他の表情であってもよい。
　真顔とは、顔に感情が表れていないときの表情（無表情）であり、例えば、画像中のユーザ２０の顔の各部位（例えば、目、鼻、口等）の座標に基づいて、ユーザ２０が真顔であるか否かが判定される。例えば、口の端の高さが、口の中央の高さに対して一定値以下の場合、真顔と判定される。なお、あらかじめ取得した多数の表情の写真より真顔と笑顔を識別する機械学習の結果によって判定を行ってもよい。
　笑顔とは、笑っている表情であり、例えば、画像中のユーザ２０の顔の各部位（例えば、目、鼻、口等）の座標に基づいて、ユーザ２０が笑顔であるか否かが判定される。例えば、口の端の高さが、口の中央の高さに対して一定値以上の場合、笑顔と判定される。なお、あらかじめ取得した多数の表情の写真より真顔と笑顔を識別する機械学習の結果によって判定を行ってもよい。
［顔の位置］
　例えば、ユーザ２０の顔の状態は、ユーザ２０の顔の位置である。
　例えば、ユーザ２０の顔の状態が「顔の位置」の場合には、ユーザ２０の顔の位置と端末１１（構成例１の場合）あるいは診断装置１０（構成例２の場合）の位置との距離が短いと（つまり、顔が近くから撮影されていると）、近くから撮影された顔の画像を用いることが適している診断を実行し、ユーザ２０の顔の位置と端末１１（構成例１の場合）あるいは診断装置１０（構成例２の場合）の位置との距離が長いと（つまり、顔が遠くから撮影されていると）、遠くから撮影された顔の画像を用いることが適している診断を実行することができる。
　例えば、ユーザ２０の顔の状態が「顔の位置」の場合には、ユーザ２０の顔が第１の位置にある様子が撮影されていると、当該第１の位置で撮影された顔の画像を用いることが適している診断を実行し、ユーザ２０の顔が第２の位置にある様子が撮影されていると、当該第２の位置で撮影された顔の画像を用いることが適している診断を実行することができる。
［顔の向き］
　例えば、ユーザ２０の顔の状態は、ユーザ２０の顔の向きである。
　例えば、ユーザ２０の顔の状態が「顔の向き」の場合には、ユーザ２０の顔が第１の向きである様子が撮影されていると、当該第１の向きで撮影された顔の画像を用いることが適している診断を実行し、ユーザ２０の顔が第２の向きである様子が撮影されていると、当該第２の向きで撮影された顔の画像を用いることが適している診断を実行することができる。
＜＜診断＞＞
　ここで、診断について詳細に説明する。本明細書では、診断が肌の診断とストレスの診断である場合を主に説明するが、本発明はこれに限らず、顔を含む身体の診断、心理的または精神的な診断等の任意の診断であってよい。
　各診断処理で求められる画像の撮像方法は、異なる（つまり、第１の診断処理での撮像方法と、第２の診断処理での撮像方法と、は異なる撮像方法である）。撮像方法は、解像度、画角、焦点距離、シャッター速度のうちの少なくとも１つを含む。
＜＜診断の例＞＞
　以下、診断の例を説明する。
・例えば、肌の診断では、顔の各部位の画像の周波数成分から小じわを判定することできる。
・例えば、肌の診断では、頬の下の位置の範囲のエッジ成分の長さを検出することで、ほうれい線の長さを検出することができる。
・例えば、肌の診断では、頬全体の画像の周波数成分から滑らかさを判定することができる。
・例えば、肌の診断では、輝度値の変化と当該変化の大きさから毛穴と当該毛穴の詰まりを判定することができる。
・例えば、肌の診断では、他の機器の測定結果、目視による評価結果を正解データとした機械学習による推測を行うことができる。
　例えば、ストレスの診断では、笑顔の際の、口角と目尻の位置を検出し、顔の左右の口角と目尻の位置から顔のゆがみを検出する。顔のゆがみの大きさからストレス度合いを判定することができる。
　以下、肌の診断とストレスの診断で求められる画像の撮像方法を示す。
［肌の診断］
・画像解像度・・・２０４８×１５３６ピクセル
・焦点・・・被写界浅い。肌の凹凸感を検出しやすくするため。
・画像処理・・・弱。肌の微妙な状態を撮影するため。
・画像処理・・・エッジ協調処理無し。肌の微妙な状態を撮影するため。
［ストレスの診断］
・画像解像度・・・６４０×４８０ピクセル
・焦点・・・被写界深い（パンフォーカス）
・画像処理・・・強。目尻等の座標を抽出しやすくするため。
・画像処理・・・エッジ協調処理有り。目尻等の座標を抽出しやすくなるため。
　その他に、例えば、顔の状態（表情）が真顔であるときの画像を用いて、偏咀嚼の有無を診断してもよい。また、例えば、顔の状態（表情）が真顔であるときの画像を用いて、歯ぎしり・噛みしめの有無を診断してもよい。また、例えば、顔の状態（顔の向き）が横向きであるときの画像を用いて、たるみを診断してもよい。また、例えば、顔の状態（顔の向き）が下向きであるときの画像を用いて、頭皮を診断してもよい。また、例えば、顔の状態（顔の位置）がカメラレンズに対して下の方に位置するときの画像を用いて、頭皮を診断してもよい。
＜方法＞
　図５は、本発明の一実施形態に係る診断処理のフローチャートである。なお、ユーザ２０が端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）の前にいることが検知される、あるいは、ユーザ２０が端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）に指示を入力すると、処理が開始される。
　ステップ１００１（Ｓ１００１）において、診断装置１０は、端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）の撮像モードを“動画撮影モード”に切り換える。なお、“動画撮影モード”で撮影される画像は、ユーザ２０の表情を検出できる程度の品質の画像であればよい。
　ステップ１００２（Ｓ１００２）において、診断装置１０は、Ｓ１００１で切り替えた“動画撮影モード”で動画を撮影中に、ユーザ２０の表情を検出する。
　ステップ１００３（Ｓ１００３）において、診断装置１０は、Ｓ１００２で検出した表情が“真顔”または“笑顔”であるかを判断する。“真顔”である場合にはステップ１００４へ進み、“笑顔”である場合にはステップ１０１０へ進む。
　ステップ１００４（Ｓ１００４）において、診断装置１０は、真顔を撮影された画像を用いる診断（肌の診断）が済んでいるか否かを判断する。肌の診断が済んでいる場合にはステップ１００５へ進み、肌の診断が済んでいない場合にはステップ１００７へ進む。
　ステップ１００５（Ｓ１００５）において、診断装置１０は、肌の診断とストレスの診断との両方の診断が済んでいるか否かを判断する。肌の診断とストレスの診断との両方の診断が済んでいる場合にはステップ１００６へ進み、肌の診断とストレスの診断とのいずれか一方の診断が済んでいない場合にはＳ１００１へ戻る。
　ステップ１００６（Ｓ１００６）において、診断装置１０は、端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）に診断した結果を表示させる。
　ステップ１００７（Ｓ１００７）において、診断装置１０は、端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）の撮像モードを“肌診断用モード”に切り換える。
　ステップ１００８（Ｓ１００８）において、診断装置１０は、端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）に高画質で静止画を撮影させる。
　ステップ１００９（Ｓ１００９）において、診断装置１０は、Ｓ１００８で撮影された高画質でありかつ真顔の静止画を用いて、肌の診断の処理を実行する。その後、ステップ１００５へ進む。
　ステップ１０１０（Ｓ１０１０）において、診断装置１０は、笑顔を撮影された画像を用いる診断（ストレスの診断）が済んでいるか否かを判断する。ストレスの診断が済んでいる場合にはステップ１００５へ進み、ストレスの診断が済んでいない場合にはステップ１０１１へ進む。
　ステップ１０１１（Ｓ１０１１）において、診断装置１０は、端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）の撮像モードを“ストレス診断用モード”に切り換える。
　ステップ１０１２（Ｓ１０１２）において、診断装置１０は、端末１１（図１の構成例１の場合）あるいは診断装置１０（図１の構成例２の場合）に低画質で静止画を撮影させる。
　ステップ１０１３（Ｓ１０１３）において、診断装置１０は、Ｓ１０１２で撮影された低画質でありかつ笑顔の静止画を用いて、ストレスの診断の処理を実行する。その後、ステップ１００５へ進む。
＜効果＞
　このように、本発明の一実施形態では、ユーザの顔の状態（例えば、表情、顔の位置、顔の向き等）に応じた診断（例えば、肌の診断あるいはストレスの診断）の処理に切り替えて実行するので、ユーザや美容部員等の手を煩わせることなく、複数の種類の診断を容易に行うことができる。
＜ハードウェア構成＞
　図６は、本発明の一実施形態に係る診断装置１０および端末１１のハードウェア構成図である。診断装置１０および端末１１は、制御部１００１と、主記憶部１００２と、補助記憶部１００３と、入力部１００４と、出力部１００５と、インタフェース部１００６と、を備えることができる。以下、それぞれについて説明する。
　制御部１００１は、補助記憶部１００３にインストールされている各種プログラムを実行するプロセッサ（例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）など）である。
　主記憶部１００２は、不揮発性メモリ（ＲＯＭ（Read Only Memory））および揮発性メモリ（ＲＡＭ（Random Access Memory））を含む。ＲＯＭは、補助記憶部１００３にインストールされている各種プログラムを制御部１００１が実行するために必要な各種プログラム、データ等を格納する。ＲＡＭは、補助記憶部１００３にインストールされている各種プログラムが制御部１００１によって実行される際に展開される作業領域を提供する。
　補助記憶部１００３は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
　入力部１００４は、診断装置１０および端末１１の操作者が診断装置１０および端末１１に対して各種指示を入力する入力デバイスである。
　出力部１００５は、診断装置１０および端末１１の内部状態等を出力する出力デバイスである。
　インタフェース部１００６は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。
　以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　本国際出願は２０２２年１０月２６日に出願された日本国特許出願２０２２－１７１４０４号に基づく優先権を主張するものであり、２０２２－１７１４０４号の全内容をここに本国際出願に援用する。
１　診断システム
１０　診断装置
１１　端末
２０　ユーザ
１０１　画像取得部
１０２　顔状態検出部
１０３　第１の判断部
１０４　第２の判断部
１０５　診断処理切替部
１０６　第１の診断処理部
１０７　第２の診断処理部
１０８　診断履歴記憶部
１０９　受付部
１１０　通知部
１００１　制御部
１００２　主記憶部
１００３　補助記憶部
１００４　入力部
１００５　出力部
１００６　インタフェース部

Claims (23)

  1. 　端末とサーバを含むシステムであって、
    　第１の診断処理を実行する第１の診断処理部と、
    　前記第１の診断処理とは異なる第２の診断処理を実行する第２の診断処理部と、
    　ユーザの顔の状態を検出する顔状態検出部と、
    　前記検出の結果に応じて、前記第１の診断処理と前記第２の診断処理のどちらを実行するかを決定する診断処理切替部と
    　を備えた診断システム。
  2. 　前記顔の状態は、表情である、請求項１に記載の診断システム。
  3. 　前記顔状態検出部は、前記端末が撮像した前記ユーザの顔の画像の特徴に基づいて、前記ユーザの表情を検出する、請求項２に記載の診断システム。
  4. 　前記第１の診断処理での撮像方法と、前記第２の診断処理での撮像方法と、は異なる撮像方法である、請求項１に記載の診断システム。
  5. 　前記撮像方法は、診断に用いる画像の解像度である、請求項４に記載の診断システム。
  6. 　前記第１の診断処理が実行された履歴、および、前記第２の診断処理が実行された履歴が記憶されている診断履歴記憶部を備え、
    　セッション内で前記第１の診断処理が既に所定の回数実行されたか否かを判断する第１の判断部と、
    　セッション内で前記第２の診断処理が既に所定の回数実行されたか否かを判断する第２の判断部と、をさらに備え、
    　前記第１の診断処理部は、前記第１の診断処理が未だ前記所定の回数実行されていない場合に前記第１の診断処理を実行し、
    　前記第２の診断処理部は、前記第２の診断処理が未だ前記所定の回数実行されていない場合に前記第２の診断処理を実行する、請求項１に記載の診断システム。
  7. 　前記第１の診断処理が実行された履歴、および、前記第２の診断処理が実行された履歴が記憶されている診断履歴記憶部を備え、
    　セッション外で前記第１の診断処理が既に所定の回数実行されたか否かを判断する第１の判断部と、
    　セッション外で前記第２の診断処理が既に所定の回数実行されたか否かを判断する第２の判断部と、をさらに備え、
    　前記第１の診断処理部は、前記第１の診断処理が未だ前記所定の回数実行されていない場合に前記第１の診断処理を実行し、
    　前記第２の診断処理部は、前記第２の診断処理が未だ前記所定の回数実行されていない場合に前記第２の診断処理を実行する、請求項１に記載の診断システム。
  8. 　前記所定の回数の前記ユーザによる設定を受け付ける、請求項６または７に記載の診断システム。
  9. 　前記第１の診断処理が実行された履歴、および、前記第２の診断処理が実行された履歴は、有効期限が設定されている、請求項６または７に記載の診断システム。
  10. 　前記第１の診断処理のみ、前記第２の診断処理のみ、前記第１の診断処理と前記第２の診断処理の両方、の前記ユーザによる選択を受け付け、前記受け付けた診断処理を実行する、請求項１に記載の診断システム。
  11. 　第１の顔の状態または第２の顔の状態を前記ユーザに指定する通知部をさらに備え、
    　前記顔状態検出部は、前記通知部が指定した顔の状態を前記検出されたユーザの顔の状態とする、請求項１に記載の診断システム。
  12. 　第１の顔の状態と第２の顔の状態の少なくとも一方が一定の期間内に検出されなかった場合、前記検出されなかった顔の状態を前記ユーザに指示する通知部、をさらに備えた請求項１に記載の診断システム。
  13. 　前記一定の期間は、前記ユーザによって設定される、または、過去の検出時間に基づき決定される、請求項１２に記載の診断システム。
  14. 　前記一定の期間内に検出されなかった顔の状態に関する処理をスキップする、請求項１２に記載の診断システム。
  15. 　前記スキップの可否を前記ユーザに照会する、請求項１４に記載の診断システム。
  16. 　前記スキップを自動で実行することと、前記スキップの可否を前記ユーザに照会することと、を切り替える、請求項１４に記載の診断システム。
  17. 　前記スキップを実行したことを前記ユーザに通知する、請求項１４に記載の診断システム。
  18. 　前記ユーザが前記端末の前にいることが検知される、あるいは、前記ユーザが前記端末に指示を入力すると、処理が開始される、請求項１に記載の診断システム。
  19. 　第１の診断処理を実行する第１の診断処理部と、
    　前記第１の診断処理とは異なる第２の診断処理を実行する第２の診断処理部と、
    　ユーザの顔の状態を検出する顔状態検出部と、
    　前記検出の結果に応じて、前記第１の診断処理と前記第２の診断処理のどちらを実行するかを決定する診断処理切替部と
    　を備えた診断装置。
  20. 　コンピュータを、
    　第１の診断処理を実行する第１の診断処理部、
    　前記第１の診断処理とは異なる第２の診断処理を実行する第２の診断処理部、
    　ユーザの顔の状態を検出する顔状態検出部、
    　前記検出の結果に応じて、前記第１の診断処理と前記第２の診断処理のどちらを実行するかを決定する診断処理切替部
    　として機能させるためのプログラム。
  21. 　診断装置が実行する方法であって、
    　ユーザの顔の状態を検出するステップと、
    　前記検出の結果に応じて、第１の診断処理と前記第１の診断処理とは異なる第２の診断処理のどちらを実行するかを決定するステップと、
    　前記第１の診断処理、または、前記第２の診断処理を実行するステップと
    　を含む診断方法。
  22. 　診断装置が実行する方法であって、
    　ユーザの表情が真顔であることを検出するステップと、
    　前記真顔の検出に応じて、前記ユーザの顔を高解像度で撮像させるステップと、
    　前記ユーザの真顔が撮像された高解像度の画像を用いて、前記ユーザの肌を診断するステップと
    　を含む肌診断方法。
  23. 　診断装置が実行する方法であって、
    　ユーザの表情が笑顔であることを検出するステップと、
    　前記笑顔の検出に応じて、前記ユーザの顔を低解像度で撮像させるステップと、
    　前記ユーザの笑顔が撮像された低解像度の画像を用いて、前記ユーザのストレスを診断するステップと
    　を含むストレス診断方法。
PCT/JP2023/036984 2022-10-26 2023-10-12 診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法 WO2024090218A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-171404 2022-10-26
JP2022171404 2022-10-26

Publications (1)

Publication Number Publication Date
WO2024090218A1 true WO2024090218A1 (ja) 2024-05-02

Family

ID=90830740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036984 WO2024090218A1 (ja) 2022-10-26 2023-10-12 診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法

Country Status (1)

Country Link
WO (1) WO2024090218A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524367A (ja) * 2018-03-05 2021-09-13 ワイケーシー テックＹｋｃ Ｔｅｃｈ 無人顔面および手の甲の肌分析装置
JP7132392B1 (ja) * 2021-05-12 2022-09-06 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524367A (ja) * 2018-03-05 2021-09-13 ワイケーシー テックＹｋｃ Ｔｅｃｈ 無人顔面および手の甲の肌分析装置
JP7132392B1 (ja) * 2021-05-12 2022-09-06 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法

Similar Documents

Publication Publication Date Title
US9025837B2 (en) Image processing method and apparatus
JP4377472B2 (ja) 顔画像処理装置
US8532345B2 (en) Camera and image recording program product
EP2153374B1 (en) Image processing method and apparatus
US20100111441A1 (en) Methods, components, arrangements, and computer program products for handling images
US20020030834A1 (en) Image modification apparatus and method
JP4751776B2 (ja) 電子撮像装置及び個人特定システム
JP5467992B2 (ja) 撮像装置
JP2006115406A (ja) 撮像装置
JP2008099038A (ja) デジタルカメラ
US7460705B2 (en) Head-top detecting method, head-top detecting system and a head-top detecting program for a human face
JP7322097B2 (ja) 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体
US20100188520A1 (en) Imaging device and storage medium storing program
JP5771647B2 (ja) 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
JP5604285B2 (ja) 撮像装置
WO2019230724A1 (ja) 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
WO2024090218A1 (ja) 診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP5272797B2 (ja) デジタルカメラ
JP5242827B2 (ja) 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム
JPH07289524A (ja) 肌評価装置及び肌評価方法
JPH1185992A (ja) 画像登録検索装置、方法及びプログラム記録媒体
GB2413718A (en) Automatic view generation from recording photographer's eye movements
EP3595287A1 (en) Capturing video content with at least two cameras of a multi-camera rig