WO2015011898A1 - 情報処理装置および情報処理装置の制御方法 - Google Patents

情報処理装置および情報処理装置の制御方法 Download PDF

Info

Publication number
WO2015011898A1
WO2015011898A1 PCT/JP2014/003772 JP2014003772W WO2015011898A1 WO 2015011898 A1 WO2015011898 A1 WO 2015011898A1 JP 2014003772 W JP2014003772 W JP 2014003772W WO 2015011898 A1 WO2015011898 A1 WO 2015011898A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
subject
distance
information processing
Prior art date
Application number
PCT/JP2014/003772
Other languages
English (en)
French (fr)
Inventor
稔也 新井
内田 真司
雅子 池田
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN201480041213.7A priority Critical patent/CN105393528B/zh
Priority to US14/906,437 priority patent/US9998654B2/en
Priority to EP14829757.5A priority patent/EP3026886B1/en
Priority to JP2015528137A priority patent/JP6373265B2/ja
Publication of WO2015011898A1 publication Critical patent/WO2015011898A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present disclosure relates to an information processing apparatus capable of imaging a user's face and a control method thereof.
  • An information processing apparatus that takes an image of the skin of a human face with a camera and evaluates the state of the skin from the captured image and a control method for the information processing apparatus are being studied.
  • the information processing apparatus and the control method for the information processing apparatus need further improvement.
  • a control method is a control method for controlling an information processing apparatus including a camera that inputs an image and a display that has a display surface on the same side as the image input side of the camera.
  • the computer of the information processing device that inputs the image of, reverses the input image horizontally and displays the horizontally reversed image on the display, detects the distance between the information processing device and the reference portion included in the subject's face, Magnification is determined according to the ratio between the reference distance for evaluating the face image of the subject and the detected distance, and the image of the face that is reversed horizontally is included in the enlarged or reduced image based on the determined magnification
  • An image corresponding to at least a part of the image is displayed on the display as a guide image for guiding the subject in a direction in which the distance between the information processing apparatus and the subject is changed.
  • (A) is a figure which shows the information processing apparatus which concerns on embodiment
  • (b) is a figure which shows the structure of the control apparatus which concerns on embodiment
  • (c) is a figure which shows the structure of the cloud server which concerns on embodiment. It is.
  • (A) And (b) is a figure which shows the example of arrangement
  • (A) to (c) is a diagram illustrating a guide image according to the embodiment.
  • (A) to (c) is a diagram showing the positional relationship between the marker image and the guide image according to the embodiment.
  • (A) is a figure which shows the guide image which concerns on embodiment
  • (b) is a figure which shows the basic face guide image which concerns on embodiment.
  • (A) to (e) is a figure explaining the process which produces
  • (A) to (d) is a figure explaining the process which produces
  • (A) to (d) is a figure explaining the example of the image displayed on the display area which concerns on embodiment.
  • (A) And (b) is a figure explaining the example of the image displayed on the display area which concerns on embodiment.
  • A) And (b) is a figure explaining the example of the image displayed on the display area which concerns on embodiment.
  • Patent Document 1 discloses a skin image processing apparatus that evaluates a skin state based on a skin image captured by a camera installed at a location distant from the skin surface.
  • the skin image processing apparatus of Patent Document 1 in order to capture an image with an appropriate distance between the camera and the skin surface, the user's chin is placed on a table, and the forehead is pressed against a press to fix the face. With this user's face fixed, the camera moves while keeping the distance from the face constant and images the skin surface of the face. Based on the obtained skin image, skin such as pigmentation, pores, wrinkles, etc. The state is being evaluated.
  • Patent Document 2 discloses a photographing auxiliary device that informs the driver of an imaging position suitable for imaging a face in order to recognize the facial expression of the driver of the car. Is disclosed.
  • an image suitable for evaluation of the skin surface can be acquired by imaging with a constant distance between the user's face and the camera. Specifically, since this distance does not change every time imaging is performed, the user's face can be imaged under the same conditions, and the past and current skin conditions can be easily compared.
  • the reference point is displayed on the display device together with the imaged image of the driver's face, and the eyes and nose of the driver's face image are guided to match the position of the reference point.
  • the driver's face is moved to a position suitable for imaging. Therefore, it is possible to prompt the user to move the face only in the vertical and horizontal directions on the display screen, and an appropriate position in the axial direction (front and back direction of the user's face) connecting the user and the camera ( It is impossible to make the user recognize an appropriate distance between the user and the camera) or to promote movement in the axial direction connecting the user and the camera.
  • One aspect of a control method for controlling an information processing apparatus is a control method for controlling an information processing apparatus having a camera for inputting an image and a display having a display surface on the same side as the image input side of the camera, the camera A reference portion included in the information processing apparatus and the subject's face is input to a computer of the information processing apparatus that inputs an image of the face of the subject from the image, reverses the input image horizontally, and displays the horizontally reversed image on the display.
  • the ratio between the reference distance for detecting the distance between the information processing apparatus and the reference portion included in the face of the subject and evaluating the face image of the subject and the detected distance An image corresponding to at least a part of the image included in an image obtained by enlarging or reducing the left-right inverted face image based on the determined magnification. It is displayed on the display as a guide image for guiding the subject in the direction of changing the distance to the subject.
  • the distance from the detected information processing apparatus to the reference portion included in the user's face that is the subject and the face image are evaluated.
  • a guide image that guides the user's face to change the distance to the information processing device is displayed on the display in accordance with the ratio to the reference distance for the user, for example, the user determines the position of his / her face according to the guide image.
  • the distance to the information processing apparatus is changed by moving.
  • the apparatus can be simplified and the face image can be captured in a natural state. It is possible to take an image, and there is no trouble for the user to fix his / her face to the apparatus.
  • the captured image is used to measure the size of a spot determined to be a skin surface spot or wrinkle in the captured face image. It is possible to measure by counting the number of pixels in.
  • the camera may be operated to capture an image of the subject.
  • the camera when it is determined that the difference between the reference distance and the detected distance is within a predetermined range, the camera is operated to capture an image of the subject.
  • a face image is captured in a state where the distance between the information processing apparatus and the face of the user as the subject is constant. For this reason, it is possible to prevent images from being captured at different distances every time a subject image is captured, and images captured under the same conditions can be obtained.
  • the information processing apparatus includes a lighting device having a light irradiation port on the same side as the image input side of the camera, and operates the lighting device when capturing an image of the subject.
  • the subject may be irradiated with light.
  • the illumination device when an image of the subject is taken, the illumination device is operated to irradiate the subject with light.
  • the way the light strikes the subject in the captured image is constant, the distance between the information processing apparatus and the reference portion of the user's face that is the subject is not only constant, but also the subject's face. It is possible to obtain an image captured under the same conditions with a constant degree of light irradiation.
  • the captured image may be an image used for evaluating the face of the subject.
  • the captured image of the subject is used for evaluating the user's face.
  • the reference distance may be a focal length of a camera.
  • the focal length of the camera is fixed, and when an image of the subject is captured, the image is captured at an optimum distance with respect to the focal length of the camera.
  • the image of the subject becomes a clear image at the focal length, and the accuracy when analyzing the face of the subject is improved.
  • a distance that is closest to the result of sensory evaluation by an expert is obtained empirically, and for each index for evaluating the face of the subject. In addition, it may be determined based on the evaluation index.
  • shooting is performed by changing the reference distance for each index to be evaluated.
  • the evaluation of the face of the subject is close to the sensory evaluation by an expert, and the evaluation system is improved.
  • the guide image may be displayed on the display so as to be superimposed on the face image of the subject.
  • the guide image is displayed on the display while being superimposed on the face image of the subject.
  • the user moves his / her face position according to the guide image while checking his / her face displayed on the display. Therefore, the distance between the information processing apparatus and the user's face can be made constant according to the guide in order to acquire an image captured under the same condition while the user confirms the face state by himself / herself.
  • the image of the same part as the image corresponding to the at least part of the image included in the left-right inverted face image is presented, and the current distance between the information processing apparatus and the subject is presented.
  • the basic face guide image to be displayed may be displayed on the display.
  • the basic face guide image is superimposed on the face image of the subject and displayed on the display.
  • the user moves the position of his / her face according to the guide image while confirming the basic face guide image displayed on the display. Therefore, it is easy to visually recognize how the user should move the face according to the guide image.
  • the image corresponding to the at least part of the part may have a shape corresponding to the outline of the at least part of the part.
  • the basic face guide image may have a shape corresponding to an outline of the at least part of the part.
  • the image corresponding to the at least part and the basic face guide image have a shape corresponding to the outline of the at least part.
  • the user simply moves the face position so that the contour of the user's own face or the basic face guide image is aligned with the guide image displayed on the display, and the user's face that is the subject is the subject.
  • the distance between can be made constant.
  • the user can easily visually recognize how to move the face in order to capture an image with a fixed distance.
  • the shape corresponding to the outline of the at least part of the region may include a shape corresponding to at least one of the eye, the nose, and the mouth.
  • the shape corresponding to the outline of the at least some part includes a shape corresponding to at least one of eyes, nose, and mouth.
  • the user simply moves the face position so that at least one part of the user's own eyes, nose, and mouth is aligned with the guide image displayed on the display.
  • the distance between can be made constant.
  • the user can easily visually recognize how to move the face in order to capture an image with a fixed distance.
  • the image corresponding to the at least some part may have a shape corresponding to the contour of the face of the subject or the contour of the eyes, nose, or mouth included in the face of the subject.
  • the basic face guide image may have a shape corresponding to the contour of the face of the subject or the contour of the eyes, nose, or mouth included in the face of the subject.
  • the image corresponding to the at least a part of the part and the basic face guide image have a shape corresponding to the contour of the face of the subject or the contour of the eyes, nose or mouth included in the face of the subject. .
  • the user simply moves the position of the face so that the guide image displayed on the display matches the contour of the user's own face, the contour of the eyes, nose, or mouth or the basic face guide image.
  • the distance between the device and the user's face can be constant.
  • the user can easily visually recognize how to move the face in order to capture an image with a fixed distance.
  • the reference portion is a plurality of portions included in the face of the subject
  • the distance is an average between the information processing apparatus and each of the plurality of reference portions included in the face of the subject. It may be a distance.
  • the reference portion is a plurality of portions included in the face of the subject, and the distance is an average distance between the information processing apparatus and each of the plurality of reference portions included in the face of the subject. is there.
  • the influence of the unevenness of the user's face can be reduced.
  • the bulge of the nose or the dent of the eye is used as the reference part, it is possible to prevent a value deviating from the distance from the information processing device to the forehead and cheek occupying most of the facial skin. .
  • the same number of the plurality of portions may be selected from the left and right of the face of the subject.
  • the same number of the plurality of portions may be selected from above and below a predetermined reference point of the face of the subject.
  • an image corresponding to at least a part of the enlarged image is a guide image that guides the subject in a direction in which the face of the subject is brought closer to the information processing apparatus
  • the reduced image The image corresponding to at least a part of the part included in the image may be a guide image that guides the subject in a direction to move the face of the subject away from the information processing apparatus.
  • the guide image may be an image that guides the subject so that the detected distance is close to the reference distance.
  • the guide image is an image that guides the subject so that the detected distance is close to the reference distance.
  • the evaluation of the face image of the subject may include skin analysis of the face of the subject.
  • the detected distance may be a distance between a camera included in the information processing apparatus and the reference portion of the user's face.
  • An aspect of the information processing apparatus includes a camera that inputs an image, a display that has a display surface on the same side as the image input side of the camera, and an image of a face of a subject that is input using the camera. And a controller that displays the horizontally reversed image on the display, the controller comprising: the controller and a reference portion included in the face image of the subject. A distance according to a ratio between a reference distance for evaluating an image of the face of the subject and the detected distance is determined, and the left and right are reversed based on the determined magnification. An image corresponding to at least a part of the image included in the enlarged or reduced image of the face is invited to the subject in a direction to change the distance between the information processing device and the subject. As guide image to be displayed on the display.
  • the ratio between the reference distance for detecting the distance between the information processing apparatus and the reference portion included in the face of the subject and evaluating the face image of the subject and the detected distance An image corresponding to at least a part of the image included in an image obtained by enlarging or reducing the left-right inverted face image based on the determined magnification. It is displayed on the display as a guide image for guiding the subject in the direction of changing the distance to the subject.
  • the distance from the detected information processing apparatus to the reference portion included in the user's face that is the subject and the face image are evaluated.
  • a guide image that guides the user's face to change the distance to the information processing device is displayed on the display in accordance with the ratio to the reference distance for the user, for example, the user determines the position of his / her face according to the guide image.
  • the distance to the information processing apparatus is changed by moving.
  • the apparatus can be simplified and the face image can be captured in a natural state. It is possible to take an image, and there is no trouble for the user to fix his / her face to the apparatus.
  • the captured image is used to measure the size of a spot determined to be a skin surface spot or wrinkle in the captured face image. It is possible to measure by counting the number of pixels in.
  • one aspect of a program for controlling an information processing apparatus is a program for controlling an information processing apparatus having a camera that inputs an image and a display that has a display surface on the same side as the image input side of the camera.
  • the image of the subject's face is input from the camera, the input image is horizontally reversed, and the horizontally reversed image is displayed on the display.
  • a distance between a reference portion included in the image and a distance between the reference portion and the detected distance is determined based on the determined magnification; Then, an image corresponding to at least a part of the part included in the image obtained by enlarging or reducing the left-right inverted face image is obtained between the information processing apparatus and the subject.
  • the direction of changing the distance as a guide image for inducing a subject to be displayed on the display.
  • the ratio between the reference distance for detecting the distance between the information processing apparatus and the reference portion included in the face of the subject and evaluating the face image of the subject and the detected distance An image corresponding to at least a part of the image included in an image obtained by enlarging or reducing the left-right inverted face image based on the determined magnification. It is displayed on the display as a guide image for guiding the subject in the direction of changing the distance to the subject.
  • the distance from the detected information processing apparatus to the reference portion included in the user's face that is the subject and the face image are evaluated.
  • a guide image that guides the user's face to change the distance to the information processing device is displayed on the display in accordance with the ratio to the reference distance for the user, for example, the user determines the position of his / her face according to the guide image.
  • the distance to the information processing apparatus is changed by moving.
  • the apparatus can be simplified and the face image can be captured in a natural state. It is possible to take an image, and there is no trouble for the user to fix his / her face to the apparatus.
  • the captured image is used to measure the size of a spot determined to be a skin surface spot or wrinkle in the captured face image. It is possible to measure by counting the number of pixels in.
  • control method for controlling the information processing apparatus is a control method for controlling an information processing apparatus having a camera for inputting an image and a display having a display surface on the same side as the image input side of the camera.
  • the image of the face of the subject is input from the camera, the input image is horizontally reversed, and the computer of the information processing device that displays the horizontally reversed image on the display is connected to the information processing device and the face of the subject.
  • a guide image that guides the subject in the direction of changing the distance between them and that corresponds to a reference size of a reference portion in the face image is displayed on the display.
  • Another aspect of the control method for controlling the information processing apparatus is a control method for controlling an information processing apparatus having a camera for inputting an image and a display having a display surface on the same side as the image input side of the camera.
  • the image of the face of the subject is input from the camera, the input image is horizontally reversed, and the computer included in the information processing apparatus displays the horizontally reversed image on the display.
  • a guide image corresponding to at least a part of a part included in the image is displayed on the display, and the detected distance is used to evaluate the face image of the subject.
  • a guide image corresponding to at least a part of the reduced face image is displayed on the display, and the detected distance is used to evaluate the face image of the subject. If it is determined that the distance is greater than the reference distance, a guide image corresponding to at least a part of the enlarged face image is displayed on the display.
  • FIG. 1A is a diagram illustrating an information processing apparatus 101 according to the embodiment.
  • the information processing apparatus 101 includes a camera 10, a light source 12, a display 14, and a control device 18.
  • FIG. 1B is a diagram illustrating a configuration of the control device 18.
  • the control device 18 includes a microcomputer 18A, a memory 18B, and a communication unit 18C.
  • the microcomputer 18A controls the overall operation of the information processing apparatus 101 including the operations described below. Further, the microcomputer 18A executes various processes described below such as image processing.
  • a computer program for controlling each operation of the information processing apparatus 101 is stored in the memory 18B, and the microcomputer 18A controls the operation of each component of the information processing apparatus 101 according to the computer program, Various processes such as image processing are executed.
  • the camera 10 captures the face of the user 21 and acquires face image data.
  • the light source 12 illumination device that emits polarized light is used in order to more accurately calculate the feature index of the image.
  • FIG. 2A and FIG. 2B are a front view and a side view showing the arrangement of the camera 10, the light source 12, and the display 14 of the information processing apparatus 101.
  • the light source 12 is provided on the display 14, and the light source 12 includes a first light source 12A and a second light source 12B.
  • the display 14 has a display surface on the same side as the image input side of the camera 10.
  • the light source 12 has a light exit on the same side as the image input side of the camera 10.
  • the user when analyzing the skin using the information processing apparatus 101, the user holds the face 21 at a position separated from the display 14 by, for example, a distance x. At this time, the user's face 21 is at a position away from the camera 10 by a distance i, for example. In this state, the optical system of the camera 10 is set so that the entire face can be photographed with an appropriate size and resolution.
  • An example of the size of the display 14 is a width W of about 30 cm and a height H of about 50 cm.
  • the distance x is about 30 cm to 70 cm, for example, about 45 cm.
  • the distance i is about 30 cm to 70 cm, for example, about 47 cm.
  • the display 14 displays the face image data reversed left and right in the display area 16. Further, the microcomputer 18A generates a guide image based on the obtained face image data, and the display 14 displays the guide image.
  • the guide image serves as a guide for guiding the user in a direction in which the distance between the information processing apparatus 101 and the user's face 21 is changed.
  • the display area 16 of the display 14 may be provided with a user interface such as a touch panel.
  • the control device 18 may be connected to the cloud server 102 of the service provider that provides services related to skin analysis and evaluation via the communication unit 18C and the communication network 19.
  • the communication unit 18 ⁇ / b> C transmits the captured image, the image feature index, the skin evaluation value, and the like to the cloud server 102.
  • FIG. 1A only one information processing apparatus 101 is shown, but the cloud server 102 can be connected to a plurality of information processing apparatuses 101.
  • FIG. 1C is a diagram showing the configuration of the cloud server 102.
  • the cloud server 102 includes a microcomputer 102A, a memory 102B, a communication unit 102C, and a database 102D.
  • the cloud server 102 receives captured images, image feature indexes, skin evaluation values, and the like from the plurality of information processing apparatuses 101 via the communication unit 102C.
  • the cloud server 102 stores each data received from the plurality of information processing apparatuses 101, generates statistical data, and obtains a correlation between the data. In addition, the statistical data and the correlation are transmitted to each information processing apparatus 101 via the communication unit 102C.
  • FIG. 3 is a diagram illustrating an example of a guide image.
  • a marker whose size is known in advance is attached to a part of the user's face, and the user is guided using the marker image 32 obtained by imaging.
  • the user wears a headband provided with a marker on the forehead, and this marker becomes the reference portion of the face.
  • FIG. 3A shows a face image 31 displayed in the display area 16 of the display 14.
  • a marker image 32 is displayed as a part of the user's face image 31. Since the actual size of the marker is known in advance, the image size of the marker displayed in the display area 16 when the distance between the information processing apparatus 101 and the user's face 21 is the optimum distance is also known in advance. . Therefore, the user can move to the position of the optimum distance by guiding the user so that the image size of the marker imaged and displayed is the image size at the optimum distance.
  • FIG. 3B is a diagram showing a guide image 33 corresponding to the image size of the marker at the optimum distance.
  • the data of the guide image 33 is stored in advance in the memory 18B, for example, and the microcomputer 18A reads the data and displays an image in which the captured face image 31 and the guide image 33 are superimposed on the display 14.
  • FIG. 3C is a diagram illustrating a guide image generated by superimposing the captured face image 31 and the guide image 33.
  • FIG. 4A shows the relationship between the marker image 32 and the guide image 33 when the distance between the information processing apparatus 101 and the user's face 21 is larger than the optimum distance.
  • FIG. 4B shows the relationship between the marker image 32 and the guide image 33 when the distance between the information processing apparatus 101 and the user's face 21 is smaller than the optimum distance.
  • FIG. 4C shows the relationship between the marker image 32 and the guide image 33 when the distance between the information processing apparatus 101 and the user's face 21 is the optimum distance.
  • the marker image 32 is displayed smaller than the guide image 33.
  • the user may be positioned at the optimum distance by bringing the face closer to the information processing apparatus 101 so that the marker image 32 becomes larger and matching the sizes of the marker image 32 and the guide image 33 as shown in FIG. it can.
  • the marker image 32 is displayed larger than the guide image 33.
  • the user may be positioned at the optimum distance by moving the face away from the information processing apparatus 101 so that the marker image 32 becomes smaller and matching the sizes of the marker image 32 and the guide image 33 as shown in FIG. it can.
  • the user can be guided to the optimum distance using the guide image 33.
  • a guide corresponding to the contour of the user's face may be generated using the ratio of the size of the marker image 32 and the guide image 33. Since the actual size of the marker is known in advance, the actual size of the face displayed with the marker can be estimated. From there, it is possible to estimate the face image size at the optimum distance. That is, the face image 31 is enlarged or reduced by using the ratio of the size of the marker image 32 and the guide image 33, so as to correspond to the contour of the face at the optimum distance as shown in FIG.
  • a guide image 35 can be generated. For example, the guide image 35 is displayed at the center of the display area 16 so that the user's face is arranged at the center of the captured image.
  • the basic guide image 36 is displayed at the center of the display area 16 so that the face of the user is arranged at the center of the captured image.
  • FIG. 6 is a diagram illustrating a processing circuit 180 included in the control device 18.
  • FIG. 7 is a flowchart for explaining the operation of the processing circuit 180.
  • the processing circuit 180 includes a face image acquisition unit 181, a face detection unit 182, a reference feature detection unit 183, a feature analysis unit 184, a face guide generation unit 185, and a guidance image generation unit 186.
  • the microcomputer 18A may also serve as the processing circuit 180, and the microcomputer 18A may execute processing of components of the processing circuit 180.
  • the face image acquisition unit 181 acquires image data captured by the camera 10 (step 301), and reverses the image data left and right.
  • the face detection unit 182 detects a face image in the image data (step 302).
  • the face detection unit 182 generates a basic face guide image 36 corresponding to the size of the face image in the image data (step 303).
  • the reference feature detection unit 183 detects a reference feature portion in the image data (step 304).
  • the reference feature is a marker.
  • the feature analysis unit 184 detects the size of the marker image 32 in the image data (step 305).
  • the feature analysis unit 184 may calculate the distance between the information processing apparatus 101 and the marker from the size of the marker image 32.
  • the face guide generation unit 185 calculates the image size of the face at the optimum distance using the size ratio between the marker image 32 and the guide image 33. Then, a guide image 35 corresponding to the contour of the face image at the optimum distance is generated (step 306). At this time, the guide image 35 may be generated by correcting (enlarging or reducing) the basic face guide image 36 generated in step 303.
  • the guide image generation unit 186 generates an image obtained by superimposing the guide image 35 and the basic face guide image 36 on the face image 31 (step 307), and the display 14 displays the composite image as a guide image for guiding the user. (Step 308).
  • the feature analysis unit 184 analyzes the size of the marker image 32 in the image data (step 309).
  • the feature analysis unit 184 evaluates whether or not the size of the marker image 32 matches the size (size of the guide image 33) when the distance is suitable for skin analysis (reference distance) (step 310). If the sizes do not match, continue the analysis until they match. If the sizes match, the camera 10 captures an image of the user's face (step 311). As described above, the user can adjust the position of the face according to the guidance image, and can perform imaging at a distance suitable for skin analysis.
  • the guide image 35 need not be generated every time imaging is performed, and once the guide image 35 is generated, the guide image 35 may be stored in the memory 18B. At the next use, the stored guide image 35 is read and displayed, so that the process of generating the guide image 35 can be omitted.
  • the guide image and the basic face guide image corresponding to the contour of the face are exemplified as the guide image 35 and the basic face guide image 36.
  • the guide image 35 and the basic face guide image 36 may be other than the contour of the face. It may be a guide image having a shape corresponding to one.
  • the guide image may have, for example, a shape surrounding at least one part of the eye, nose, and mouth.
  • imaging for skin analysis may be performed when the face is located within the range.
  • FIG. 8 is a diagram for explaining a method of calculating the distance between the information processing apparatus 101 and the marker.
  • the distance between the information processing apparatus 101 and the marker refers to the distance between the camera 10 and the marker, for example.
  • the actual length of the subject is a
  • the length of the subject on the image obtained by imaging the subject of the actual length a is s1.
  • a viewing angle formed by a straight line extending from the lens center of the camera 10 to the subject is defined as d1
  • a distance between the camera 10 and the subject is defined as x.
  • the actual length a of the subject is the actual length between the upper and lower ends (or left and right ends) of the marker.
  • the actual length a of the marker is known.
  • the length s1 of the subject on the image is the length of the marker image 32 on the image obtained by imaging the marker.
  • the viewing angle d1 is an angle formed by a straight line extending from the lens center of the camera 10 to the upper and lower ends (or left and right ends) of the marker.
  • the marker length s1 on the image increases and the viewing angle d1 also increases.
  • the marker length s1 on the image is small and the viewing angle d1 is also small. That is, the marker length s1 on the image is proportional to the viewing angle d1.
  • the conversion relationship between the marker length s1 on the image and the viewing angle d1 is acquired and stored in advance.
  • the conversion relationship d1 c ⁇ s1 It expresses.
  • c is a proportionality constant.
  • the distance x between the camera 10 and the marker can be calculated from these relational expressions.
  • FIG. 9 is a diagram illustrating the information processing apparatus 101 including the distance measuring device 11.
  • the information processing apparatus 101 shown in FIG. 9 has a configuration in which a distance measuring device 11 is added to the information processing apparatus 101 shown in FIG.
  • the distance measuring device 11 measures the distance between the information processing device 101 and the user's face 21.
  • FIG. 10 is a diagram showing a processing circuit 180 provided in the control device 18 in this example.
  • FIG. 11 is a flowchart for explaining the operation of the processing circuit 180.
  • the processing circuit 180 includes a face image acquisition unit 181, a face detection unit 182, an imaging distance acquisition unit 187, a distance evaluation unit 188, a face guide generation unit 185, and a guidance image generation unit 186.
  • the microcomputer 18A may also serve as the processing circuit 180, and the microcomputer 18A may execute processing of components of the processing circuit 180.
  • the face image acquisition unit 181 acquires image data captured by the camera 10 (step 401), and reverses the image data horizontally.
  • the face detection unit 182 detects a face image in the image data (step 402).
  • the face detection unit 182 generates a basic face guide image 36 corresponding to the size of the face image in the image data (step 403).
  • FIG. 12 is a diagram showing a basic face guide image 36, which is a guide image corresponding to the size of the face image 31.
  • the imaging distance acquisition unit 187 acquires distance data from the distance measuring device 11 (step 404).
  • the distance evaluation unit 188 compares the measured distance with the optimum distance (step 405).
  • the face guide generation unit 185 calculates the image size of the face when it is at the optimum distance, using the ratio between the measured distance and the optimum distance. Then, a guide image 35 corresponding to the contour of the face image at the optimum distance is generated (step 406). At this time, the guide image 35 may be generated by correcting (enlarging or reducing) the basic face guide image 36 generated in step 403.
  • the size of the guide corresponding to the optimum distance is generally inversely proportional to the distance between the camera 10 and the face 21.
  • a be the actual length of the subject
  • s1 and s2 be the lengths of the subject on the image obtained by imaging the subject having the actual length a.
  • d1 and d2 be the viewing angles formed by straight lines extending from the camera lens center to the subject
  • x and y be the distance between the camera 10 and the subject.
  • the actual length a of the subject is a length between arbitrary parts of the user's head, for example, the length from the top of the user to the lower end of the chin.
  • the length from the top of the user's head to the lower end of the chin is just an example.
  • the length a of the subject includes the length from the forehead to the chin, the length between the left and right eyes, the eye
  • the length between arbitrary parts, such as the length from a mouth to a mouth, is employable.
  • the lengths s1 and s2 of the subject on the image are the lengths on the image between the adopted parts.
  • the viewing angles d1 and d2 are angles formed by straight lines extending from the lens center of the camera to the site adopted.
  • the distances x and y are distances between the camera and the adopted part.
  • the distance x is the current distance between the camera and the site that has been adopted, and the distance y is the optimum distance for obtaining a face image suitable for skin analysis.
  • the size of the face image obtained by converting the length s1 into the length s2 corresponds to the size of the face image obtained at the optimum distance y.
  • a guide image 35 is generated from the reduced face image, and the user is guided in a direction away from the camera. If the user's face is too far away from the camera, a guide image 35 is generated from the enlarged face image, and the user is guided in a direction to bring the face closer to the camera.
  • the guide image generation unit 186 generates an image obtained by superimposing the guide image 35 on the face image 31 (step 407).
  • FIG. 15 is a diagram showing a guide image generation process.
  • FIG. 15A shows the face image 31
  • FIG. 15B shows the basic face guide image 36
  • FIG. 15C shows the guide image 35.
  • the guide image generation unit 186 generates a composite image by superimposing the guide image 35 on the face image 31.
  • the display 14 displays the composite image as a guide image for guiding the user (step 408).
  • the guide image 35 is displayed at the center of the display area 16 so that the user's face is arranged at the center of the captured image.
  • the face image 31 and the guide image 35 match, and imaging can be performed at an optimum distance.
  • the imaging distance acquisition unit 187 acquires distance data from the distance measuring device 11 while the user adjusts the position and inclination of the face according to the guidance image (step 409).
  • the distance evaluation unit 188 evaluates whether or not the measured distance matches a distance (reference distance) suitable for skin analysis (step 410). If the distances do not match, the distance data continues to be acquired until they match. If the distances match, the camera 10 captures an image of the user's face (step 411). As described above, the user can adjust the position of the face according to the guidance image, and can perform imaging at a distance suitable for skin analysis.
  • the guide image 35 may be stored in the memory 18B. At the next use, the stored guide image 35 is read and displayed, so that the process of generating the guide image 35 can be omitted.
  • FIG. 16 is a flowchart for explaining the operation of the processing circuit 180 (FIG. 10) in this example.
  • FIG. 17 is a diagram illustrating a guide image generation process.
  • FIG. 17A shows a face image 31.
  • the face image is a leaning face.
  • FIG. 17B shows a basic face part guide image 36 obtained from an image of a leaning face.
  • FIG. 17C shows a guide image 35a corresponding to a face image in front of the optimal distance.
  • FIG. 17D shows a composite image in which the guide image 35 a is superimposed on the face image 31.
  • a plurality of portions of the user's face are employed as the reference portion of the user's face.
  • One or more of the plurality of portions may be selected from the left and right sides of the user's face. Further, the same number may be selected from the left and right of the user's face.
  • One or more of the plurality of portions may be selected from the top and bottom of the face, for example, based on the user's nose. Furthermore, the same number may be selected from the top and bottom of the face based on the user's nose. Note that the top and bottom of the face may be based on the root of the nose or the human body, and is not limited to a nasal projection.
  • the face image acquisition unit 181 acquires image data captured by the camera 10 (step 501), and reverses the image data left and right.
  • the face detection unit 182 detects a face image in the image data (step 502).
  • the face detection unit 182 generates a basic face part guide image 36 corresponding to the size of the image of each part of the face in the image data (step 503).
  • FIG. 17B shows a basic face part guide image 36.
  • the distance measuring device 11 measures the distance of each part of the face from the information processing device 101.
  • the imaging distance acquisition unit 187 acquires distance data from the distance measuring device 11 (step 504).
  • the distance evaluation unit 188 compares the measured distance with the optimum distance (step 505). Further, the degree of the inclination of the face is estimated by analyzing the distance data of each part of the face or analyzing the distance between the parts.
  • the face guide generation unit 185 calculates the size when the face is at the optimum distance for each part of the face.
  • the size and position are calculated by estimating the face image when the face is not tilted (when facing the front) using the degree of tilt.
  • a guide image 35a corresponding to the image when the face is facing directly in front at the optimum distance is generated (step 506).
  • the guide image 35a may be generated by correcting (moving, enlarging, reducing, etc.) the basic face part guide image 36 generated in step 503. Further, this process is performed for all the target parts (step 507).
  • the guide image generation unit 186 When the generation of the guide images corresponding to all the target parts is completed, the guide image generation unit 186 generates an image obtained by superimposing the guide image 35a on the face image 31, as shown in FIG. (Step 508), the display 14 displays the composite image as a guidance image for guiding the user (Step 509).
  • the imaging distance acquisition unit 187 acquires distance data from the distance measuring device 11 while the user adjusts the position and inclination of the face according to the guidance image (step 510).
  • the distance evaluation unit 188 evaluates whether or not the measured distance matches a distance (reference distance) suitable for skin analysis (step 511). If the distances do not match, the distance data continues to be acquired until they match. If the distances match, the camera 10 captures an image of the user's face (step 512). In this manner, the user can take an image at a distance suitable for skin analysis by adjusting the position and inclination of the face according to the guidance image.
  • the distance from the information processing apparatus 101 to the reference portion on the left side of the face is compared with the distance from the information processing apparatus 101 to the right side of the face, and there is a difference of a predetermined distance or more, It may be determined that the user's face is not facing the front but facing diagonally right or diagonally left, and a message for prompting the user to correct the orientation of the face may be displayed on the display 14. That is, when the distance from the information processing apparatus 101 to the reference portion on the left side of the face is shorter than the distance from the information processing apparatus 101 to the reference portion on the right side of the face by a predetermined distance or more, the user is facing diagonally to the right. And a message prompting the user to correct the face direction to the left is displayed on the display 14.
  • the user displays a message on the display 14 urging the user to correct the face direction to the right.
  • the distance from the information processing apparatus 101 to the reference portion above the face is compared with the distance from the information processing apparatus 101 to the reference portion below the face, there is a difference of a predetermined distance or more.
  • a message or the like prompting the user to correct the facial orientation may be displayed on the display 14. That is, when the distance from the information processing apparatus 101 to the reference portion above the face is shorter than the distance from the information processing apparatus 101 to the reference portion below the face by a predetermined distance or more, the user turns diagonally downward.
  • a message prompting the user to correct the face direction upward is displayed on the display 14.
  • the user It is determined that the user is facing the direction, and a message that prompts the user to correct the face direction downward is displayed on the display 14.
  • the distance between the information processing apparatus 101 and the user's face 21 is determined based on a plurality of distances included in the information processing apparatus 101 and the user's face 21. It is good also as an average value of the distance between each reference part. Thereby, in detecting the distance between the information processing apparatus 101 and the user's face 21 as a subject, the influence of the unevenness of the user's face 21 can be reduced. For example, when a nose bulge or a dimple in the eye is used as a reference part, it is possible to prevent detection of a value that deviates from the distance from the information processing apparatus 101 to the forehead and cheek that occupy most of the skin of the face 21.
  • FIG. 18A shows an example of an initial screen before imaging displayed in the display area 16.
  • the display area 16 includes a main screen 70 having a large area and a sub screen 72 having a small area.
  • the captured image is displayed in real time on the main screen 70 and functions as a digital mirror.
  • information such as a clock and a weather forecast may be displayed on the sub screen 72.
  • FIG. 18B shows a screen immediately before the start of imaging.
  • a guide image 35 for guiding the position of the user's face is displayed.
  • a mark or a number 74 indicating the timing of imaging may be shown.
  • the captured face image may be displayed in real time on the right side 72R of the sub screen 72, and the calendar may be displayed on the left side 72L.
  • a mark or the like may be shown at the position of the day when imaging was performed using the information processing apparatus 101 in the past.
  • 18 (c) and 18 (d) show an example of a screen displayed on the display 14 after the skin analysis is completed.
  • On the main screen 70 an image captured by the camera 10 is displayed in real time.
  • On the right side 72R of the sub screen the calculated feature index is shown by, for example, a radar chart 82. In the figure, the average feature index of the entire measured skin area is displayed.
  • the left side 72L shows a face image captured during measurement.
  • a menu for designating the position of the face is displayed on the upper portion 80 of the sub screen 72, and a menu for switching contents and functions to be displayed is displayed on the left side portion 78.
  • the user can display a specific skin region of the face or change the displayed content by touching the upper portion 80 and the left portion 78 of the sub screen 72.
  • FIG. 18D shows an example in which the location designated by the user and the designated feature index are displayed on the right side 72R of the sub-screen 72. A part of the captured image is enlarged and displayed at a position designated by the user. Also, spots and wrinkles are indicated by red areas, for example.
  • 19 and 20 show examples of information displayed on the sub-screen 72 of the display 14.
  • a calendar may be displayed on the sub screen.
  • the calendar shows information measured in the past.
  • the past measurement result can be displayed on the main screen 70.
  • a radar chart of feature indexes may be further displayed on the sub screen 72.
  • advice 86 regarding beauty such as skin care based on the result of skin analysis may be displayed.
  • information 88 on cosmetics and beauty equipment for improving the skin condition may be displayed.
  • the technology described in the above aspect may be realized in a cloud service, for example.
  • analysis and evaluation of a face image acquired by imaging may be performed on a cloud server.
  • analysis and evaluation of a face image acquired by imaging may be performed in any of the following types 1 to 4 of services.
  • types of cloud services in which the technology described in the above aspect is realized are not limited to these.
  • FIG. 21 is a diagram showing an overview of services provided by the information management system in service type 1 (in-house data center type cloud service).
  • the service provider 120 acquires information from the group 100 and provides a service to the user.
  • the group 100 is, for example, a household that owns the information processing apparatus 101 described above, and the service provider 120 acquires face image data obtained by the information processing apparatus 101.
  • the service provider 120 may acquire face image data from a plurality of groups 100.
  • the service provider 120 has a function of a data center operating company. That is, the service provider 120 has a cloud server 203 that manages big data. Therefore, there is no data center operating company.
  • the service provider 120 operates and manages the data center (cloud server) 203.
  • the service provider 120 manages an operating system (OS) 202 and an application 201.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the service provider 120 (arrow 204). For example, the service provider 120 analyzes and evaluates the face image and provides the result of the analysis and evaluation to the user.
  • FIG. 22 is a diagram illustrating an overview of services provided by the information management system in service type 2 (IaaS-based cloud service).
  • IaaS is an abbreviation for infrastructure as a service, and is a cloud service provision model that provides a base for constructing and operating a computer system as a service via the Internet.
  • the data center operating company 110 operates and manages the data center (cloud server) 203.
  • the service provider 120 manages the OS 202 and the application 201.
  • the data center operating company 110 acquires face image data from at least one group 100.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the service provider 120 (arrow 204). For example, the service provider 120 analyzes and evaluates the face image and provides the result of the analysis and evaluation to the user.
  • FIG. 23 is a diagram illustrating an overall image of services provided by the information management system in service type 3 (PaaS use type cloud service).
  • PaaS is an abbreviation for Platform as a Service
  • PaaS provision model that provides a platform serving as a foundation for constructing and operating software as a service via the Internet.
  • the data center operating company 110 manages the OS 202 and operates and manages the data center (cloud server) 203. Further, the service provider 120 manages the application 201. The data center operating company 110 acquires face image data from at least one group 100. The service provider 120 provides a service using the OS 202 managed by the data center operating company 110 and the application 201 managed by the service provider 120 (arrow 204). For example, the service provider 120 analyzes and evaluates the face image and provides the result of the analysis and evaluation to the user.
  • FIG. 24 is a diagram showing an overview of services provided by the information management system in service type 4 (SaaS-based cloud service).
  • SaaS is an abbreviation for software as a service.
  • the SaaS-based cloud service is, for example, an application provided by a platform provider who owns a data center (cloud server), or a user such as a company or individual who does not have a data center (cloud server) on the Internet.
  • This is a cloud service provision model that has functions that can be used via other networks.
  • the data center operating company 110 manages the application 201, manages the OS 202, and operates and manages the data center (cloud server) 203.
  • the data center operating company 110 acquires face image data from at least one group 100.
  • the service provider 120 provides a service using the OS 202 and the application 201 managed by the data center operating company 110 (arrow 204). For example, the service provider 120 analyzes and evaluates the acquired face image and provides the result of the analysis and evaluation to the user.
  • the service provider 120 provides a service.
  • the service provider or the data center operating company may develop an OS, an application, a big data database, or the like, or may be outsourced to a third party.
  • the technique of the present disclosure is particularly useful in the field of information processing apparatuses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

 実施形態に係る画像を入力するカメラ10及びカメラ10の画像入力側と同一側に表示面を有するディスプレイ14を有する情報処理装置101を制御する制御方法は、カメラ10から被写体の顔21の画像を入力し、入力画像を左右反転し、左右反転した画像をディスプレイ14に表示する情報処理装置101のコンピュータ18Aに、情報処理装置101と被写体の顔21に含まれる基準部分との間の距離を検出させ、被写体の顔21の画像を評価するための基準距離と検出された距離との比率に応じた倍率を決定させ、決定された倍率に基づいて、左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、情報処理装置と被写体との間の距離を変更する方向に被写体を誘導するガイド画像35として、ディスプレイ14に表示させる。

Description

情報処理装置および情報処理装置の制御方法
 本開示は、ユーザの顔を撮像可能な情報処理装置およびその制御方法に関する。
 人間の顔の肌をカメラで撮像し、撮像した画像から肌の状態を評価する情報処理装置および情報処理装置の制御方法が検討されている。
特許第4485837号公報 特許第5206516号公報
 しかし、上記情報処理装置および情報処理装置の制御方法は更なる改善が必要であった。
 本開示の一態様に係る制御方法は、画像を入力するカメラ及びカメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、カメラから被写体の顔の画像を入力し、入力画像を左右反転し、左右反転した画像をディスプレイに表示する情報処理装置のコンピュータに、情報処理装置と被写体の顔に含まれる基準部分との間の距離を検出させ、被写体の顔の画像を評価するための基準距離と検出された距離との比率に応じた倍率を決定させ、決定された倍率に基づいて、左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、情報処理装置と被写体との間の距離を変更する方向に被写体を誘導するガイド画像として、ディスプレイに表示させる。
 上記態様により、更なる改善を実現できた。
(a)は実施形態に係る情報処理装置を示す図であり、(b)は実施形態に係る制御装置の構成を示す図であり、(c)は実施形態に係るクラウドサーバの構成を示す図である。 (a)および(b)は、実施形態に係る情報処理装置の構成要素の配置例を示す図である。 (a)から(c)は、実施形態に係るガイド画像を説明する図である。 (a)から(c)は、実施形態に係るマーカー画像とガイド画像の位置関係を示す図である。 (a)は実施形態に係るガイド画像を示す図であり、(b)は実施形態に係る基本顔ガイド画像を示す図である。 実施形態に係る処理回路を示す図である。 実施形態に係る処理回路の動作を示すフローチャートである。 実施形態に係る情報処理装置とマーカーとの間の距離を計算する方法を説明する図である。 実施形態に係る情報処理装置を示す図である。 実施形態に係る処理回路を示す図である。 実施形態に係る処理回路の動作を示すフローチャートである。 実施形態に係る基本顔ガイド画像を示す図である。 実施形態に係る距離と画像サイズとの関係を示す図である。 (a)および(b)は、実施形態に係るガイド画像のサイズを計算する方法を説明する図である。 (a)から(e)は、実施形態に係る誘導画像を生成してユーザを誘導する処理を説明する図である。 実施形態に係る処理回路の動作を示すフローチャートである。 (a)から(d)は、実施形態に係る誘導画像を生成する処理を説明する図である。 (a)から(d)は、実施形態に係る表示エリアに表示される画像の例を説明する図である。 (a)および(b)は、実施形態に係る表示エリアに表示される画像の例を説明する図である。 (a)および(b)は、実施形態に係る表示エリアに表示される画像の例を説明する図である。 実施形態に係るサービスの類型1(自社データセンタ型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。 実施形態に係るサービスの類型2(IaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。 実施形態に係るサービスの類型3(PaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。 実施形態に係るサービスの類型4(SaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。
 (本発明の基礎となった知見)
 人間の顔の肌をカメラで撮像し、得られた肌画像に基づいて肌の状態を評価する装置がある。例えば、特許文献1は、肌表面から離れた場所に設置したカメラで撮像した肌画像に基づいて、肌の状態を評価する皮膚画像処理装置を開示している。特許文献1の皮膚画像処理装置では、カメラと肌表面との間の距離が適切な状態で撮像するために、ユーザの顎を台に乗せ、額を押さえに押し当てて顔を固定する。このユーザの顔を固定した状態で、カメラが顔との距離を一定に保ちながら移動して顔の肌表面を撮像し、得られた肌画像に基づいて、色素沈着、毛穴、しわ等の肌状態の評価を行なっている。
 また、肌の状態を評価する技術分野とは異なるが、特許文献2は、車の運転者の表情を認識するために、運転者に対して顔の撮像に適した撮像位置を知らせる撮影補助装置を開示している。
 ここで、ユーザの顔を撮像する場合、ユーザの顔とカメラとの間の距離を一定にして撮像することで、肌表面の評価に適した画像が取得できると考えられる。具体的には、この距離が撮像の都度変化しないことにより、同一条件でユーザの顔を撮像することができ、過去と現在の肌状態の比較が容易となる。
 しかし、特許文献1の皮膚画像処理装置ではユーザの顎および額を器具で固定して撮像を行なっており、このようにユーザの顎および額を器具で固定する方法では、装置が大がかりになるとともに、自然な状態での撮像ができないという課題がある。また、顎および額を器具で固定することはユーザにとって煩わしいという課題があるとともに、固定器具と接する肌領域の画像を取得することができない。
 また、特許文献2の撮影補助装置では、撮像した運転者の顔画像とともに基準点を表示装置に表示し、運転者の顔画像の目や鼻の位置をその基準点の位置に合わせるように誘導して、運転者の顔を撮像に適した位置に移動させている。そのため、ユーザに顔の移動を促すことができるのは、表示画面上における上下左右方向に対してのみであり、ユーザとカメラとを結ぶ軸方向(ユーザの顔の前後方向)における適切な位置(ユーザとカメラとの間の適切な距離)をユーザに認識させたり、ユーザとカメラとを結ぶ軸方向の移動を促したりすることはできない。
 そこで、上記課題を解決するために、以下の改善策を検討した。
 情報処理装置を制御する制御方法の一態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
 上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
 これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。
 そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。
 さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。
 また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。
 上記態様において、例えば、前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させてもよい。
 上記態様では、前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させる。
 これにより、前記情報処理装置と被写体であるユーザの顔との間の距離が一定の状態で顔の画像が撮像される。そのため、被写体の画像を撮像するたびに異なる距離で画像が撮像されることを防止でき、同一条件で撮像された画像を得ることができる。
 上記態様において、例えば、前記情報処理装置は前記カメラの画像入力側と同一側に光の照射口を有する照明装置を備え、前記被写体の画像を撮像するときに、前記照明装置を動作させて前記被写体に光を照射させるとしてもよい。
 上記態様では、前記被写体の画像を撮像するときに、照明装置を動作させて前記被写体に光を照射させる。
 これにより、撮像された画像における被写体への光の当たり方が一定となり、前記情報処理装置と被写体であるユーザの顔の基準部分との間の距離が一定となるだけでなく、被写体の顔への光の照射度合いも一定として、同一条件で撮像された画像を取得できる。
 上記態様において、例えば、前記撮像させた画像は、前記被写体の顔の評価に用いられる画像であるとしてもよい。
 上記態様では、前記撮像させた前記被写体の画像を前記ユーザの顔の評価に用いる。
 これにより、前記情報処理装置と被写体であるユーザの顔との間の距離が一定という同一条件のもとで撮像された画像がユーザの顔の評価に用いられる。
 そのため、例えば、複数の異なる時刻または日にちに撮像されたユーザの顔の画像を比較する場合に、画像のスケールまたはオーダーなどを一致させる前処理が不要となり、画像の比較が容易となる。
 上記態様において、例えば、前記基準距離は、カメラの焦点距離であるとしてもよい。
 上記態様では、カメラの焦点距離は固定であり、前記被写体の画像を撮像するときに、カメラの焦点距離に対して最適な距離で撮像することになる。これにより、前記被写体の画像は焦点距離にあった鮮明な画像になり、被写体の顔を解析した際の精度が向上する。
 上記態様において、例えば、前記被写体の顔の評価を行う指標ごとに、専門家による官能評価の結果と最も近くなるような距離を経験的に求めておき、前記被写体の顔の評価を行う指標ごとに、評価指標に基づいて決定するとしてもよい。
 上記態様では、評価を行う指標ごとに基準距離を変えて撮影する。これにより前記被写体の顔の評価が専門家による官能評価に近くなり、評価制度が向上する。
 上記態様において、例えば、前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示されるとしてもよい。
 上記態様では、前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される。
 これにより、ユーザは前記ディスプレイに表示される自身の顔を確認しながら、前記ガイド画像に従って自身の顔の位置を移動させる。そのため、ユーザが自分で顔の状態を確認しつつ、同一条件で撮像された画像を取得するために前記ガイドに従って前記情報処理装置とユーザの顔との間の距離を一定にできる。
 上記態様において、例えば、前記左右反転した顔の画像に含まれる、前記少なくとも一部の部位に対応した画像と同じ部位の画像を、前記情報処理装置と前記被写体との間の現在の距離を提示する基本顔ガイド画像として、前記ディスプレイに表示させるとしてもよい。
 上記態様では、前記基本顔ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される。これにより、ユーザは前記ディスプレイに表示される前記基本顔ガイド画像を確認しながら、前記ガイド画像に従って自身の顔の位置を移動させる。そのため、ユーザが前記ガイド画像に従って、どのように顔を移動させれば良いかを視認しやすい。
 上記態様において、例えば、前記少なくとも一部の部位に対応した画像は、前記少なくとも一部の部位の輪郭に対応した形状を有するとしてもよい。
 上記態様において、例えば、前記基本顔ガイド画像は、前記少なくとも一部の部位の輪郭に対応した形状を有するとしてもよい。
 上記態様では、前記少なくとも一部の部位に対応した画像および前記基本顔ガイド画像は、前記少なくとも一部の部位の輪郭に対応した形状を有する。
 そのため、ユーザは前記ディスプレイに表示されたガイド画像にユーザ自身の顔の部位の輪郭または基本顔ガイド画像を合わせるように顔の位置を移動させるだけで、前記情報処理装置と被写体であるユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。
 上記態様において、例えば、前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含むとしてもよい。
 上記態様では、前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含む。
 そのため、ユーザは前記ディスプレイに表示されたガイド画像に、ユーザ自身の眼、鼻、口のうちの少なくとも一つの部位を合わせるように顔の位置を移動させるだけで、前記情報処理装置とユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。
 上記態様において、例えば、前記少なくとも一部の部位に対応した画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有するとしてもよい。
 上記態様において、例えば、前記基本顔ガイド画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有するとしてもよい。
 上記態様では、前記少なくとも一部の部位に対応した画像および前記基本顔ガイド画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有する。
 そのため、ユーザは前記ディスプレイに表示されたガイド画像にユーザ自身の顔の輪郭、又は眼、鼻、若しくは口の輪郭または基本顔ガイド画像を合わせるように顔の位置を移動させるだけで、前記情報処理装置とユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。
 上記態様において、例えば、前記基準部分は、前記被写体の顔に含まれる複数の部分であり、前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離であるとしてもよい。
 上記態様では、前記基準部分は、前記被写体の顔に含まれる複数の部分であり、前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離である。
 これにより、前記情報処理装置と被写体であるユーザの顔の間の距離を検出するにあたってユーザの顔の凹凸の影響を軽減できる。例えば、鼻の出っ張りまたは眼の窪みなどを基準部分とした場合に、前記情報処理装置から顔の肌の大部分を占める額および頬までの距離とは乖離した値が検出されることを防止できる。
 そのため、前記情報処理装置と被写体であるユーザの顔の間の距離を、前記基準距離へ精度よく近づけるガイド画像をディスプレイへ表示可能となり、撮像した画像に基づく肌分析の精度を向上できる。
 上記態様において、例えば、前記複数の部分は、前記被写体の顔の左右から同一数選択されているとしてもよい。
 上記態様において、例えば、前記複数の部分は、前記被写体の顔の所定の基準点の上下から同一数選択されているとしてもよい。
 上記態様において、例えば、前記拡大した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置に近づける方向に前記被写体を誘導するガイド画像であり、前記縮小した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置から遠ざける方向に前記被写体を誘導するガイド画像であるとしてもよい。
 上記態様において、例えば、前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像であるとしてもよい。
 上記態様では、前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像である。
 これにより、ユーザに対して、前記情報処理装置とユーザの顔との間の距離を基準距離に近づけるよう誘導でき、ユーザが誘導に従うことで、前記情報処理装置とユーザの顔との間の距離が一定の状態で撮像された画像を取得できる。
 上記態様において、例えば、前記被写体の顔の画像の評価は、前記被写体の顔の肌分析を含むとしてもよい。
 上記態様において、例えば、前記検出された距離は、前記情報処理装置が有するカメラと前記ユーザの顔における前記基準部分との間の距離であるとしてもよい。
 また、本開示に係る情報処理装置の一態様は、画像を入力するカメラと、前記カメラの画像入力側と同一側に表示面を有するディスプレイと、前記カメラを用いて入力した被写体の顔の画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示するコントローラとを具備した情報処理装置であって、前記コントローラは、前記情報処理装置と前記被写体の顔の画像に含まれる基準部分との間の距離を検出し、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定し、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
 上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
 これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。
 そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。
 さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。
 また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。
 また、本開示に係る情報処理装置を制御するプログラムの一態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御するプログラムであって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
 上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。
 これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。
 そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。
 さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。
 また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。
 また、情報処理装置を制御する制御方法の他の態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記顔の画像における基準部分の基準サイズに対応したガイド画像を前記ディスプレイに表示させる。
 また、情報処理装置を制御する制御方法の他の態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記カメラと前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも小さいと判断した場合は、縮小した顔画像の少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも大きいと判断した場合は、拡大した顔画像の少なくとも一部に対応したガイド画像を前記ディスプレイに表示させる。
 以下、図面を参照しながら、実施形態に係る情報処理装置およびその制御方法を説明する。
 図1(a)は、実施形態に係る情報処理装置101を示す図である。情報処理装置101は、カメラ10と、光源12と、ディスプレイ14と、制御装置18とを備える。図1(b)は、制御装置18の構成を示す図である。制御装置18は、マイクロコンピュータ18Aと、メモリ18Bと、通信部18Cとを備える。マイクロコンピュータ18Aは、以下に説明する動作を含む情報処理装置101全体の動作を制御する。また、マイクロコンピュータ18Aは、画像処理等の以下に説明する各種処理を実行する。例えば、情報処理装置101の各動作を制御するためのコンピュータプログラムがメモリ18Bに記憶されており、マイクロコンピュータ18Aは、そのコンピュータプログラムに従って、情報処理装置101の各構成要素の動作を制御したり、画像処理等の各種処理を実行したりする。
 カメラ10は、ユーザ21の顔を撮像し、顔の画像データを取得する。この際、本実施形態では、画像の特徴指標をより正確に算出するために、偏光光を出射する光源12(照明装置)を用いる。
 図2(a)および図2(b)は、情報処理装置101のカメラ10、光源12およびディスプレイ14の配置を示す正面図および側面図である。本実施形態では、光源12は、ディスプレイ14の上に設けられており、光源12は、第1光源12Aおよび第2光源12Bを含む。ディスプレイ14は、カメラ10の画像入力側と同一側に表示面を有している。また、光源12はカメラ10の画像入力側と同一側に光の出射口を有している。
 図2(b)に示すように、情報処理装置101を用いて肌の分析を行なう場合、ユーザは、ディスプレイ14から例えば距離x程度離れた位置に顔21を保持する。このとき、ユーザの顔21はカメラ10から例えば距離i程度離れた位置にある。この状態で適切な大きさおよび解像度で顔全体が撮影可能なように、カメラ10の光学系が設定されている。ディスプレイ14の大きさの一例は、幅Wが30cm程度であり、高さHは50cm程度である。また、距離xは、30cmから70cm程度であり、例えば45cm程度である。また、距離iは、30cmから70cm程度であり、例えば47cm程度である。
 ディスプレイ14は、左右反転された顔画像データを表示エリア16に表示する。また、マイクロコンピュータ18Aは、得られた顔画像データに基づいてガイド画像を生成し、ディスプレイ14はガイド画像を表示する。ガイド画像は、情報処理装置101とユーザの顔21との間の距離を変更する方向にユーザを誘導するガイドの役割を果たす。なお、ディスプレイ14の表示エリア16にはタッチパネルなどのユーザーインターフェースが設けられていてもよい。
 制御装置18は、通信部18Cおよび通信ネットワーク19を介して、肌の分析および評価に関するサービスを提供するサービス提供者のクラウドサーバ102と接続されてもよい。この場合、通信部18Cは、撮像された画像、画像の特徴指標、肌の評価値などをクラウドサーバ102へ送信する。図1(a)では、情報処理装置101は1つしか示されていないが、クラウドサーバ102は、複数の情報処理装置101に接続され得る。
 図1(c)は、クラウドサーバ102の構成を示す図である。クラウドサーバ102は、マイクロコンピュータ102Aと、メモリ102Bと、通信部102Cと、データベース102Dとを備える。クラウドサーバ102は、通信部102Cを介して、撮像された画像、画像の特徴指標、肌の評価値などを複数の情報処理装置101から受け取る。クラウドサーバ102は、複数の情報処理装置101から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部102Cを介して、それら統計データや相関関係を各情報処理装置101に送信する。
 次に、情報処理装置101とユーザの顔21との間の距離を変更する方向にユーザを誘導するガイド画像を説明する。図3は、ガイド画像の一例を説明する図である。この例では、サイズが予め分かっているマーカーをユーザの顔の一部に装着し、撮像して得られるマーカー画像32を用いて、ユーザを誘導する。例えば、ユーザは、マーカーが設けられたカチューシャを額に装着し、このマーカーが顔の基準部分となる。
 カメラ10は、カチューシャを装着したユーザの顔を撮像し、顔画像31を生成する。図3(a)は、ディスプレイ14の表示エリア16に表示された顔画像31を示す。表示エリア16には、ユーザの顔画像31の一部としてマーカー画像32が表示される。マーカーの現物のサイズは予め分かっているため、情報処理装置101とユーザの顔21との間の距離が最適距離にあるときに、表示エリア16に表示されるマーカーの画像サイズも予め分かっている。そのため、撮像して表示されているマーカーの画像サイズが、最適距離における画像サイズとなるようにユーザを誘導することで、ユーザは最適距離の位置に移動することができる。
 図3(b)は、最適距離にあるときのマーカーの画像サイズに対応したガイド画像33を示す図である。ガイド画像33のデータは、例えば、メモリ18Bに予め記憶されており、マイクロコンピュータ18Aはそのデータを読み取り、撮像した顔画像31とガイド画像33とを重畳した画像をディスプレイ14に表示させる。図3(c)は、撮像した顔画像31とガイド画像33とを重畳して生成した誘導用の画像を示す図である。
 図4を参照して、ガイド画像33を用いてユーザを誘導する方法を説明する。図4(a)は、情報処理装置101とユーザの顔21との間の距離が最適距離よりも大きいときの、マーカー画像32とガイド画像33の関係を示している。図4(b)は、情報処理装置101とユーザの顔21との間の距離が最適距離よりも小さいときの、マーカー画像32とガイド画像33の関係を示している。図4(c)は、情報処理装置101とユーザの顔21との間の距離が最適距離であるときの、マーカー画像32とガイド画像33の関係を示している。
 図4(a)に示す状態では、ガイド画像33よりもマーカー画像32は小さく表示される。ユーザは、マーカー画像32が大きくなるように情報処理装置101に顔を近づけ、図4(c)のようにマーカー画像32とガイド画像33のサイズを一致させることで、最適距離に位置することができる。また、図4(b)に示す状態では、ガイド画像33よりもマーカー画像32は大きく表示される。ユーザは、マーカー画像32が小さくなるように情報処理装置101から顔を遠ざけ、図4(c)のようにマーカー画像32とガイド画像33のサイズを一致させることで、最適距離に位置することができる。このように、ガイド画像33を用いて、ユーザを最適距離に誘導することができる。
 なお、マーカー画像32とガイド画像33のサイズの比を用いて、ユーザの顔の輪郭に対応したガイドを生成してもよい。マーカーの現物のサイズは予め分かっているので、マーカーと一緒に表示されている顔の実際のサイズを推定することができる。そこから、最適距離にあるときの顔の画像サイズを推定することができる。すなわち、マーカー画像32とガイド画像33のサイズの比を用いて、顔画像31を拡大または縮小することで、図5(a)に示すような、最適距離にあるときの顔の輪郭に対応したガイド画像35を生成することができる。ガイド画像35は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア16の中央部に表示する。
 また、顔画像31を拡大または縮小せずに、図5(b)に示すような、顔の輪郭に対応した基本顔ガイド画像36を生成することができる。基本ガイド画像36は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア16の中央部に表示する。
 図6は、制御装置18が備える処理回路180を示す図である。図7は、処理回路180の動作を説明するフローチャートである。処理回路180は、顔画像取得部181と、顔検出部182と、基準特徴検出部183と、特徴分析部184と、顔ガイド生成部185と、誘導画像生成部186とを備える。マイクロコンピュータ18Aが処理回路180を兼ね、処理回路180の構成要素の処理をマイクロコンピュータ18Aが実行してもよい。
 顔画像取得部181はカメラ10が撮像した画像データを取得し(ステップ301)、画像データを左右反転させる。顔検出部182は画像データ中の顔画像を検出する(ステップ302)。顔検出部182は、画像データ中の顔画像の大きさに対応した基本顔ガイド画像36を生成する(ステップ303)。
 基準特徴検出部183は、画像データ中の基準特徴部分を検出する(ステップ304)。この例では、基準特徴部分はマーカーである。特徴分析部184は、画像データ中のマーカー画像32のサイズを検出する(ステップ305)。特徴分析部184は、マーカー画像32のサイズから、情報処理装置101とマーカーとの間の距離を計算してもよい。
 顔ガイド生成部185は、マーカー画像32とガイド画像33のサイズの比を用いて、最適距離にあるときの顔の画像サイズを計算する。そして、最適距離にあるときの顔画像の輪郭に対応したガイド画像35を生成する(ステップ306)。このとき、ステップ303で生成した基本顔ガイド画像36を修正(拡大または縮小)することでガイド画像35を生成してもよい。
 誘導画像生成部186は、ガイド画像35および基本顔ガイド画像36を顔画像31に重畳して合成した画像を生成し(ステップ307)、ディスプレイ14は合成画像を、ユーザを誘導する誘導画像として表示する(ステップ308)。
 誘導画像に従ってユーザが顔の位置および傾きを調整している間、特徴分析部184は、画像データ中のマーカー画像32のサイズを分析する(ステップ309)。特徴分析部184は、マーカー画像32のサイズが肌分析に適した距離(基準距離)のときのサイズ(ガイド画像33のサイズ)と一致するか否か評価する(ステップ310)。サイズが一致しない場合は、一致するまで分析を続ける。サイズが一致した場合に、カメラ10はユーザの顔の画像を撮像する(ステップ311)。このように、誘導画像に従ってユーザが顔の位置を調整することにより、肌分析に適した距離で撮像を行うことができる。
 なお、ガイド画像35の生成は撮像の毎に行なう必要は無く、一旦ガイド画像35を生成した後は、そのガイド画像35をメモリ18Bに記憶しておいてもよい。次回の使用時は、その記憶したガイド画像35を読み出して表示することで、ガイド画像35を生成する処理を省略することができる。
 また、ガイド画像35および基本顔ガイド画像36として、顔の輪郭に対応したガイド画像および基本顔ガイド画像を例示したが、顔の輪郭以外でもよく、例えば、眼、鼻、口等のうちの少なくとも一つに対応した形状のガイド画像であってもよい。ガイド画像は、例えば、眼、鼻、口の少なくとも一つの部位の周りを囲った形状を有していてもよい。
 また、情報処理装置101と顔21との間の距離が最適距離に完全に一致した状態でのみ肌分析用の撮像を行なう必要は無く、肌分析に適した画像が得られる距離範囲であればよく、その範囲内に顔が位置したときに肌分析用の撮像を行なってもよい。
 次に、マーカーを用いて距離を計算する方法を説明する。図8は、情報処理装置101とマーカーとの間の距離を計算する方法を説明する図である。情報処理装置101とマーカーとの間の距離は、例えば、カメラ10とマーカーとの間の距離を指す。
 被写体の実際の長さをaとし、その実際の長さaの被写体を撮像して得られた画像上の被写体の長さをs1とする。また、カメラ10のレンズ中心から被写体へ伸びる直線で形成される視野角をd1とし、カメラ10と被写体との間の距離をxとする。
 ここでは、被写体の実際の長さaは、マーカーの上下端(または左右端)の間の実際の長さとする。マーカーの実際の長さaは既知である。また、画像上の被写体の長さs1は、マーカーを撮像して得られた画像上のマーカー画像32の長さとする。視野角d1は、カメラ10のレンズ中心からマーカーの上下端(または左右端)へ伸びる直線で形成される角度とする。
 マーカーがカメラ10に近い位置にあるとき(カメラ10とマーカーとの間の距離が短いとき)、画像上のマーカーの長さs1は大きくなり、また、視野角d1も大きくなる。また、マーカーがカメラ10から遠い位置にあるとき(カメラ10とマーカーとの間の距離が長いとき)、画像上のマーカーの長さs1は小さくなり、また、視野角d1も小さくなる。すなわち、画像上のマーカーの長さs1と、視野角d1とは比例関係にある。
 画像上のマーカーの長さs1と視野角d1との換算関係は予め取得して記憶しておく。例えば、換算関係を、
 d1=c×s1
と表す。ここでcは比例定数である。
 カメラ10とマーカーとの間の距離x、マーカーの実際の長さa、視野角d1の関係は以下のように表される。
 a/x=tan d1=tan (c×s1)
 また、図8中の斜辺の長さを距離xとしたとき、距離x、長さa、視野角d1の関係は、
 a/x=sin d1=sin (c×s1)
と表される。
 また、マーカーの大きさが小さいときは、
 c×s1=d1=a/x
 x=a/(c×s1)
と表すことができる。
 これらの関係式から、カメラ10とマーカーとの間の距離xを計算することができる。
 このように計算により求めた距離xを用いて、最適距離に対応したガイド画像35を生成することも可能である。距離に基づいてガイド画像35を生成する処理の詳細は後述する。
 次に、測距装置を備えた情報処理装置を説明する。図9は、測距装置11を備えた情報処理装置101を示す図である。図9に示す情報処理装置101は、図1に示す情報処理装置101に測距装置11を追加した構成になっている。測距装置11は、情報処理装置101とユーザの顔21との間の距離を測定する。
 図10は、この例における制御装置18が備える処理回路180を示す図である。図11は、処理回路180の動作を説明するフローチャートである。処理回路180は、顔画像取得部181と、顔検出部182と、撮像距離取得部187と、距離評価部188と、顔ガイド生成部185と、誘導画像生成部186とを備える。マイクロコンピュータ18Aが処理回路180を兼ね、処理回路180の構成要素の処理をマイクロコンピュータ18Aが実行してもよい。
 顔画像取得部181はカメラ10が撮像した画像データを取得し(ステップ401)、画像データを左右反転させる。顔検出部182は画像データ中の顔画像を検出する(ステップ402)。顔検出部182は、画像データ中の顔画像の大きさに対応した基本顔ガイド画像36を生成する(ステップ403)。図12は、基本顔ガイド画像36を示す図であり、顔画像31の大きさに対応したガイド画像になっている。
 撮像距離取得部187は、測距装置11から距離データを取得する(ステップ404)。距離評価部188は、測定された距離と最適距離との比較を行なう(ステップ405)。
 顔ガイド生成部185は、測定された距離と最適距離の比を用いて、最適距離にあるときの顔の画像サイズを計算する。そして、最適距離にあるときの顔画像の輪郭に対応したガイド画像35を生成する(ステップ406)。このとき、ステップ403で生成した基本顔ガイド画像36を修正(拡大または縮小)することでガイド画像35を生成してもよい。
 ここで、図13、図14(a)および(b)を参照して、ガイド画像のサイズを計算する方法を説明する。
 最適距離に対応したガイドのサイズは、概ねカメラ10と顔21との間の距離に反比例する。被写体の実際の長さをaとし、その実際の長さaの被写体を撮像して得られた画像上の被写体の長さをs1およびs2とする。また、カメラのレンズ中心から被写体へ伸びる直線で形成される視野角をd1およびd2とし、カメラ10と被写体との間の距離をxおよびyとする。
 ここでは、被写体の実際の長さaは、ユーザの頭部の任意の部位同士の間の長さであり、例えば、ユーザの頭頂部から顎の下端までの長さとする。なお、ユーザの頭頂部から顎の下端までの長さは一例であり、これ以外にも、被写体の長さaとしては、額から顎までの長さ、左右の眼の間の長さ、眼から口までの長さ等、任意の部位同士の間の長さを採用することができる。
 また、画像上の被写体の長さs1およびs2は、採用した部位同士間の画像上の長さである。視野角d1およびd2は、カメラのレンズ中心から採用した部位へ伸びる直線で形成される角度である。距離xおよびyは、カメラと採用した部位との間の距離である。ここで、距離xをカメラと採用した部位との間の現在の距離とし、距離yは肌分析に適した顔画像を得るのに最適な距離とする。
 カメラ10と採用した部位との間の現在の距離x、長さa、視野角d1の関係は、
 d1=sin-1(a/x)
または、
 d1=tan-1(a/x)
と、表される。
 カメラ10と採用した部位との間の最適距離y、長さa、視野角d2の関係は、
 d2=sin-1(a/y)
または、
 d2=tan-1(a/y)
と、表される。
 また、
 d1=a/x
 d2=a/y
と表すこともできる。
 画像上の被写体の長さと視野角とは比例関係にあるので、
 s2/s1=d2/d1=x/y
 s2=(x/y)×s1
と表すことができる。
 長さs1を長さs2に変換して得られる顔画像のサイズが、最適距離yにおいて得られる顔画像のサイズに対応している。この長さs1を長さs2に変換して得られる顔画像からガイド画像35を生成することで、ユーザを最適距離yに誘導することができる。
 例えば、ユーザの顔がカメラに近すぎる場合には、縮小した顔画像からガイド画像35を生成して、顔をカメラから遠ざける方向にユーザを誘導する。また、ユーザの顔がカメラから離れすぎている場合には、拡大した顔画像からガイド画像35を生成して、顔をカメラに近づける方向にユーザを誘導する。
 誘導画像生成部186は、ガイド画像35を顔画像31に重畳して合成した画像を生成する(ステップ407)。
 図15は、誘導画像の生成処理を示す図である。図15(a)は顔画像31を示し、図15(b)は基本顔ガイド画像36を示し、図15(c)はガイド画像35を示している。図15(d)に示すように、誘導画像生成部186は、顔画像31にガイド画像35を重畳して合成画像を生成する。ディスプレイ14は合成画像を、ユーザを誘導する誘導画像として表示する(ステップ408)。ガイド画像35は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア16の中央部に表示する。誘導画像に従ってユーザが顔の位置を移動させることにより、図15(e)に示すように、顔画像31とガイド画像35とが一致し、最適距離で撮像を行うことができる。
 誘導画像に従ってユーザが顔の位置および傾きを調整している間、撮像距離取得部187は、測距装置11から距離データを取得する(ステップ409)。距離評価部188は、測定された距離が肌分析に適した距離(基準距離)と一致するか否か評価する(ステップ410)。距離が一致しない場合は、一致するまで距離データを取得し続ける。距離が一致した場合に、カメラ10はユーザの顔の画像を撮像する(ステップ411)。このように、誘導画像に従ってユーザが顔の位置を調整することにより、肌分析に適した距離で撮像を行うことができる。
 なお、情報処理装置101と顔21との間の距離が最適距離yに完全に一致した状態でのみ肌分析用の撮像を行なう必要は無く、肌分析に適した画像が得られる距離範囲であればよく、その範囲内に顔が位置したときに肌分析用の撮像を行なってもよい。
 また、ガイド画像35の生成は撮像の毎に行なう必要は無く、一旦ガイド画像35を生成した後は、そのガイド画像35をメモリ18Bに記憶しておいてもよい。次回の使用時は、その記憶したガイド画像35を読み出して表示することで、ガイド画像35を生成する処理を省略することができる。
 次に、図16および図17を参照して、顔の部位毎に距離を測定してガイド画像を生成する処理を説明する。
 図16は、この例における処理回路180(図10)の動作を説明するフローチャートである。図17は、誘導画像の生成処理を示す図である。図17(a)は顔画像31を示しており、この例では前かがみの顔の画像になっている。図17(b)は前かがみの顔の画像から得た基本顔部位ガイド画像36を示している。図17(c)は、最適距離における真正面の顔画像に対応したガイド画像35aを示している。図17(d)は、顔画像31にガイド画像35aを重畳した合成画像を示している。顔が正面を向いている方が、上下左右のバランスが取れ、肌分析の精度を向上させることができるため、この例のガイドは、斜め方向を向いている顔が正面を向くように誘導する。この例では、ユーザの顔の基準部分としてユーザの顔の複数の部分を採用する。この複数の部分は、ユーザの顔の左右からそれぞれ一以上選択されてもよい。さらに、ユーザの顔の左右から同一数選択されてもよい。また、この複数の部分は、例えばユーザの鼻を基準とした顔の上下からそれぞれ一以上選択されてもよい。さらに、ユーザの鼻突を基準とした顔の上下から同一数選択されてもよい。なお、顔の上下は鼻根または人中などを基準としていてもよく、鼻突に限らない。
 顔画像取得部181はカメラ10が撮像した画像データを取得し(ステップ501)、画像データを左右反転させる。顔検出部182は画像データ中の顔画像を検出する(ステップ502)。顔検出部182は、画像データ中の顔のそれぞれの部位の画像の大きさに対応した基本顔部位ガイド画像36を生成する(ステップ503)。図17(b)は基本顔部位ガイド画像36を示している。
 測距装置11は、情報処理装置101から顔のそれぞれの部位の距離を測定する。撮像距離取得部187は、測距装置11から距離データを取得する(ステップ504)。距離評価部188は、測定された距離と最適距離との比較を行なう(ステップ505)。また、顔のそれぞれの部位の距離データを分析したり、部位間の距離を分析したりして、顔の傾きの度合いを推定する。
 顔ガイド生成部185は、顔のそれぞれの部位毎に、最適距離にあるときのサイズを計算する。顔が傾いている場合には、傾きの度合いを用いて、顔が傾いていないとき(真正面を向いているとき)の顔画像を推定して、サイズと位置を計算する。そして、図17(c)に示すように、最適距離において顔が真正面を向いているときの画像に対応したガイド画像35aを生成する(ステップ506)。このとき、ステップ503で生成した基本顔部位ガイド画像36を修正(移動、拡大、縮小等)することでガイド画像35aを生成してもよい。また、この処理を、対象の全ての部位について行なう(ステップ507)。
 対象の全ての部位に対応したガイド画像の生成が完了すると、図17(d)に示すように、誘導画像生成部186は、ガイド画像35aを顔画像31に重畳して合成した画像を生成し(ステップ508)、ディスプレイ14は合成画像を、ユーザを誘導する誘導画像として表示する(ステップ509)。
 誘導画像に従ってユーザが顔の位置および傾きを調整している間、撮像距離取得部187は、測距装置11から距離データを取得する(ステップ510)。距離評価部188は、測定された距離が肌分析に適した距離(基準距離)と一致するか否か評価する(ステップ511)。距離が一致しない場合は、一致するまで距離データを取得し続ける。距離が一致した場合に、カメラ10はユーザの顔の画像を撮像する(ステップ512)。このように、誘導画像に従ってユーザが顔の位置および傾きを調整することにより、肌分析に適した距離で撮像を行うことができる。
 なお、例えば、情報処理装置101から顔の左側にある基準部分の距離と、情報処理装置101から顔の右側にある基準部分の距離とを比較して所定距離以上の差があった場合に、ユーザの顔が正面を向いておらず斜め右または斜め左を向いていると判断し、ユーザに対して顔の向きの修正を促すメッセージ等をディスプレイ14に表示しても良い。すなわち、情報処理装置101から顔の左側にある基準部分の距離が、情報処理装置101から顔の右側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め右方向を向いていると判断し、ユーザに対して顔の向きを左方向へ修正するよう促すメッセージをディスプレイ14に表示する。これとは反対に、情報処理装置101から顔の右側にある基準部分の距離が、情報処理装置101から顔の左側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め左方向を向いていると判断し、ユーザに対して顔の向きを右方向へ修正するよう促すメッセージをディスプレイ14に表示する。
 また、例えば、情報処理装置101から顔の上側にある基準部分の距離と、情報処理装置101から顔の下側にある基準部分の距離とを比較して所定距離以上の差があった場合に、ユーザの顔が正面を向いておらず斜め上方向または斜め下方向を向いていると判断し、ユーザに対して顔の向きの修正を促すメッセージ等をディスプレイ14に表示しても良い。すなわち、情報処理装置101から顔の上側にある基準部分の距離が、情報処理装置101から顔の下側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め下方向を向いていると判断し、ユーザに対して顔の向きを上向きに修正するよう促すメッセージをディスプレイ14に表示する。これとは反対に、情報処理装置101から顔の下側にある基準部分の距離が、情報処理装置101から顔の上側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め上方向を向いていると判断し、ユーザに対して顔の向きを下向きに修正するよう促すメッセージをディスプレイ14に表示する。
 また、基準部分としてユーザの顔21に含まれる複数の部分を採用した場合は、情報処理装置101とユーザの顔21との間の距離を、情報処理装置101とユーザの顔21に含まれる複数の基準部分それぞれとの間の距離の平均値としてもよい。これにより、情報処理装置101と被写体であるユーザの顔21の間の距離を検出するにあたって、ユーザの顔21の凹凸の影響を軽減することができる。例えば、鼻の出っ張りまたは眼の窪みなどを基準部分とした場合に、情報処理装置101から顔21の肌の大部分を占める額および頬までの距離とは乖離した値が検出されることを防止できる。そのため、情報処理装置101と被写体であるユーザの顔21の間の距離を、基準距離へ精度よく近づけるガイド画像をディスプレイ14に表示可能となり、撮像した画像に基づく肌分析の精度を向上させることができる。
 次に、図18から図20を参照して、表示エリア16に表示される画像の例を説明する。
 図18(a)は、表示エリア16に表示される撮像前の初期画面の一例を示している。表示エリア16は、面積が大きいメイン画面70と、面積が小さいサブ画面72とを含む。初期画面では、メイン画面70に撮像した画像がリアルタイムで表示され、デジタルミラーとして機能している。サブ画面72には、例えば、時計や天気予報などの情報が表示されてもよい。
 図18(b)は、撮像開始直前の画面を示している。メイン画面70には、例えばユーザの顔の位置を誘導するためのガイド画像35が表示されている。また、撮像のタイミングを示すマークや数字74が示されていてもよい。
 また、例えば、サブ画面72の右側72Rには撮像された顔の画像がリアルタイムで表示され、左側72Lにカレンダーが表示されてもよい。カレンダーでは、例えば過去に情報処理装置101を用いて撮像を行った日の位置にマークなどが示されていてもよい。図18(b)に示す表示のあと、上述したように肌分析用の撮像が行われ、肌分析が行なわれる。
 図18(c)および図18(d)は、肌分析終了後にディスプレイ14に表示される画面の一例を示している。メイン画面70には、カメラ10によって撮像される画像がリアルタイムで表示されている。サブ画面の右側72Rには算出された特徴指標が、例えばレーダーチャート82で示される。図では測定した肌領域全体の平均特徴指標が表示されている。また、左側72Lには測定時に撮像された顔の画像が示される。サブ画面72の上部80には、顔の位置を指定するメニューが表示され、左側部78には表示する内容や機能を切り替えるメニューが表示される。ユーザは、例えば、サブ画面72の上部80および左側部78に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりすることができる。
 図18(d)は、ユーザが指定した場所および指定した特徴指標がサブ画面72の右側72Rに表示されている例である。撮像された画像の一部がユーザの指定された位置で拡大されて表示されている。また、シミおよびシワの部分が、例えば赤い領域で示される。
 図19および図20は、ディスプレイ14のサブ画面72に表示される情報の例を示している。例えば、図19(a)に示すように、サブ画面にカレンダーを表示してもよい。カレンダーには過去に測定をおこなった情報が示されており、例えばユーザがサブ画面の該当する情報に触れると過去の測定結果をメイン画面70に表示させることができる。図19(b)に示すように、この場合、さらにサブ画面72に、特徴指標のレーダーチャートを表示してもよい。また、図20(a)に示すように、肌分析の結果に基づく、肌の手入れ等の美容に関するアドバイス86を表示してもよい。また、図20(b)に示すように肌状態を改善するための化粧品や美容機器の情報88を表示してもよい。
 なお、上記態様において説明された技術は、例えば、クラウドサービスにおいて実現されてもよい。例えば、撮像して取得した顔画像の分析および評価をクラウドサーバ上で行ってもよい。例えば、撮像して取得した顔画像の分析および評価は、以下のサービスの類型1から4のいずれの形態において行われてもよい。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
 (サービスの類型1:自社データセンタ型クラウドサービス)
 図21は、サービスの類型1(自社データセンタ型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ120がグループ100から情報を取得し、ユーザに対してサービスを提供する。グループ100は、例えば上述した情報処理装置101を所有する家庭であり、サービスプロバイダ120は、情報処理装置101が撮像して得た顔画像データを取得する。サービスプロバイダ120は、複数のグループ100から顔画像データを取得してもよい。本類型では、サービスプロバイダ120が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ120が、ビッグデータを管理するクラウドサーバ203を保有している。したがって、データセンタ運営会社は存在しない。
 本類型では、サービスプロバイダ120は、データセンタ(クラウドサーバ)203を運営及び管理している。また、サービスプロバイダ120は、オペレーティングシステム(OS)202及びアプリケーション201を管理する。サービスプロバイダ120は、サービスプロバイダ120が管理するOS202及びアプリケーション201を用いてサービスを提供する(矢印204)。例えば、サービスプロバイダ120は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
 (サービスの類型2:IaaS利用型クラウドサービス)
 図22は、サービスの類型2(IaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。ここで、IaaSとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
 本類型では、データセンタ運営会社110が、データセンタ(クラウドサーバ)203を運営及び管理している。また、サービスプロバイダ120は、OS202及びアプリケーション201を管理する。データセンタ運営会社110は、少なくとも1つのグループ100から顔画像データを取得する。サービスプロバイダ120は、サービスプロバイダ120が管理するOS202及びアプリケーション201を用いてサービスを提供する(矢印204)。例えば、サービスプロバイダ120は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
 (サービスの類型3:PaaS利用型クラウドサービス)
 図23は、サービスの類型3(PaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。ここで、PaaSとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
 本類型では、データセンタ運営会社110は、OS202を管理し、データセンタ(クラウドサーバ)203を運営及び管理している。また、サービスプロバイダ120は、アプリケーション201を管理する。データセンタ運営会社110は、少なくとも1つのグループ100から顔画像データを取得する。サービスプロバイダ120は、データセンタ運営会社110が管理するOS202及びサービスプロバイダ120が管理するアプリケーション201を用いてサービスを提供する(矢印204)。例えば、サービスプロバイダ120は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
 (サービスの類型4:SaaS利用型クラウドサービス)
 図24は、サービスの類型4(SaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。ここで、SaaSとは、ソフトウェア・アズ・ア・サービスの略である。SaaS利用型クラウドサービスは、例えば、データセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
 本類型では、データセンタ運営会社110は、アプリケーション201を管理し、OS202を管理し、データセンタ(クラウドサーバ)203を運営及び管理している。データセンタ運営会社110は、少なくとも1つのグループ100から顔画像データを取得する。サービスプロバイダ120は、データセンタ運営会社110が管理するOS202及びアプリケーション201を用いてサービスを提供する(矢印204)。例えば、サービスプロバイダ120は、取得した顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。
 以上、いずれのクラウドサービスの類型においても、サービスプロバイダ120がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、OS、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
 本開示の技術は、情報処理装置の分野において特に有用である。
 10 カメラ
 11 測距装置
 12 光源
 14 ディスプレイ
 16 表示エリア
 18 制御装置
 31 顔画像
 32 マーカー画像
 33、35 ガイド画像
 36 基本顔ガイド画像
 101 情報処理装置
 102 クラウドサーバ

Claims (19)

  1.  画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
     前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
     前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、
     前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、
     前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、制御方法。
  2.  前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させる、請求項1に記載の制御方法。
  3.  前記情報処理装置は前記カメラの画像入力側と同一側に光の照射口を有する照明装置を備え、
     前記被写体の画像を撮像するときに、前記照明装置を動作させて前記被写体に光を照射させる、請求項2に記載の制御方法。
  4.  前記撮像させた画像は、前記被写体の顔の評価に用いられる画像である、請求項2に記載の制御方法。
  5.  前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される、請求項1から4のいずれかに記載の制御方法。
  6.  前記少なくとも一部の部位に対応した画像は、前記少なくとも一部の部位の輪郭に対応した形状を有する、請求項1から5のいずれかに記載の制御方法。
  7.  前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含む、請求項6に記載の制御方法。
  8.  前記少なくとも一部の部位に対応した画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有する、請求項1から5のいずれかに記載の制御方法。
  9.  前記基準部分は、前記被写体の顔に含まれる複数の部分であり、
     前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離である、請求項1から8のいずれかに記載の制御方法。
  10.  前記複数の部分は、前記被写体の顔の左右からそれぞれ一以上選択されている、請求項9に記載の制御方法。
  11.  前記複数の部分は、前記被写体の顔の所定の基準点の上下からそれぞれ一以上選択されている、請求項9に記載の制御方法。
  12.  前記拡大した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置に近づける方向に前記被写体を誘導するガイド画像であり、
     前記縮小した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置から遠ざける方向に前記被写体を誘導するガイド画像である、請求項1から11のいずれかに記載の制御方法。
  13.  前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像である、請求項1から12のいずれかに記載の制御方法。
  14.  前記被写体の顔の画像の評価は、前記被写体の顔の肌分析を含む、請求項1から13のいずれかに記載の制御方法。
  15.  前記検出された距離は、前記情報処理装置が有するカメラと前記ユーザの顔における前記基準部分との間の距離である、請求項1から14のいずれかに記載の制御方法。
  16.  画像を入力するカメラと、
     前記カメラの画像入力側と同一側に表示面を有するディスプレイと、
     前記カメラを用いて入力した被写体の顔の画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示するコントローラと、
     を具備した情報処理装置であって、
     前記コントローラは、
     前記情報処理装置と前記被写体の顔の画像に含まれる基準部分との間の距離を検出し、
     前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定し、
     前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、情報処理装置。
  17.  画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御するプログラムであって、
     前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
     前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、
     前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、
     前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、プログラム。
  18.  画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
     前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
     前記情報処理装置と前記被写体の顔との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記顔の画像における基準部分の基準サイズに対応したガイド画像を前記ディスプレイに表示させる、制御方法。
  19.  画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
     前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
     前記カメラと前記被写体の顔に含まれる基準部分との間の距離を検出させ、
     前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、
     前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも小さいと判断した場合は、縮小した顔画像の少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、
     前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも大きいと判断した場合は、拡大した顔画像の少なくとも一部に対応したガイド画像を前記ディスプレイに表示させる、制御方法。
PCT/JP2014/003772 2013-07-22 2014-07-16 情報処理装置および情報処理装置の制御方法 WO2015011898A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480041213.7A CN105393528B (zh) 2013-07-22 2014-07-16 信息处理装置、信息处理装置的控制方法以及记录介质
US14/906,437 US9998654B2 (en) 2013-07-22 2014-07-16 Information processing device and method for controlling information processing device
EP14829757.5A EP3026886B1 (en) 2013-07-22 2014-07-16 Information processing device and method for controlling information processing device
JP2015528137A JP6373265B2 (ja) 2013-07-22 2014-07-16 情報処理装置および情報処理装置の制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-151759 2013-07-22
JP2013151759 2013-07-22

Publications (1)

Publication Number Publication Date
WO2015011898A1 true WO2015011898A1 (ja) 2015-01-29

Family

ID=52392963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003772 WO2015011898A1 (ja) 2013-07-22 2014-07-16 情報処理装置および情報処理装置の制御方法

Country Status (5)

Country Link
US (1) US9998654B2 (ja)
EP (1) EP3026886B1 (ja)
JP (1) JP6373265B2 (ja)
CN (1) CN105393528B (ja)
WO (1) WO2015011898A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019165851A (ja) * 2018-03-22 2019-10-03 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
JP2020146200A (ja) * 2019-03-13 2020-09-17 キヤノン株式会社 画像処理装置、画像閲覧装置および画像処理システム
US10952577B2 (en) 2015-03-17 2021-03-23 Bissell Inc. Extraction cleaner and cleanout tool for the same
JP2021053233A (ja) * 2019-09-30 2021-04-08 B−by−C株式会社 美容促進装置、美容促進方法、および美容促進プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9369625B2 (en) * 2014-08-12 2016-06-14 Kodak Alaris Inc. System for producing compliant facial images for selected identification documents
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
KR102343251B1 (ko) * 2018-04-13 2021-12-27 샤넬 파르퓜 보트 의도된 사용자를 위한 화장품의 선택 방법
JP7218614B2 (ja) * 2019-02-27 2023-02-07 沖電気工業株式会社 画像診断システム、画像診断装置、および画像診断方法
NL2024783B1 (en) * 2020-01-29 2021-09-10 Symae Tech Holding B V A face imaging device comprising a casing defining an opening for a face of a person to be imaged, wherein in the interior of the casing light sources and reflectors are arranged.
WO2023126772A1 (en) * 2021-12-30 2023-07-06 Gentex Corporation Authentication alignment system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167789A (ja) * 2003-12-04 2005-06-23 Casio Comput Co Ltd 撮影装置および撮影プログラム
JP2005284225A (ja) * 2004-03-26 2005-10-13 Ichiro Yasuhara 証明写真撮影用カメラ及びガイド
JP4485837B2 (ja) 2003-04-29 2010-06-23 澁谷工業株式会社 皮膚画像のコンピュータ解析のための方法およびシステム
JP5206516B2 (ja) 2009-03-13 2013-06-12 株式会社デンソー 撮影補助装置、プログラムおよび撮影システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483733B2 (en) * 1999-07-26 2009-01-27 Cardiosense, Ltd. Non-invasive method and apparatus to detect and monitor early medical shock, and related conditions
CA2435543A1 (en) * 2001-02-06 2002-08-15 Hill-Rom Services, Inc. Infant incubator with non-contact sensing and monitoring
US6952488B2 (en) * 2001-08-27 2005-10-04 Carnegie Mellon University System and method for object localization
US7872670B2 (en) * 2002-04-22 2011-01-18 Sanyo Electric Co., Ltd. Camera performing photographing in accordance with photographing mode depending on object scene
US7402167B2 (en) * 2003-03-03 2008-07-22 Mikhail Nemenov Portable laser and process for producing controlled pain
JP4257508B2 (ja) * 2003-06-09 2009-04-22 富士フイルム株式会社 電子カメラ
US20050212950A1 (en) * 2004-03-26 2005-09-29 Chinon Kabushiki Kaisha Focal length detecting method, focusing device, image capturing method and image capturing apparatus
JP2005292542A (ja) * 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 目画像撮像装置および携帯端末装置
JP2006203841A (ja) * 2004-12-24 2006-08-03 Sharp Corp 画像処理装置、カメラ装置、画像出力装置、画像処理方法、色補正処理プログラムおよび可読記録媒体
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
US20070217199A1 (en) * 2006-03-17 2007-09-20 Light Dimensions, Inc. Light-based dermal enhancing apparatus and methods of use
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
US20080294012A1 (en) * 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
US20090015702A1 (en) * 2007-07-11 2009-01-15 Sony Ericsson Communicatins Ab Enhanced image capturing functionality
EP2266099A1 (en) * 2008-03-18 2010-12-29 Thomson Licensing Method and apparatus for adaptive feature of interest color model parameters estimation
JP2012010162A (ja) * 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
CN103118647B (zh) * 2010-09-22 2016-04-06 松下知识产权经营株式会社 运动支援系统
KR101231068B1 (ko) * 2010-10-07 2013-03-11 (주)아이리스아이디 생체 정보 수집 장치 및 방법
WO2012072606A1 (en) * 2010-11-29 2012-06-07 DigitalOptics Corporation Europe Limited Portrait image synthesis from multiple images captured on a handheld device
JP5822545B2 (ja) * 2011-06-09 2015-11-24 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
CN103105234B (zh) * 2012-01-12 2016-05-11 杭州美盛红外光电技术有限公司 热像装置和热像规范拍摄方法
US9716842B1 (en) * 2013-06-19 2017-07-25 Amazon Technologies, Inc. Augmented reality presentation
US10045820B2 (en) * 2014-02-18 2018-08-14 Channel Investments, Llc Internet connected dermatological devices and systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4485837B2 (ja) 2003-04-29 2010-06-23 澁谷工業株式会社 皮膚画像のコンピュータ解析のための方法およびシステム
JP2005167789A (ja) * 2003-12-04 2005-06-23 Casio Comput Co Ltd 撮影装置および撮影プログラム
JP2005284225A (ja) * 2004-03-26 2005-10-13 Ichiro Yasuhara 証明写真撮影用カメラ及びガイド
JP5206516B2 (ja) 2009-03-13 2013-06-12 株式会社デンソー 撮影補助装置、プログラムおよび撮影システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3026886A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10952577B2 (en) 2015-03-17 2021-03-23 Bissell Inc. Extraction cleaner and cleanout tool for the same
US11950747B2 (en) 2015-03-17 2024-04-09 Bissell Inc. Extraction cleaner and cleanout tool for the same
JP2019165851A (ja) * 2018-03-22 2019-10-03 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
JP7139638B2 (ja) 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
JP2020146200A (ja) * 2019-03-13 2020-09-17 キヤノン株式会社 画像処理装置、画像閲覧装置および画像処理システム
JP7317528B2 (ja) 2019-03-13 2023-07-31 キヤノン株式会社 画像処理装置、画像処理システムおよび制御方法
JP2021053233A (ja) * 2019-09-30 2021-04-08 B−by−C株式会社 美容促進装置、美容促進方法、および美容促進プログラム
JP7023529B2 (ja) 2019-09-30 2022-02-22 B-by-C株式会社 美容促進装置、美容促進方法、および美容促進プログラム

Also Published As

Publication number Publication date
US9998654B2 (en) 2018-06-12
CN105393528A (zh) 2016-03-09
EP3026886B1 (en) 2021-01-06
CN105393528B (zh) 2018-11-02
EP3026886A4 (en) 2016-07-06
US20160156840A1 (en) 2016-06-02
JP6373265B2 (ja) 2018-08-15
JPWO2015011898A1 (ja) 2017-03-02
EP3026886A1 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
JP6373265B2 (ja) 情報処理装置および情報処理装置の制御方法
JP6750504B2 (ja) 情報処理装置、情報処理方法、およびプログラム
RU2636682C2 (ru) Система идентификации интерфейса пациента
US8170297B2 (en) Face authentication system and face authentication method
JP5080492B2 (ja) コンピュータを利用したシステム
KR100986101B1 (ko) 얼굴 분석 서비스 제공 방법 및 장치
CN103106401A (zh) 具有人机交互机制的移动终端虹膜识别装置和方法
EP2894851B1 (en) Image processing device, image processing method, program, and computer-readable storage medium
JP6722878B2 (ja) 顔認証装置
JP2017194301A (ja) 顔形状測定装置及び方法
KR20140046289A (ko) 이미지를 이용한 신장 측정 방법 및 이동 로봇 장치
KR20110032927A (ko) 피트니스 장치, 피트니스 시스템 및 피트니스 방법
JP2009259117A (ja) ミラーシステム
KR20190130761A (ko) 사용자 인식 보행 동작 측정 시스템 및 이를 이용한 보행 동작 측정 방법
JP6793302B2 (ja) 三次元計測装置
JPH1091325A (ja) 視線検出システム
JP2007249366A (ja) 髪型選択支援装置および方法
US11927831B2 (en) Method for determining at least one geometrico-morphological parameters of a subject in a natural posture for determining a vision correction equipment
KR20110006062A (ko) 얼굴 인식 시스템 및 얼굴 인식 방법
JP6608208B2 (ja) 画像表示装置
JP2011118767A (ja) 表情モニタリング方法および表情モニタリング装置
JP7233631B1 (ja) 姿勢改善システム
JP7323234B2 (ja) ガイド方法
CN109670384A (zh) 一种虹膜快速活体检测方法
JP5299632B2 (ja) 個人認証装置、プログラム及び記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480041213.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14829757

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015528137

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14906437

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014829757

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE