WO2023112930A1 - 画像処理装置、端末、モニター方法 - Google Patents

画像処理装置、端末、モニター方法 Download PDF

Info

Publication number
WO2023112930A1
WO2023112930A1 PCT/JP2022/045920 JP2022045920W WO2023112930A1 WO 2023112930 A1 WO2023112930 A1 WO 2023112930A1 JP 2022045920 W JP2022045920 W JP 2022045920W WO 2023112930 A1 WO2023112930 A1 WO 2023112930A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
color
area
terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/045920
Other languages
English (en)
French (fr)
Inventor
みゆき 柏木
駿 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022191870A external-priority patent/JP7401866B2/ja
Application filed by Morpho Inc filed Critical Morpho Inc
Priority to US18/719,259 priority Critical patent/US20250045963A1/en
Priority to CN202280077159.6A priority patent/CN118285113A/zh
Publication of WO2023112930A1 publication Critical patent/WO2023112930A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Instruments for taking body samples for diagnostic purposes; Other methods or instruments for diagnosis, e.g. for vaccination diagnosis, sex determination or ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to image processing devices, terminals, and monitoring methods.
  • Patent Document 1 discloses an image processing apparatus that instructs a photographer to correct the position or orientation of an imaging unit according to whether or not the face area is within a target area within the imaging area as a result of face area detection. It is
  • a calculation unit that calculates relative information regarding a difference between first color information in a first region included in a captured image and second color information in a second region included in the captured image; and an output unit configured to output the time-series relative information for a plurality of captured images captured at different timings.
  • FIG. 2 is a diagram showing an example of the functional configuration of an image processing apparatus
  • FIG. FIG. 4 is a diagram showing an example of time-series changes in color difference
  • 4 is a flowchart showing an example of the flow of image processing (color information processing)
  • the figure which shows an example of the functional structure of the terminal which concerns on an Example. 4 is a flowchart showing an example of the flow of processing executed by the terminal according to the embodiment;
  • FIG 4 is a flowchart showing an example of the flow of processing executed by a terminal and a server according to an embodiment;
  • FIG. 4 is a diagram showing an example of a recording medium
  • FIG. 10 is a diagram showing time-series data of fatigue level displayed on the terminal
  • FIG. 2 is a diagram showing a configuration example of a terminal
  • FIG. 11 is a diagram illustrating a configuration example of another terminal
  • FIG. 1 is a block diagram showing an example of a functional configuration of an image processing device 1 according to one aspect of the present embodiment.
  • the image processing apparatus 1 includes, for example, a first area detection unit 11, a first color information calculation unit 12, a second area detection unit 13, a second color information calculation unit 14, a color relative information calculation unit 15, and an output unit 16.
  • These are, for example, functional units (functional blocks) possessed by a processing unit (processing device) and a control unit (control device) (not shown) of the image processing apparatus 1, and include processors such as CPUs and DSPs and integrated circuits such as ASICs. can be configured to have
  • the first area detection unit 11 has a function of detecting a first area in an image captured by an imaging unit (not shown) based on the captured image.
  • the captured image may be a captured image captured by any camera.
  • the captured image may be an image captured by a front camera, for example, although details will be described later in an embodiment.
  • a front camera is a camera that allows a photographer to check himself/herself with a display unit (not shown) when photographing. ) can be provided as a camera (in-camera).
  • the captured image may be a captured image captured by a rear camera.
  • a rear camera is a camera in which the photographer cannot confirm himself/herself by a display unit (not shown) when photographing. It can be a camera (back camera, out camera) provided on the opposite side of the surface where the camera is facing).
  • the first color information calculation unit 12 calculates, for example, hue (Hue)/saturation (Saturation) values defined in the HSL color space based on the image information in the first region detected by the first region detection unit 11, for example. ⁇ It has a function to calculate color information represented by brightness.
  • the second area detection unit 13 has a function of detecting the second area in the captured image based on the captured image.
  • the second color information calculation unit 14 has a function of calculating, for example, color information defined by the above HSL color space based on image information in the second area detected by the second area detection unit 13. .
  • the first area detection unit 11 can detect the first area from the captured image, for example, using an area set in advance by the user or specified by a program as the first area. The same applies to the second area detection section 13 as well. Specific examples of the first area and the second area will be described later.
  • the color relative information calculation unit 15 calculates the relative relationship between the first color information calculated by the first color information calculation unit 12 and the second color information calculated by the second color information calculation unit 14, for example. It has a function of calculating color relative information, which is information about.
  • the color relative information can include color difference, which is the color distance based on the first color information and the second color information.
  • the color difference is a scalar value, and can be calculated, for example, as a Euclidean distance from the first color information and the second color information.
  • the color relative information may include a color relative vector represented by a vector in addition to or instead of the color difference.
  • the color relative vector can be calculated, for example, as a difference vector between the three-dimensional (for example, components of the HSL color space) first color information and the three-dimensional second color information.
  • the output unit 16 has a function of outputting the color relative information calculated by the color relative information calculation unit 15 .
  • a memory for accumulating and storing the color relative information calculated by the color relative information calculating unit 15 is provided inside or outside the image processing apparatus. It can be stored in chronological order. Then, the output unit 16 can output, for example, relative information stored in the memory for a plurality of captured images captured at different timings in chronological order.
  • first area detection unit 11 and the second area detection unit 13 have the same function (when an image is input, an image obtained by detecting (extracting) a specific area in the image is output). It may be configured as a single area detection unit having
  • the first color information calculation unit 12 and the second color information calculation unit 14 are a single color information calculation unit having the same function (function of outputting color information when an image is input). may be configured.
  • the first area and the second area can be, for example, two different areas included in the captured image. Also, although this is only an example, the first area and the second area can be, for example, different areas of the same subject included in the captured image (different areas included in the same subject).
  • the first color information in the first region and the second color information Relative information (color relative information) relating to the relative relationship with the second color information in the area is calculated. Then, from the calculated relative information, it is possible to analyze how much the color of the first area deviates from the color of the second area. For the same object, it can be assumed that the influence of light due to the imaging environment or the like is the same or similar. For this reason, it can be said that the color relative information is information that is not or hardly affected by the imaging environment or the like.
  • FIG. 2 is a diagram showing time-series changes in color difference when color difference is used as the color relative information output from the output unit 16.
  • the horizontal axis is the time axis (t) and the vertical axis is the color difference.
  • the color difference is illustrated as a graph of a continuous curve. The closer the color difference is to zero, the closer the color of the first area is to the color of the second area. Conversely, the more the color difference is away from zero, the more the color of the first area is deviated from the color of the second area. This application is described briefly below and in detail later in the examples.
  • the subject may be, for example, an animal including humans (person, person, person) (here, humans are also included in animals).
  • a case in which a person is the subject is exemplified.
  • the first area and the second area can be different areas of the same person included in the captured image, for example.
  • the first area is, for example, It can be one or both of - face area - neck area.
  • the second area is, for example, - It can be the area on the inside of the arm. It should be noted that the arm refers to the area from the shoulder to the wrist.
  • the face region is ⁇ It can be the area of the cheek.
  • the area inside the arm for example, It can be one or both of - the inner region of the upper arm (upper arm) - the inner region of the wrist.
  • the combination of the first region and the second region can be any combination of the above.
  • the side closer to the shoulder is referred to as the "upper arm (upper arm)", and the side closer to the hand is referred to as the "forearm”.
  • the inside of the arm is considered to be less likely to get sunburned (skin color is less likely to change).
  • the inside of the forearm may also get sunburned if you wear short-sleeved clothes. Therefore, the inner side of the upper arm (upper arm) may be used as the inner side of the arm.
  • the wrist since the wrist may be less susceptible to sunburn, even the forearm may be used on the inside of the wrist.
  • the color of the inside of the upper arm and the inside of the wrist is the ideal skin color (the color of the skin before being affected by disturbance such as sunlight), and the inside of the upper arm and the wrist It is possible to analyze how much the color of the face (cheek) and neck, which are easily affected by sunlight, deviates from the inner color of the color by the above color relative information. Due to the recent trend of sales of beautifying cosmetics, for example, not only the human face (cheek) region but also the human neck region may be targeted for skin beautification such as anti-aging.
  • the face area may be an area other than the cheek.
  • the subject is not limited to humans, and may be animals other than humans.
  • the object is not limited to an animal and may be an object.
  • the target is not limited to the different first and second regions among the regions of the same subject included in the captured image, for example, any different first and second regions included in the captured image It is also possible to calculate the color relative information with respect to and analyze how much the colors diverge from each other. For example, a partial area of one subject may be set as a first area, and a partial area of another subject may be set as a second area, and it may be possible to analyze how much the colors diverge.
  • FIG. 3 is a flow chart showing an example of image processing procedures in this embodiment.
  • the processing shown in the flowchart of FIG. 3 is performed by, for example, a processing unit (not shown) of the image processing apparatus 1 reading an image processing program code stored in a storage unit (not shown) into a RAM (not shown) and executing the code. Realized.
  • FIG. 1 shows the storage unit excluded from the components of the image processing device 1, the storage unit may be included in the components of the image processing device 1.
  • the image processing device 1 determines whether or not a captured image has been input (A1). If it is determined that the input has been made (A1: YES), the first area detection unit 11 performs processing for detecting the first area from the input captured image (A3). In this process, the first area detection unit 11 performs, for example, area extraction processing to detect the first area.
  • the first area can be detected using a key point detection technique. Semantic segmentation may also be performed on captured images using techniques such as FCN (Fully Convolutional Network), SegNet, and U-Net, which are one technique of deep learning. Then, the position of the pixel classified as the first region and the color information of the pixel are used as the extraction result. For example, if the first region is the cheek region, the extraction result is the position of the pixel classified as the cheek region and the color information of the pixel.
  • FCN Full Convolutional Network
  • SegNet SegNet
  • U-Net which are one technique of deep learning.
  • HOG Heistogram of Oriented Gradients
  • SVM Serial Vector Machine
  • skin color likeness may be evaluated for the extraction result by SVM.
  • region extraction may be performed by combining the result of deep learning and these results.
  • the second area detection unit 13 detects the second area from the captured image (A5). This can also be realized, for example, by the area extraction process similar to that described above. For example, if the second region is the inner region of the upper arm or the inner region of the wrist, the positions of the pixels classified as these regions by Key Point Detection, semantic segmentation methods, etc. and the color information of the pixel are extracted results.
  • the image processing apparatus 1 may collectively execute the extraction of the first region and the extraction of the second region, for example, based on the result of semantic segmentation.
  • the image processing apparatus 1 determines whether or not the detection of the first area and the second area has succeeded (A7).
  • This determination is, for example, based on the detection result (extraction result) of A3 to determine whether or not the first region occupies a set ratio of the captured image, and based on the detection result (extraction result) of A5, the second region is determined. It can be realized by determining whether or not it occupies a set proportion of the captured image.
  • A7 may be determined by determining whether or not the first area and the second area occupy a set proportion of the captured image.
  • the image processing apparatus 1 If it is determined that at least one detection has failed (A7: NO), the image processing apparatus 1 returns the process to A1. In this case, the image processing apparatus 1 may return the processing to A1 after performing some error processing. Since there is a possibility that there is a problem with the imaging, it is also possible to output information to call the user's attention to that effect.
  • the first color information calculation unit 12 calculates the first color information based on the detection result of A3 (A9). For example, the average value of the color information of each pixel is calculated for each image patch (small area of an image) of a set size. Then, based on the average value, for example, color information (first color information) for each image patch in a predetermined color space is calculated.
  • the second color information calculation unit 14 calculates the second color information based on the detection result of A5 (A11). This approach can be similar to A9, for example.
  • the color relative information calculator 15 calculates color relative information based on the first color information calculated in A9 and the second color information calculated in A11 (A13). For example, if a color difference is to be calculated as color relative information, the color relative information calculator 15 calculates the Euclidean distance between the first color information calculated in A9 and the second color information calculated in A11. to calculate the color difference. Further, for example, if a color relative vector is to be calculated as the color relative information, the color relative information calculation unit 15 calculates the three-dimensional color information calculated in A9 and the three-dimensional color information calculated in A11. Calculate the vector of differences (three dimensions).
  • the image processing apparatus 1 determines whether or not the conditions for outputting color relative information are satisfied (A15). If it is determined that the output condition is not met (A15: NO), the image processing apparatus 1 returns the process to A1. On the other hand, if it is determined that the output condition is satisfied (A15: YES), the image processing apparatus 1 terminates the process.
  • Output conditions include, for example, outputting each captured image, calculating color relative information for a set number of captured images, calculating color relative information for captured images for a set period, and the like. , various conditions can be defined.
  • the image processing apparatus 1 When calculating the color relative information for a set number of captured images, the image processing apparatus 1 outputs, for example, the average value or the median value of each color relative information calculated for each captured image. may The same applies to the calculation of color relative information for captured images for a set period. That is, the image processing apparatus 1 may output one piece of color relative information from a plurality of captured images. By outputting one piece of color relative information from a plurality of captured images, it is expected that the influence of the imaging environment can be reduced.
  • step A5 is executed after step A3, but this order may be reversed. The same applies to steps A9 and A11.
  • Example 1 An example of a terminal to which the image processing device 1 described above is applied or provided with the image processing device 1 described above will be described.
  • the terminal can be, for example, a terminal device possessed by the user, such as a mobile phone including a smart phone, a camera, a PDA, a personal computer, a navigation device, a wrist watch, and various tablet terminals.
  • a smart phone which is a type of mobile phone with a camera function (with an imaging function)
  • the terminal 100 is illustrated and described.
  • embodiments to which the present disclosure can be applied are not limited to the embodiments described below.
  • FIG. 4 is a diagram showing an example of a functional configuration of a terminal 100A, which is an example of the terminal 100, which is a smart phone in this embodiment.
  • the terminal 100 includes, for example, a processing unit 110, an operation unit 120, a touch panel 125, a display unit 130, a sound output unit 140, an imaging unit 150, an environment information detection unit 160, a clock unit 170, and a communication unit. 180 and a storage unit 190 .
  • the processing unit 110 is a processing device that comprehensively controls each unit of the terminal 100 according to various programs such as a system program stored in the storage unit 190 and performs various processes related to image processing. processor and an integrated circuit such as an ASIC.
  • the processing unit 110 includes, for example, a first area detection unit 111, a second area detection unit 112, a first color information calculation unit 113, a second color information calculation unit 114, a color difference calculation unit 115, and a display control unit. 116.
  • the first area detection unit 111 to the second color information calculation unit 114 correspond to the first area detection unit 11 to the second color information calculation unit 14 described above.
  • the color difference calculation unit 115 is a type of the color relative information calculation unit 15 described above, and calculates the color difference between the first color information and the second color information.
  • the display control unit 116 controls the display unit 130 to display the color difference information calculated by the color difference calculation unit 115 and output in time series.
  • the transmission of color relative information (color difference in this example) to each functional unit in order for the processing unit 110 to perform various controls (display control, sound output control, communication control, etc.) is regarded as output.
  • the output unit 16 of the image processing apparatus 1 may be regarded as the processing unit 110 including the display control unit 116 . Further, for example, the output unit 16 of the image processing apparatus 1 in FIG. 1 may be regarded as functional units such as the display unit 130, the sound output unit 140, the communication unit 180, and the like.
  • the operation unit 120 includes input devices such as operation buttons and operation switches for the user to perform various operational inputs to the terminal 100 .
  • the operation unit 120 also has a touch panel 125 integrated with the display unit 130 , and the touch panel 125 functions as an input interface between the user and the terminal 100 .
  • An operation signal according to a user's operation is output from the operation unit 120 to the processing unit.
  • the display unit 130 is a display device that includes an LCD (Liquid Crystal Display) or the like, and performs various displays based on display signals output from the display control unit 116 .
  • the display unit 130 is integrated with the touch panel 125 to form a touch screen.
  • the sound output unit 140 is a sound output device including a speaker or the like, and performs various sound outputs based on sound output signals output from the processing unit 110 .
  • the imaging unit 150 is an imaging device configured to be able to capture an image of any scene, and has an imaging element (semiconductor element) such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor. Configured.
  • the imaging unit 150 forms an image of light emitted from an object to be imaged on a light-receiving plane of an imaging element by a lens (not shown), and converts the brightness of the light of the image into an electric signal by photoelectric conversion.
  • the converted electric signal is converted into a digital signal by an A/D (Analog Digital) converter (not shown) and output to the processing section.
  • the imaging unit 150 is arranged, for example, on the side of the terminal 100 where the touch panel 125 exists. You may call it a front camera.
  • the imaging unit 150 may be configured as an imaging unit (rear camera) that is arranged on the rear surface of the terminal 100 where the touch panel 125 does not exist and has a flash (strobe) that can be used as a light source during imaging.
  • This flash may have a known color temperature when it is emitted, or may be a flash whose color temperature is dimmable by the processor.
  • the display control unit 116 may cause the display unit 130 to display a live view image at the time of imaging by these imaging units.
  • the environment information detection unit 160 detects information about the environment of its own device (hereinafter referred to as "environment information").
  • Environmental information can include, for example, temperature and/or humidity.
  • the clock unit 170 is a built-in clock of the terminal 100 and outputs time information (clock information).
  • the clock unit 170 includes, for example, a clock using a crystal oscillator.
  • the clock unit 170 may be configured with a clock to which the NITZ (Network Identity and Time Zone) standard or the like is applied.
  • NITZ Network Identity and Time Zone
  • the communication unit 180 is a communication device for transmitting and receiving information used inside the device to and from an external information processing device.
  • As the communication method of the communication unit 180 there is a form of wired connection via a cable conforming to a predetermined communication standard, a form of connection via an intermediate device that is also used as a charger called a cradle, and a wireless communication system. Various methods such as the form of connection can be applied.
  • the storage unit 190 is a storage device that includes a volatile or nonvolatile memory such as ROM, EEPROM, flash memory, and RAM, a hard disk device, and the like.
  • the storage unit 190 stores, for example, a color information processing program 191, a color difference calculation processing program 193, an image buffer 195, and color difference history data 197.
  • the color information processing program 191 is a program read by the processing unit 110 and executed as color information processing.
  • the color difference calculation processing program 193 is a program read by the processing unit 110 and executed as color difference calculation processing.
  • the image buffer 195 is, for example, a buffer in which captured images captured by the imaging unit 150 are stored.
  • the color difference history data 197 is, for example, data in which the color difference calculated by the color difference calculation unit 115 is stored in association with the date and time (or time) measured by the clock unit 170 .
  • a gyro sensor or the like that detects angular velocities around three axes may be provided.
  • FIG. 5 is a flow chart showing an example of the flow of color information processing executed by the processing unit 110 of the terminal 100A in this embodiment.
  • the processing unit 110 determines whether or not an image has been captured by the image capturing unit 150 (B1).
  • the color difference calculation unit 115 performs color difference calculation processing (B3). Specifically, based on the processing illustrated in FIG. 3 and the like, the color difference is calculated as the color relative information for the captured image.
  • the processing unit 110 stores the calculated color difference in the color difference history data 197 in association with the clock information (date and time, etc.) of the clock unit 170 (B5).
  • the processing unit 110 acquires data of a plurality of captured images by the imaging unit 150, and calculates color relative information (color difference) based on the data of the plurality of captured images stored in the image buffer 195.
  • the processing unit 110 determines whether or not to display the color difference history information (B7). Specifically, for example, it is determined whether or not the user has made an input to display the color difference history information via the operation unit 120, the touch panel 125, or the like. If it is determined to display the color difference history information (B7: YES), the processing unit displays the color difference history information on the display unit 130 based on the color difference history stored in the color difference history data 197 (B9).
  • the processing unit 110 determines whether or not to end the processing, and if it determines to continue the processing (B11: NO), returns the processing to B1. On the other hand, if it is determined to end the processing (B11: YES), the processing unit 110 ends the processing.
  • the processing unit 110 advances the process to B7. If it is determined not to display the color difference history information (B7: NO), the processing unit 110 advances the process to B11.
  • the terminal 100A may display the color difference in association with the imaging date and time of the imaging unit 150 based on the clock information of the clock unit 170 .
  • the terminal 100A may display the color difference and the environment information detected by the environment information detection unit 160 in association with each other. More specifically, using the detection result of the environment information detection unit 160 at the date and time corresponding to the date and time of imaging by the imaging unit 150, the color difference and the environment information are displayed in association with the date and time. You may do so. Either one of temperature and humidity information may be displayed as environment information. Also, the environment information may be acquired from an environment information providing server (not shown) via the communication unit 180 .
  • a color relative vector may be calculated and displayed as color relative information.
  • a color relative vector may be displayed with an arrow in the color space.
  • the server can be, for example, a server that communicates with the terminal of the user described above (eg, a server in a client-server system).
  • the skin analysis application may be an application that is downloaded from a server, stored in the storage unit of the terminal, and executed, or an application that is executed without being downloaded (for example, a web application).
  • FIG. 6 is a diagram showing an example of a functional configuration of a terminal 100B, which is an example of the terminal 100 in this embodiment.
  • the same components as those of the terminal 100A shown in FIG. 4 are denoted by the same reference numerals, and repeated explanations are omitted.
  • the processing unit 110 of the terminal 100B has, for example, the above-described display control unit 116 as a functional unit.
  • the communication unit 180 of the terminal 100B communicates via the network 300 with the server 200 that manages various information regarding the skin analysis application.
  • the storage unit 190 of the terminal 100B stores, for example, a skin analysis application processing program 192 read by the processing unit 110 and executed as skin analysis application processing, the terminal 100B using the skin analysis application, Alternatively, the application ID 194, which is information relating to the account of the user of the terminal 100B, and the image buffer 195 described above are stored.
  • the terminal 100B may not include the environment information detection unit 160 and may acquire the environment information from the server 200, for example.
  • FIG. 7 is a diagram showing an example of the functional configuration of the server 200 in this embodiment.
  • the server 200 includes, for example, a processing unit 210, a display unit 230, an environment information acquisition unit 260, a clock unit 270, a communication unit 280, and a storage unit 290, which are connected via a bus B. .
  • the HW configuration of the processing unit 210, the display unit 230, the clock unit 270, the communication unit 280, and the storage unit 290 can be the same as that of the terminal 100, so description thereof will be omitted.
  • the environment information acquisition unit 260 acquires environment information detected by an environment information detection unit (temperature sensor, humidity sensor, etc.) provided in the device itself, or an environment information providing server (not shown) that provides the environment information. Get environment information from .
  • the communication unit may be the environment information acquisition unit.
  • the communication unit 280 transmits and receives information (data) to and from other devices including the terminal 100B via the network 300.
  • the storage unit 290 stores, for example, the terminal 100B that uses the skin analysis application or management data related to the user of the terminal 100B. Further, in the storage unit 290, for example, for each application ID, color difference history data in which the color difference is stored in association with the clock information of the clock unit 270 is stored as a database.
  • the server 200 may not include the environment information acquisition unit 260, and acquire environment information from the terminal 100B.
  • FIG. 8 is a flow chart showing an example of the flow of processing executed by each device in this embodiment.
  • the left side shows an example of the skin analysis application processing executed by the processing unit 110 of the terminal 100B
  • the right side shows an example of management processing related to the skin analysis application executed by the processing unit 210 of the server 200.
  • the processing unit 110 of the terminal 100B determines whether or not an image has been captured by the imaging unit 150 using the skin analysis application (C1). Then, if it is determined that an image has been captured (C1: YES), the processing unit 110 of the terminal 100B sends the captured image data including the application ID 194 stored in the storage unit 190 and the captured image data to the communication unit 180. to the server 200 (C3). Note that the processing unit 110 of the terminal 100B may repeat image capturing by the image capturing unit 150 and transmit captured image data including data of a plurality of captured images.
  • the processing unit 210 of the server 200 determines whether or not the imaging data has been received from the terminal 100B by the communication unit 280 (S1). According to a color difference calculation processing program (not shown), a process of calculating, for example, the color difference between the first color information and the second color information is performed from the imaged image included in the imaged data received from the terminal 100B (S3). Then, the processing unit 210 of the server 200 associates the calculated color difference with the clock information (date and time, etc.) of the clock unit 270, and stores it as color difference history data corresponding to the application ID included in the received imaging data (S5). .
  • the processing unit 110 of the terminal 100B determines whether or not to display the color difference history information by the skin analysis application (C5). Specifically, for example, the skin analysis application determines whether or not the user has made an input to display the color difference history information via the operation unit 120, the touch panel 125, or the like. If it is determined to display the color difference history information (C5: YES), the processing unit 110 of the terminal 100B, for example, displays the color difference history information including the application ID 194 stored in the storage unit 190 and information requesting display of the color difference history information. A history information display request is made to the server 200 by the communication unit 180 (C7).
  • the processing unit 210 of the server 200 determines whether or not there is a request for display of color difference history information from the terminal 100B (S7). Based on the received color difference history data corresponding to the application ID 194, for example, the communication unit 280 transmits color difference history information including the color difference history for the set period to the terminal 100B (S9).
  • the processing unit 110 of the terminal 100B causes the skin analysis application to display the received color difference history information on the display unit 130 (C9).
  • the processing unit 110 of the terminal 100B determines whether or not to end the processing (C11), and if it determines to continue the processing (C11: NO), returns the processing to C1. On the other hand, if it is determined to end the processing (C11: YES), the processing unit 110 of the terminal 100B ends the processing of the skin analysis application.
  • the processing unit 210 of the server 200 determines whether or not to end the process (S11), and if it determines to continue the process (S11: NO), returns the process to S1. On the other hand, if it is determined to end the process (S11: YES), the processing unit 210 of the server 200 ends the process.
  • the processing unit 110 of the terminal 100B advances the process to C5. If it is determined not to display the color difference history information (C5: NO), the processing unit 110 of the terminal 100B advances the process to C11.
  • the processing unit 210 of the server 200 advances the process to S7. If it is determined that there is no color difference history information display request (S7: NO), the processing unit 210 of the server 200 advances the process to S11.
  • each terminal 100 that uses the skin analysis application can perform the same process.
  • the server 200 can perform similar processing for each terminal 100 .
  • a color relative vector may be calculated and displayed as color relative information.
  • a color relative vector may be displayed with an arrow in the color space.
  • FIG. 9 is a diagram showing an example of a skin analysis application screen displayed on the display unit 130 of the terminal 100 in this embodiment.
  • This screen is a diagram showing an example of a navigation screen displayed when the user inputs to activate the imaging unit 150 in the skin analysis application (B1 in FIG. 5, C1 in FIG. 8).
  • Step. 1 is displayed along with a navigation area R1 for illustrating how to take an image.
  • This illustration shows a woman holding the terminal 100 with her right hand and raising her opposite arm to take a picture.
  • the text "Please shoot so that the inside of the cheek and upper arm fits" is displayed, and below that is an "OK" button to proceed to the next screen.
  • BT1 is displayed.
  • FIG. 10 is a diagram showing an example of an imaging screen for the user to take an image with the skin analysis application. are placed.
  • FIG. 9 the text "Please shoot so that the inside of the cheeks and the upper arm is covered” is displayed.
  • the user can take the pose shown in FIG. 9 and press the imaging button BT3 to cause the imaging section 150 to perform imaging.
  • FIG. 11 is a diagram showing an example of a color difference history information display screen that is displayed when the user inputs to display color difference history information in the skin analysis application (B9 in FIG. 5, C5 in FIG. 8: YES ⁇ C9).
  • This screen shows a state in which a "skin graph" tab is tapped among tabs including a plurality of functions that can be used by the user in the skin analysis application provided at the top of the screen.
  • a history of color differences during a past predetermined period in this example, the period from "November 1, 2021" to "November 7, 2021" is displayed in a graph.
  • the user takes pictures every day during the period of seven days, and the change in color difference for each day is displayed in a graph (in this example, a line graph) with the date on the horizontal axis and the color difference on the vertical axis.
  • a graph in this example, a line graph
  • the display is not limited to the line graph, and may be displayed as a bar graph or the like. Alternatively, the numerical values themselves may be displayed instead of the graphs.
  • the characters "skin tone" are displayed in association with the vertical axis.
  • a defect icon IC1 in this example, an icon of a face that is not smiling
  • a skin icon IC1 is displayed on the side of the lower part of the vertical axis.
  • a good icon IC2 in this example, a smiling icon
  • a plurality of lower triangular marks are displayed to indicate that the skin condition is gradually improving from the defective icon IC1 toward the good icon IC2.
  • the region of the user's cheek is the determination target region (measurement target region). Also, the area inside the user's upper arm is set as a comparison target area. Then, the aforementioned processing is performed with the region of the user's cheek as the first region and the region of the user's upper arm as the second region.
  • the inside of the upper arm is less likely to be affected by disturbances such as sunlight, and it is thought that the color of the skin is likely to be maintained. Therefore, in this example, the color of the inside of the upper arm is set as the user's target skin color (ideal value). In other words, the color of the inner region of the upper arm is used as a whitening benchmark. Based on the captured image captured by the user, how much the color of the user's cheek deviates from the color of the inner side of the upper arm is reported to the user using the color difference as an index value. According to the above, it can be considered that the smaller the color difference, the closer the user's cheek color is to the ideal value. Conversely, it can be considered that a larger color difference indicates that the user's cheek color is farther from the ideal value.
  • FIG. 12 is a diagram showing another example of the color difference history information display screen of FIG.
  • time-series graphs of temperature and humidity are displayed as environment information in association with the time-series graph of color difference in the graph shown in FIG. That is, the color difference information and the environment information are displayed in correspondence with each other in timing.
  • the user can compare the time-series color difference and the time-series temperature and humidity. It is possible for the user to analyze in what kind of environment the skin condition tends to deteriorate. Either one of temperature and humidity information may be displayed as environment information.
  • the processing unit 210 of the server 200 may transmit the environment information acquired by the environment information acquisition unit 260 to the terminal 100 together with the time-series color difference information. can be done.
  • the server 200 based on the information on the area where the user is registered in advance and the information on the location of the terminal 100 transmitted from the terminal 100, stores the environment information for the area and the location of the terminal 100. may be acquired and transmitted to the terminal 100 . That is, in this example, the terminal 100 can acquire environment information from the server 200 .
  • the server 200 receives imaging data including environment information from the terminal 100 (C3 in FIG. 8, S1: YES), and stores the environment information received from the terminal 100 in the storage unit 290. You can leave it as is. Then, information that associates the color difference history information and the environment information may be transmitted to the terminal 100 (S9 in FIG. 8).
  • the terminal calculates the first color information in the first area included in the captured image and the second color information in the second area included in the captured image. Then, the terminal calculates color relative information (an example of relative information regarding a relative relationship) between the calculated first color information and second color information. Then, the terminal outputs time-series color differences for a plurality of captured images captured at different timings. Accordingly, the terminal can calculate relative information regarding the relative relationship between the first color information in the first area included in the captured image and the second color information in the second area included in the captured image. In addition, time-series relative information can be output for a plurality of captured images captured at different timings.
  • the relative color information can be, for example, color difference information. This allows the terminal to output time-series color difference information for a plurality of captured images captured at different timings.
  • the first area and the second area can be different areas of the same subject. Accordingly, it is possible to calculate color relative information based on color information of different regions of the same subject.
  • the second area can be used as a comparison target area, and can be used as a criterion for determining how much the color of the first area of the same subject deviates from the color of the second area of the same subject.
  • the first area can be a face area. This can be used as a criterion for determining how much the color of the face area of the same subject deviates from the color of the area different from the face area of the same subject.
  • the first region can be the cheek region. This can be used as a criterion for determining how much the color of the cheek region of the same subject deviates from the color of the region different from the face region of the same subject.
  • the first region can be the neck region. This can be used as a criterion for determining how much the color of the neck region of the same subject deviates from the color of the region different from the neck region of the same subject.
  • the second region can be the inner region of the arm. This can be used as a criterion for determining how much the color of the area different from the inner side of the arm of the same subject deviates from the color of the inner side of the arm of the same subject.
  • the second region can be the inner region of the upper arm or the inner region of the wrist. This can be used as a criterion for determining how much the color of the area different from the inner area of the upper arm of the same subject deviates from the color of the inner area of the arm of the same subject. In addition, it can be used as a criterion for determining how much the color of the region different from the region on the inside of the wrist of the same subject deviates from the color of the region on the inside of the wrist of the same subject.
  • the user's terminal includes any of the above image processing devices, an imaging unit 150 that captures the above captured image, and a display unit 130 that displays color relative information. be able to. Thereby, the relative information calculated based on the captured image captured by the imaging unit can be displayed on the display unit so that the user can recognize it.
  • the display unit 130 can display the color relative information in association with the information of the imaging date and time and the imaging time (an example of the information that can specify the timing). This allows the user to recognize the relative information as well as the timing at which the image was captured. Since it becomes possible to refer to the timing at which the image was captured, the user's convenience can be improved.
  • the user's terminal further includes an environment information detection unit 160 and a communication unit 180 (an example of an environment information acquisition unit that acquires environment information) that receives environment information from the server.
  • Information and environment information can be displayed in association with each other. This allows the user to recognize the relative information together with the acquired environmental information. Since the environment information can be referred to, the user's convenience can be improved.
  • the server calculates the first color information in the first area included in the captured image and the second color information in the second area included in the captured image. . Then, the server calculates color relative information (an example of relative information regarding a relative relationship) between the calculated first color information and second color information. Then, the server outputs time-series color differences for a plurality of captured images captured at different timings. Thereby, the server can calculate the relative information regarding the relative relationship between the first color information in the first area included in the captured image and the second color information in the second area included in the captured image. In addition, time-series relative information can be output for a plurality of captured images captured at different timings.
  • the server includes any one of the image processing apparatuses described above, and a communication unit that receives the captured image from the terminal and transmits the calculated relative information to the terminal.
  • the server can acquire the captured image from the terminal, calculate the relative information based on the captured image, and transmit the relative information to the terminal. From the viewpoint of the terminal side, the processing load can be reduced because the terminal only needs to transmit the captured image to the server and does not need to perform calculations.
  • no makeup mode a mode in which an image is taken without makeup
  • foundation mode a mode in which an image is taken with foundation applied
  • the user can select "no makeup mode” or "foundation mode” before the screen shown in FIG. 9 is displayed or within the screen shown in FIG. Configure the user interface (UI). Then, when the "no makeup mode” is selected, the user without makeup is imaged on the imaging screen of FIG. Further, when the "foundation mode” is selected, it is possible to take an image on the imaging screen of FIG. 10 while the user is applying foundation.
  • the terminal 100 may notify the user based on the color relative information.
  • FIG. 13 is a diagram showing an example of the color difference history information display screen displayed on the display unit 130 of the terminal 100 in this embodiment.
  • the view of the screen is the same as in FIG.
  • a case in which different notification contents are notified in the two modes of "no makeup mode” and “foundation mode” described in "(1) mode” will be exemplified.
  • a mode switching tab MT1 is provided that includes a tab for displaying information and a tab for displaying color difference history information based on an image captured in the “foundation mode”. Then, in this example, when the user taps the "no makeup mode” tab of the mode switching tabs MT1, the "no makeup mode” tab is displayed in reverse video, and the "no makeup mode” tab is displayed below. The history information of the color difference created is displayed.
  • the time-series color difference graph shows a case where the color difference exceeds or exceeds a set value (threshold value).
  • a state in which the color difference calculated based on the captured image captured on "November 3, 2021" is greater than or equal to the set value is shown.
  • a caution mark MK1 is displayed next to the color difference value. When the caution mark MK1 is tapped by the user, for example, a screen as shown in FIG. 14 is displayed.
  • an area in which the notification information sent from the server is displayed is configured under the area in which the graph is displayed.
  • the text "Your skin is not very good. It's dry and it's prone to rough skin.”
  • Information is displayed, including text telling the user the points to be made, and an "OK" button for hiding these displays.
  • the notification information for the user is displayed on the display unit 130 based on the fact that the color difference satisfies the setting condition that the color difference becomes equal to or greater than the first set value or exceeds the first set value.
  • notification information information for alerting the user that the second color information is ideal and the first color information deviates from the ideal, more specifically, alerting the user to the condition of the skin. (information for notifying the user that the skin condition is not good) is displayed.
  • notification information is displayed for the user based on the setting condition that the color difference is less than the second set value or equal to or less than the second set value is satisfied. It may be displayed in section 130 .
  • the second set value can be set as a value smaller than the first set value.
  • notification information information that informs the user that the second color information is ideal and that the first color information is close to ideal, more specifically, informs the user that the skin condition is good. Information to be notified may be displayed.
  • notification information may be displayed by a balloon, bubble, or the like based on the caution mark MK1 and the value of the color difference attached to the caution mark MK1.
  • the notification information may be displayed without displaying the caution mark MK1.
  • the notification described above is not limited to being displayed, and may be realized by outputting sound (including voice) from the sound output unit 140 .
  • the notification information may be sound information (including voice information).
  • the sound output unit 140 may output a caution sound or an alerting announcement based on the setting condition that the color difference is equal to or greater than the first set value or exceeds the first set value.
  • the alert announcement may have the same content as the text shown in FIG. 14, or may have different content.
  • a fanfare sound or a congratulatory announcement may be output from the sound output unit 140 based on the setting condition that the color difference is less than the second set value or equal to or less than the second set value is satisfied.
  • the mode switching tab MT1 can be dispensed with.
  • FIG. 15 is a diagram showing an example of the color difference history information display screen displayed on the display unit 130 of the terminal 100 in this embodiment. On this screen, when the user taps the foundation mode tab of the mode switching tabs MT1, the foundation mode tab is highlighted, and the color difference history information in the foundation mode is displayed below it. .
  • an area where the notification information sent from the server is displayed is configured below the area where the graph is displayed.
  • a region R5 represented by a balloon from the illustration of an angel at the bottom of the screen similar to that in FIG. a text telling the user what to pay attention to, and an "OK" button for hiding these displays.
  • the notification content is different from the "no makeup mode” in FIG. 14, and the notification information corresponding to the "foundation mode” is displayed.
  • the notification information for the user is displayed on the display unit 130 based on the fact that the color difference calculated in the "foundation mode" satisfies the setting condition that the third setting value or more or the third setting value is exceeded. is displayed in Specifically, as notification information, information for alerting the user that the second color information is ideal and the first color information deviates from the ideal, more specifically, for example, foundation (foundation color) Information or the like is displayed to call attention that the values do not match.
  • the color difference calculated in the "foundation mode" is less than the fourth set value, or the setting condition is satisfied that the fourth set value or less is satisfied.
  • notification information for the user may be displayed on the display unit 130 .
  • the fourth set value can be set as a value smaller than the third set value.
  • notification information information informing the user that the second color information is ideal and the first color information is close to ideal. Information may be displayed to notify the user of the existence of the device.
  • notification information may be displayed by a balloon, bubble, or the like based on the caution mark MK1 and the value of the color difference attached to the caution mark MK1.
  • the notification information may be displayed without displaying the caution mark MK1.
  • the notification described above is not limited to being displayed, and may be realized by outputting sound (including voice) from the sound output unit 140 .
  • the notification information may be sound information (including voice information).
  • the sound output unit 140 may output a caution sound or an alert announcement based on the setting condition that the color difference is equal to or greater than the third set value or exceeds the third set value.
  • the alert announcement may have the same content as the text shown in FIG. 16, or may have different content.
  • a fanfare sound or a congratulatory announcement may be output from the sound output unit 140 based on the setting condition that the color difference is less than the fourth set value or equal to or less than the fourth set value is satisfied.
  • the "no makeup mode” tab of the mode switching tab MT1 shown in the above display screen When the user taps the "no makeup mode” tab of the mode switching tab MT1 shown in the above display screen, the "no makeup mode” tab is highlighted, and the color difference history information in the "no makeup mode” is displayed. can be made visible. Further, in this case, for example, a screen as shown in FIG. 14 described above is displayed, and if the caution mark MK1 is included in the screen, for example, based on the tapping of the caution mark MK1, the screen shown in FIG. A screen such as 15 can be displayed.
  • the content to be notified (notification information) can be stored in the storage unit of the terminal 100 or the server 200 in a database in association with the setting value, for example. Then, depending on which set value the color difference satisfies the threshold condition based on, the corresponding notification information can be read from the database and the notification information can be displayed.
  • the color difference history information of the "no makeup mode” and the color difference history information of the "foundation mode” may be displayed (overlaid) in one graph with corresponding timing.
  • the environmental information described above may also be displayed (overlaid) with corresponding timing.
  • the display unit 130 of the user's terminal displays notification information to the user when the color difference (an example of relative information) satisfies the setting condition.
  • the color difference an example of relative information
  • the setting condition includes that the color difference is equal to or greater than the first set value or exceeds the first set value, and the notification information is such that the second color information is ideal and the first color information is not ideal. It is possible to include information for alerting the user of the divergence. Accordingly, when the color difference is a value that is large to some extent, it is possible to alert the user that the first color information deviates from the ideal.
  • the notification information can include information for alerting the user to the condition of the user's skin.
  • the notification information can include information for alerting the user to the condition of the user's skin.
  • the setting condition includes that the color difference is less than a second set value that is smaller than the first set value, or that the color difference is less than or equal to a second set value that is smaller than the first set value, and the notification information is Information may be included to notify the user that the second color information is ideal and the first color information is close to ideal. This makes it possible to inform the user that the first color information is close to ideal when the color difference is a relatively small value.
  • the notification information can include information for notifying the user that the user's skin condition is good. Accordingly, when the color difference is a relatively small value, it is possible to inform the user that the user's skin condition is good.
  • Stepwise notification for example, a stepwise set value is set as a set value, and different notification is made based on which set value the color difference exceeds or exceeds the set value. You may make it alert
  • the terminal will display the message "Your skin condition is getting worse. to display notification information that calls attention to
  • the color difference is greater than or equal to a set value B which is larger than the set value A (or exceeds the set value B)
  • the terminal outputs notification information alerting that "the skin condition is getting worse.” You may make it display.
  • the user of the terminal 100 may be able to set which area is to be processed by inputting settings to the terminal 100 . For example, if the user wants to know the result when the first region is the cheek and the second region is the inside of the wrist, select the cheek as the first region and the inside of the wrist as the second region. may be set by the terminal 100.
  • the user selects the neck as the first region and the inner side of the upper arm as the second region. It may be selected and set by the terminal 100 .
  • the terminal 100 calculates the color difference
  • the terminal 100 detects the first area and the second area set based on the user input as described above from the captured image, and then performs the same processing as described above. can do.
  • the server 200 performs processing
  • the terminal 100 transmits the setting information of the first area and the second area set based on the user input as described above to the server 200 together with the captured image data, and the server 200 After detecting the first area and the second area included in the received setting information from the captured image, the same processing as described above can be performed.
  • the terminal 100 may perform all of the above-described processing without being limited to, for example, performing the processing to which the client-server system is applied.
  • the processing of the server 200 shown in FIG. 8 is similarly applied to the color information processing shown in FIG. 5 to which the configuration example of the terminal 100A shown in FIG. A similar process may be performed.
  • color information represented by Hue, Saturation, and Lightness defined in the HSL color space was used as color information. is not limited to
  • color information displayed in YCbCr may be used.
  • color information expressed in RGB may be used.
  • Each color system has a mapping relationship.
  • YCbCr and RGB can be converted by linear conversion. The same technique as in the above embodiments can be applied to any color system.
  • Terminal 100 As the user's terminal 100, as described above, in addition to mobile phones such as smart phones, various devices such as cameras, PDAs, personal computers, navigation devices, wristwatches, and various tablet terminals can be applied. .
  • the user's terminal 100 does not necessarily have to include the imaging unit 150 .
  • the terminal 100 can acquire captured image data from an external device including the imaging unit 150 and perform the above-described image processing based on the acquired captured image data.
  • the storage unit of each device includes internal storage devices such as ROM, EEPROM, flash memory, hard disk, and RAM, as well as memory cards (SD cards), compact flash (registered trademark) cards, memory sticks, USB memories, and CDs.
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • flash memory electrically erasable programmable read-only memory
  • RAM random access memory
  • FIG. 17 is a diagram showing an example of a recording medium in this case.
  • the image processing apparatus 1 is provided with a card slot 410 into which a memory card 430 is inserted.
  • a card reader/writer (R/W) 420 is provided for writing information.
  • the card reader/writer 420 writes the programs and data recorded in the storage unit to the memory card 430 under the control of the processing unit.
  • the programs and data recorded in the memory card 430 are read by an external device other than the image processing apparatus 1, so that the external device can implement the image processing in the above embodiment.
  • the above recording medium can also be applied to various devices such as the terminals, servers, electronic devices (electronic devices), color information analysis devices, and information processing devices described in the above embodiments.
  • the image processing device 1 may be configured as a device such as a skin analysis device. Further, a device such as a rough skin notification device may be configured as a device including the image processing device 1 and the notification unit described above.
  • the technique of calculating color relative information from the first color information and second color information of an image in which the subject is a human being and displaying the color relative information in chronological order can be applied to various monitor methods.
  • the technology described above can be applied as a non-contact vital sensing technology for measuring the degree of fatigue of workers.
  • a worker is, but not limited to, a person who engages in work in which overwork can lead to an accident. Such workers are, for example, drivers of heavy vehicles.
  • FIG. 18 is a diagram showing an example screen of the fatigue measurement application.
  • the terminal 100 is a smart phone and has an in-camera 101 and a display unit 130 .
  • a worker takes an image of himself/herself with the in-camera 101 every day, for example.
  • Color relative information is calculated by the method described above for a plurality of images captured on different dates. The calculated color relative information is displayed in chronological order according to the operation of the terminal operator. In the example of FIG. 18, transition of color relative information from December 5, 2022 to December 11, 2022 is illustrated.
  • the color relative information is a color difference or a color relative vector, and the terminal operator is notified that the greater the value, the higher the fatigue level, and the smaller the value, the lower the fatigue level.
  • the first threshold TH1 is set as the degree of fatigue at which certain fatigue is recognized
  • the second threshold TH2 is set as the degree of fatigue reaching serious fatigue.
  • One threshold can be set, or a plurality of thresholds can be set stepwise.
  • the degree of fatigue exceeding the first threshold TH1 is detected on December 8th
  • the degree of fatigue exceeding the second threshold TH2 is detected on December 9th
  • the first threshold TH1 is detected on December 10th.
  • a exceeded threshold has been detected.
  • the communication function of the terminal 100 is used to notify an external administrator or the like, or the display unit 130 indicates that the degree of fatigue is increasing, so it is recommended to take a rest.
  • a prompting message can be displayed, or the message can be read aloud.
  • the above-described technology can be used to confirm the effects of esthetics, gyms, health foods, and the like. According to still another example, the above-described technology can be utilized as one of the detection conditions for confirming the intention of a dementia patient or the like.
  • the function of generating time-series data of color relative information can be realized by a processing circuit. That is, the processing circuit calculates color information, calculates color relative information, and generates time-series data of the color relative information. Even if the processing circuit is dedicated hardware, it is a CPU (also called Central Processing Unit, central processing circuit, processing unit, arithmetic circuit, microprocessor, microcomputer, DSP) that executes programs stored in memory. good too.
  • CPU also called Central Processing Unit, central processing circuit, processing unit, arithmetic circuit, microprocessor, microcomputer, DSP
  • the processing circuit may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination of these.
  • FIG. 19 is a diagram showing a configuration example of a terminal.
  • the image processing circuit 10B generates data such as JPEG from the data captured by the camera 10A.
  • Image data generated by the image processing circuit 10B is provided to the processing circuit 10C.
  • the processing circuit 10C generates time-series data of the color relative information described above. Then, the time-series data is displayed on the display 10D according to the terminal user's operation.
  • FIG. 20 shows a configuration example when the processing circuit is a CPU.
  • each function of the processing circuit is realized by software or a combination of software and firmware.
  • Software or firmware is written as a program and stored in the memory 10c.
  • the processor 10b implements each function by reading and executing the program stored in the memory 10c. That is, the memory 10c is provided for storing a program that, when executed by the processing circuit of FIG. 20, results in the generation of time-series data of the color relative information described above. It can be said that these programs cause a computer to execute the procedures and methods shown in FIGS.
  • the memory corresponds to, for example, non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD, or the like.
  • non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

色情報に基づく情報を出力可能とする。　撮像画像に含まれる第１領域における第１色情報と、前記撮像画像に含まれる第２領域における第２色情報との差分に関する相対情報を算出する算出部と、異なるタイミングで撮像された複数の撮像画像について時系列の前記相対情報を出力する出力部と、を備える。

Description

画像処理装置、端末、モニター方法
　本開示は、画像処理装置、端末、モニター方法に関する。
　例えば、被写体を人間とする画像の色情報に基づいて、その人間の肌の状態や肌年齢等を解析する画像処理装置が提案されている。例えば特許文献１には、顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じて撮像部の位置または向きの補正を撮影者に指示する画像処理装置が開示されている。
特開２００８－１１８２７６号公報
　本開示の一態様によれば、撮像画像に含まれる第１領域における第１色情報と、前記撮像画像に含まれる第２領域における第２色情報との差分に関する相対情報を算出する算出部と、異なるタイミングで撮像された複数の撮像画像について時系列の前記相対情報を出力する出力部と、を備える。
画像処理装置の機能構成の一例を示す図。 色差の時系列変化の一例を示す図。 画像処理（色情報処理）の流れの一例を示すフローチャート。 実施例に係る端末の機能構成の一例を示す図。 実施例に係る端末が実行する処理の流れの一例を示すフローチャート。 実施例に係る端末の機能構成の別例を示す図。 実施例に係るサーバの機能構成の一例を示す図。 実施例に係る端末とサーバが実行する処理の流れの一例を示すフローチャート。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 実施例に係る端末の表示部に表示される表示画面の一例を示す図。 記録媒体の一例を示す図。 疲労度の時系列データが端末に表示されたことを示す図である。 端末の構成例を示す図である。 別の端末の構成例を示す図である。
　以下、本開示を実施するための形態の一例について図面を参照して説明する。なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本開示の範囲をそれらに限定する趣旨のものではない。
＜実施形態＞
　以下、本開示の画像処理技術を実現するための実施形態の一例について説明する。
　図１は、本実施形態の一態様に係る画像処理装置１の機能構成の一例を示すブロック図である。
　画像処理装置１は、例えば、第１領域検出部１１と、第１色情報算出部１２と、第２領域検出部１３と、第２色情報算出部１４と、色相対情報算出部１５と、出力部１６とを備えて構成されるようにすることができる。これらは、例えば、画像処理装置１の不図示の処理部（処理装置）や制御部（制御装置）が有する機能部（機能ブロック）であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成されるようにすることができる。
　第１領域検出部１１は、例えば、不図示の撮像部によって撮像された撮像画像に基づいて、その撮像画像における第１領域を検出する機能を有する。
　撮像画像は、どのようなカメラで撮像された撮像画像としてもよい。
　詳細は実施例で後述するが、撮像画像は、例えばフロントカメラで撮像された画像としてもよい。
　フロントカメラとは、撮影者が撮影を行う際に、不図示の表示部によって、自身を確認可能であるカメラ、具体的には、例えば、装置の筐体の正面側（表示部を有する面側）に設けられるカメラ（インカメラ）とすることができる。
　なお、撮像画像を、リアカメラで撮像された撮像画像としてもよい。
　リアカメラとは、撮影者が撮影を行う際に、不図示の表示部によって、自身を確認することができないカメラ、具体的には、例えば、装置の筐体の背面側（表示部が形成される面の反対側）に設けられるカメラ（バックカメラ、アウトカメラ）とすることができる。
　第１色情報算出部１２は、例えば、第１領域検出部１１によって検出された第１領域における画像情報に基づいて、例えば、ＨＳＬ色空間で定義される色相（Hue）・彩度（Saturation）・輝度（Lightness）で表現される色情報を算出する機能を有する。
　第２領域検出部１３は、例えば、上記の撮像画像に基づいて、その撮像画像における第２領域を検出する機能を有する。
　第２色情報算出部１４は、例えば、第２領域検出部１３によって検出された第２領域における画像情報に基づいて、例えば、上記のＨＳＬ色空間で定義される色情報を算出する機能を有する。
　第１領域検出部１１は、例えば、あらかじめユーザによって設定された、またはプログラムで規定された領域を第１領域として、撮像画像から第１領域を検出するようにすることができる。第２領域検出部１３についても同様である。
　第１領域や第２領域の具体例については後述する。
　色相対情報算出部１５は、例えば、第１色情報算出部１２によって算出された第１色情報と、第２色情報算出部１４によって算出された第２色情報とに基づいて、その相対関係に関する情報である色相対情報を算出する機能を有する。
　色相対情報には、１つの例として、第１色情報と第２色情報とに基づく色の距離である色差を含めることができる。色差はスカラー値であり、例えば、第１色情報と第２色情報とからユークリッド距離として算出することができる。
　なお、色相対情報に、色差に加えて、またはこれに代えて、ベクトルで表される色相対ベクトルを含めるようにしてもよい。色相対ベクトルは、例えば、３次元（例えば、上記のＨＳＬ色空間の成分）の第１色情報と、３次元の第２色情報との差ベクトルとして算出するようにすることができる。
　出力部１６は、色相対情報算出部１５によって算出された色相対情報を出力する機能を有する。
　図示は省略するが、画像処理装置の内部に、またはその外部に、色相対情報算出部１５によって算出された色相対情報を蓄積して記憶するメモリを構成し、例えば、色相対情報をメモリに時系列に記憶させるようにすることができる。そして、出力部１６は、例えば、異なるタイミングで撮像された複数の撮像画像についてメモリに記憶された相対情報を、時系列に出力するようにすることができる。
　なお、第１領域検出部１１と、第２領域検出部１３とは、同一の機能（画像が入力されると、その画像中の特定領域を検出（抽出）した画像が出力される機能）を持つ単一の領域検出部として構成してもよい。
　また、第１色情報算出部１２と、第２色情報算出部１４とは、同一の機能（画像が入力されると、色情報が出力される機能）を持つ単一の色情報算出部として構成してもよい。
＜原理＞
　第１領域および第２領域は、例えば、撮像画像に含まれる異なる２つの領域とすることができる。
　また、あくまで一例であるが、第１領域および第２領域は、例えば、撮像画像に含まれる同一の被写体の異なる領域（同一の被写体に含まれる異なる領域）とすることができる。
　撮像を行われる状況や環境は都度異なり得るため、光の影響などで、同じ被写体を撮像した場合であっても、その撮像画像からその被写体の色を特定することは難しい。つまり、撮像画像中に画像処理装置側で色が既知の物が存在しなければ、比較対象（基準）とすることのできる色がないため、撮像画像から被写体の色を特定することは難しい。カラーパッチやカラーチャートなどがあればよいが、ユーザにとっては面倒である。
　そこで、本実施形態では、被写体の色を特定するのではなく、各々の撮像画像について、その撮像画像に含まれる同一の被写体について、上記の第１領域における第１色情報と、上記の第２領域における第２色情報との相対関係に関する相対情報（色相対情報）を算出する。そして、算出した相対情報から、第１領域の色が、第２領域の色からどれくらい乖離しているかを分析可能とする。
　同一の被写体においては、撮像環境等による光の影響も同一、あるいは近いと想定することができる。このため、色相対情報は撮像環境等に影響されない、あるいは影響されにくい情報と言ってもよい。
　図２は、出力部１６から出力される色相対情報として色差を用いる場合における、色差の時系列変化を示す図であり、横軸を時間軸（ｔ）とし、縦軸を色差として図示している。また、ここでは、色差を連続的な曲線のグラフとして図示している。
　色差がゼロに近づくほど、第１領域の色が、第２領域の色に近いことを意味する。逆に、色差がゼロから離れるほど、第１領域の色が、第２領域の色から乖離していることを意味する。この用途については、以下に簡単に述べるとともに、実施例で詳細後述する。
　被写体は、例えば、人間（ヒト、人、人物）を含む動物としてもよい（ただし、ここでは人間も動物に含めている。）。
　ここでは、人間を被写体とする場合を例示する。この場合、第１領域と第２領域とは、例えば、撮像画像に含まれる同一の人間のうちの異なる領域とすることができる。
　この場合、第１領域は、例えば、
　・顔の領域
　・首の領域
　のいずれか、または両方とすることができる。
　また、第２領域は、例えば、
　・腕の内側の領域
　とすることができる。
　なお、腕とは、肩から手首までを指すものとする。
　また、顔の領域は、例えば、
　・頬の領域
　とすることができる。
　また、腕の内側の領域は、例えば、
　・二の腕（上腕）の内側の領域
　・手首の内側の領域
　のいずれか、または両方とすることができる。
　また、第１領域と第２領域の組合せは、上記の任意の組合せとすることができる。
　なお、本明細書では、例えば、医学的な定義に基づき、人間の肘を境として、肩に近い方を「二の腕（上腕）」と称し、手に近い方を「前腕」と称することにする。
　腕の内側の領域を例示しているのは、腕の内側は日焼けしにくい（肌の色が変化しにくい）と考えられるためである。ただし、腕の内側といっても、半袖の服を着用していると前腕の内側も日焼けする場合がある。このため、腕の内側として、二の腕（上腕）の内側を用いるようにしてもよい。また、手首は日焼けの影響を受けにくい可能性があるため、前腕であっても手首の内側は用いるようにしてもよい。
　二の腕の内側や手首の内側は、特に日焼けしにくく、肌の色がキープされやすいと考えられる。そこで、詳細は実施例で後述するが、二の腕の内側や手首の内側の色を理想的な肌の色（日光等の外乱による影響を受ける前の肌の色）とし、この二の腕の内側や手首の内側の色に対して、日光等の影響を受けやすい顔（頬）や首の色がどれだけ乖離しているかを、上記の色相対情報によって分析可能とする。
　昨今の美容化化粧品販売の傾向から、例えば、人間の顔（頬）の領域に限らず、人間の首の領域も、アンチエイジングなど美肌の対象領域とされる場合があり得る。
　なお、顔の領域を、頬以外の領域としてもよい。
　また、人間に限定されず、被写体を人間以外の動物としてもよい。
　また、動物に限定されず、被写体を物としてもよい。
　また、撮像画像に含まれる同一の被写体の領域のうちの異なる第１領域と第２領域とを対象とするのに限らず、例えば、撮像画像に含まれる任意の異なる第１領域と第２領域とを対象として色相対情報を算出し、色がどれくらい乖離しているかを分析可能としてもよい。例えば、一の被写体の一部の領域を第１領域とし、別の被写体の一部の領域を第２領域として、色がどれくらい乖離しているかを分析可能としてもよい。
＜画像処理の手順＞
　図３は、本実施形態における画像処理の手順例を示すフローチャートである。
　図３のフローチャートで示される処理は、例えば画像処理装置１の不図示の処理部が、不図示の記憶部に格納された画像処理プログラムのコードを不図示のＲＡＭ等に読み出して実行することにより実現される。
　なお、図１では、記憶部を画像処理装置１の構成要素から除外して示しているが、記憶部を画像処理装置１の構成要素に含めてもよい。
　また、以下説明するフローチャートは、あくまでも本実施形態における画像処理の手順の一例を示すものに過ぎず、他のステップを追加したり、一部のステップを削除したりしてもよい。
　最初に、画像処理装置１は、撮像画像が入力されたか否かを判定する（Ａ１）。そして、入力されたと判定したならば（Ａ１：ＹＥＳ）、第１領域検出部１１が、入力された撮像画像から第１領域を検出する処理を行う（Ａ３）。この処理では、第１領域検出部１１は、例えば領域抽出処理を行って、第１領域を検出する。
　領域抽出処理では、例えば、キーポイント検出（Key Point Detection）の手法を用いて、第１領域を検出することができる。また、ディープラーニングの一手法であるＦＣＮ（Fully Convolutional Network）やＳｅｇＮｅｔ、Ｕ－Ｎｅｔ等の手法を用いて、撮像画像に対してセマンティックセグメンテーションを実行するようにしてもよい。そして、第１領域として分類された画素の位置と、画素の色情報とを抽出結果とする。
　例えば、第１領域を頬の領域とするのであれば、頬の領域として分類された画素の位置と、画素の色情報とを抽出結果とする。
　なお、撮像画像から、例えばＨＯＧ（Histogram of Oriented Gradients）特徴量を用いて特徴抽出を行い、ＳＶＭ（Support Vector Machine）等の識別器を用いて第１領域の抽出を行うことも可能である。
　また、第１領域が肌の場合には、色ヒストグラムを用いて画素の肌色らしさを評価し、撮像画像から第１領域を抽出することも可能である。ＳＶＭによる抽出結果に対して肌色らしさを評価してもよい。
　また、ディープラーニングによる結果と、これらの結果を組み合わせて領域抽出を行ってもよい。
　同様に、第２領域検出部１３は、撮像画像から第２領域を検出する（Ａ５）。これも、例えば、上記と同様の領域抽出処理によって実現することができる。例えば、第２領域を二の腕の内側の領域や手首の内側の領域とするのであれば、キーポイント検出（Key Point Detection）や、セマンティックセグメンテーションの手法等によって、これらの領域として分類された画素の位置と、画素の色情報とを抽出結果とする。
　なお、画像処理装置１は、例えば、セマンティックセグメンテーションの結果に基づいて、第１領域の抽出と第２領域の抽出とを一括して実行するようにしてもよい。
　次いで、画像処理装置１は、第１領域と第２領域との検出に成功したか否かを判定する（Ａ７）。この判定は、例えば、Ａ３の検出結果（抽出結果）に基づいて第１領域が撮像画像の設定割合を占めるか否かを判定し、Ａ５の検出結果（抽出結果）に基づいて第２領域が撮像画像の設定割合を占めるか否かを判定することによって実現することができる。
　なお、第１領域と第２領域とが撮像画像の設定割合を占めるか否かを判定することによってＡ７の判定を行うようにしてもよい。
　少なくともいずれか一方の検出に失敗したと判定したならば（Ａ７：ＮＯ）、画像処理装置１は、Ａ１に処理を戻す。
　なお、この場合に、画像処理装置１が、何らかのエラー処理を行った後、Ａ１に処理を戻すようにしてもよい。撮像に問題がある可能性もあるため、その旨をユーザに注意喚起する情報を出力するなどしてもよい。
　第１領域と第２領域との検出に成功した場合（Ａ７：ＹＥＳ）、第１色情報算出部１２が、Ａ３の検出結果に基づいて、第１色情報を算出する（Ａ９）。例えば、設定された大きさの画像パッチ（画像の小領域）ごとに、各画素の色情報の平均値を算出する。そして、その平均値に基づいて、例えば、所定の色空間での画像パッチごとの色情報（第１色情報）を算出する。
　同様に、第２色情報算出部１４が、Ａ５の検出結果に基づいて、第２色情報を算出する（Ａ１１）。この手法は、例えばＡ９と同様とすることができる。
　次いで、色相対情報算出部１５が、Ａ９で算出された第１色情報と、Ａ１１で算出された第２色情報とに基づいて、色相対情報を算出する（Ａ１３）。
　例えば、色相対情報として色差を算出するのであれば、色相対情報算出部１５は、Ａ９で算出された第１色情報と、Ａ１１で算出された第２色情報とのユークリッド距離を算出するなどして色差を算出する。
　また、例えば、色相対情報として色相対ベクトルを算出するのであれば、色相対情報算出部１５は、Ａ９で算出された３次元の色情報と、Ａ１１で算出された３次元の色情報との差のベクトル（３次元）を算出する。
　次いで、画像処理装置１は、色相対情報の出力条件が成立したか否かを判定する（Ａ１５）。出力条件が成立していないと判定したならば（Ａ１５：ＮＯ）、画像処理装置１は、Ａ１に処理を戻す。一方、出力条件が成立したと判定したならば（Ａ１５：ＹＥＳ）、画像処理装置１は、処理を終了する。
　出力条件は、例えば、撮影画像ごとに出力すること、設定された数の撮像画像について色相対情報を算出されたこと、設定された期間分の撮像画像について色相対情報が算出されたこと、など、種々の条件を定めておくことができる。
　なお、画像処理装置１は、設定された数の撮影画像について色相対情報を算出する場合、例えば、各撮影画像に対して算出された各色相対情報の平均値や中央値等を出力するようにしてもよい。設定された期間分の撮像画像について色相対情報を算出する場合についても同様である。すなわち、画像処理装置１は、複数の撮影画像から一つの色相対情報を出力するようにしてもよい。複数の撮影画像から一つの色相対情報を出力することで、撮像環境の影響をより少なくできることが期待される。
　また、本処理では、Ａ５のステップはＡ３のステップの後に実行されることとしたが、この順序を逆にしてもよい。Ａ９、Ａ１１のステップについても同様である。
［実施例］
（１）端末の実施例
　上記の画像処理装置１を適用した、または上記の画像処理装置１を備える端末の実施例について説明する。端末は、例えば、スマートフォンを含む携帯電話機、カメラ、ＰＤＡ、パソコン、ナビゲーション装置、腕時計、各種のタブレット端末といった、ユーザが所持する端末装置とすることができる。
　ここでは、一例として、カメラ機能付き（撮像機能付き）携帯電話機の一種であるスマートフォンの実施例について説明する。説明上では、端末１００として図示・説明する。
　ただし、本開示を適用可能な実施例が、以下説明する実施例に限定されるわけでない。
＜機能構成＞
　図４は、本実施例におけるスマートフォンである端末１００の一例である端末１００Ａの機能構成の一例を示す図である。
　端末１００は、例えば、処理部１１０と、操作部１２０と、タッチパネル１２５と、表示部１３０と、音出力部１４０と、撮像部１５０と、環境情報検出部１６０と、時計部１７０と、通信部１８０と、記憶部１９０とを備える。
　処理部１１０は、記憶部１９０に記憶されているシステムプログラム等の各種プログラムに従って端末１００の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。
　処理部１１０は、例えば、第１領域検出部１１１と、第２領域検出部１１２と、第１色情報算出部１１３と、第２色情報算出部１１４と、色差算出部１１５と、表示制御部１１６とを有する。第１領域検出部１１１～第２色情報算出部１１４は、前述した第１領域検出部１１～第２色情報算出部１４に対応する。
　色差算出部１１５は、前述した色相対情報算出部１５の一種であり、第１色情報と第２色情報との色差を算出する。
　表示制御部１１６は、色差算出部１１５によって算出され、時系列に出力される色差の情報を表示部１３０に表示させる制御を行う。
　例えば、処理部１１０が各種の制御（表示制御、音出力制御、通信制御等）を行うために色相対情報（この例では、色差）を各機能部に伝送することを出力と捉え、図１の画像処理装置１の出力部１６を、表示制御部１１６を含む処理部１１０と捉えてもよい。
　また、例えば、図１の画像処理装置１の出力部１６を、表示部１３０や音出力部１４０、通信部１８０等の機能部と捉えてもよい。
　操作部１２０は、操作ボタンや操作スイッチといった、ユーザが端末１００に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部１２０は、表示部１３０と一体的に構成されたタッチパネル１２５を有し、このタッチパネル１２５は、ユーザと端末１００との間の入力インターフェースとして機能する。操作部１２０からは、ユーザ操作に従った操作信号が処理部に出力される。
　表示部１３０は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、表示制御部１１６から出力される表示信号に基づいた各種の表示を行う。本実施例では、表示部１３０は、タッチパネル１２５と一体的に構成されてタッチスクリーンを形成している。
　音出力部１４０は、スピーカ等を有して構成される音出力装置であり、処理部１１０から出力される音出力信号に基づいた各種の音出力を行う。
　撮像部１５０は、任意のシーンの画像を撮像可能に構成された撮像デバイスであり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子（半導体素子）を有して構成される。撮像部１５０は、撮像対象物から発せられた光を、不図示のレンズによって撮像素子の受光平面に結像させ、光電変換によって、像の光の明暗を電気信号に変換する。変換された電気信号は、不図示のＡ／Ｄ（Analog Digital）変換器によってデジタル信号に変換されて、処理部に出力される。撮像部１５０は、例えば、端末１００のタッチパネル１２５が存在する側に配置される。フロントカメラと称してもよい。
　なお、撮像部１５０を、端末１００のタッチパネル１２５が存在しない背面に配置され、撮像時に光源として利用可能なフラッシュ（ストロボ）を有する撮像部（リアカメラ）として構成してもよい。このフラッシュは、発光時の色温度が既知であるか、もしくは処理部によって色温度を調光可能なフラッシュとしてもよい。
　また、上記のフロントカメラとリアカメラとの２つの撮像部を有するようにしてもよい。
　また、これらの撮像部の撮像時には、表示制御部１１６は、ライブビュー画像を表示部１３０に表示させるようにしてもよい。
　環境情報検出部１６０は、自装置の環境に関する情報（以下、「環境情報」と称する。）を検出する。環境情報には、例えば、温度と湿度とのうちの少なくともいずれか一方を含めることができる。
　時計部１７０は、端末１００の内蔵時計であり、時刻情報（計時情報）を出力する。時計部１７０は、例えば、水晶発振器を利用したクロック等を有して構成される。
　なお、時計部１７０は、、ＮＩＴＺ（Network Identity and Time Zone）規格等を適用したクロックを有して構成されてもよい。
　通信部１８０は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部１８０の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、無線通信を利用して無線接続する形式等、種々の方式を適用可能である。
　記憶部１９０は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。
　本実施例では、記憶部１９０には、例えば、色情報処理プログラム１９１と、色差算出処理プログラム１９３と、画像用バッファ１９５と、色差履歴データ１９７とが記憶される。
　色情報処理プログラム１９１は、処理部１１０によって読み出され、色情報処理として実行されるプログラムである。
　色差算出処理プログラム１９３は、処理部１１０によって読み出され、色差算出処理として実行されるプログラムである。
　画像用バッファ１９５は、例えば、撮像部１５０によって撮像される撮像画像が記憶されるバッファである。
　色差履歴データ１９７は、例えば、色差算出部１１５によって算出された色差が、時計部１７０によって計時された日時（または時刻）と関連付けて記憶されるデータである。
　なお、これらの機能部の他に、例えば３軸の軸回りの角速度を検出するジャイロセンサ等を設けるようにしてもよい。
＜処理＞
　図５は、本実施例において端末１００Ａの処理部１１０によって実行される色情報処理の流れの一例を示すフローチャートである。
　まず、処理部１１０は、撮像部１５０によって撮像されたか否かを判定し（Ｂ１）、撮像されたと判定したならば（Ｂ１：ＹＥＳ）、撮像画像のデータを画像用バッファ１９５に記憶させる。そして、色差算出部１１５が、色差算出処理を行う（Ｂ３）。具体的には、図３に例示した処理等に基づいて、上記の撮像画像について色相対情報として色差を算出する。そして、処理部１１０は、算出した色差を、時計部１７０の計時情報（日時等）と関連付けて色差履歴データ１９７に記憶させる（Ｂ５）。
　なお、処理部１１０は、撮像部１５０によって複数の撮像画像のデータを取得し、画像用バッファ１９５に記憶させた複数の撮像画像のデータに基づいて、色相対情報（色差）を算出するようにしてもよい。
　その後、処理部１１０は、色差履歴情報を表示するか否かを判定する（Ｂ７）。具体的には、例えば、操作部１２０やタッチパネル１２５等を介して、色差履歴情報を表示するためのユーザによる入力がなされたか否かを判定する。
　色差履歴情報を表示すると判定したならば（Ｂ７：ＹＥＳ）、処理部は、色差履歴データ１９７に記憶されている色差の履歴に基づいて、色差履歴情報を表示部１３０に表示させる（Ｂ９）。
　次いで、処理部１１０は、処理を終了するか否かを判定し、処理を継続すると判定したならば（Ｂ１１：ＮＯ）、Ｂ１に処理を戻す。
　一方、処理を終了すると判定したならば（Ｂ１１：ＹＥＳ）、処理部１１０は、処理を終了する。
　撮像部１５０によって撮像されなかったと判定したならば（Ｂ１：ＮＯ）、処理部１１０は、Ｂ７に処理を進める。
　また、色差履歴情報を表示しないと判定したならば（Ｂ７：ＮＯ）、処理部１１０は、Ｂ１１に処理を進める。
　なお、端末１００Ａが、色差履歴情報を表示する際に、時計部１７０の計時情報に基づいて、撮像部１５０による撮像日時や撮像時刻と関連付けて色差を表示させるようにしてもよい。
　また、端末１００Ａが、色差履歴情報を表示する際に、色差と、環境情報検出部１６０によって検出された環境情報とを関連付けて表示させるようにしてもよい。より具体的には、撮像部１５０による撮像日時や撮像時刻に対応する日時や時刻における環境情報検出部１６０の検出結果を用いて、日時や時刻を対応させて、色差と環境情報とを表示するようにしてもよい。
　なお、環境情報として温度および湿度のうちのいずれか一方の情報を表示するようにしてもよい。また、環境情報は、通信部１８０を介して不図示の環境情報提供サーバから取得するようにしてもよい。
　また、上記の処理では、色相対情報として色差（スカラー値）を算出して表示する例を示したが、これに限定されない。前述したように、色相対情報として色相対ベクトルを算出して表示するようにしてもよい。例えば、色空間において矢印で色相対ベクトルを表示するようにしてもよい。
　なお、これらの表示画面例については、次の実施例において、肌解析アプリケーションの表示画面として図示・説明する。
（２）端末とサーバによる実施例
　次に、上記の画像処理装置１を適用した、または上記の画像処理装置１を備えるサーバ、および、サーバと端末とを含むシステムの実施例について説明する。サーバは、例えば、前述したユーザの端末と通信するサーバ（例えば、クライアントサーバシステムにおけるサーバ）とすることができる。
　ここでは、クライアントサーバシステムの一例として、ユーザの端末がサーバと通信を行い、人間の肌を解析するアプリケーション（以下、「肌解析アプリケーション」と称する。）によって色相対情報を表示する実施例について説明する。
　なお、肌解析アプリケーション（アプリケーションのプログラム）は、サーバからダウンロードされ端末の記憶部に記憶されて実行されるアプリケーションとしてもよいし、ダウンロードする必要なく実行されるアプリケーション（例えばＷｅｂアプリケーション）としてもよい。
＜機能構成＞
　図６は、本実施例における端末１００の一例である端末１００Ｂの機能構成の一例を示す図である。
　なお、図４に示した端末１００Ａと同一の構成要素については同一の符号を付して、再度の説明を省略する。
　本実施例において、端末１００Ｂの処理部１１０は、例えば、前述した表示制御部１１６を機能部として有する。
　本実施例において、端末１００Ｂの通信部１８０は、ネットワーク３００を介して、肌解析アプリケーションに関する各種の情報を管理するサーバ２００と通信する。
　本実施例において、端末１００Ｂの記憶部１９０には、例えば、処理部１１０によって読み出され、肌解析アプリケーション処理として実行される肌解析アプリケーション処理プログラム１９２と、その肌解析アプリケーションを利用する端末１００Ｂ、またはその端末１００Ｂのユーザのアカウントに関する情報であるアプリケーションＩＤ１９４と、前述した画像用バッファ１９５とが記憶される。
　なお、本実施例において、端末１００Ｂが環境情報検出部１６０を備えず、例えば、サーバ２００から環境情報を取得するようにしてもよい。
　図７は、本実施例におけるサーバ２００の機能構成の一例を示す図である。
　サーバ２００は、例えば、処理部２１０と、表示部２３０と、環境情報取得部２６０と、時計部２７０と、通信部２８０と、記憶部２９０とを備え、これらがバスＢを介して接続される。
　処理部２１０、表示部２３０、時計部２７０、通信部２８０、記憶部２９０のＨＷ構成については、端末１００と同様とすることができるため、説明を省略する。
　環境情報取得部２６０は、例えば、自装置に備えられた環境情報検出部（温度センサ・湿度センサ等）によって検出された環境情報を取得する、または環境情報を提供する不図示の環境情報提供サーバから環境情報を取得する。環境情報提供サーバから取得する場合は、通信部を環境情報取得部としてもよい。
　通信部２８０は、処理部２１０の制御のもと、ネットワーク３００を介して、端末１００Ｂを含む他の装置との間で情報（データ）の送受信を行う。
　記憶部２９０には、例えば、肌解析アプリケーションを利用する端末１００Ｂ、または端末１００Ｂのユーザに関する管理用のデータが記憶される。
　また、記憶部２９０には、例えば、各々のアプリケーションＩＤについて、時計部２７０の計時情報と関連付けて色差を記憶した色差履歴データが、データベース化されて記憶される。
　なお、本実施例において、サーバ２００が環境情報取得部２６０を備えず、端末１００Ｂから環境情報を取得するようにしてもよい。
＜処理＞
　図８は、本実施例において各装置が実行する処理の流れの一例を示すフローチャートである。この図では、向かって左側に端末１００Ｂの処理部１１０が実行する肌解析アプリケーション処理の一例を示し、向かって右側にサーバ２００の処理部２１０が実行する肌解析アプリケーションに関する管理処理の一例を示している。
　まず、端末１００Ｂの処理部１１０は、肌解析アプリケーションによって撮像部１５０によって撮像が行われたか否かを判定する（Ｃ１）。そして、撮像されたと判定したならば（Ｃ１：ＹＥＳ）、端末１００Ｂの処理部１１０は、例えば、記憶部１９０に記憶されたアプリケーションＩＤ１９４と、撮像画像のデータとを含む撮像データを、通信部１８０によってサーバ２００に送信する（Ｃ３）。なお、端末１００Ｂの処理部１１０は、撮像部１５０によって撮像を繰り返し、複数の撮像画像のデータを含む撮像データを送信するようにしてもよい。
　サーバ２００の処理部２１０は、通信部２８０によって端末１００Ｂから撮像データを受信したか否かを判定し（Ｓ１）、受信したと判定したならば（Ｓ１：ＹＥＳ）、記憶部２９０に記憶された不図示の色差算出処理プログラムに従って、端末１００Ｂから受信した撮像データに含まれる撮像画像から、例えば、第１色情報と第２色情報との色差を算出する処理を行う（Ｓ３）。そして、サーバ２００の処理部２１０は、算出した色差を、時計部２７０の計時情報（日時等）と関連付けて、受信した撮像データに含まれるアプリケーションＩＤに対応する色差履歴データとして記憶させる（Ｓ５）。
　Ｃ３の後、端末１００Ｂの処理部１１０は、肌解析アプリケーションによって色差履歴情報を表示するか否かを判定する（Ｃ５）。具体的には、例えば、肌解析アプリケーションによって、操作部１２０やタッチパネル１２５等を介して、色差履歴情報を表示するためのユーザによる入力がなされたか否かを判定する。
　色差履歴情報を表示すると判定したならば（Ｃ５：ＹＥＳ）、端末１００Ｂの処理部１１０は、例えば、記憶部１９０に記憶されたアプリケーションＩＤ１９４と、色差履歴情報の表示を要求する情報とを含む色差履歴情報表示要求を、通信部１８０によってサーバ２００に対して行う（Ｃ７）。
　Ｓ５の後、サーバ２００の処理部２１０は、端末１００Ｂから色差履歴情報表示要求があったか否かを判定し（Ｓ７）、要求があったと判定したならば（Ｓ７：ＹＥＳ）、記憶部２９０に記憶されている、受信したアプリケーションＩＤ１９４に対応する色差履歴データに基づいて、例えば、設定された期間分の色差の履歴を含む色差履歴情報を、通信部２８０によって端末１００Ｂに送信する（Ｓ９）。
　Ｃ７の後、通信部１８０によってサーバ２００から色差履歴情報を受信すると、端末１００Ｂの処理部１１０は、受信した色差履歴情報を、肌解析アプリケーションによって表示部１３０に表示させる（Ｃ９）。
　その後、端末１００Ｂの処理部１１０は、処理を終了するか否かを判定し（Ｃ１１）、処理を継続すると判定したならば（Ｃ１１：ＮＯ）、Ｃ１に処理を戻す。
　一方、処理を終了すると判定したならば（Ｃ１１：ＹＥＳ）、端末１００Ｂの処理部１１０は、肌解析アプリケーションの処理を終了する。
　Ｓ９の後、サーバ２００の処理部２１０は、処理を終了するか否かを判定し（Ｓ１１）、処理を継続すると判定したならば（Ｓ１１：ＮＯ）、Ｓ１に処理を戻す。
　一方、処理を終了すると判定したならば（Ｓ１１：ＹＥＳ）、サーバ２００の処理部２１０は、処理を終了する。
　撮像部１５０によって撮像されなかったと判定したならば（Ｃ１：ＮＯ）、端末１００Ｂの処理部１１０は、Ｃ５に処理を進める。
　また、色差履歴情報を表示しないと判定したならば（Ｃ５：ＮＯ）、端末１００Ｂの処理部１１０は、Ｃ１１に処理を進める。
　撮像データを受信しなかったと判定したならば（Ｓ１：ＮＯ）、サーバ２００の処理部２１０は、Ｓ７に処理を進める。
　また、色差履歴情報表示要求がなかったと判定したならば（Ｓ７：ＮＯ）、サーバ２００の処理部２１０は、Ｓ１１に処理を進める。
　なお、本処理では、１つの端末１００Ｂについてのみ図示しているが、肌解析アプリケーションを利用する各々の端末１００が、同様の処理を行うようにすることができる。また、サーバ２００は、各々の端末１００に対して、同様の処理を行うようにすることができる。
　また、上記の処理では、色相対情報として色差（スカラー値）を算出して表示する例を示したが、これに限定されない。前述したように、色相対情報として色相対ベクトルを算出して表示するようにしてもよい。例えば、色空間において矢印で色相対ベクトルを表示するようにしてもよい。
＜表示画面＞
　図９は、本実施例において端末１００の表示部１３０に表示される肌解析アプリケーションの画面の一例を示す図である。
　この画面は、肌解析アプリケーションで撮像部１５０を起動するユーザ入力がなされた場合に表示されるナビゲーション画面の一例を示す図であり（図５のＢ１、図８のＣ１）、画面上部には、Ｓｔｅｐ．１の文字とともに、どのように撮影すればよいかをイラストで伝えるためのナビゲーション領域Ｒ１が表示されている。このイラストでは、女性が右手で端末１００を持ちながら反対の腕を上げて撮影を行う様子が示されている。また、イラストの下には、より詳細なナビゲーションとして、「頬と二の腕の内側がおさまるように撮影してください」の文字が表示され、その下に、次の画面に進むための「ＯＫ」ボタンＢＴ１が表示されている。
　「ＯＫ」ボタンＢＴ１がタップされると、例えば、図１０のような画面に表示が切り替わる（図５のＢ１、図８のＣ１）。
　この画面は、肌解析アプリケーションでユーザが撮像を行うための撮像画面の一例を示す図であり、例えば、フロントカメラのライブビュー画像と、撮像を行うための、例えば同心円で示される撮像ボタンＢＴ３とが配置されている。また、その下には、図９と同様に、「頬と二の腕の内側がおさまるように撮影してください」の文字が表示されている。ユーザは、この画面において、図９に示したポーズをとった上で、撮像ボタンＢＴ３を押して撮像部１５０に撮像を行わせるようにすることができる。
　図１１は、肌解析アプリケーションで色差履歴情報を表示するためのユーザ入力がなされた場合に表示される色差履歴情報表示画面の一例を示す図である（図５のＢ９、図８のＣ５：ＹＥＳ～Ｃ９）。
　この画面では、画面上部に設けられた肌解析アプリケーションでユーザが利用可能な複数の機能を含むタブのうち「肌グラフ」のタブがタップされた状態が示されている。
　画面中央部には、過去所定期間（この例では「２０２１年１１月１日」～「２０２１年１１月７日」までの期間）における色差の履歴がグラフによって表示されている。この例では、上記の７日間の期間にユーザによって毎日撮影が行われ、日ごとの色差の推移が、横軸を日付とし、縦軸を色差とするグラフ（この例では、折れ線グラフ）で表示されている。
　なお、折れ線グラフで表示するのに限らず、棒グラフ等で表示するようにしてもよい。また、グラフではなく、数値そのものを表示するようにしてもよい。
　また、この例では、縦軸と関連付けて「お肌の調子」の文字が表示されている。また、縦軸の上部の横には、肌の状態が不良であることを示す不良アイコンＩＣ１（この例では、笑顔ではない顔のアイコン）が表示され、縦軸の下部の横には、肌の状態が良好であることを示す良好アイコンＩＣ２（この例では、笑顔のアイコン）が表示されている。そして、不良アイコンＩＣ１から良好アイコンＩＣ２に向かって、肌の状態が良くなっていくことを段階的に示すための複数の下三角形のマークが表示されている。
　この例では、ユーザの頬の領域を判定対象領域（測定対象領域）とする。また、ユーザの二の腕の内側の領域を比較対象領域とする。そして、ユーザの頬の領域を第１領域とし、ユーザの二の腕の領域を第２領域として、前述した処理が行われる。
　前述したように、二の腕の内側は、日光等の外乱の影響を受けにくく、肌の色がキープされやすいと考えられる。そこで、この例では、二の腕の内側の色をユーザが目標とする肌の色（理想値）とする。つまり、二の腕の内側の領域の色を美白のベンチマークとする。そして、ユーザによって撮像された撮像画像に基づいて、ユーザの頬の色が二の腕の内側の色からどれだけ乖離しているかを、色差を指標値としてユーザに報知する。
　上記によれば、色差が小さいほど、ユーザの頬の色が理想値に近いことを示していると考えることができる。逆に、色差が大きいほど、ユーザの頬の色が理想値から離れていることを示していると考えることができる。
　図１２は、図１１の色差履歴情報表示画面の別例を示す図である。
　この画面では、図１１に示したグラフにおいて、色差の時系列のグラフと関連付けて、環境情報として温度および湿度の時系列のグラフが表示されている。つまり、タイミングを対応させて、色差の情報と環境情報とが表示されている。
　このような表示を行うことで、時系列の色差と、時系列の温度や湿度とをユーザが対比することができ、どのような環境において肌の状態が良好となる傾向があり、逆に、どのような環境において肌の状態が悪くなる傾向があるのかを、ユーザが分析することが可能となる。
　なお、環境情報として温度および湿度のうちのいずれか一方の情報を表示するようにしてもよい。
　この場合、例えば、図８のＳ９のステップにおいて、サーバ２００の処理部２１０が、時系列の色差の情報とともに、環境情報取得部２６０によって取得された環境情報を端末１００に送信するようにすることができる。また、この場合、サーバ２００は、あらかじめ登録されたユーザが居住している地域の情報や、端末１００から送信される端末１００の位置の情報に基づいて、その地域や端末１００の位置における環境情報を取得して、端末１００に送信するようにしてもよい。つまり、この例では、端末１００は、サーバ２００から環境情報を取得するようにすることができる。
　なお、このようにするのではなく、サーバ２００が、環境情報を含む撮像データを端末１００から受信し（図８のＣ３、Ｓ１：ＹＥＳ）、端末１００から受信した環境情報を記憶部２９０に記憶しておくようにしてもよい。そして、色差履歴情報と環境情報とを関連付けた情報を端末１００に送信するようにしてもよい（図８のＳ９）。
＜上記の実施例の作用・効果＞
　上記の実施例において、端末（画像処理装置の一例）は、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報とを算出する。そして、端末は、算出した第１色情報と第２色情報との色相対情報（相対関係に関する相対情報の一例）を算出する。そして、端末は、異なるタイミングで撮像された複数の撮像画像について時系列の色差を出力する。
　これにより、端末は、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報との相対関係に関する相対情報を算出することができる。また、異なるタイミングで撮像された複数の撮像画像について時系列の相対情報を出力することができる。
　また、この場合、色相対情報は、例えば、色差の情報とすることができる。
　これにより、端末は、異なるタイミングで撮像された複数の撮像画像について時系列の色差の情報を出力することができる。
　また、この場合、第１領域および第２領域は、同一の被写体の異なる領域とすることができる。
　これにより、同一の被写体の異なる領域の色情報に基づく色相対情報を算出することができる。また、例えば第２領域を比較対象領域として、同一の被写体の第１領域の色が、同一の被写体の第２領域の色からどの程度乖離しているかを判断する目安とすることができる。
　また、この場合、第１領域は、顔の領域とすることができる。
　これにより、同一の被写体の顔の領域の色が、同一の被写体の顔の領域とは異なる領域の色からどの程度乖離しているかを判断する目安とすることができる。
　また、この場合、第１領域は、頬の領域とすることができる。
　これにより、同一の被写体の頬の領域の色が、同一の被写体の顔の領域とは異なる領域の色からどの程度乖離しているかを判断する目安とすることができる。
　また、この場合、第１領域は、首の領域とすることができる。
　これにより、同一の被写体の首の領域の色が、同一の被写体の首の領域とは異なる領域の色からどの程度乖離しているかを判断する目安とすることができる。
　また、この場合、第２領域は、腕の内側の領域とすることができる。
　これにより、同一の被写体の腕の内側とは異なる領域の色が、同一の被写体の腕の内側の領域の色からどの程度乖離しているかを判断する目安とすることができる。
　また、この場合、第２領域は、二の腕の内側の領域、または手首の内側の領域とすることができる。
　これにより、同一の被写体の二の腕の内側の領域とは異なる領域の色が、同一の被写体の腕の内側の領域の色からどの程度乖離しているかを判断する目安とすることができる。また、同一の被写体の手首の内側の領域とは異なる領域の色が、同一の被写体の手首の内側の領域の色からどの程度乖離しているかを判断する目安とすることができる。
　また、上記の実施例において、ユーザの端末は、上記のいずれかの画像処理装置と、上記の撮像画像を撮像する撮像部１５０と、色相対情報を表示する表示部１３０とを備えるようにすることができる。
　これにより、撮像部によって撮像された撮像画像に基づいて算出された相対情報を表示部に表示して、ユーザに認識させることができる。
　また、この場合、表示部１３０は、撮像日時や撮像時刻の情報（タイミングを特定可能な情報の一例）と関連付けて色相対情報を表示するようにすることができる。
　これにより、撮像されたタイミングとともに、相対情報をユーザに認識させることができる。撮像されたタイミングを参照可能となるため、ユーザの利便性を向上させることができる。
　また、この場合、ユーザの端末は、環境情報検出部１６０やサーバから環境情報を受信する通信部１８０（環境情報を取得する環境情報取得部の一例）をさらに備え、表示部１３０は、色相対情報と環境情報とを関連付けて表示するようにすることができる。
　これにより、取得された環境情報とともに、相対情報をユーザに認識させることができる。環境情報を参照可能となるため、ユーザの利便性を向上させることができる。
　また、上記の実施例において、サーバ（画像処理装置の一例）は、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報とを算出する。そして、サーバは、算出した第１色情報と第２色情報との色相対情報（相対関係に関する相対情報の一例）を算出する。そして、サーバは、異なるタイミングで撮像された複数の撮像画像について時系列の色差を出力する。
　これにより、サーバは、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報との相対関係に関する相対情報を算出することができる。また、異なるタイミングで撮像された複数の撮像画像について時系列の相対情報を出力することができる。
　また、上記の実施例において、サーバは、上記のいずれかの画像処置装置と、撮像画像を端末から受信し、算出した相対情報を端末に送信する通信部とを備える。
　これにより、サーバは、端末から撮像画像を取得した上で、その撮像画像に基づいて相対情報を算出して、端末に送信することができる。端末側の視点では、端末は撮像画像をサーバに送信すれば済み、算出を行う必要がないため、処理負荷を軽減することができる。
［他の実施例］
　以下、他の実施例（変形例）について説明する。
（１）モード
　上記の実施例は、あくまでも一例であるが、ユーザがすっぴん（メークを行っていない）状態で撮像する場合に適用されるようにすることができる。
　しかし、これに限定されるわけではなく、例えば、ユーザがファンデーションを塗った状態等で撮像する場合に適用されるようにすることも可能である。
　例えば、すっぴんの状態で撮像するモードを「すっぴんモード」と称し、ファンデーションを塗った状態で撮像するモードを「ファンデーションモード」と称する。そして、例えば、「すっぴんモード」と「ファンデーションモード」とをユーザが選択して撮像を行うようにしてもよい。
　この場合、図示は省略するが、例えば、図９に示した画面が表示される前に、または図９に示した画面内で、ユーザが「すっぴんモード」と「ファンデーションモード」とを選択可能なユーザインタフェイス（ＵＩ）を構成する。そして、「すっぴんモード」が選択された場合は、ユーザがすっぴんの状態で、図１０の撮像画面で撮像を行うようにする。また、「ファンデーションモード」が選択された場合は、ユーザがファンデーションを塗った状態で、図１０の撮像画面で撮像を行うようにすることができる。
　そして、各々のモードについて、そのモードで撮像された撮像画像を対象として、上記と同様の処理が行われ、その結果が端末１００に表示されるようにすることができる。
　この具体例については、次の実施例と絡めて例示する。
（２）ユーザに対する報知
　端末１００が、色相対情報に基づいて、ユーザに対する報知を行うようにしてもよい。
　図１３は、本実施例において端末１００の表示部１３０に表示される色差履歴情報表示画面の一例を示す図である。画面の見方は、図１１と同様である。
　ここでは、１つの例として、上記の「（１）モード」で説明した「すっぴんモード」と「ファンデーションモード」との２つのモードについて、それぞれ異なる報知内容の報知を行う場合を例示する。
　図１３の画面では、画面上部に設けられた肌解析アプリケーションでユーザが利用可能な複数の機能を含むタブが表示される領域の下に、「すっぴんモード」で撮像された撮像画像に基づく色差履歴情報を表示するためのタブと、「ファンデーションモード」で撮像された撮像画像に基づく色差履歴情報を表示するためのタブとを含むモード切替タブＭＴ１が設けられている。そして、この例では、モード切替タブＭＴ１のうちの「すっぴんモード」のタブがユーザによってタップされたことに基づき、「すっぴんモード」のタブが反転表示され、その下に、「すっぴんモード」で算出された色差の履歴情報が表示されている。
　また、この例では、時系列の色差のグラフにおいて、色差が設定された値（閾値）以上、または設定された値を超えた場合を示している。この例では、「２０２１年１１月３日」に撮像された撮像画像に基づいて算出された色差が、設定された値以上、または設定された値を超えた状態が示されている。そして、この例では、色差の値の横に、注意マークＭＫ１が表示されている。この注意マークＭＫ１がユーザによってタップされると、例えば、図１４のような画面が表示される。
　この画面では、注意マークＭＫ１がタップされたことに基づき、グラフが表示される領域の下に、サーバから送信された報知情報が表示される領域が構成されている。この例では、画面下部の天使のイラストからの吹き出しで表される領域Ｒ３内に、「お肌の調子があまりよくないですね　乾燥し、肌荒れがおきやすい状態です」のテキストと、気を付けるべきポイントをユーザに伝えるテキストと、これらの表示を非表示とするための「ＯＫ」ボタンとを含む情報が表示されている。
　つまり、この例では、色差が、第１設定値以上となる、または第１設定値超となる設定条件を満たしたことに基づき、ユーザに対する報知情報が表示部１３０に表示されている。
　具体的には、報知情報として、第２色情報を理想として第１色情報が理想から乖離していることをユーザに注意喚起する情報、より具体的には、肌の状態をユーザに注意喚起する情報（肌の状態が良くないことを示すユーザに報知する情報）が表示されている。
　なお、図示は省略するが、上記の例とは逆に、色差が、第２設定値未満となる、または第２設定値以下となる設定条件を満たしたことに基づき、ユーザに対する報知情報を表示部１３０に表示してもよい。第２設定値は、第１設定値よりも小さい値として設定しておくことができる。
　具体的には、例えば、報知情報として、第２色情報を理想として第１色情報が理想に近いことをユーザに知らせる情報、より具体的には、肌の状態が良好であることをユーザに知らせる情報を表示させるようにしてもよい。
　また、上記の報知の表示態様はあくまで一例に過ぎず、これに限定されない。
　例えば、注意マークＭＫ１がタップされたことに基づいて、この注意マークＭＫ１や、その注意マークＭＫ１が付された色差の値から、吹き出しやバブル等によって、報知情報を表示させるようにしてもよい。
　また、注意マークＭＫ１を表示させずに、報知情報を表示させるようにしてもよい。
　また、上記の報知は、表示で行うのに限らず、音（音声を含む。）を音出力部１４０から音出力させることによって実現してもよい。つまり、報知情報は、音情報（音声情報を含む。）としてもよい。
　例えば、色差が、第１設定値以上となる、または第１設定値超となる設定条件を満たしたことに基づき、注意音や注意喚起アナウンスを音出力部１４０から音出力させてもよい。注意喚起アナウンスは、図１４にテキストで示した内容と同様の内容としてもよいし、異なる内容としてもよい。
　また、例えば、色差が、第２設定値未満となる、または第２設定値以下となる設定条件を満たしたことに基づき、ファンファーレ音や祝福アナウンスを音出力部１４０から音出力させてもよい。
　また、上記のように「すっぴんモード」と「ファンデーションモード」とを設けず、基本的にすっぴんでの撮影を想定した設計とするのであれば、図１３および図１４の画面において、モード切替タブＭＴ１の表示は不要とすることができる。
　図１５は、本実施例において端末１００の表示部１３０に表示される色差履歴情報表示画面の一例を示す図である。
　この画面では、モード切替タブＭＴ１のうちのファンデーションモードのタブがユーザによってタップされたことに基づき、ファンデーションモードのタブが反転表示され、その下に、ファンデーションモードでの色差履歴情報が表示されている。
　ここでは、図１３と同様の態様で、ファンデーションモードにおける時系列の色差のグラフにおいて、色差が設定された値以上、または設定された値を超えた場合を示している。この例では、「２０２１年１２月４日」にファンデーションモードで撮像された撮像画像に基づいて算出された色差が、設定された値以上、または設定された値を超えた状態が示されている。そして、この例では、その色差の横に、前述した注意マークＭＫ１が表示されている。この注意マークＭＫ１がユーザによってタップされると、例えば、図１６のような画面が表示される。
　この画面では、グラフが表示されている領域の下に、サーバから送信された報知情報が表示される領域が構成されている。この例では、図１４と同様の画面下部の天使のイラストからの吹き出しで表される領域Ｒ５内に、「ファンデーションを変えましたか？お肌の色との差が大きくなりました」のテキストと、気を付けるべきポイントをユーザに伝えるテキストと、これらの表示を非表示とするための「ＯＫ」ボタンとを含む情報が表示されている。
　「ファンデーションモード」であるため、図１４の「すっぴんモード」とは報知内容が異なっており、「ファンデーションモード」に対応した報知情報が表示されている。
　つまり、この例では、「ファンデーションモード」で算出された色差が、第３設定値以上となる、または第３設定値超となる設定条件を満たしたことに基づき、ユーザに対する報知情報が表示部１３０に表示されている。
　具体的には、報知情報として、第２色情報を理想として第１色情報が理想から乖離していることをユーザに注意喚起する情報、より具体的には、例えば、ファンデーション（ファンデーションの色）が合っていないことを注意喚起する情報等が表示されている。
　なお、図示は省略するが、上記の例とは逆に、「ファンデーションモード」で算出された色差が、第４設定値未満となる、または第４設定値以下となる設定条件を満たしたことに基づき、ユーザに対する報知情報を表示部１３０に表示してもよい。第４設定値は、第３設定値よりも小さい値として設定しておくことができる。
　具体的には、例えば、報知情報として、第２色情報を理想として第１色情報が理想に近いことをユーザに知らせる情報、より具体的には、例えば、ファンデーション（ファンデーションの色）が合っていることをユーザに知らせる情報を表示させるようにしてもよい。
　また、上記の報知の表示態様はあくまで一例に過ぎず、これに限定されない。
　例えば、注意マークＭＫ１がタップされたことに基づいて、この注意マークＭＫ１や、その注意マークＭＫ１が付された色差の値から、吹き出しやバブル等によって、報知情報を表示させるようにしてもよい。
　また、注意マークＭＫ１を表示させずに、報知情報を表示させるようにしてもよい。
　また、上記の報知は、表示で行うのに限らず、音（音声を含む。）を音出力部１４０から音出力させることによって実現してもよい。つまり、報知情報は、音情報（音声情報を含む。）としてもよい。
　例えば、色差が、第３設定値以上となる、または第３設定値超となる設定条件を満たしたことに基づき、注意音や注意喚起アナウンスを音出力部１４０から音出力させてもよい。注意喚起アナウンスは、図１６にテキストで示した内容と同様の内容としてもよいし、異なる内容としてもよい。
　また、例えば、色差が、第４設定値未満となる、または第４設定値以下となる設定条件を満たしたことに基づき、ファンファーレ音や祝福アナウンスを音出力部１４０から音出力させてもよい。
　なお、上記の表示画面に示したモード切替タブＭＴ１の「すっぴんモード」のタブがユーザによってタップされた場合は、「すっぴんモード」のタブが反転表示され、「すっぴんモード」での色差履歴情報が表示されるようにすることができる。また、この場合は、例えば前述した図１４のような画面が表示され、その画面に注意マークＭＫ１が含まれている場合は、その注意マークＭＫ１がタップされたことに基づいて、例えば前述した図１５のような画面が表示されるようにすることができる。
　報知する内容（報知情報）は、例えば、端末１００やサーバ２００の記憶部に、設定値と関連付けてデータベース化して記憶しておくようにすることができる。そして、色差が、いずれの設定値に基づく閾値条件を満たすかに応じて、対応する報知情報をデータベースから読み出して、その報知情報を表示させるようにすることができる。
　なお、「すっぴんモード」の色差履歴情報と、「ファンデーションモード」の色差履歴情報とを、タイミングを対応させて１つのグラフに表示させる（重ねて表示させる）ようにしてもよい。さらに、前述した環境情報も、タイミングを対応させて表示させる（重ねて表示させる）ようにしてもよい。
　本実施例において、ユーザの端末の表示部１３０は、色差（相対情報の一例）が設定条件を満たす場合、ユーザに対する報知情報を表示する。
　これにより、相対情報が設定条件を満たす場合に、報知情報の表示によってユーザに対する報知を行うことが可能となる。
　また、この場合、設定条件は、色差が、第１設定値以上となる、または第１設定値超となることを含み、報知情報は、第２色情報を理想として第１色情報が理想から乖離していることをユーザに注意喚起する情報を含むようにすることができる。
　これにより、色差がある程度大きい値となっている場合に、第１色情報が理想から乖離していることをユーザに注意喚起することができる。
　また、この場合、報知情報は、ユーザの肌の状態をユーザに注意喚起する情報を含むようにすることができる。
　これにより、色差がある程度大きい値となっている場合に、ユーザの肌の状態をユーザに注意喚起することができる。
　また、上記において、設定条件は、色差が、第１設定値よりも小さい第２設定値未満となる、または第１設定値よりも小さい第２設定値以下となることを含み、報知情報は、第２色情報を理想として第１色情報が理想に近いことをユーザに知らせる情報を含むようにすることができる。
　これにより、色差がある程度小さい値となっている場合に、第１色情報が理想に近いことをユーザに知らせることができる。
　また、この場合、報知情報は、ユーザの肌の状態が良好であることをユーザに知らせる情報を含むようにすることができる。
　これにより、色差がある程度小さい値となっている場合に、ユーザの肌の状態が良好であることをユーザに知らせることができる。
（３）段階的な報知
　上記の報知に関して、例えば、設定値として段階的な設定値を設定しておき、色差が、いずれの設定値以上、または設定値超となったかに基づいて、異なる報知情報による報知を行うようにしてもよい。前述したように、報知は、表示によって行ってもよいし、音出力によって行ってもよい。
　例えば、上記の「すっぴんモード」において、色差が、最も低い設定値として設定された設定値Ａ以上（または設定値Ａ超）となった場合、端末は、「肌の状態が少し悪くなっていること」を注意喚起する報知情報を表示するようにする。また、端末は、色差が、設定値Ａよりも大きい設定値Ｂ以上（または設定値Ｂ超）となった場合は、「肌の状態がさらに悪くなっていること」を注意喚起する報知情報を表示するようにしてもよい。
　なお、これは、色差が、設定値未満（または設定値以下）となる場合についても同様に適用可能である。この場合、端末は、段階的な設定値に対して、色差が、より低い設定値未満（または設定値以下）となるほど、肌の状態がより良い状態になっていることに関する報知を行うようにすることができる。
　また、これらの内容は、「ファンデーションモード」についても同様に適用可能である。
（４）領域の設定
　どの領域を対象として処理を行うかを、例えば、端末１００のユーザが端末１００に対する設定入力を行って設定することを可能としてもよい。
　例えば、ユーザが、第１領域を頬とし、第２領域を手首の内側とする場合の結果を知りたいのであれば、第１領域として頬を選択し、第２領域として手首の内側を選択して、端末１００に設定させるようにしてもよい。
　また、例えば、ユーザが、第１領域を首とし、第２領域を二の腕の内側とする場合の結果を知りたいのであれば、第１領域として首を選択し、第２領域として二の腕の内側を選択して、端末１００に設定させるようにしてもよい。
　端末１００が色差を算出する場合、端末１００は、上記のようにユーザ入力に基づいて設定した第１領域と第２領域とを撮像画像から検出した上で、上記と同様の処理を行うようにすることができる。
　また、サーバ２００が処理を行う場合、端末１００は、上記のようにユーザ入力に基づいて設定した第１領域と第２領域の設定情報を撮像画像のデータとともにサーバ２００に送信し、サーバ２００が、受信した設定情報に含まれる第１領域と第２領域とを撮像画像から検出した上で、上記と同様の処理を行うようにすることができる。
（５）端末での処理
　上記のように、例えばクライアントサーバシステムを適用した処理を行うのに限らず、端末１００で上記の全ての処理を行うようにしてもよい。この場合は、例えば、図４に示した端末１００Ａの構成例を適用した図５に示した色情報処理に対して、図８に示したサーバ２００の処理を同様に適用して、端末１００Ａで同様の処理を行うようにしてもよい。
（６）表色系
　上記の実施形態では、色情報として、ＨＳＬ色空間で定義される色相（Hue）・彩度（Saturation）・輝度（Lightness）で表現される色情報を用いたが、これに限定されない。
　具体的には、例えば、ＹＣｂＣｒで表示される色情報を用いるようにしてもよい。また、ＲＧＢで表現される色情報を用いるようにしてもよい。なお、各々の表色系は、写像関係にある。例えば、ＹＣｂＣｒとＲＧＢとは、線形変換によって変換可能である。いずれの表色系を用いる場合であっても、上記の実施形態と同様の手法を適用できる。
（７）端末
　ユーザの端末１００としては、前述したように、スマートフォン等の携帯電話機の他にも、カメラ、ＰＤＡ、パソコン、ナビゲーション装置、腕時計、各種のタブレット端末といった各種の装置に適用可能である。
　また、ユーザの端末１００は、必ずしも撮像部１５０を備えなくてもよい。この場合は、例えば、端末１００は、撮像部１５０を備える外部装置から撮像画像のデータを取得し、取得した撮像画像のデータに基づいて、上記の画像処理を行うようにすることができる。
（８）記録媒体
　上記の実施形態では、画像処理に係る各種のプログラムやデータが、記憶部に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ－ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置、記憶媒体）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。
　図１７は、この場合における記録媒体の一例を示す図である。
　この例において、画像処理装置１には、メモリカード４３０を挿入するためのカードスロット４１０が設けられており、カードスロット４１０に挿入されたメモリカード４３０に記憶された情報を読み取る又はメモリカード４３０に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）４２０が設けられている。
　カードリーダライタ４２０は、処理部の制御に従って、記憶部に記録されたプログラムやデータをメモリカード４３０に書き込む動作を行う。メモリカード４３０に記録されたプログラムやデータは、画像処理装置１以外の外部装置で読み取ることで、当該外部装置において上記の実施形態における画像処理を実現することが可能に構成されている。
　なお、上記の記録媒体は、例えば、上記の実施例で説明した端末やサーバ、電子装置（電子機器）、色情報解析装置、情報処理装置といった各種の装置に適用することもできる。
［その他］
　上記の実施例において、画像処理装置１を、肌解析装置等の装置として構成してもよい。また、前述した画像処理装置１と報知部とを備える装置として、肌荒れ報知装置等の装置を構成してもよい。
　被写体を人間とする画像の第１色情報と第２色情報から色相対情報を算出し、その色相対情報を時系列表示するという技術は、様々なモニター方法に応用できる。一例によれば、上述の技術は、労働者の疲労度計測のための非接触バイタルセンシング技術として応用できる。労働者とは、特に限定されないが、過労が事故を招くような業務に従事する者である。そのような労働者は例えば大型車両の運転手である。
　図１８は、疲労度計測アプリケーションの画面の例を示す図である。一例によれば、端末１００は、スマートフォンであり、インカメラ１０１と表示部１３０を有する。労働者は、例えば毎日インカメラ１０１で自身の画像を撮影する。撮影日の異なる複数の画像について、上述の方法で色相対情報が算出される。算出された色相対情報は、端末操作者の操作に応じて、時系列表示される。図１８の例では、２０２２年１２月５日から２０２２年１２月１１日までの色相対情報の推移が図示されている。色相対情報は、色差や色相対ベクトルであり、その値が大きいほど疲労度が高く、小さいほど疲労度が低いことが端末操作者に報知される。この例では、一定の疲労が認められる程度の疲労度として第１閾値ＴＨ１が設定され、深刻な疲労に達している疲労度として第２閾値ＴＨ２が設定されている。閾値を１つにしたり、閾値を段階的に複数設定したりすることができる。図１８の例では、１２月８日に第１閾値ＴＨ１を超える疲労度が検知され、１２月９日に第２閾値ＴＨ２を超える疲労度が検知され、１２月１０日に第１閾値ＴＨ１を超える閾値が検知されている。一例によれば、閾値を超える疲労度が検知された場合には、端末１００の通信機能によって外部の管理者等に報知することとしたり、表示部１３０に疲労度が高まっているので休息するよう促すメッセージを表示したり、当該メッセージを音声で読み上げることとしたりすることができる。
　別の例によれば、エステ、ジム、健康食品などでの効果確認に、上述の技術を用いることができる。さらに別の例によれば、認知症患者などの意思を確認するための検出条件のひとつとして、上述の技術を活用することができる。
　色相対情報の時系列データを生成する機能は処理回路によって実現され得る。すなわち、処理回路によって、色情報を算出し、色相対情報を算出し、色相対情報の時系列データを生成する。処理回路は専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理回路、処理装置、演算回路、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰともいう)であってもよい。
　処理回路が専用のハードウェアである場合、処理回路は例えば単一回路、複合回路、プログラム化したプロセッサー、並列プログラム化したプロセッサー、ASIC、FPGA、またはこれらを組み合わせたものが該当する。
　図１９は端末の構成例を示す図である。画像処理回路１０Ｂでは、カメラ１０Ａで撮影されたデータからJPEGなどのデータを生成する。画像処理回路１０Ｂで生成された画像データが処理回路１０Ｃに提供される。処理回路１０Ｃでは、上述の色相対情報の時系列データが生成される。そして、端末利用者の操作に応じて、当該時系列データがディスプレイ１０Ｄに表示される。
　図２０には、処理回路がＣＰＵの場合の構成例が示されている。この場合、処理回路の各機能は、ソフトウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０ｃに格納される。プロセッサ１０ｂはメモリ１０ｃに記憶されたプログラムを読み出して実行することにより各機能を実現する。すなわち、図２０の処理回路により実行されるときに、上述の色相対情報の時系列データが結果的に生成されることになるプログラムを格納するメモリ１０ｃを備える。これらのプログラムは図３、５、８等の手順及び方法をコンピュータに実行させるものであるともいえる。ここでメモリとは、例えばＲＡＭ、ＲＯＭ、フラッシュメモリー、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク又はＤＶＤ等が該当する。当然ながら、上記各機能の一部をハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。
　１　　　　　　画像処理装置
　１００　　　　端末
　２００　　　　サーバ
　３００　　　　ネットワーク

Claims (11)

  1. 　撮像画像に含まれる第１領域における第１色情報と、前記撮像画像に含まれる第２領域における第２色情報との差分に関する相対情報を算出する算出部と、
    　異なるタイミングで撮像された複数の撮像画像について時系列の前記相対情報を出力する出力部と、を備える画像処理装置。
  2. 　前記相対情報は、前記第１色情報と前記第２色情報の色差の情報を含む、請求項１に記載の画像処理装置。
  3. 　前記第１領域と前記第２領域は、同一被写体の異なる領域である請求項１又は２に記載の画像処理装置。
  4. 　前記第１領域は顔の領域、頬の領域、又は首の領域であり、前記第２領域は二の腕の内側の領域又は手首の内側の領域である、請求項３に記載の画像処理装置。
  5. 　前記算出部は、複数の撮像画像から前記相対情報を算出する請求項１に記載の画像処理装置。
  6. 　カメラと、
    　前記カメラで撮影された画像から、人物の肌の美しさに関する第１時系列データ、又は人物の疲労度に関する第２時系列データを生成する処理回路と、
    　前記第１時系列データまたは前記第２時系列データを表示するディスプレイと、を備えた端末。
  7. 　前記処理回路はプロセッサとメモリを備えた請求項６に記載の端末。
  8. 　前記ディスプレイはタッチスクリーンであり、端末利用者の操作に応じて前記第１時系列データまたは前記第２時系列データが前記ディスプレイに表示される請求項６に記載の端末。
  9. 　同一人物に関して撮影時刻の異なる複数の画像を撮影することと、
    　前記複数の画像から、前記人物の肌の美しさに関する時系列データ、又は前記人物の疲労度に関する時系列データを生成することと、を備えた、モニター方法。
  10. 　前記時系列データに加えて、前記撮影の時の環境情報を利用者に報知する、請求項９に記載のモニター方法。
  11. 　前記時系列データに加えて、前記時系列データのうち予め定められた閾値を超えたデータがある場合にはメッセージ、イラスト又は音声を利用者に報知することを備えた請求項９に記載のモニター方法。
PCT/JP2022/045920 2021-12-17 2022-12-13 画像処理装置、端末、モニター方法 Ceased WO2023112930A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/719,259 US20250045963A1 (en) 2021-12-17 2022-12-13 Image processing apparatus, terminal, and monitoring method
CN202280077159.6A CN118285113A (zh) 2021-12-17 2022-12-13 图像处理装置、终端及监控方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-205527 2021-12-17
JP2021205527 2021-12-17
JP2022-191870 2022-11-30
JP2022191870A JP7401866B2 (ja) 2021-12-17 2022-11-30 画像処理装置、端末、モニター方法

Publications (1)

Publication Number Publication Date
WO2023112930A1 true WO2023112930A1 (ja) 2023-06-22

Family

ID=86774737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045920 Ceased WO2023112930A1 (ja) 2021-12-17 2022-12-13 画像処理装置、端末、モニター方法

Country Status (4)

Country Link
US (1) US20250045963A1 (ja)
JP (1) JP2024027124A (ja)
TW (1) TW202326608A (ja)
WO (1) WO2023112930A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60102081A (ja) * 1983-11-08 1985-06-06 Matsushita Electric Ind Co Ltd カラ−カメラ装置
JPH0564225A (ja) * 1991-08-30 1993-03-12 Fuji Photo Film Co Ltd 電子スチルカメラ
JP2001353129A (ja) * 2000-06-14 2001-12-25 Kao Corp 肌色情報表示方法
JP2018187079A (ja) * 2017-05-02 2018-11-29 ポーラ化成工業株式会社 情報出力システム、肌状態サポートプログラム及び肌状態サポート方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842197B2 (en) * 2005-11-30 2014-09-23 Scenera Mobile Technologies, Llc Automatic generation of metadata for a digital image based on ambient conditions
JP6450589B2 (ja) * 2014-12-26 2019-01-09 株式会社モルフォ 画像生成装置、電子機器、画像生成方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60102081A (ja) * 1983-11-08 1985-06-06 Matsushita Electric Ind Co Ltd カラ−カメラ装置
JPH0564225A (ja) * 1991-08-30 1993-03-12 Fuji Photo Film Co Ltd 電子スチルカメラ
JP2001353129A (ja) * 2000-06-14 2001-12-25 Kao Corp 肌色情報表示方法
JP2018187079A (ja) * 2017-05-02 2018-11-29 ポーラ化成工業株式会社 情報出力システム、肌状態サポートプログラム及び肌状態サポート方法

Also Published As

Publication number Publication date
US20250045963A1 (en) 2025-02-06
JP2024027124A (ja) 2024-02-29
TW202326608A (zh) 2023-07-01

Similar Documents

Publication Publication Date Title
US9854976B2 (en) Pulse wave velocity measurement method
KR102420100B1 (ko) 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
EP2919142B1 (en) Electronic apparatus and method for providing health status information
US10249055B2 (en) Image processing apparatus, image processing method and program
KR102296396B1 (ko) 비접촉 체온 측정 시 정확도를 향상시키기 위한 장치 및 방법
JP2019194888A (ja) 情報処理装置、情報処理方法及びプログラム
US20140275948A1 (en) Information terminal device
US9218794B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP2013228930A (ja) 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP6142664B2 (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
KR20190117100A (ko) 전자 장치에서 생체 정보 측정 방법 및 장치
KR102821947B1 (ko) 인체 측정 데이터 휴대용 획득 장치 및 인체 측정 데이터 수집 방법
CN114983338A (zh) 一种皮肤检测方法和电子设备
CN114219868A (zh) 一种护肤方案推荐方法和系统
JP6087615B2 (ja) 画像処理装置およびその制御方法、撮像装置、および表示装置
KR20210060246A (ko) 생체 데이터를 획득하는 장치 및 그 방법
US9088699B2 (en) Image communication method and apparatus which controls the output of a captured image
WO2023112930A1 (ja) 画像処理装置、端末、モニター方法
JP2023090652A (ja) 画像処理装置、端末、モニター方法
JP7443044B2 (ja) 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体
KR20180061629A (ko) 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치
CN115565647A (zh) 一种终端设备、图像处理方法及存储介质
JP2004104426A (ja) 撮像装置
CN118285113A (zh) 图像处理装置、终端及监控方法
US11822974B2 (en) Information processing apparatus, control method of information processing apparatus, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907454

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280077159.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18719259

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22907454

Country of ref document: EP

Kind code of ref document: A1