WO2023276271A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2023276271A1
WO2023276271A1 PCT/JP2022/008209 JP2022008209W WO2023276271A1 WO 2023276271 A1 WO2023276271 A1 WO 2023276271A1 JP 2022008209 W JP2022008209 W JP 2022008209W WO 2023276271 A1 WO2023276271 A1 WO 2023276271A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
information
hairline
head
Prior art date
Application number
PCT/JP2022/008209
Other languages
English (en)
French (fr)
Inventor
浩平 宮本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/571,776 priority Critical patent/US20240296574A1/en
Publication of WO2023276271A1 publication Critical patent/WO2023276271A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present technology relates to an information processing device, an information processing method, and a recording medium applicable to image analysis and the like.
  • Patent Document 1 describes a 3D head model creation system that creates a 3D model of the head based on an image of the head covered with a print sheet on which a plurality of characters are displayed.
  • a three-dimensional model of the head is created by performing spatial arithmetic processing on the head image in which the print sheet is in close contact with the head (Patent Document 1: Description paragraphs [0022] to [0038] Fig. 1, etc.).
  • an object of the present technology is to provide an information processing device, an information processing method, and a recording medium that can reduce the burden on the user.
  • an information processing device includes a detection unit and an estimation unit.
  • the detection unit detects hairline information of the user's hair based on a front image of the user.
  • the estimation unit estimates a contour of the user's head based on the hairline information and a template related to the head.
  • hairline information of the user's hair is detected based on the front image of the user, and the contour of the user's head is estimated based on the hairline information and a template related to the head. This makes it possible to reduce the burden on the user.
  • the template may include a template of the contour of the head.
  • the estimation unit may estimate the outline of the user's head by adjusting the template based on the shape of the user's hairline.
  • the front image may include the face of the user.
  • the detection unit may detect the user's skin region based on feature information about the user's face.
  • the detection unit may detect the hairline information based on the contour of the skin region.
  • the information processing apparatus may further include a selection unit that selects the template based on the characteristic information.
  • the feature information may include feature points of the user's face or part information of the user's face.
  • the selection unit may select the template based on the feature points and feature points in the template.
  • the information processing apparatus may further include a determination unit that determines whether or not the hairline information is correctly detected.
  • the determining unit may determine that the hairline information has been correctly detected when the degree of change in the template adjusted by the estimating unit is within a predetermined threshold.
  • the information processing device may further include a region estimation unit that estimates a region of the user's hair based on the detection result of the determination unit.
  • the part estimation unit may estimate the hairline of the user's hair or the root of the user's hair when the hairline information is not detected correctly.
  • the information processing apparatus may further include a presentation unit that presents the user with a UI (User Interface) for capturing the front image that satisfies the capturing conditions.
  • UI User Interface
  • the imaging conditions may include a condition that enables detection of hairline information of the user.
  • An information processing method includes detecting hairline information of the user's hair based on a front image of the user. A contour of the user's head is estimated based on the hairline information and the head template.
  • a recording medium that describes a program according to one embodiment of the present technology causes a computer system to execute the following steps. Detecting hairline information of the user based on a front image of the user. estimating a contour of the user's head based on the hairline information and a head template;
  • FIG. 10 is a flow chart for estimating the contour of the head;
  • FIG. 10 is a diagram showing an example of a UI presented to a user;
  • FIG. FIG. 4 is a schematic diagram showing steps 103 to 107;
  • FIG. 4 is a schematic diagram showing estimation of the contour of the head;
  • It is a figure which shows the detection example of the root of hair.
  • It is a block diagram which shows the hardware structural example of an information processing apparatus.
  • FIG. 1 is a diagram showing an overview of an information processing device according to the present technology.
  • FIG. 1A is a schematic diagram illustrating an embodiment of the present technology.
  • the information processing device 10 acquires a front image of the user 1 from the imaging device 2 that captures the user 1 .
  • the imaging device 2 has a display device 3 such as a display, and captures an RGB front image of the user 1 .
  • the imaging device 2 is not limited, and may be a mobile terminal such as a smart phone as shown in FIG. 1, or a personal computer having an imaging function.
  • an example of estimating the contour of the user 1 head from the front image of the user 1 will be described, but the contour of the user 1 head may be estimated from a plurality of front images.
  • the information processing device 10 detects hairline information of the user 1 based on the captured front image.
  • the hairline information is information including the position and outline (shape) of the user's hairline.
  • the hairline refers to a boundary between a portion where hair grows and a portion where hair does not grow, such as the user's forehead and neck.
  • the information processing device 10 also estimates the contour of the user's head based on the hairline information and the template related to the head.
  • Head templates are templates of various contours of the head.
  • the head template includes various head contours such as an oval shape and a long face shape.
  • FIG. 1B is a schematic diagram showing a user's front image. As shown in FIG. 1B, a hairline 5 (outline) is detected based on the front image of the user 1 . Hairline information may be hidden by the user's bangs. Even in such a case, the present invention can detect hairline information and estimate the contour of the head.
  • the information processing device 10 estimates the hair roots 6 of the user 1 .
  • the hair root refers to a portion where the hair is gathered.
  • the number of users 1 is not limited, and multiple users may be photographed.
  • FIG. 2 is a block diagram showing the configuration of the information processing device 10. As shown in FIG.
  • the information processing device 10 has hardware necessary for configuring a computer, such as processors such as CPU, GPU, and DSP, memories such as ROM and RAM, and storage devices such as HDD (see FIG. 8).
  • processors such as CPU, GPU, and DSP
  • memories such as ROM and RAM
  • storage devices such as HDD (see FIG. 8).
  • the information processing method according to the present technology is executed by the CPU loading a program according to the present technology pre-recorded in the ROM or the like into the RAM and executing the program.
  • the information processing apparatus 10 can be realized by any computer such as a PC.
  • hardware such as FPGA and ASIC may be used.
  • the CPU executes a predetermined program to configure the head template transforming section as a functional block.
  • dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
  • the program is installed in the information processing device 10 via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
  • the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any computer-readable non-transitory storage medium may be used.
  • the information processing apparatus 10 includes a photographing condition presentation unit 11, a facial feature information detection unit 12, a skin area detection unit 13, a hairline detection unit 14, a head template pattern selection unit 15, and a head template database 16. , a head template transformation unit 17 , a determination unit 18 , and a hairline and hair root estimation unit 19 .
  • the imaging condition presentation unit 11 presents imaging conditions for facilitating detection of hairline information.
  • the photographing condition presentation unit 11 performs photographing in a state in which the face of the user 1 faces the display device 3, the hairline of the user 1 is exposed, or the hair is not exposed. It presents to the user 1 whether or not various conditions such as whether or not are met.
  • the imaging condition presentation unit 11 presents to the imaging device 2 a UI (User Interface) that recommends imaging with the hairline of the user 1 exposed.
  • UI User Interface
  • the facial feature information detection unit 12 detects feature information related to the user's face from the captured front image.
  • the feature information includes facial feature points or facial part information (eyes, mouth, nose, etc.). Note that the method for detecting feature information is not limited, and machine learning or arbitrary detection means may be used. In this embodiment, the detected feature information is supplied to the skin area detection section 13 and the head template pattern selection section 15 .
  • the skin area detection unit 13 detects the skin area based on the facial feature information.
  • the skin area detection unit 13 detects skin patches that are presumed to be skin from the positions of facial feature points, and detects skin areas based on the average HSV value and edge information of the skin patches.
  • the edge information extraction method is not limited, and any method such as Sobel, Canny, Prewitt, or Roberts may be used.
  • Information on the detected skin area is supplied to the hairline detection unit 14 .
  • the hairline detection unit 14 detects the hairline based on the detected skin area.
  • the hairline detection unit 14 sets the contour of the upper part of the skin region, that is, the contours of the forehead and ears as hairline information. Further, in this embodiment, the detected hairline information is supplied to the head template pattern selection unit 15 and the hairline and hair root estimation unit 19 .
  • the head template pattern selection unit 15 selects a suitable head template from the head template database 16 based on the detected hairline information.
  • the head template is associated with characteristic points of the lower part of the face, that is, the contours of the cheeks and chin.
  • the head template pattern selection unit 15 selects an optimum head template by matching the feature points of the contour of the face detected from the front image with the feature points of the head template.
  • the selected head template is supplied to the head template transforming section 17 .
  • the method of matching with the feature points of the head template stored in the head template database 16 the three feature points of the front image and the head template above the ears, left and right, and below the chin are matched, and the other facial features are compared.
  • the method of selecting the head template is not limited and may be selected by any method.
  • the head template transforming unit 17 transforms the selected head template by enlarging/reducing, moving the position, rotating, and the like. In this embodiment, the head template transforming unit 17 transforms the head template in the X direction based on the characteristic points of the left and right ears. The head template transformation unit 17 enlarges or reduces the head template based on the hairline information, and determines the enlargement ratio in the Y direction.
  • the X direction in this embodiment is the direction connecting the left and right ears.
  • the Y direction is a direction perpendicular to the X direction, for example, the direction from the center of both eyes to the bottom of the chin (see FIG. 6C). Further, in this embodiment, the deformed head template is supplied to the determination unit 18 .
  • the determination unit 18 determines whether the hairline information has been correctly detected. In this embodiment, the determining unit 18 determines that the hairline information has been correctly detected when the degree of change in the deformed head template is within a predetermined threshold.
  • the determination unit 18 compares the average face ratio information with the deformed head template, and if the top of the head template is not within the predetermined threshold set in the average face ratio information, the hairline information is correct. It is judged that it is not detected.
  • the head template transformation unit 17 determines the enlargement ratio of the head template in the Y direction based on the average face ratio information.
  • the hairline and hair root estimating unit 19 newly estimates hairline information, and determines the enlargement ratio in the Y direction again based on the estimated hairline information.
  • Average face ratio information is information about parts of a person's average face. For example, the distance between the right eye and the left eye, the distance between the eye and the eyebrow, the ratio between the distance from the nose to the top of the head and the distance from the nose to the bottom of the chin, the distance between the nose and mouth, etc. Positional information and relative distance information of each part to be arranged.
  • the hairline and hair root estimation unit 19 estimates the hairline and hair root. For example, the hairline and hair root estimating unit 19 estimates the hair root from the flow of hair using Gabor-Filer or the like.
  • the estimated hairline information is supplied to the head template pattern selection unit 15 .
  • the head template pattern selection unit 15 treats the estimated roots of the hair as a hidden hairline and selects a suitable head template.
  • the hairline and hair base estimation unit 19 acquires the hairline information of the user 1 from the hairline detection unit 14, and uses the hairline information as auxiliary information to target the portion above the hairline. perform root estimation.
  • the imaging condition presentation unit 11 corresponds to a presentation unit that presents a user with a UI (User Interface) for capturing a front image that satisfies the imaging conditions.
  • the hairline detection unit 14 corresponds to a detection unit that detects hairline information of the user's hair based on the user's front image.
  • the head template transforming unit 17 functions as an estimating unit that estimates the contour of the user's head based on the hairline information and the template related to the head.
  • the head template pattern selection unit 15 corresponds to a selection unit that selects a template based on feature information.
  • the determination unit 18 corresponds to a determination unit that determines whether or not the hairline information is correctly detected.
  • the hairline and hair root estimating unit 19 corresponds to a part estimating unit that estimates the user's hair part based on the detection result of the determining unit.
  • FIG. 3 is a flowchart for estimating the contour of the head.
  • the photographing condition presentation unit 11 recommends photographing with the hairline exposed to the user (step 101).
  • FIG. 4 is a diagram showing an example of the UI presented to the user.
  • the imaging condition presentation unit 11 prompts the user whose hairline is not exposed (the state of FIG. 4A) to expose the hairline (the state of FIG. 4B).
  • a GUI Graphic User Interface
  • the imaging condition presentation unit 11 may present a voice, text message, or the like to the effect that the hairline should be exposed.
  • the presentation of the UI is recommended because it may be difficult for the user to comb the hair, such as when the hair is set with gel or spray, so the user should shoot without exposing the hairline. is also possible.
  • the photographing condition presenting unit 11 presents a UI to the effect that the photographing conditions are met. You may
  • a front image of the user is captured by the imaging device 2 (step 102). For example, when photographing is performed automatically, the imaging apparatus 2 is prompted to automatically photograph when the hairline detection unit 14 detects that the user's hairline is exposed.
  • FIG. 5 is a schematic diagram showing steps 103 to 107.
  • FIG. 5A is a diagram showing feature points of a face.
  • FIG. 5B is a diagram illustrating detection of a skin region.
  • FIG. 5C is a diagram showing a user's skin region.
  • FIG. 5D is a diagram showing an example of a head template.
  • the feature information of the face 30 is detected from the photographed front image by the face feature information detection unit 12 (step 103).
  • the facial feature information detection unit 12 detects feature points such as eyes, eyebrows, nose, ears, mouth, and chin.
  • a skin area is detected by the skin area detection unit 13 based on the facial feature information (step 104).
  • skin patches 31 are generated based on the feature points of the eyebrows and nose, as shown in FIG. 5A.
  • the skin region detection unit 13 detects the region containing the largest number of skin patch regions as the skin region 32 based on the average HSV value and edge information of the generated skin patches. do.
  • the hairline detection unit 14 detects the hairline based on the detected skin area 32 (step 105). As shown in FIG. 5C , in the present embodiment, the hairline detector 14 detects the hairline 34 from the contour 33 above the skin region 32 .
  • the head template pattern selection unit 15 selects a suitable head template 35 from the head template database 16 based on the detected hairline 34 (step 106). As shown in FIG. 5D, in the present embodiment, the head template pattern selection unit 15 compares the feature points 36 of the contour of the face with the feature points 37 of the head template 35 to select the optimum head template. select.
  • the head template transformation unit 17 transforms the head template (step 107).
  • FIG. 6 is a schematic diagram showing the estimation of the contour of the head.
  • FIG. 6A is a diagram showing adjustment of the head template in the X direction.
  • FIG. 6B is a diagram illustrating adjustment of the head template in the Y direction.
  • the head template transforming unit 17 transforms the selected head template 35 by enlarging/reducing it in the X direction, moving its position, rotating it, etc., based on the feature points 40 of the left and right ears. That is, the head template 35 is deformed so that the coordinates of the feature points located on the ears of the selected head template 35 match the feature points 40 of the user's ears.
  • the head template transforming unit 17 transforms the head template 35 enlarged in the X direction by enlarging/reducing it in the Y direction, moving the position, and rotating it.
  • the head template transforming unit 17 determines the enlargement ratio of the head template in the Y direction based on the hairline information. It should be noted that the method of determining the enlargement ratio in the Y direction assumes that the hairline information includes at least one pixel or more of the hairline.
  • the determination unit 18 determines whether or not the deformed head template is within the predetermined threshold value set in the average face ratio information (step 108). If the deformed head template is within a predetermined threshold (YES in step 108), it is determined that the user's hairline has been correctly detected, and the contour of the deformed head template is generated as the contour of the user's head. (Step 109).
  • the hairline and hair root estimation unit 19 estimates the user's hairline or hair root (step 110).
  • FIG. 7 is a diagram showing an example of detection of hair roots.
  • the hairline and hair root estimating unit 19 estimates the hair root from the flow of hair using a Gabor-Filer that uses a filter that extracts a specific frequency component for each direction.
  • a user's hair mask area 41 is extracted from the user's front image, and 0 degrees, 30 degrees, 60 degrees, 90 degrees, 120 degrees, and 150 degrees are applied to the mask area 41. Filter in the direction of By combining the hair flows at each angle extracted by these filters, the part where the flows in various directions are aggregated is determined to be the root 42 of the hair.
  • the hairline and hair root estimating unit 19 may also estimate the user's hairline using a learned model learned from learning data in which feature points are added to the hairline of the image including the face.
  • the hairline detection unit 14 may generate learning data by marking a feature point at a position that is estimated to be the hairline.
  • the head template pattern selection unit 15 selects an optimum head template from the hairline or hair root estimated by the hairline and hair root estimation unit 19 (step 106).
  • the head template deformation unit 17 may determine the enlargement ratio in the Y direction based on the average face ratio information. For example, as shown in FIG. 6D, as the average face ratio information, when the ratio of the distance A from the eyes 45 to the top of the head 46 and the distance B from the eyes 45 to the lower jaw 47 is 1:1, the selected The distance from the eyes to the top of the head (the apex of the hairline) is enlarged to be 1:1 with the distance from the eyes to the chin of the head template.
  • the information processing apparatus 10 detects the hairline information of the user 1 based on the front image of the user 1 .
  • the contour of the head of the user 1 is estimated based on the hairline information and the head template. This makes it possible to reduce the burden on the user.
  • the outline of the face especially the outline of the head, was often hidden by hair, making it difficult to correctly estimate the shape.
  • a technique is adopted in which the user is required to put on an excessive load, such as wearing a special cap.
  • the outline (shape) of the head is fixed and no estimation is performed.
  • the user's hairline is detected based on the front image of the user, and the contour of the user's head is estimated by matching the hairline with a template related to the head.
  • the outline of the head can be estimated by simply asking the user to comb the hair. This enables more natural shape estimation than conventional methods, and does not require special equipment or an excessive burden on the user.
  • the contour of the head was estimated from the front image.
  • the outline of the head may be estimated from a plurality of images including the user's head.
  • the imaging condition presentation unit 11 may present a UI for improving the estimation accuracy of the contour of the head.
  • the roots of the hair were estimated from the flow of the hair, and the outline of the head was estimated. If it is difficult to estimate the roots of the hair, the contour of the head may be estimated with an average value based on the ratio of facial feature points.
  • FIG. 8 is a block diagram showing a hardware configuration example of the information processing device 10. As shown in FIG.
  • the information processing device 10 includes a CPU 50, a ROM 51, a RAM 52, an input/output interface 54, and a bus 53 that connects these to each other.
  • a display unit 55, an input unit 56, a storage unit 57, a communication unit 58, a drive unit 59, and the like are connected to the input/output interface 54.
  • the display unit 55 is a display device using liquid crystal, EL, or the like, for example.
  • the input unit 56 is, for example, a keyboard, pointing device, touch panel, or other operating device. When input unit 56 includes a touch panel, the touch panel can be integrated with display unit 55 .
  • the storage unit 57 is a non-volatile storage device, such as an HDD, flash memory, or other solid-state memory.
  • the drive unit 59 is a device capable of driving a removable recording medium 60 such as an optical recording medium or a magnetic recording tape.
  • the communication unit 58 is a modem, router, and other communication equipment for communicating with other devices that can be connected to a LAN, WAN, or the like.
  • the communication unit 58 may use either wired or wireless communication.
  • the communication unit 58 is often used separately from the information processing device 10 . In this embodiment, the communication unit 58 enables communication with other devices via the network.
  • Information processing by the information processing apparatus 10 having the hardware configuration as described above is realized by cooperation between software stored in the storage unit 57 or the ROM 51 or the like and the hardware resources of the information processing apparatus 10 .
  • the control method according to the present technology is realized by loading a program constituting software stored in the ROM 51 or the like into the RAM 52 and executing the program.
  • the program is installed in the information processing device 10 via the recording medium 60, for example.
  • the program may be installed in the information processing device 10 via a global network or the like.
  • any computer-readable non-transitory storage medium may be used.
  • An information processing method and a recording medium according to the present technology are executed by linking a computer installed in a communication terminal with another computer that can communicate via a network or the like, and a signal processing unit according to the present technology is constructed.
  • the information processing apparatus, information processing method, and recording medium according to the present technology can be executed not only in a computer system configured by a single computer, but also in a computer system in which a plurality of computers operate in conjunction.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
  • Execution of the information processing device, information processing method, and recording medium according to the present technology by a computer system is, for example, a case where detection of a skin region, detection of a hairline, deformation of a head template, and the like are executed by a single computer. , and when each process is executed by a different computer. Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
  • the information processing device, information processing method, and recording medium according to the present technology can be applied to a cloud computing configuration in which a single function is shared by a plurality of devices via a network and processed jointly. be.
  • the present technology can also adopt the following configuration.
  • a detection unit that detects hairline information of the user based on a front image of the user;
  • An information processing apparatus comprising: an estimation unit that estimates a contour of the user's head based on the hairline information and a template related to the head.
  • the template includes a template of the contour of the head;
  • the estimation unit adjusts the template based on the shape of the user's hairline and estimates the contour of the user's head.
  • the front image includes the face of the user;
  • the information processing apparatus wherein the detection unit detects a region of the user's skin based on feature information about the user's face.
  • the information processing device (4) The information processing device according to (3), The information processing apparatus, wherein the detection unit detects the hairline information based on the contour of the skin region. (5) The information processing device according to (3), further comprising: An information processing apparatus comprising a selection unit that selects the template based on the feature information. (6) The information processing device according to (5), The feature information includes feature points of the user's face or part information of the user's face, The information processing apparatus, wherein the selection unit selects the template based on the feature points and feature points in the template. (7) The information processing device according to (2), further comprising: An information processing apparatus comprising a determination unit that determines whether or not the hairline information is correctly detected.
  • the information processing device determines that the hairline information is correctly detected when the degree of change in the template adjusted by the estimation unit is within a predetermined threshold value.
  • the information processing device further comprising: An information processing apparatus comprising a region estimation unit that estimates a region of hair of the user based on a detection result of the determination unit.
  • the information processing device (10) The information processing device according to (9), The part estimation unit estimates the user's hairline or the user's hair root when the hairline information is not detected correctly.
  • Information processing apparatus (11) The information processing device according to (1), further comprising: An information processing apparatus comprising a presentation unit that presents the user with a UI (User Interface) for photographing the front image that satisfies photographing conditions.
  • UI User Interface
  • the information processing device according to (11), The information processing apparatus, wherein the photographing conditions include a condition that enables detection of hairline information of the user.
  • Detecting hairline information of the user based on the user's front image An information processing method in which a computer system executes estimation of a contour of the user's head based on the hairline information and a head template.
  • Hairline 6 Hair root 10
  • Information processing device 11 Imaging condition presentation unit 12 Facial feature information detection unit 13 Skin region detection unit 14 Hairline detection unit 15 Head template pattern selection unit 17 Head Part template deformation unit 18 Determination unit 19 Hairline and hair root estimation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本技術の一形態に係る情報処理装置は、検出部と、推定部とを具備する。前記検出部は、ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出する。前記推定部は、前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する。これにより、ユーザへの負担の減少を実現することが可能となる。また従来よりも自然な形状推定が可能となり、また特殊な機材を必要としない。

Description

情報処理装置、情報処理方法、及び記録媒体
　本技術は、画像解析等に適用可能な情報処理装置、情報処理方法、及び記録媒体に関する。
　特許文献１には、複数の文字が表示された印字シートで覆われた頭部の画像に基づいて頭部の３次元モデルを作成する３次元頭部モデル作成システムが記載される。３次元頭部モデル作成システムでは、該印字シートが頭部に密着した状態の頭部画像に対して、空間演算処理が行われることで頭部の３次元モデルが作成される（特許文献１の明細書段落［００２２］～［００３８］図１等）。
特開２０２０－１９００６０号公報
　このような、ユーザの特定部位の推定において、ユーザへの負担の減少を実現することが可能な技術が求められている。
　以上のような事情に鑑み、本技術の目的は、ユーザへの負担の減少を実現することが可能な情報処理装置、情報処理方法、及び記録媒体を提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、推定部とを具備する。前記検出部は、ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出する。前記推定部は、前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する。
　この情報処理装置では、ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報が検出され、前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭が推定される。これにより、ユーザへの負担の減少を実現することが可能となる。
　前記テンプレートは、前記頭部の輪郭のテンプレートを含んでもよい。この場合、前記推定部は、前記ユーザの生え際の形状に基づいて前記テンプレートを調整し、前記ユーザの頭部の輪郭を推定してもよい。
　前記正面画像は、前記ユーザの顔を含んでもよい。この場合、前記検出部は、前記ユーザの顔に関する特徴情報に基づいて、前記ユーザの肌の領域を検出してもよい。
　前記検出部は、前記肌の領域の輪郭に基づいて、前記生え際情報を検出してもよい。
　前記情報処理装置であって、さらに、前記特徴情報に基づいて、前記テンプレートを選択する選択部を具備してもよい。
　前記特徴情報は、前記ユーザの顔の特徴点又は前記ユーザの顔のパーツ情報を含んでもよい。この場合、前記選択部は、前記特徴点と前記テンプレートにおける特徴点とに基づいて、前記テンプレートを選択してもよい。
　前記情報処理装置であって、さらに、前記生え際情報が正しく検出されたか否かを判定する判定部を具備してもよい。
　前記判定部は、前記推定部により調整された前記テンプレートの変化の度合いが所定の閾値以内の場合、前記生え際情報が正しく検出されたと判定してもよい。
　前記情報処理装置であって、さらに、前記判定部の検出結果に基づいて、前記ユーザの髪の部位を推定する部位推定部を具備してもよい。
　前記部位推定部は、前記生え際情報が正しく検出されなかった場合、前記ユーザの髪の生え際又は前記ユーザの髪の根元を推定してもよい。
　前記情報処理装置であって、さらに、撮影条件を満たす前記正面画像を撮影するためのＵＩ（User Interface）を前記ユーザに提示する提示部を具備してもよい。
　前記撮影条件は、前記ユーザの髪の生え際情報を検出可能とする条件を含んでもよい。
　本技術の一形態に係る情報処理方法は、ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出することを含む。前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定させる。
　本技術の一形態に係るプログラムを記載した記録媒体は、コンピュータシステムに以下のステップを実行させる。ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出するステップ。前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定するステップ。
情報処理装置の概要を示す図である。 情報処理装置の構成を示すブロック図である。 頭部の輪郭を推定するフローチャートである。 ユーザに提示されるＵＩの一例を示す図である。 ステップ１０３からステップ１０７までを示す模式図である。 頭部の輪郭の推定を示す模式図である。 髪の根本の検出例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　図１は、本技術に係る情報処理装置の概要を示す図である。図１Ａは、本技術の実施例を示す模式図である。
　図１Ａに示すように、情報処理装置１０は、ユーザ１を撮影する撮像装置２から、ユーザ１の正面画像を取得する。本実施形態では、撮像装置２は、ディスプレイ等の表示装置３を有し、ユーザ１のＲＧＢの正面画像を撮像する。なお撮像装置２は限定されず、図１に示すようにスマートフォン等の携帯端末でもよいし、撮像機能を有するパソコン等でもよい。本実施形態ではユーザ１の正面画像からユーザ１の頭部の輪郭を推定する例を説明するが、複数の正面画像からユーザ１の頭部の輪郭を推定してもよい。
　情報処理装置１０は、撮像された正面画像に基づいて、ユーザ１の髪の生え際情報を検出する。生え際情報とは、ユーザの髪の生え際の位置や輪郭（形状）を含む情報である。本実施形態では、生え際とは、ユーザの額や襟首等の髪の生えている部分と生えていない部分との境目を示す。
　また情報処理装置１０は、生え際情報と頭部に関するテンプレートとに基づいて、ユーザの頭部の輪郭を推定する。頭部に関するテンプレート（以下、頭部テンプレートと記載）とは、頭部の様々な輪郭のテンプレートである。例えば、頭部テンプレートとしては、卵型の形状、面長の形状等の種々の頭部の輪郭が挙げられる。
　図１Ｂは、ユーザの正面画像を示す模式図である。図１Ｂに示すように、ユーザ１の正面画像に基づいて、髪の生え際５（輪郭）が検出される。なお髪の生え際情報はユーザの前髪によって隠れる場合もある。このような場合でも本発明では、生え際情報の検出及び頭部の輪郭を推定することが可能である。
　また図１Ｂに示すように、情報処理装置１０は、ユーザ１の髪の根本６を推定する。髪の根本とは、髪の集合している部分を指す。
　なお本実施形態では、ユーザ１の数は限定されず、撮影対象となるユーザは複数でもよい。
　図２は、情報処理装置１０の構成を示すブロック図である。
　情報処理装置１０は、例えばＣＰＵやＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する（図８参照）。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。例えばＰＣ等の任意のコンピュータにより、情報処理装置１０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
　本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての頭部テンプレート変形部が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
　プログラムは、例えば種々の記録媒体を介して情報処理装置１０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
　図２に示すように、情報処理装置１０は、撮影条件提示部１１、顔特徴情報検出部１２、肌領域検出部１３、生え際検出部１４、頭部テンプレートパターン選択部１５、頭部テンプレートデータベース１６、頭部テンプレート変形部１７、判定部１８、及び生え際及び髪の根本推定部１９を有する。
　撮影条件提示部１１は、生え際情報の検出を行い易くするための撮影条件を提示する。例えば、撮影条件提示部１１は、ユーザ１の顔が表示装置３に対して正面を向いているか、ユーザ１の髪の生え際が露出されているか、又は髪を露出されていない状態で撮影を行うか等の種々の条件が整っているかをユーザ１に提示する。
　本実施形態では、撮影条件提示部１１は、撮像装置２に対して、ユーザ１の髪の生え際を露出させた状態での撮影を推奨するＵＩ（User Interface）を提示する。
　顔特徴情報検出部１２は、撮影された正面画像に対して、ユーザの顔に関する特徴情報を検出する。特徴情報とは、顔の特徴点、又は顔のパーツ情報（目、口、鼻等）を含む。なお特徴情報を検出する方法は限定されず、機械学習や任意の検出手段が用いられてよい。本実施形態では、検出された特徴情報は、肌領域検出部１３及び頭部テンプレートパターン選択部１５に供給される。
　肌領域検出部１３は、顔特徴情報に基づいて、肌領域の検出をする。本実施形態では、肌領域検出部１３は、顔の特徴点の位置から肌と推定される肌パッチを検出し、該肌パッチの平均ＨＳＶ値及びエッジ情報に基づいて、肌領域を検出する。
　なおエッジ情報の抽出方法は限定されず、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓ等の任意の方法が用いられても良い。検出された肌領域の情報は、生え際検出部１４に供給される。
　生え際検出部１４は、検出された肌領域に基づいて、生え際を検出する。本実施形態では、生え際検出部１４は、肌領域の上部の輪郭、すなわち額や耳の輪郭を生え際情報として設定する。また本実施形態では、検出された生え際情報は、頭部テンプレートパターン選択部１５及び生え際及び髪の根本推定部１９に供給される。
　頭部テンプレートパターン選択部１５は、検出された生え際情報に基づいて、頭部テンプレートデータベース１６から適した頭部テンプレートを選択する。本実施形態では、頭部テンプレートは、顔の下部、すなわち、頬や顎の輪郭の特徴点と紐づいている。頭部テンプレートパターン選択部１５は、正面画像から検出された顔の輪郭の特徴点と頭部テンプレートの特徴点とを照らし合わせることで、最適な頭部テンプレートを選択する。選択された頭部テンプレートは、頭部テンプレート変形部１７に供給される。
　頭部テンプレートデータベース１６に記憶される頭部テンプレートの特徴点と照らし合わせる方法としては、正面画像及び頭部テンプレートの耳上部左右と顎下との３点の特徴点を合わせ、それ以外の顔の下部の特徴点の差分の合計が一番小さい頭部テンプレートを選ぶ方法が挙げられる。もちろん頭部テンプレートを選択する方法は限定されず、任意の方法で選択されてもよい。
　頭部テンプレート変形部１７は、選択された頭部テンプレートの拡縮、位置移動、回転等の変形を行う。本実施形態では、頭部テンプレート変形部１７は、頭部テンプレートのＸ方向の変形を左右の耳の特徴点を基準に行う。また頭部テンプレート変形部１７は、生え際情報に基づいて、頭部テンプレートを拡縮し、Ｙ方向の拡大率を決定する。
　なお本実施形態におけるＸ方向は、左右の耳を結ぶ方向である。Ｙ方向は、Ｘ方向に垂直な方向であり、例えば両目の中心位置から顎下を結ぶ方向である（図６Ｃ参照）。また本実施形態では、変形された頭部テンプレートは、判定部１８に供給される。
　判定部１８は、生え際情報が正しく検出されたかを判定する。本実施形態では、判定部１８は、変形された頭部テンプレートの変化の度合いが所定の閾値以内の場合、生え際情報が正しく検出されたと判定する。
　例えば、判定部１８は、平均顔比率情報と変形された頭部テンプレートとを照らし合わせ、頭部テンプレートの最上部が平均顔比率情報に設定された所定の閾値以内ではない場合、生え際情報が正しく検出されていないと判定する。
　この場合、頭部テンプレート変形部１７は、平均顔比率情報に基づいて、頭部テンプレートのＹ方向の拡大率を決定する。または、生え際及び髪の根本推定部１９により、新たに生え際情報が推定され、推定された生え際情報に基づいて再度Ｙ方向の拡大率が決定される。
　平均顔比率情報とは、人の平均的な顔のパーツ情報である。例えば、右目と左目との距離、目と眉との距離、鼻から頭頂部までの距離と鼻から顎下までの距離との比率、鼻と口との距離等の目、鼻、口等の各パーツの配置される位置情報及び相対的な距離情報である。
　生え際及び髪の根本推定部１９は、髪の生え際や髪の根本を推定する。例えば、生え際及び髪の根本推定部１９は、Ｇａｂｏｒ‐Ｆｉｌｅｒ等を使い髪の流れから髪の根本を推定する。推定された生え際情報は、頭部テンプレートパターン選択部１５に供給される。頭部テンプレートパターン選択部１５は、推定された髪の根元を隠れた髪の生え際として扱い、適した頭部テンプレートを選択する。
　また生え際及び髪の根本推定部１９は、生え際検出部１４からユーザ１の髪の生え際情報を取得し、髪の生え際情報を補助情報としてその髪の生え際よりも上に位置する部分を対象とし髪の根元推定を行う。
　なお、本実施形態において、撮影条件提示部１１は、撮影条件を満たす正面画像を撮影するためのＵＩ（User Interface）をユーザに提示する提示部に相当する。なお、本実施形態において、生え際検出部１４は、ユーザの正面画像に基づいて、ユーザの髪の生え際情報を検出する検出部に相当する。なお、本実施形態において、頭部テンプレート変形部１７は、生え際情報と頭部に関するテンプレートとに基づいて、ユーザの頭部の輪郭を推定する推定部として機能する。なお、本実施形態において、頭部テンプレートパターン選択部１５は、特徴情報に基づいて、テンプレートを選択する選択部に相当する。なお、本実施形態において、判定部１８は、生え際情報が正しく検出されたか否かを判定する判定部に相当する。なお、本実施形態において、生え際及び髪の根本推定部１９は、判定部の検出結果に基づいて、ユーザの髪の部位を推定する部位推定部に相当する。
　図３は、頭部の輪郭を推定するフローチャートである。
　図３に示すように、撮影条件提示部１１により、ユーザに生え際を露出させた状態での撮影が推奨される（ステップ１０１）。
　図４は、ユーザに提示されるＵＩの一例を示す図である。
　例えば、図４に示すように、撮影条件提示部１１は、生え際が露出されていない状態（図４Ａの状態）のユーザに対して、生え際を露出した状態（図４Ｂの状態）に促す旨のＧＵＩ（Graphical User Interface）を表示装置３に提示する。
　これ以外にも撮影条件提示部１１は、生え際を露出させる旨の音声やテキストメッセージ等を提示してもよい。なおＵＩの提示は、髪がジェルやスプレー等でセットされている等のユーザが髪をかきあげることが困難なケースも想定されるためＵＩは推奨であり、ユーザは生え際を露出させずに撮影することも可能である。
　また撮影条件提示部１１は、撮像装置２に対して正面を向いている、ユーザ１の髪の生え際が露出している等の撮影条件が整った場合、撮影条件が整った旨のＵＩを提示してもよい。
　撮像装置２により、ユーザの正面画像が撮影される（ステップ１０２）。例えば、自動で撮影される場合、生え際検出部１４がユーザの生え際が露出していることを検出することで、撮像装置２に自動撮影が促される。
　図５は、ステップ１０３からステップ１０７までを示す模式図である。図５Ａは、顔の特徴点を示す図である。図５Ｂは、肌領域の検出を示す図である。図５Ｃは、ユーザの肌領域を示す図である。図５Ｄは、頭部テンプレートの一例を示す図である。
　顔特徴情報検出部１２により、撮影された正面画像から顔３０の特徴情報が検出される（ステップ１０３）。本実施形態では、図５Ａに示すように、顔特徴情報検出部１２は、目、眉、鼻、耳、口、顎等の特徴点を検出する。
　肌領域検出部１３により、顔特徴情報に基づいて、肌領域が検出される（ステップ１０４）。本実施形態では、図５Ａに示すように、眉及び鼻の特徴点に基づいて、肌パッチ３１が生成される。また図５Ｂ及びＣに示すように、肌領域検出部１３は、生成された肌パッチの平均ＨＳＶ値及びエッジ情報に基づいて、肌パッチの領域が一番多く含まれる領域を肌領域３２として検出する。
　生え際検出部１４により、検出された肌領域３２に基づいて、生え際が検出される（ステップ１０５）。図５Ｃに示すように、本実施形態では、生え際検出部１４は、肌領域３２の上部の輪郭３３から髪の生え際３４を検出する。
　頭部テンプレートパターン選択部１５により、検出された髪の生え際３４に基づいて、頭部テンプレートデータベース１６から適した頭部テンプレート３５が選択される（ステップ１０６）。図５Ｄに示すように、本実施形態では、頭部テンプレートパターン選択部１５は、顔の輪郭の特徴点３６と頭部テンプレート３５の特徴点３７とを照らし合わせることで、最適な頭部テンプレートを選択する。
　頭部テンプレート変形部１７により、頭部テンプレートの変形が行われる（ステップ１０７）。
　図６は、頭部の輪郭の推定を示す模式図である。図６Ａは、頭部テンプレートのＸ方向への調整を示す図である。図６Ｂは、頭部テンプレートのＹ方向への調整を示す図である。
　図６Ａに示すように、頭部テンプレート変形部１７は、選択された頭部テンプレート３５をＸ方向の拡縮、位置移動、回転等の変形を、左右の耳の特徴点４０を基準に行う。すなわち、選択された頭部テンプレート３５の耳に位置する特徴点の座標が、ユーザの耳の特徴点４０と一致するように頭部テンプレート３５が変形される。
　図６Ｂに示すように、頭部テンプレート変形部１７は、Ｘ方向に拡大された頭部テンプレート３５をＹ方向の拡縮、位置移動、回転等の変形を行う。本実施形態では、頭部テンプレート変形部１７は、生え際情報に基づいて、頭部テンプレートのＹ方向の拡大率を決定する。なお、Ｙ方向の拡大率の決定方法は、生え際情報に少なくとも１ピクセル以上の生え際が含まれていることを仮定とする。
　判定部１８により、変形された頭部テンプレートが、平均顔比率情報に設定された所定の閾値以内か否かが判定される（ステップ１０８）。変形された頭部テンプレートが所定の閾値以内の場合（ステップ１０８のＹＥＳ）、ユーザの生え際は正しく検出されたと判定され、変形された頭部テンプレートの輪郭がユーザの頭部の輪郭として生成される（ステップ１０９）。
　変形された頭部テンプレートが所定の閾値以内ではない場合（ステップ１０８のＮＯ）、ユーザの生え際が正しく検出されていないと判定される。この場合、生え際及び髪の根本推定部１９により、ユーザの髪の生え際又は髪の根本が推定される（ステップ１１０）。
　図７は、髪の根本の検出例を示す図である。
　本実施形態では、生え際及び髪の根本推定部１９は、方向毎に特定の周波数成分を抽出するフィルタを用いるＧａｂｏｒ‐Ｆｉｌｅｒを使い髪の流れから髪の根本を推定する。
　例えば、図７に示すように、ユーザの正面画像からユーザの髪のマスク領域４１を抽出し、そのマスク領域４１に対して０度、３０度、６０度、９０度、１２０度、及び１５０度の方向にフィルタをかける。これらのフィルタにより抽出された各角度の髪の流れを合わせることで、様々な方向の流れが集約される部分が髪の根本４２と判定される。
　また生え際及び髪の根本推定部１９は、顔を含む画像の髪の生え際に特徴点を打った学習データから学習した学習済みモデルを用いてユーザの髪の生え際を推定してもよい。例えば、生え際検出部１４により髪の生え際と推定される位置に特徴点が打たれ学習データが生成されてもよい。
　頭部テンプレートパターン選択部１５は、生え際及び髪の根本推定部１９により推定された髪の生え際又は髪の根本から最適な頭部テンプレートを選択する（ステップ１０６）。
　また変形された頭部テンプレートが所定の閾値以内ではない場合（ステップ１０８のＮＯ）、頭部テンプレート変形部１７は、平均顔比率情報に基づいて、Ｙ方向の拡大率を決定してもよい。例えば、図６Ｄに示すように、平均顔比率情報として、目４５から頭頂部４６までの距離Ａと、目４５から顎下４７までの距離Ｂとの比率が１：１の場合、選択された頭部テンプレートの目から顎下までの距離と１：１となるように目から頭頂部（生え際の頂点）までの距離が拡大される。
　以上、本実施形態に係る情報処理装置１０は、ユーザ１の正面画像に基づいて、ユーザ１の髪の生え際情報が検出される。生え際情報と頭部に関するテンプレートとに基づいて、ユーザ１の頭部の輪郭が推定される。これにより、ユーザへの負担の減少を実現することが可能となる。
　従来、正面画像から３Ｄモデルを生成する際、顔の輪郭、特に頭部の輪郭は髪の毛で隠れる場合が多く正しく形状を推定することが困難であった。例えば、ユーザに専用のキャップを被る等のユーザに過度の負荷を要求する手法が取られる。または頭部の輪郭（形状）を固定する等の推定を行わない例もある。
　本技術では、ユーザの正面画像に基づいて、ユーザの髪の生え際を検出し、その髪の生え際と頭部に関するテンプレートとを照らし合わせることで、ユーザの頭部の輪郭を推定する。また髪の生え際が隠れている場合でも、髪をかき上げてもらうという簡単な対応で頭部の輪郭を推定することができる。これにより、従来よりも自然な形状推定が可能となり、また特殊な機材やユーザへの過度の負担を要求しない。またユーザが髪の生え際を露出できない状況であっても、平均顔比率情報等から髪の生え際や髪の根元を推定することで、頭部の輪郭の推定のロバスト性を上げることが可能である。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　上記の実施形態では、正面画像から頭部の輪郭が推定された。これに限定されず、ユーザの頭部を含む複数枚の画像から頭部の輪郭が推定されてもよい。例えば、撮影条件提示部１１により、頭部の輪郭の推定精度を向上させるためのＵＩが提示されてもよい。
　上記の実施形態では、髪の流れから髪の根本が推定され、頭部の輪郭が推定された。髪の根本の推定が困難な場合、顔の特徴点の比率に基づいて、平均値で頭部の輪郭が推定されてもよい。
　図８は、情報処理装置１０のハードウェア構成例を示すブロック図である。
　情報処理装置１０は、ＣＰＵ５０、ＲＯＭ５１、ＲＡＭ５２、入出力インタフェース５４、及びこれらを互いに接続するバス５３を備える。入出力インタフェース５４には、表示部５５、入力部５６、記憶部５７、通信部５８、及びドライブ部５９等が接続される。
　表示部５５は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部５６は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部５６がタッチパネルを含む場合、そのタッチパネルは表示部５５と一体となり得る。
　記憶部５７は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部５９は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体６０を駆動することが可能なデバイスである。
　通信部５８は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部５８は、有線及び無線のどちらを利用して通信するものであってもよい。通信部５８は、情報処理装置１０とは別体で使用される場合が多い。本実施形態では、通信部５８により、ネットワークを介した他の装置との通信が可能となる。
　上記のようなハードウェア構成を有する情報処理装置１０による情報処理は、記憶部５７またはＲＯＭ５１等に記憶されたソフトウェアと、情報処理装置１０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ５１等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ５２にロードして実行することにより、本技術に係る制御方法が実現される。
　プログラムは、例えば記録媒体６０を介して情報処理装置１０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが情報処理装置１０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
　通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理方法、及び記録媒体が実行され、本技術に係る信号処理部が構築されてもよい。
　すなわち本技術に係る情報処理装置、情報処理方法、及び記録媒体は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、及び記録媒体の実行は、例えば、肌領域の検出、生え際の検出、及び頭部テンプレートの変形等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る情報処理装置、情報処理方法、及び記録媒体は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　各図面を参照して説明した顔特徴情報検出部、生え際検出部、頭部テンプレート変形部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
　なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
　以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）
　ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出する検出部と、
　前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する推定部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記テンプレートは、前記頭部の輪郭のテンプレートを含み、
　前記推定部は、前記ユーザの生え際の形状に基づいて前記テンプレートを調整し、前記ユーザの頭部の輪郭を推定する
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記正面画像は、前記ユーザの顔を含み、
　前記検出部は、前記ユーザの顔に関する特徴情報に基づいて、前記ユーザの肌の領域を検出する
　情報処理装置。
（４）（３）に記載の情報処理装置であって、
　前記検出部は、前記肌の領域の輪郭に基づいて、前記生え際情報を検出する
　情報処理装置。
（５）（３）に記載の情報処理装置であって、さらに、
　前記特徴情報に基づいて、前記テンプレートを選択する選択部を具備する
　情報処理装置。
（６）（５）に記載の情報処理装置であって、
　前記特徴情報は、前記ユーザの顔の特徴点又は前記ユーザの顔のパーツ情報を含み、
　前記選択部は、前記特徴点と前記テンプレートにおける特徴点とに基づいて、前記テンプレートを選択する
　情報処理装置。
（７）（２）に記載の情報処理装置であって、さらに、
　前記生え際情報が正しく検出されたか否かを判定する判定部を具備する
　情報処理装置。
（８）（７）に記載の情報処理装置であって、
　前記判定部は、前記推定部により調整された前記テンプレートの変化の度合いが所定の閾値以内の場合、前記生え際情報が正しく検出されたと判定する
　情報処理装置。
（９）（８）に記載の情報処理装置であって、さらに、
　前記判定部の検出結果に基づいて、前記ユーザの髪の部位を推定する部位推定部を具備する
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記部位推定部は、前記生え際情報が正しく検出されなかった場合、前記ユーザの髪の生え際又は前記ユーザの髪の根元を推定する
　情報処理装置。
（１１）（１）に記載の情報処理装置であって、さらに、
　撮影条件を満たす前記正面画像を撮影するためのＵＩ（User Interface）を前記ユーザに提示する提示部を具備する
　情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
　前記撮影条件は、前記ユーザの髪の生え際情報を検出可能とする条件を含む
　情報処理装置。
（１３）
　ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出し、
　前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する
　ことをコンピュータシステムが実行する情報処理方法。
（１４）
　ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出するステップと、
　前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定するステップと
　をコンピュータシステムに実行させるプログラムを記載した記録媒体。
　５…髪の生え際
　６…髪の根本
　１０…情報処理装置
　１１…撮影条件提示部
　１２…顔特徴情報検出部
　１３…肌領域検出部
　１４…生え際検出部
　１５…頭部テンプレートパターン選択部
　１７…頭部テンプレート変形部
　１８…判定部
　１９…生え際及び髪の根本推定部

Claims (14)

  1. 　ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出する検出部と、
    　前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する推定部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記テンプレートは、前記頭部の輪郭のテンプレートを含み、
    　前記推定部は、前記ユーザの生え際の形状に基づいて前記テンプレートを調整し、前記ユーザの頭部の輪郭を推定する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記正面画像は、前記ユーザの顔を含み、
    　前記検出部は、前記ユーザの顔に関する特徴情報に基づいて、前記ユーザの肌の領域を検出する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記検出部は、前記肌の領域の輪郭に基づいて、前記生え際情報を検出する
    　情報処理装置。
  5. 　請求項３に記載の情報処理装置であって、さらに、
    　前記特徴情報に基づいて、前記テンプレートを選択する選択部を具備する
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記特徴情報は、前記ユーザの顔の特徴点又は前記ユーザの顔のパーツ情報を含み、
    　前記選択部は、前記特徴点と前記テンプレートにおける特徴点とに基づいて、前記テンプレートを選択する
    　情報処理装置。
  7. 　請求項２に記載の情報処理装置であって、さらに、
    　前記生え際情報が正しく検出されたか否かを判定する判定部を具備する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記判定部は、前記推定部により調整された前記テンプレートの変化の度合いが所定の閾値以内の場合、前記生え際情報が正しく検出されたと判定する
    　情報処理装置。
  9. 　請求項８に記載の情報処理装置であって、さらに、
    　前記判定部の検出結果に基づいて、前記ユーザの髪の部位を推定する部位推定部を具備する
    　情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記部位推定部は、前記生え際情報が正しく検出されなかった場合、前記ユーザの髪の生え際又は前記ユーザの髪の根元を推定する
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、さらに、
    　撮影条件を満たす前記正面画像を撮影するためのＵＩ（User Interface）を前記ユーザに提示する提示部を具備する
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記撮影条件は、前記ユーザの髪の生え際情報を検出可能とする条件を含む
    　情報処理装置。
  13. 　ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出し、
    　前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定する
    　ことをコンピュータシステムが実行する情報処理方法。
  14. 　ユーザの正面画像に基づいて、前記ユーザの髪の生え際情報を検出するステップと、
    　前記生え際情報と頭部に関するテンプレートとに基づいて、前記ユーザの頭部の輪郭を推定するステップと
    　をコンピュータシステムに実行させるプログラムを記載した記録媒体。
PCT/JP2022/008209 2021-06-28 2022-02-28 情報処理装置、情報処理方法、及び記録媒体 WO2023276271A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/571,776 US20240296574A1 (en) 2021-06-28 2022-02-28 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021106881A JP2024115562A (ja) 2021-06-28 2021-06-28 情報処理装置、情報処理方法、及び記録媒体
JP2021-106881 2021-06-28

Publications (1)

Publication Number Publication Date
WO2023276271A1 true WO2023276271A1 (ja) 2023-01-05

Family

ID=84692283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008209 WO2023276271A1 (ja) 2021-06-28 2022-02-28 情報処理装置、情報処理方法、及び記録媒体

Country Status (3)

Country Link
US (1) US20240296574A1 (ja)
JP (1) JP2024115562A (ja)
WO (1) WO2023276271A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133977A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133977A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20240296574A1 (en) 2024-09-05
JP2024115562A (ja) 2024-08-27

Similar Documents

Publication Publication Date Title
US11043011B2 (en) Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
JP6864449B2 (ja) イメージの明るさを調整する方法及び装置
JP4396387B2 (ja) 画像補正装置
US8983152B2 (en) Image masks for face-related selection and processing in images
DE112016004437T5 (de) Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit
JPH1115947A (ja) 画像処理装置
US11238569B2 (en) Image processing method and apparatus, image device, and storage medium
KR20110033980A (ko) 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
KR20120070985A (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
JP2011053942A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
JP5419757B2 (ja) 顔画像合成装置
CN113344837B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
JP2009237627A (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置
JP5419777B2 (ja) 顔画像合成装置
WO2023276271A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP5419773B2 (ja) 顔画像合成装置
JP2009251634A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4502645B2 (ja) 人物画像抽出装置、及びコンピュータプログラム
JP2005242535A (ja) 画像補正装置
CN114743252A (zh) 用于头部模型的特征点筛选方法、设备和存储介质
JP6287170B2 (ja) 眉生成装置、眉生成方法及びプログラム
JP2003030684A (ja) 顔３次元コンピュータグラフィック生成方法及び装置及び顔３次元コンピュータグラフィック生成プログラム及び顔３次元コンピュータグラフィック生成プログラムを格納した記憶媒体
JP2010245721A (ja) 顔画像に対する画像処理

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832437

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18571776

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22832437

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP