WO2020230444A1 - 情報生成装置、情報生成方法、及び、コンピュータプログラム - Google Patents

情報生成装置、情報生成方法、及び、コンピュータプログラム Download PDF

Info

Publication number
WO2020230444A1
WO2020230444A1 PCT/JP2020/011714 JP2020011714W WO2020230444A1 WO 2020230444 A1 WO2020230444 A1 WO 2020230444A1 JP 2020011714 W JP2020011714 W JP 2020011714W WO 2020230444 A1 WO2020230444 A1 WO 2020230444A1
Authority
WO
WIPO (PCT)
Prior art keywords
marking
information
correction
image
face image
Prior art date
Application number
PCT/JP2020/011714
Other languages
English (en)
French (fr)
Inventor
宏毅 田岡
松本　博志
武井　一朗
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202080032053.5A priority Critical patent/CN113767410A/zh
Priority to JP2021519284A priority patent/JP7503757B2/ja
Publication of WO2020230444A1 publication Critical patent/WO2020230444A1/ja
Priority to US17/511,609 priority patent/US20220051001A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Definitions

  • This disclosure relates to an information generator, an information generation method, and a computer program.
  • Patent Document 1 the face region of a person included in an image is divided, and the state of spots and pores in the face region is based on the distribution state of the brightness values measured in each divided region in the divided region.
  • the technique for determining is disclosed.
  • the non-limiting implementation of this disclosure contributes to the provision of technology that reduces the workload of the user in the process of generating correct answer information.
  • the information generation device includes an image of a person's skin, marking information indicating marking by a first user on a characteristic portion of the skin in the image, and a second marking information.
  • An information management unit that manages the correction information indicating correction by the user in association with each other, and a marking UI processing unit that superimposes and displays the marking indicated by the marking information and the correction indicated by the correction information on the image. Be prepared.
  • the workload of the user in the process of generating correct answer information can be reduced.
  • the figure for demonstrating the use example of the information generation apparatus which concerns on this embodiment The figure which shows the configuration example of the algorithm verification system which concerns on this Embodiment
  • the figure which shows the management example of the information in the information management part which concerns on this embodiment The figure which shows the example of the face image which concerns on this embodiment
  • the figure which shows the example of the marking which concerns on this embodiment The figure which shows the example of ROI (RegionOfInterest) which concerns on this embodiment.
  • the figure which shows the example of the correction marking which concerns on this embodiment The figure which shows the example of the correct answer marking which concerns on this embodiment
  • the figure which shows the example of the integration of the marking which concerns on this embodiment The figure for demonstrating the input of the marking using the marking UI which concerns on this embodiment.
  • the figure for demonstrating the correction of the marking using the correction UI which concerns on this embodiment The figure for demonstrating the modification of the marking using the marking UI which concerns on this embodiment.
  • the figure for demonstrating the approval of the marking using the correction UI which concerns on this embodiment The figure which shows the example of the superimposition display of the marking of the worker and the correct answer marking which concerns on this embodiment.
  • the information generation device 100 is a device for generating correct answer information that accurately indicates a spot area in an image obtained by photographing a person's face (hereinafter referred to as “face image”).
  • face image a device for generating correct answer information that accurately indicates a spot area in an image obtained by photographing a person's face
  • a face image will be described as an example, but the present embodiment is not limited to the face image, and can be applied to various images obtained by photographing the skin of a person (for example, an image of an arm and an image of a leg). is there.
  • spots will be described below as an example, the present embodiment is not limited to spots and can be applied to various characteristic parts of the skin (for example, pores, wrinkles, bruises, freckles, etc.).
  • the correct answer information generated by the information generation device 100 is useful for verifying the accuracy of an algorithm that automatically detects a characteristic portion in an image of a person's skin.
  • the information generation device 100 provides the marking UI 500 (see FIG. 6) to the worker who is an example of the first user, and accepts the input of the marking for the stain of the face image (S11).
  • the worker does not have to be a skin expert, and may be, for example, an ordinary person who participates for reward purposes or for volunteer purposes.
  • Each of the plurality of workers operates the marking UI 500 and inputs markings on the face image of the same person (S12).
  • the information generator 100 integrates markings by each worker (S13). For example, among a plurality of workers, markings made by workers in a predetermined ratio or more are left, and markings made by workers in a predetermined ratio or less are deleted. The details of marking integration will be described later (see FIG. 5).
  • the information generation device 100 provides a correction UI 600 (see FIG. 7) to an expert who is an example of a second user, and accepts corrections for markings made by an operator (S14).
  • the specialist is a skin specialist who can accurately identify spots on a facial image, and may be, for example, a doctor or a medical worker.
  • the expert may be referred to as a corrector, manager or supervisor, etc.
  • the expert determines that the marking displayed on the correction UI 600 accurately indicates the stain on the face image, the expert approves the marking (S15: YES). In this case, the information generator 100 generates correct answer information based on the approved marking (S16).
  • the expert determines that the marking displayed on the correction UI 600 does not accurately indicate the stain on the face image, the expert operates the correction UI 600 to correct the marking (S17).
  • the information generator 100 provides the operator with the marking UI 500 including the correction by S17, and accepts the correction of the marking by the operator (S18).
  • Each worker operates the marking UI500 and corrects the marking based on the correction (S19).
  • the markings modified by each worker are reintegrated (S13) and provided to the expert through the correction UI 600 (S14).
  • the target of the integration may be only the modified marking.
  • FIG. 2 shows a configuration example of the algorithm verification system 10.
  • the algorithm verification system 10 includes a photographing device 200, an information generation device 100, and an algorithm verification device 300.
  • the photographing device 200 is, for example, a camera and includes a photographing unit 201.
  • the photographing unit 201 photographs the face of a person to generate a face image, and stores the face image in the information management unit 101 included in the information generation device 100.
  • the information generation device 100 includes an information management unit 101, a marking UI processing unit 102, a marking information generation unit 103, a correction UI processing unit 104, a correction information generation unit 105, and a correct answer information generation unit 106.
  • the information management unit 101 manages the person ID, the face image, the shooting date and time, the marking information, the correction information, the correction information, and the correct answer information in association with each other.
  • the person ID is information for identifying a person.
  • the face image is the face image 20 of the person indicated by the person ID.
  • the face image 20 may include spots 21.
  • the shooting date and time is the date and time when the face image 20 was shot.
  • the marking information is information indicating the marking 22 input by the operator to the stain 21 of the face image 20.
  • the marking information may include identification information of the operator who input the marking 22 and / or the date and time when the marking 22 is input.
  • the correction information is information indicating the ROI (Region Of Interest) 23 indicating the range corrected by the expert with respect to the marking 22.
  • the correction information may include identification information of the expert who made the correction and / or the date and time when the correction was made.
  • the correction information is information indicating the correction marking 24 input by the operator based on the ROI 23.
  • the correction information may include the identification information of the worker who input the correction marking 24 and / or the date and time when the correction was made.
  • the correct answer information is information indicating the correct answer marking 25, which is an accurate marking on the stain 21 of the face image 20.
  • Correct answer information is generated based on expert-approved marking information and / or correction information.
  • the correct answer information may include the identification information of the expert who made the approval and / or the date and time when the approval was made.
  • the marking UI processing unit 102 provides a marking UI 500 for an operator to input a marking 22 for a stain on a face image or to input a correction marking 24 based on an ROI 23 by an expert. For example, the marking UI processing unit 102 acquires the face image 20 from the information management unit 101 and displays it on the marking UI 500. Then, the marking UI processing unit 102 receives the input of the marking 22 on the stain 21 of the face image 20 from the operator.
  • the marking UI processing unit 102 acquires the face image 20, the marking information, and the correction information associated with each other from the information management unit 101, and the marking 22 indicated by the marking information on the face image 20.
  • the ROI 23 indicated by the correction information is superimposed and displayed.
  • the marking UI processing unit 102 receives the input of the correction marking 24 in the ROI 23 from the operator.
  • the details of the marking UI 500 will be described later (see FIGS. 6 and 8).
  • the marking information generation unit 103 generates marking information based on the marking 22 input through the marking UI 500. At this time, the marking information generation unit 103 may integrate the markings 22 input by each worker to generate marking information. The details of marking integration will be described later.
  • the marking information generation unit 103 stores the generated marking information in the information management unit 101 in association with the face image 20. Further, the marking information generation unit 103 generates correction information based on the correction marking 24 input through the marking UI 500. The marking information generation unit 103 stores the generated correction information in the information management unit 101.
  • the correction UI processing unit 104 provides a correction UI 600 for an expert to correct and approve the marking 22 of the face image. For example, the correction UI processing unit 104 acquires the face image 20 and the marking information associated with each other from the information management unit 101, and superimposes and displays the marking 22 indicated by the marking information on the face image 20. Then, the correction UI processing unit 104 receives correction or approval for the marking 22 from an expert.
  • the correction UI processing unit 104 acquires the face image 20, marking information, correction information, and correction information associated with each other from the information management unit 101, and marks the face image 20 with the marking information. 22, the ROI 23 indicated by the correction information, and the correction marking 24 indicated by the correction information are superimposed and displayed. Then, the correction UI processing unit 104 receives further correction or approval for the correction marking 24 from the expert. The details of the correction UI 600 will be described later (see FIGS. 7 and 9).
  • the correction information generation unit 105 generates correction information based on the ROI 23 input through the correction UI 600.
  • the correction information generation unit 105 stores the generated correction information in the information management unit 101 in association with the face image 20.
  • the correct answer information generation unit 106 generates the correct answer marking 25 based on the marking 22 and / or the corrected marking 24 approved by the correction UI 600. Then, the correct answer information generation unit 106 generates correct answer information based on the correct answer marking 25, and stores the correct answer information in the information management unit 101 in association with the face image 20.
  • the algorithm verification device 300 includes an algorithm execution unit 301 and a detection accuracy calculation unit 302.
  • the algorithm execution unit 301 executes an algorithm for automatically detecting the stain 21 from the face image 20 and outputs information indicating the detection result (hereinafter referred to as “detection result information”).
  • the detection accuracy calculation unit 302 acquires the correct answer information associated with the face image 20 used by the algorithm execution unit 301 from the information management unit 101. Then, the detection accuracy calculation unit 302 calculates the detection accuracy for the detection result information output from the algorithm execution unit 301 by using the correct answer information.
  • the detection accuracy may be expressed by the accuracy rate (accuracy), precision rate (precision), recall rate (recall), and / or F value (F-measure), etc., for each pixel constituting the face image 20. .. This makes it possible to calculate the accuracy of both missed detection and excessive detection.
  • the detection accuracy may be calculated for the entire face image 20 or within a predetermined range set for the face image 20.
  • Accurate correct information is required at the pixel level in order to prove the effect of treatment or skin care on the site of small skin diseases such as age spots.
  • the correct answer information is accurate at the pixel level because it is generated through correction by an expert who can accurately identify the stain 21 in the face image 20. Therefore, the algorithm verification device 300 can accurately calculate the detection accuracy of the algorithm for detecting the site of a small skin disease such as a spot by using the correct answer information generated by the information generation device 100.
  • the marking information generation unit 103 integrates the markings 22A, 22B, 22C, and 22D input by each of the plurality of workers, and forms the area 401 marked by a predetermined ratio or more of the workers. , May be generated as marking information.
  • the predetermined ratio may be arbitrarily set, for example, 20%, 50%, 80%, or the like.
  • FIG. 6 shows an example of the marking UI 500. An input example of marking will be described with reference to FIG.
  • the marking UI 500 includes a work area 501, a contour mode button 502, a marking mode button 503, a color change button 504, a mask button 505, a reference image display button 506, a correct marking transfer button 507, a registration button 508, a correction result display button 509, and a correction result display button 509. , Has a correction button 510.
  • the marking UI processing unit 102 displays the face image 20 in the work area 501 and receives the input of the marking 22 from the operator.
  • the operator inputs the marking 22 on the portion of the face image 20 that seems to be a stain 21 with a touch pen or a mouse, for example.
  • the marking UI processing unit 102 switches the work area 501 to the contour mode for inputting the contour of the marking 22.
  • the contour mode the inside of the input contour 521 is automatically marked (filled). Contour mode is useful for marking a wide range of stains.
  • the marking UI processing unit 102 switches the work area 501 to the marking mode for directly inputting the marking 22.
  • the marking mode the touched part is marked (filled).
  • the marking mode is useful for marking small stains.
  • the size of the marking 22 (for example, the diameter of the circle to be smeared) may be enlarged or reduced by the wheel of the mouse.
  • the marking UI processing unit 102 changes the color of the face image 20.
  • color changes include color enhancement, normalization by color standard deviation, unsharp masking, gamma correction, and the like. For example, when it is difficult to distinguish between stains and shadows from the face image 20 being displayed, the operator can discriminate between them by changing the color.
  • the marking UI processing unit 102 sets the mask 522 in the marking prohibited area (for example, the eye area) in the face image 20.
  • the marking UI processing unit 102 may automatically set the mask 522 based on the recognition result of the face part for the face image 20.
  • the marking UI processing unit 102 may set the mask 522 based on the setting by an expert.
  • the marking UI processing unit 102 may accept the input of the mask 522 from the operator.
  • the marking UI processing unit 102 displays another face image of the same person as the face image 20 displayed in the work area 501 in a separate window.
  • the different face image may have a different brightness and / or angle from the displayed face image 20.
  • another face image may be aligned with the face image 20 displayed in the work area 501 and displayed in a separate window. For example, when a part of the face image 20 is enlarged and displayed in the work area 501, the same range of another face image may be enlarged and displayed in another window.
  • the operator can discriminate between them by referring to another face image in another window.
  • the marking UI processing unit 102 transfers the correct answer marking 25 generated from another face image of the same person to the face image 20 displayed in the work area 501.
  • the marking UI processing unit 102 may transfer the correct marking 25 of another face image whose shooting date and time is closest to the face image 20 displayed in the work area 501. This can improve the work efficiency of marking. The details of the transfer of the correct marking 25 will be described later (see FIG. 11).
  • the marking UI processing unit 102 When the registration button 508 is pressed, the marking UI processing unit 102 outputs the marking 22 input to the work area 501 to the marking information generation unit 103.
  • the marking information generation unit 103 generates marking information based on the output marking 22, and stores it in the information management unit 101 in association with the face image 20.
  • the correction result display button 509 and the correction button 510 will be described later (see FIG. 8).
  • the marking UI 500 provides various functions for efficiently marking stains on the face image. The operator can efficiently mark stains through the marking UI 500.
  • the marking UI 500 may display a practice image for the operator to practice marking the stain in the work area 501. In this case, the marking UI 500 may superimpose the markings made in advance by the expert on the practice image.
  • FIG. 7 shows an example of the correction UI 600. An example of correcting the marking will be described with reference to FIG. 7.
  • the correction UI 600 has a correction area 601, a correction reason button 602 (602A, 602B, 602C, 602D), a remand button 603, a difference display button 604, and an approval button 605.
  • the correction UI processing unit 104 acquires the face image 20 and the marking information marking 22 associated with each other from the information management unit 101, and superimposes and displays the marking 22 on the face image 20. Then, the correction UI processing unit 104 receives the setting of the ROI 23 from the expert. Experts set the ROI 23 to the extent that the correction of the marking 22 is pointed out, for example with a stylus or a mouse.
  • the correction reason button 602 is a button for associating the correction reason with the ROI 23.
  • the correction UI processing unit 104 responds to the ROI23A. , Correspond to the reason for correction "completely excessive”.
  • the correction UI processing unit 104 Corresponds the reason for correction "partially excessive" to the ROI23.
  • the correction UI processing unit 104 responds to the ROI23C. Correspond the reason for correction "partially missing".
  • the correction UI processing unit 104 responds to the ROI23D. Then, the reason for correction "completely missing" is associated.
  • the display mode of the ROI 23 may differ in the shape of the line, the thickness of the line, and / or the color of the line for each reason for correction so that the reason for correction associated with the ROI 23 can be distinguished at a glance.
  • the ROI23C and 23D associated with the correction reason for the missing marking may be displayed with a solid line
  • the ROI23A associated with the correction reason for the excess marking may be displayed with a broken line.
  • the correction UI 600 may display a legend of the display mode of the ROI 23.
  • the correction UI processing unit 104 When the remand button 603 is pressed, the correction UI processing unit 104 outputs the set ROI 23 and the correction reason to the correction information generation unit 105.
  • the correction information generation unit 105 generates correction information including the output ROI 23 and the correction reason, and stores the correction information in association with the face image 20 in the information management unit 101.
  • the difference display button 604 and the approval button 605 will be described later (see FIG. 9).
  • the correction UI 600 provides various functions for efficiently correcting the marking 22 performed by the operator. Therefore, the expert can operate the correction UI 600 to efficiently correct the marking 22 made by the operator.
  • the input of the reason for correction is not limited to the selective input by the above-mentioned reason for correction button 602.
  • the correction UI 600 may provide a function for inputting an arbitrary correction reason to the ROI 620.
  • the marking UI 500 shown in FIG. 8 is the same as that shown in FIG.
  • the marking UI processing unit 102 receives the face image 20, the marking information marking 22, the correction information ROI 23, and the correction reason, which are associated with each other from the information management unit 101. Is acquired, and the marking 22, ROI 23, and the reason for correction are superimposed and displayed on the face image 20. The operator inputs the correction marking 24 in the ROI 23.
  • the worker adds the correction marking 24A in the ROI23C and 23D pointed out as the reason for correction "completely missing” or “partially missing".
  • the added correction marking 24A is displayed in the work area 401.
  • the added modified marking 24A is displayed in a different manner from the original marking 22.
  • the worker deletes at least a part of the markings in the ROI 620A that are pointed out as the reason for correction "completely excessive” or “partially excessive”.
  • the correction marking 24B indicating that the deletion has been made is displayed in the work area 401.
  • the modified marking 24B indicating that it has been deleted is displayed in a manner different from that of the original marking 22.
  • the marking UI processing unit 102 When the correction button 510 is pressed, the marking UI processing unit 102 outputs the correction marking 24 to the marking information generation unit 103.
  • the marking information generation unit 103 generates correction information based on the output correction marking 24, and stores the correction information in the information management unit 101 in association with the face image 20.
  • the correction UI processing unit 104 acquires the face image 20, marking information, correction information, and correction information associated with each other from the information management unit 101. Then, the correction UI processing unit 104 superimposes and displays the marking 22 indicated by the marking information, the ROI 23 indicated by the correction information, the reason for correction, and the correction marking 24 indicated by the correction information on the face image 20.
  • the correction UI processing unit 104 When the approval button 605 is pressed, the correction UI processing unit 104 outputs the marking 22, ROI 23, and correction marking 24 displayed in the correction area 601 to the correct answer information generation unit 106.
  • the correct answer information generation unit 106 generates correct answer marking 25 (that is, correct answer information) based on the output marking 22 and correction marking 24, and stores it in the information management unit 101.
  • the expert only has to confirm the correction made by the worker with respect to the range in which the ROI23 is set, so that the correction of the worker can be confirmed efficiently.
  • the marking UI processing unit 102 may superimpose and display the marking 22 input by the operator and the correct answer marking 25. In this case, the marking UI processing unit 102 may feed back to the operator as a score whether the marking 22 input by the operator tends to be larger or smaller than the correct marking 25. .. As a result, the operator can recognize the habit of his / her marking 22 and can mark the stain 21 more accurately from the next time.
  • a plurality of face feature points P (P1, P2, P3, P4) can be specified for the face image 20A.
  • the correct answer marking 25 may be associated with the mesh region R1 composed of facial feature points P1, P2, P3, and P4, as illustrated in FIG. 11 (A).
  • the correct answer marking 25 can be transferred to another face image 20B of the same person.
  • the mesh region R1 shown in FIG. 11A and the mesh region R2 shown in FIG. 11B are composed of the same facial feature points P1, P2, P3, and P4. Therefore, when the correct marking transfer button 507 is pressed, the marking UI processing unit 102 has the mesh area R1 shown in FIG. 11 (A) with respect to the mesh area R2 of another face image 20B shown in FIG. 11 (B).
  • the correct answer marking 25 associated with is transferred (superimposed display). As a result, the correct marking 25 can be transferred to a substantially correct spot position even for another face image 20B having different facial expressions, sizes, and the like.
  • the configuration of the information generator 100 shown in FIG. 2 is an example.
  • the marking UI processing unit 102 and the marking information generation unit 103 may be configured as a device (for example, a PC) operated by an operator.
  • the correction UI processing unit 104, the correction information generation unit 105, and the correct answer information generation unit 106 may be configured as a device (for example, a PC) operated by an expert.
  • the information management unit 101 may be configured as a PC operated by an expert or a worker and a server device connected via a communication network.
  • the information generation device 100 is a server device connected to the Internet
  • the marking UI processing unit 102 provides the marking UI 500 to the browser used by the worker
  • the correction UI processing unit 104 is provided by an expert.
  • the correction UI 600 may be provided for the browser to be used.
  • the marking information generation unit 103 may correct the marking habit of each worker when integrating the markings input from a plurality of workers.
  • the habit of marking by an operator may be specified based on the difference between the marking entered by the operator and the correct marking.
  • the explanation is made to improve the efficiency of correction by an expert, but the present invention is not limited to this, and in order to meet the customer's request (for example, the goal of reducing wrinkles to this extent).
  • the customer for example, the patient
  • corrects the marking entered by the expert for example, the doctor in charge of the treatment
  • a correction can indicate a customer's desire to eliminate or reduce wrinkles in this area.
  • the information generation device 100 has an image of a person's skin, marking information indicating marking by a first user (for example, an operator) on a characteristic portion of the skin in the image, and marking information.
  • the information management unit 101 that manages the correction information indicating the correction by the second user (for example, an expert) in association with each other, and the marking that superimposes and displays the marking indicated by the marking information and the correction indicated by the correction information on the image. It includes a UI processing unit 102.
  • the characteristic part of the skin may be any of skin spots, pores and wrinkles.
  • the face image, the marking made by the first user, and the correction for the marking made by the second user are superimposed and displayed, so that the first user can perform the second for the marking entered by himself / herself.
  • the correction by the user can be easily recognized.
  • the marking UI processing unit 102 may accept input of markings on an image from a plurality of first users.
  • the information generation device 100 may further include a marking information generation unit 103 that integrates a plurality of markings input from the plurality of first users to generate marking information. With this configuration, markings input from a plurality of first users are integrated, so that the marking information indicates a characteristic part of the skin as compared with the case where one first user inputs markings. Accuracy is improved.
  • the information management unit 101 may manage the correction marking information indicating the correction of the marking by the first user based on the correction.
  • the information generation device 100 When approved by the second user, the information generation device 100 generates correct answer information indicating marking (for example, correct answer marking) on a characteristic part of the skin in the image based on the marking information and the modified marking information.
  • a portion 106 may be further provided. With this configuration, the correct answer information is generated using the marking corrected based on the correction, so that the correct answer information that accurately marks the characteristic part of the skin can be generated.
  • the marking UI processing unit 102 may display the difference between the marking indicated by the marking information and the marking indicated by the correct answer information (for example, the correct answer marking).
  • the correct answer information for example, the correct answer marking.
  • the information generation device 100 superimposes and displays the marking indicated by the marking information on the image, and generates the correction information based on the correction UI processing unit 104 that receives the correction for the marking from the second user and the input correction.
  • the correction information generation unit 105 and the correction information generation unit 105 may be further provided. With this configuration, the markings input by the first user are superimposed and displayed on the face image, so that the second user can easily correct the markings by the first user.
  • the correction information includes information indicating a correction range (for example, ROI) and a correction reason, and the marking UI processing unit 102 may display the correction range in a different manner for each correction reason. Due to this configuration, the display mode of the correction range differs depending on the reason for correction. Therefore, the first user can easily recognize the reason for correction in the correction range from the difference in the display mode of the correction range.
  • the marking UI processing unit 102 may transform and display a second face image having the same person but different from the first face image into a shape suitable for the face included in the first face image. .. With this configuration, the second face image is displayed in a manner compatible with the first face image, so that the first user can see the characteristic part of the skin in the first face image as the second face. Can be easily compared with the image.
  • the marking UI processing unit 102 superimposes and displays markings (for example, correct answer markings) indicated by correct answer information of a second face image different from the first face image, which has the same person, on the first face image. Good.
  • markings for example, correct answer markings
  • the correct answer marking is superimposed and displayed on the first face image, so that the first user can efficiently mark the first image with reference to the correct answer marking.
  • FIG. 12 is a diagram showing a hardware configuration of a computer that realizes the functions of each device by a program.
  • the computer 2100 includes an input device 2101 such as a keyboard, a mouse, a touch pen and / or a touch pad, an output device 2102 such as a display or a speaker, a CPU (Central Processing Unit) 2103, a GPU (Graphics Processing Unit) 2104, and a ROM (Read Only).
  • an input device 2101 such as a keyboard, a mouse, a touch pen and / or a touch pad
  • an output device 2102 such as a display or a speaker
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • ROM Read Only
  • RAM RandomAccessMemory
  • hard disk device or storage device 2107 such as SSD (SolidStateDrive)
  • recording medium such as DVD-ROM (DigitalVersatileDiskReadOnlyMemory) or USB (UniversalSerialBus) memory
  • a reading device 2108 for reading information from the computer and a transmitting / receiving device 2109 for communicating via a network are provided, and each unit is connected by a bus 2110.
  • the reading device 2108 reads the program from the recording medium on which the program for realizing the function of each of the above devices is recorded, and stores the program in the storage device 2107.
  • the transmission / reception device 2109 communicates with the server device connected to the network, and stores the program downloaded from the server device for realizing the function of each device in the storage device 2107.
  • the CPU 2103 copies the program stored in the storage device 2107 to the RAM 2106, and sequentially reads and executes the instructions included in the program from the RAM 2106, thereby realizing the functions of the above devices.
  • LSI is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them. Although it is referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
  • One aspect of the present disclosure is useful for generating information for verifying a detection algorithm.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

正解情報の生成過程におけるユーザの作業負荷を軽減する。情報生成装置（１００）は、人物の肌を撮影した画像と、画像における肌の特徴的な部分に対する作業者によるマーキングを示すマーキング情報と、マーキング情報に対する専門家による添削を示す添削情報と、を関連付けて管理する情報管理部（１０１）と、画像に対して、マーキング情報が示すマーキングと添削情報が示す添削とを重畳表示するマーキングＵＩ処理部（１０２）と、を備える。

Description

情報生成装置、情報生成方法、及び、コンピュータプログラム
　本開示は、情報生成装置、情報生成方法、及び、コンピュータプログラムに関する。
　人物の肌を撮影した画像から、当該肌におけるシミ及び毛穴等を自動的に検出する様々なアルゴリズムが検討されている。例えば、特許文献１には、画像に含まれる人物の顔領域を分割し、各分割領域にて測定された輝度値の当該分割領域内における分布状況に基づき、顔領域内のシミ及び毛穴の状態を判定する技術が開示されている。
特開２０１８－０９２３５１号公報
　人物の肌を撮影した画像からシミ及び毛穴といった特徴的な部分を検出するアルゴリズムの精度を測定するためには、画像におけるその特徴的な部分を正確に特定した正解情報が求められる。このような正解情報を完全に自動で生成することは難しく、正解情報の生成過程の少なくとも一部には、ユーザによる作業が含まれる。
　本開示の非限定的な実施は、正解情報の生成過程におけるユーザの作業負荷を軽減する技術の提供に資する。
　本開示の一態様に係る情報生成装置は、人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理する情報管理部と、前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示するマーキングＵＩ処理部と、を備える。
　なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の非限定的な実施例によれば、正解情報の生成過程におけるユーザの作業負荷を軽減できる。
　本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本実施の形態に係る情報生成装置の利用例を説明するための図 本実施の形態に係るアルゴリズム検証システムの構成例を示す図 本実施の形態に係る情報管理部における情報の管理例を示す図 本実施の形態に係る顔画像の例を示す図 本実施の形態に係るマーキングの例を示す図 本実施の形態に係るＲＯＩ（Region Of Interest）の例を示す図 本実施の形態に係る修正マーキングの例を示す図 本実施の形態に係る正解マーキングの例を示す図 本実施の形態に係るマーキングの統合の例を示す図 本実施の形態に係るマーキングＵＩを用いたマーキングの入力を説明するための図 本実施の形態に係る添削ＵＩを用いたマーキングの添削を説明するための図 本実施の形態に係るマーキングＵＩを用いたマーキングの修正を説明するための図 本実施の形態に係る添削ＵＩを用いたマーキングの承認を説明するための図 本実施の形態に係る作業者のマーキングと正解マーキングとの重畳表示の例を示す図 本実施の形態に係る別の顔画像に対する正解マーキングの転写の例を説明するための図 本開示の実施の形態に係るハードウェア構成の一例を示す図
　以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　＜情報生成装置の利用例＞
　情報生成装置１００は、人物の顔を撮影した画像（以下「顔画像」という）におけるシミの領域を正確に示す正解情報を生成するための装置である。なお、以下では、顔画像を例に説明するが、本実施の形態は、顔画像に限られず、人物の肌を撮影した様々な画像（例えば、腕の画像及び脚の画像）に適用可能である。また、以下では、シミを例に説明するが、本実施の形態は、シミに限られず、肌の様々な特徴的な部分（例えば毛穴、皺、痣、及びそばかす等）に適用可能である。情報生成装置１００によって生成された正解情報は、人物の肌を撮影した画像における特徴的な部分を自動的に検出するアルゴリズムの精度の検証に有用である。
　図１を参照して、情報生成装置１００の利用例を説明する。
　情報生成装置１００は、第１のユーザの一例である作業者に対して、マーキングＵＩ５００（図６参照）を提供し、顔画像のシミに対するマーキングの入力を受け付ける（Ｓ１１）。作業者は、肌の専門家である必要はなく、例えば、報酬目的又はボランティア等で参加する一般人であってよい。
　複数の作業者は、それぞれ、マーキングＵＩ５００を操作し、同一人物の顔画像に対してマーキングを入力する（Ｓ１２）。
　情報生成装置１００は、各作業者によるマーキングを統合する（Ｓ１３）。例えば、複数の作業者のうち、所定の割合以上の作業者が行ったマーキングを残し、所定の割合未満の作業者が行ったマーキングを削除する。なお、マーキングの統合の詳細については後述する（図５参照）。
　情報生成装置１００は、第２のユーザの一例である専門家に対して添削ＵＩ６００（図７参照）を提供し、作業者が行ったマーキングに対する添削を受け付ける（Ｓ１４）。専門家は、顔画像におけるシミを正確に見極めることができる肌の専門家であり、例えば、医者及び医療従事者等であってよい。専門家は、添削者、管理者又は監督者等と呼ばれてもよい。
　専門家は、添削ＵＩ６００に表示されたマーキングが、顔画像のシミを正確に示していると判断した場合、マーキングを承認する（Ｓ１５：ＹＥＳ）。この場合、情報生成装置１００は、承認されたマーキングに基づき、正解情報を生成する（Ｓ１６）。
　一方、専門家は、添削ＵＩ６００に表示されたマーキングが、顔画像のシミを正確に示しているわけではないと判断した場合、添削ＵＩ６００を操作し、マーキングを添削する（Ｓ１７）。この場合、情報生成装置１００は、Ｓ１７による添削を含むマーキングＵＩ５００を作業者に提供し、作業者によるマーキングの修正を受け付ける（Ｓ１８）。
　各作業者は、マーキングＵＩ５００を操作し、添削に基づいてマーキングを修正する（Ｓ１９）。各作業者によって修正されたマーキングは、再度統合され（Ｓ１３）、添削ＵＩ６００を通じて、専門家に提供される（Ｓ１４）。なお、当該統合の対象は、修正されたマーキングのみであってよい。
　上述したＳ１３からＳ１９の処理を、専門家が承認（Ｓ１５：ＹＥＳ）するまで繰り返すことにより、顔画像のシミを正確に示す正解情報を生成できる。また、上述の処理によれば、シミを正確にマーキングするという負荷の大きい作業を専門家に担わせることなく、シミを正確に示す正解情報を生成できる。以下、詳細に説明する。
　＜アルゴリズム検証システムの構成＞
　図２は、アルゴリズム検証システム１０の構成例を示す。アルゴリズム検証システム１０は、撮影装置２００、情報生成装置１００、及びアルゴリズム検証装置３００を備える。
　＜撮影装置＞
　撮影装置２００は、例えばカメラであり、撮影部２０１を備える。撮影部２０１は、人物の顔を撮影して顔画像を生成し、当該顔画像を、情報生成装置１００が備える情報管理部１０１に格納する。
　＜情報生成装置＞
　情報生成装置１００は、情報管理部１０１、マーキングＵＩ処理部１０２、マーキング情報生成部１０３、添削ＵＩ処理部１０４、添削情報生成部１０５、及び、正解情報生成部１０６を備える。
　情報管理部１０１は、図３に示すように、人物ＩＤ、顔画像、撮影日時、マーキング情報、添削情報、修正情報、及び正解情報を関連付けて管理する。
　人物ＩＤは、人物を識別するための情報である。顔画像は、図４Ａに示すように、人物ＩＤが示す人物の顔画像２０である。顔画像２０にはシミ２１が含まれ得る。撮影日時は、顔画像２０を撮影した日時である。
　マーキング情報は、図４Ｂに示すように、顔画像２０のシミ２１に対して作業者が入力したマーキング２２を示す情報である。マーキング情報は、マーキング２２を入力した作業者の識別情報、及び／又は、マーキング２２が入力された日時を含んでよい。
　添削情報は、図４Ｃに示すように、マーキング２２に対して専門家が添削した範囲を示すＲＯＩ（Region Of Interest）２３を示す情報である。添削情報は、添削を行った専門家の識別情報、及び／又は、添削が行われた日時を含んでよい。
　修正情報は、図４Ｄに示すように、ＲＯＩ２３に基づいて作業者が入力した修正マーキング２４を示す情報である。修正情報は、修正マーキング２４を入力した作業者の識別情報、及び／又は、修正が行われた日時を含んでよい。
　正解情報は、図４Ｅに示すように、顔画像２０のシミ２１に対する正確なマーキングである正解マーキング２５を示す情報である。正解情報は、専門家が承認したマーキング情報及び／又は修正情報に基づいて生成される。正解情報は、承認を行った専門家の識別情報、及び／又は、承認が行われた日時を含んでよい。
　マーキングＵＩ処理部１０２は、作業者が、顔画像のシミに対してマーキング２２を入力したり、専門家によるＲＯＩ２３に基づいて修正マーキング２４を入力したりするためのマーキングＵＩ５００を提供する。例えば、マーキングＵＩ処理部１０２は、情報管理部１０１から、顔画像２０を取得してマーキングＵＩ５００に表示する。そして、マーキングＵＩ処理部１０２は、作業者から、顔画像２０のシミ２１に対するマーキング２２の入力を受け付ける。
　例えば、マーキングＵＩ処理部１０２は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報と添削情報とを取得し、顔画像２０に対して、マーキング情報が示すマーキング２２と、添削情報が示すＲＯＩ２３とを重畳表示する。そして、マーキングＵＩ処理部１０２は、作業者から、ＲＯＩ２３における修正マーキング２４の入力を受け付ける。なお、マーキングＵＩ５００の詳細については後述する（図６、図８参照）。
　マーキング情報生成部１０３は、マーキングＵＩ５００を通じて入力されたマーキング２２に基づき、マーキング情報を生成する。このとき、マーキング情報生成部１０３は、各作業者が入力したマーキング２２を統合してマーキング情報を生成してよい。なお、マーキングの統合の詳細については後述する。マーキング情報生成部１０３は、その生成したマーキング情報を、顔画像２０と関連付けて情報管理部１０１に格納する。また、マーキング情報生成部１０３は、マーキングＵＩ５００を通じて入力された修正マーキング２４に基づき、修正情報を生成する。マーキング情報生成部１０３は、その生成した修正情報を、情報管理部１０１に格納する。
　添削ＵＩ処理部１０４は、専門家が、顔画像のマーキング２２を添削及び承認するための添削ＵＩ６００を提供する。例えば、添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報とを取得し、顔画像２０に対して、マーキング情報が示すマーキング２２を重畳表示する。そして、添削ＵＩ処理部１０４は、専門家から、マーキング２２に対する添削又は承認を受け付ける。
　例えば、添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報と添削情報と修正情報とを取得し、顔画像２０に対して、マーキング情報が示すマーキング２２と、添削情報が示すＲＯＩ２３と、修正情報が示す修正マーキング２４とを重畳表示する。そして、添削ＵＩ処理部１０４は、専門家から、修正マーキング２４に対する、更なる添削又は承認を受け付ける。なお、添削ＵＩ６００の詳細については後述する（図７、図９参照）。
　添削情報生成部１０５は、添削ＵＩ６００を通じて入力されたＲＯＩ２３に基づき、添削情報を生成する。添削情報生成部１０５は、その生成した添削情報を、顔画像２０と関連付けて情報管理部１０１に格納する。
　正解情報生成部１０６は、添削ＵＩ６００にて承認されたマーキング２２及び／又は修正マーキング２４に基づき、正解マーキング２５を生成する。そして、正解情報生成部１０６は、その正解マーキング２５に基づいて正解情報を生成し、その正解情報を、顔画像２０と関連付けて情報管理部１０１に格納する。
　＜アルゴリズム検証装置＞
　アルゴリズム検証装置３００は、アルゴリズム実行部３０１、及び、検出精度算出部３０２を備える。
　アルゴリズム実行部３０１は、顔画像２０からシミ２１を自動的に検出するアルゴリズムを実行し、その検出結果を示す情報（以下「検出結果情報」という）を出力する。
　検出精度算出部３０２は、情報管理部１０１から、アルゴリズム実行部３０１が用いた顔画像２０に関連付けられている正解情報を取得する。そして、検出精度算出部３０２は、その正解情報を用いて、アルゴリズム実行部３０１から出力された検出結果情報に対する検出精度を算出する。検出精度は、顔画像２０を構成する画素単位での、正解率（accuracy）、適合率（precision）、再現率（recall）、及び／又は、Ｆ値（F-measure）等によって表現されてよい。これにより、検出漏れ及び過剰な検出の両方の精度を算出できる。なお、検出精度は、顔画像２０の全体に対して算出されてもよいし、顔画像２０に設定した所定の範囲内に対して算出されてもよい。
　シミのような小さな肌疾患の部位に対する施術又はスキンケアの効果を立証するためには、画素レベルで正確な正解情報が求められる。正解情報は、顔画像２０におけるシミ２１を正確に見極めることができる専門家の添削を経て生成されているので、画素レベルで正確である。よって、アルゴリズム検証装置３００は、情報生成装置１００によって生成された正解情報を用いて、シミのような小さな肌疾患の部位を検出するアルゴリズムの検出精度を、正確に算出できる。
　＜マーキングの統合＞
　図５を参照して、マーキングの統合の例を説明する。
　図５に示すように、マーキング情報生成部１０３は、複数の作業者の各々が入力したマーキング２２Ａ、２２Ｂ、２２Ｃ、２２Ｄを統合し、所定の割合以上の数の作業者がマーキングした領域４０１を、マーキング情報として生成してよい。所定の割合は、例えば、２０％、５０％、８０％等、任意に設定できてよい。
　＜マーキングの入力＞
　図６は、マーキングＵＩ５００の一例を示す。図６を参照して、マーキングの入力例を説明する。
　マーキングＵＩ５００は、作業領域５０１、輪郭モードボタン５０２、マーキングモードボタン５０３、色変更ボタン５０４、マスクボタン５０５、参考画像表示ボタン５０６、正解マーキング転写ボタン５０７、登録ボタン５０８、添削結果表示ボタン５０９、及び、修正ボタン５１０を有する。
　マーキングＵＩ処理部１０２は、作業領域５０１に顔画像２０を表示し、作業者から、マーキング２２の入力を受け付ける。作業者は、例えばタッチペン又はマウスで、顔画像２０におけるシミ２１と思われる部分にマーキング２２を入力する。
　輪郭モードボタン５０２が押下（タッチ）されると、マーキングＵＩ処理部１０２は、作業領域５０１を、マーキング２２の輪郭を入力するための輪郭モードに切り替える。輪郭モードでは、入力された輪郭５２１の内部が自動的にマーキングされる（塗りつぶされる）。輪郭モードは、広範囲のシミをマーキングする場合に有用である。
　マーキングモードボタン５０３が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１を、マーキング２２を直接入力するためのマーキングモードに切り替える。マーキングモードでは、タッチされた部分がマーキングされる（塗りつぶされる）。マーキングモードは、小さなシミをマーキングする場合に有用である。なお、マーキングモードでは、マーキング２２のサイズ（例えば塗りぶつされる円の直径）を、マウスのホイールによって拡大及び縮小できてよい。
　色変更ボタン５０４が押下されると、マーキングＵＩ処理部１０２は、顔画像２０の色を変更する。色変更の例は、特定の色の強調、色の標準偏差による正規化、アンシャープマスク、及び、ガンマ補正等である。例えば、作業者は、表示中の顔画像２０からはシミと影の判別が難しい場合に、色を変更することにより、これらを判別し得る。
　マスクボタン５０５が押下されると、マーキングＵＩ処理部１０２は、顔画像２０におけるマーキングの禁止領域（例えば目の領域）に、マスク５２２を設定する。マーキングＵＩ処理部１０２は、顔画像２０に対する顔パーツの認識結果に基づいて自動的にマスク５２２を設定してもよい。マーキングＵＩ処理部１０２は、専門家による設定に基づいてマスク５２２を設定してもよい。マーキングＵＩ処理部１０２は、作業者から、マスク５２２の入力を受け付けてもよい。
　参考画像表示ボタン５０６が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１に表示中の顔画像２０と同一人物の別の顔画像を、別ウィンドウに表示する。別の顔画像は、表示中の顔画像２０と、明度及び／又は角度等が異なってよい。また、別の顔画像は、作業領域５０１に表示中の顔画像２０に対して位置合わせされて、別ウィンドウに表示されてよい。例えば、作業領域５０１に顔画像２０の一部範囲が拡大表示されている場合、別ウィンドウには、別の顔画像の同じ範囲が拡大表示されてよい。作業者は、作業領域５０１に表示中の顔画像２０ではシミと影の判別が難しい場合に、別ウィンドウの別の顔画像を参照することにより、これらを判別し得る。
　正解マーキング転写ボタン５０７が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１に表示中の顔画像２０に対して、同一人物の別の顔画像から生成済みの正解マーキング２５を転写する。この場合、マーキングＵＩ処理部１０２は、撮影日時が作業領域５０１に表示中の顔画像２０と最も近い別の顔画像の正解マーキング２５を転写してもよい。これにより、マーキングの作業効率が向上し得る。なお、正解マーキング２５の転写の詳細については後述する（図１１参照）。
　登録ボタン５０８が押下されると、マーキングＵＩ処理部１０２は、作業領域５０１に入力されたマーキング２２を、マーキング情報生成部１０３に出力する。マーキング情報生成部１０３は、出力されたマーキング２２に基づいてマーキング情報を生成し、顔画像２０と関連付けて情報管理部１０１に格納する。
　添削結果表示ボタン５０９及び修正ボタン５１０については後述する（図８参照）。
　このように、マーキングＵＩ５００は、顔画像におけるシミを効率的にマーキングするための様々な機能を提供する。作業者は、マーキングＵＩ５００を通じて、効率的にシミをマーキングできる。
　なお、マーキングＵＩ５００は、作業者がシミのマーキングを練習するための練習用画像を作業領域５０１に表示してもよい。この場合、マーキングＵＩ５００は、練習用画像に対して、専門家が予め行ったマーキングを重畳表示してもよい。
　＜マーキングの添削＞
　図７は、添削ＵＩ６００の一例を示す。図７を参照して、マーキングの添削例を説明する。
　添削ＵＩ６００は、添削領域６０１、添削理由ボタン６０２（６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ）、差し戻しボタン６０３、差分表示ボタン６０４、及び、承認ボタン６０５を有する。
　添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報のマーキング２２とを取得し、顔画像２０に対してマーキング２２を重畳表示する。そして、添削ＵＩ処理部１０４は、専門家から、ＲＯＩ２３の設定を受け付ける。専門家は、例えばタッチペン又はマウスで、マーキング２２の修正を指摘する範囲にＲＯＩ２３を設定する。
　添削理由ボタン６０２は、ＲＯＩ２３に対して、添削理由を対応付けるためのボタンである。
　例えば、専門家が、シミでないにも関わらず全てマーキングされている範囲にＲＯＩ２３Ａを設定し、「完全に過剰」の添削理由ボタン６０２Ａを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３Ａに対して、添削理由「完全に過剰」を対応付ける。
　例えば、専門家が、一部シミでない部分にマーキングされている範囲にＲＯＩ２３（図７に図示しない）を設定し、「部分的に過剰」の添削理由ボタン６０２Ｂを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３に対して、添削理由「部分的に過剰」を対応付ける。
　例えば、専門家が、一部のシミがマーキングされてない範囲にＲＯＩ２３Ｃを設定し、「部分的に欠落」の添削理由ボタン６０２Ｃを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３Ｃに対して、添削理由「部分的に欠落」を対応付ける。
　例えば、専門家が、シミであるにも関わらず全くマーキングされていない範囲にＲＯＩ２３Ｄを設定し、「完全に欠落」の添削理由ボタン６０２Ｄを押下すると、添削ＵＩ処理部１０４は、そのＲＯＩ２３Ｄに対して、添削理由「完全に欠落」を対応付ける。
　ＲＯＩ２３の表示態様は、当該ＲＯＩ２３に対応付けられた添削理由を一目で区別できるように、添削理由毎に、線の形状、線の太さ、及び／又は線の色などが異なってよい。例えば、図７に示すように、マーキングの欠落に関する添削理由が対応付けられたＲＯＩ２３Ｃ、２３Ｄは実線で表示され、マーキングの過剰に関する添削理由が対応付けられたＲＯＩ２３Ａは破線で表示されてよい。この場合、添削ＵＩ６００には、ＲＯＩ２３の表示態様の凡例が表示されてよい。
　差し戻しボタン６０３が押下されると、添削ＵＩ処理部１０４は、設定されたＲＯＩ２３及び添削理由を、添削情報生成部１０５に出力する。添削情報生成部１０５は、その出力されたＲＯＩ２３及び添削理由を含む添削情報を生成し、顔画像２０と関連付けて情報管理部１０１に格納する。
　差分表示ボタン６０４及び承認ボタン６０５については後述する（図９参照）。
　このように、添削ＵＩ６００は、作業者が行ったマーキング２２を効率的に添削するための様々な機能を提供する。よって、専門家は、添削ＵＩ６００を操作して、作業者が行ったマーキング２２を効率的に添削できる。
　なお、添削理由の入力は、上述した添削理由ボタン６０２による選択的な入力に限られない。例えば、添削ＵＩ６００は、ＲＯＩ６２０に対して任意の添削理由を入力するための機能を提供してよい。
　＜マーキングの修正＞
　図８を参照して、マーキングの修正例を説明する。なお、図８に示すマーキングＵＩ５００は、図６に示したものと同様である。
　添削結果表示ボタン５０９が押下されると、マーキングＵＩ処理部１０２は、情報管理部１０１から、互いに関連付けられている、顔画像２０と、マーキング情報のマーキング２２と、添削情報のＲＯＩ２３及び添削理由とを取得し、顔画像２０に対して、マーキング２２とＲＯＩ２３と添削理由とを重畳表示する。作業者は、ＲＯＩ２３において、修正マーキング２４を入力する。
　例えば、作業者は、添削理由「完全に欠落」又は「部分的に欠落」と指摘されたＲＯＩ２３Ｃ、２３Ｄ内に、修正マーキング２４Ａを追加する。この場合、追加された修正マーキング２４Ａが、作業領域４０１に表示される。追加された修正マーキング２４Ａは、元のマーキング２２とは異なる態様で表示される。
　例えば、作業者は、添削理由「完全に過剰」又は「部分的に過剰」と指摘されたＲＯＩ６２０Ａ内の少なくとも一部のマーキングを削除する。この場合、削除されたことを示す修正マーキング２４Ｂが、作業領域４０１に表示される。削除されたことを示す修正マーキング２４Ｂは、元のマーキング２２とは異なる態様で表示される。
　修正ボタン５１０が押下されると、マーキングＵＩ処理部１０２は、修正マーキング２４を、マーキング情報生成部１０３に出力する。マーキング情報生成部１０３は、その出力された修正マーキング２４に基づいて修正情報を生成し、当該修正情報を、顔画像２０と関連付けて情報管理部１０１に格納する。
　これにより、作業者は、専門家から指摘されたＲＯＩ２３内を修正すればよいので、効率的にマーキングを修正できる。
　＜マーキングの承認＞
　図９を参照して、マーキングの承認例を説明する。なお、図９に示す添削ＵＩ６００は、図７に示したものと同様である。
　差分表示ボタン６０４が押下されると、添削ＵＩ処理部１０４は、情報管理部１０１から、互いに関連付けられている、顔画像２０とマーキング情報と添削情報と修正情報とを取得する。そして、添削ＵＩ処理部１０４は、顔画像２０に対して、マーキング情報が示すマーキング２２と、添削情報が示すＲＯＩ２３及び添削理由と、修正情報が示す修正マーキング２４とを重畳表示する。
　承認ボタン６０５が押下されると、添削ＵＩ処理部１０４は、添削領域６０１に表示されている、マーキング２２、ＲＯＩ２３、及び修正マーキング２４を、正解情報生成部１０６に出力する。正解情報生成部１０６は、その出力されたマーキング２２及び修正マーキング２４に基づいて、正解マーキング２５（つまり正解情報）を生成し、情報管理部１０１に格納する。
　これにより、専門家は、ＲＯＩ２３を設定した範囲に対して作業者が行った修正を確認すればよいので、作業者の修正を効率的に確認できる。
　＜作業者のマーキングに対するフィードバック＞
　図１０を参照して、作業者が入力したマーキング２２と正解マーキング２５との差分を、作業者にフィードバックする例を説明する。
　図１０に示すように、正解マーキング２５の生成完了後、マーキングＵＩ処理部１０２は、作業者が入力したマーキング２２と正解マーキング２５とを重畳表示してよい。この場合、マーキングＵＩ処理部１０２は、作業者が入力するマーキング２２が、正解マーキング２５に対して大きい傾向にあるのか、それとも、小さい傾向にあるのかを、スコアとして作業者にフィードバックしてもよい。これにより、作業者は、自分のマーキング２２のクセを認識でき、次回からより正確にシミ２１をマーキングできる。
　＜別の顔画像に対する正解マーキングの転写＞
　図１１を参照して、上述した、別の顔画像に対する正解マーキング２５の転写について詳細に説明する。
　顔画像２０Ａに対して所定の顔認識処理を行うことにより、図１１に示すように、顔画像２０Ａに対して複数の顔特徴点Ｐ（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を特定できる。
　正解マーキング２５は、図１１（Ａ）に例示するように、顔特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４によって構成されるメッシュ領域Ｒ１に関連付けられてよい。
　このように、正解マーキング２５をメッシュ領域Ｒ１と関連付けることにより、同一人物の別の顔画像２０Ｂにも、正解マーキング２５を転写できる。例えば、図１１（Ａ）に示すメッシュ領域Ｒ１と、図１１（Ｂ）に示すメッシュ領域Ｒ２とは、同じ顔特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４によって構成される。よって、マーキングＵＩ処理部１０２は、正解マーキング転写ボタン５０７が押下された場合、図１１（Ｂ）に示す別の顔画像２０Ｂのメッシュ領域Ｒ２に対して、図１１（Ａ）に示すメッシュ領域Ｒ１に関連付けられている正解マーキング２５を転写（重畳表示）する。これにより、例えば表情及びサイズ等が異なる別の顔画像２０Ｂに対しても、概ね正しいシミの位置に正解マーキング２５を転写できる。
　＜変形例＞
　図２に示した情報生成装置１００の構成は一例である。例えば、マーキングＵＩ処理部１０２及びマーキング情報生成部１０３は、作業者が操作する装置（例えばＰＣ）に構成されてよい。添削ＵＩ処理部１０４、添削情報生成部１０５及び正解情報生成部１０６は、専門家が操作する装置（例えばＰＣ）に構成されてよい。情報管理部１０１は、専門家及び作業者が操作するＰＣと、通信ネットワークを介して接続されたサーバ装置に構成されてよい。或いは、情報生成装置１００は、インターネットに接続されたサーバ装置であり、マーキングＵＩ処理部１０２は、作業者が利用するブラウザに対してマーキングＵＩ５００を提供し、添削ＵＩ処理部１０４は、専門家が利用するブラウザに対して添削ＵＩ６００を提供してよい。
　マーキング情報生成部１０３は、複数の作業者から入力されたマーキングを統合する場合に、各作業者のマーキングのクセを補正してもよい。作業者のマーキングのクセは、当該作業者が入力したマーキングと正解マーキングとの差分に基づいて特定されてよい。なお、各実施形態において、専門家による添削の効率化を図るものとして説明したが、これに限定されるものではなく、顧客の要望（例えば、皺をここまで減らしたいという目標）に応えるために、専門家の目標に対するイメージと、顧客の目標に対するイメージを合わせるために用いても良い。ここでイメージを合わせるとは、具体的には、専門家（例えば、施術を担当する医師）が入力したマーキングに対し、顧客（例えば、患者）が添削することで、目標とするイメージを一致させることをいう。例えば、顧客がこの部分の皺をなくしたい、あるいは皺をこの程度減らしたいという希望を添削によって示すことができる。
　＜本実施の形態のまとめ＞
　本実施の形態に係る情報生成装置１００は、人物の肌を撮影した画像と、画像における肌の特徴的な部分に対する第１のユーザ（例えば作業者）によるマーキングを示すマーキング情報と、マーキング情報に対する第２のユーザ（例えば専門家）による添削を示す添削情報と、を関連付けて管理する情報管理部１０１と、画像に対して、マーキング情報が示すマーキングと添削情報が示す添削とを重畳表示するマーキングＵＩ処理部１０２と、を備える。肌の特徴的な部分は、肌のシミ、毛穴及び皺のうちの何れかであってよい。また、肌の特徴的な部分ではなく、過去と現在の２枚の顔写真の差分の検出であってもよい（例えば、頬のたるみの変化、等）。また、物体の認識であってもよい（例えば、物体の腐食部分の検出、等）。
　この構成により、顔画像と、第１のユーザが行ったマーキングと、第２のユーザが行ったマーキングに対する添削とが重畳表示されるので、第１のユーザは、自分が入力したマーキングに対する第２のユーザによる添削を容易に認識できる。
　マーキングＵＩ処理部１０２は、複数の第１のユーザから、画像に対するマーキングの入力を受け付けてよい。情報生成装置１００は、複数の第１のユーザから入力された複数のマーキングを統合して、マーキング情報を生成するマーキング情報生成部１０３を更に備えてよい。この構成により、複数の第１のユーザから入力されたマーキングが統合されるので、１人の第１のユーザがマーキングを入力する場合と比較して、マーキング情報が肌の特徴的な部分を示す精度が向上する。
　情報管理部１０１は、添削に基づく第１のユーザによるマーキングの修正を示す修正マーキング情報を管理してよい。情報生成装置１００は、第２のユーザが承認した場合、マーキング情報及び修正マーキング情報に基づいて、画像における肌の特徴的な部分に対するマーキング（例えば正解マーキング）を示す正解情報を生成する正解情報生成部１０６を更に備えてよい。この構成により、添削に基づいて修正されたマーキングを用いて正解情報が生成されるので、肌の特徴的な部分を正確にマーキングした正解情報を生成できる。
　マーキングＵＩ処理部１０２は、マーキング情報が示すマーキングと正解情報が示すマーキング（例えば正解マーキング）との差異を表示してよい。この構成により、第１のユーザが入力したマーキングと、正解情報が示すマーキングとの一致点及び相違点が明らかになるので、第１のユーザは、自分がマーキングするときのクセを認識でき、次回からより正確に肌の特徴的な部分をマーキングできる。
　情報生成装置１００は、画像に対して、マーキング情報が示すマーキングを重畳表示し、第２のユーザから、マーキングに対する添削を受け付ける添削ＵＩ処理部１０４と、入力された添削に基づいて添削情報を生成する添削情報生成部１０５と、を更に備えてよい。この構成により、第１のユーザが入力したマーキングが顔画像に重畳表示されるので、第２のユーザは、第１のユーザによるマーキングを容易に添削できる。
　添削情報は、添削範囲（例えばＲＯＩ）及び添削理由を示す情報を含み、マーキングＵＩ処理部１０２は、添削理由毎に異なる態様にて添削範囲を表示してよい。この構成により、添削理由が異なると添削範囲の表示態様が異なるので、第１のユーザは、添削範囲の表示態様の違いから、当該添削範囲における添削理由を容易に認識できる。
　マーキングＵＩ処理部１０２は、人物が同じであって第１の顔画像とは別の第２の顔画像を、第１の顔画像に含まれる顔に適合する形状に変形して表示してよい。この構成により、第２の顔画像が、第１の顔画像と適合する態様で表示されるので、第１のユーザは、第１の顔画像における肌の特徴的な部分を、第２の顔画像と容易に比較できる。
　マーキングＵＩ処理部１０２は、人物が同じであって第１の顔画像とは別の第２の顔画像の正解情報が示すマーキング（例えば正解マーキング）を、第１の顔画像に重畳表示してよい。この構成により、第１の顔画像に、正解マーキングが重畳表示されるので、第１のユーザは、第１の画像に対するマーキングを、正解マーキングを参考にして効率的に行える。
　以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した撮影装置２００、情報生成装置１００、アルゴリズム検証装置３００の機能は、コンピュータプログラムにより実現され得る。
　図１２は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ２１００は、キーボード、マウス、タッチペン及び／又はタッチパッドなどの入力装置２１０１、ディスプレイ又はスピーカーなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＧＰＵ（Graphics Processing Unit）２１０４、ＲＯＭ（Read Only Memory）２１０５、ＲＡＭ（Random Access Memory）２１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置２１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０８、ネットワークを介して通信を行う送受信装置２１０９を備え、各部はバス２１１０により接続される。
　そして、読取装置２１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０７に記憶させる。あるいは、送受信装置２１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置２１０７に記憶させる。
　そして、ＣＰＵ２１０３が、記憶装置２１０７に記憶されたプログラムをＲＡＭ２１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０６から順次読み出して実行することにより、上記各装置の機能が実現される。
　上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　本開示の一態様は、検出アルゴリズムを検証するための情報の生成に有用である。
　１０　アルゴリズム検証システム
　１００　情報生成装置
　１０１　情報管理部
　１０２　マーキングＵＩ処理部
　１０３　マーキング情報生成部
　１０４　添削ＵＩ処理部
　１０５　添削情報生成部
　１０６　正解情報生成部
　２００　撮影装置
　２０１　撮影部
　３００　アルゴリズム検証装置
　３０１　アルゴリズム実行部
　３０２　検出精度算出部
　５００　マーキングＵＩ
　５０１　作業領域
　５０２　輪郭モードボタン
　５０３　マーキングモードボタン
　５０４　色変更ボタン
　５０５　マスクボタン
　５０６　参考画像表示ボタン
　５０７　正解マーキング転写ボタン
　５０８　登録ボタン
　５０９　添削結果表示ボタン
　５１０　修正ボタン
　６００　添削ＵＩ
　６０１　添削領域
　６０２、６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ　添削理由ボタン
　６０３　差し戻しボタン
　６０４　差分表示ボタン
　６０５　承認ボタン

Claims (11)

  1. 　人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理する情報管理部と、
    　前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示するマーキングＵＩ処理部と、
    　を備える情報生成装置。
  2. 　前記マーキングＵＩ処理部は、複数の前記第１のユーザから、前記画像に対する前記マーキングの入力を受け付け、
    　前記複数の第１のユーザから入力された複数のマーキングを統合して１つのマーキング情報を生成するマーキング情報生成部、を更に備える、
    　請求項１に記載の情報生成装置。
  3. 　前記情報管理部は、前記添削に基づく前記第１のユーザによるマーキングの修正を示す修正マーキング情報を管理し、
    　前記第２のユーザが承認した場合、前記マーキング情報及び前記修正マーキング情報に基づいて、前記画像における肌の特徴的な部分に対するマーキングを示す正解情報を生成する正解情報生成部、を更に備える、
    　請求項１に記載の情報生成装置。
  4. 　前記マーキングＵＩ処理部は、前記マーキング情報が示すマーキングと前記正解情報が示すマーキングとの差異を表示する、
    　請求項３に記載の情報生成装置。
  5. 　前記画像に対して前記マーキング情報が示すマーキングを重畳表示し、前記第２のユーザから、前記マーキングに対する添削を受け付ける添削ＵＩ処理部と、
    　入力された添削に基づいて前記添削情報を生成する添削情報生成部と、を更に備える、
    　請求項１に記載の情報生成装置。
  6. 　前記添削情報は、添削範囲及び添削理由を示す情報を含み、
    　前記マーキングＵＩ処理部は、前記添削理由毎に異なる態様にて前記添削範囲を表示する、
    　請求項１に記載の情報生成装置。
  7. 　前記画像は、前記人物の第１の顔画像であり、
    　前記マーキングＵＩ処理部は、前記人物が同じであって前記第１の顔画像とは別の第２の顔画像を、前記第１の顔画像に含まれる顔に適合する形状に変形して表示する、
    　請求項１に記載の情報生成装置。
  8. 　前記画像は、前記人物の第１の顔画像であり、
    　前記マーキングＵＩ処理部は、前記人物が同じであって前記第１の顔画像とは別の第２の顔画像の正解情報が示すマーキングを、前記第１の顔画像に重畳表示する、
    　請求項３に記載の情報生成装置。
  9. 　前記肌の特徴的な部分は、前記肌のシミ、毛穴及び皺のうちの何れかである、
    　請求項１に記載の情報生成装置。
  10. 　装置が、人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理し、
    　装置が、前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示する、
    　情報生成方法。
  11. 　人物の肌を撮影した画像と、前記画像における肌の特徴的な部分に対する第１のユーザによるマーキングを示すマーキング情報と、前記マーキング情報に対する第２のユーザによる添削を示す添削情報と、を関連付けて管理し、
    　前記画像に対して、前記マーキング情報が示すマーキングと前記添削情報が示す添削とを重畳表示する、
    　ことをコンピュータに実行させる、
    　コンピュータプログラム。
PCT/JP2020/011714 2019-05-13 2020-03-17 情報生成装置、情報生成方法、及び、コンピュータプログラム WO2020230444A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080032053.5A CN113767410A (zh) 2019-05-13 2020-03-17 信息生成装置、信息生成方法以及计算机程序
JP2021519284A JP7503757B2 (ja) 2019-05-13 2020-03-17 情報生成装置、情報生成方法、及び、コンピュータプログラム
US17/511,609 US20220051001A1 (en) 2019-05-13 2021-10-27 Information generating apparatus, information generation method, and non-transitory computer-readable recording medium storing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019090605 2019-05-13
JP2019-090605 2019-05-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/511,609 Continuation US20220051001A1 (en) 2019-05-13 2021-10-27 Information generating apparatus, information generation method, and non-transitory computer-readable recording medium storing program

Publications (1)

Publication Number Publication Date
WO2020230444A1 true WO2020230444A1 (ja) 2020-11-19

Family

ID=73289176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011714 WO2020230444A1 (ja) 2019-05-13 2020-03-17 情報生成装置、情報生成方法、及び、コンピュータプログラム

Country Status (4)

Country Link
US (1) US20220051001A1 (ja)
JP (1) JP7503757B2 (ja)
CN (1) CN113767410A (ja)
WO (1) WO2020230444A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3650960A1 (fr) * 2018-11-07 2020-05-13 Tissot S.A. Procede de diffusion d'un message par une montre

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216386A (ja) * 2000-02-02 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> 化粧支援装置
JP2002221896A (ja) * 2001-01-24 2002-08-09 Victor Co Of Japan Ltd 化粧シミュレーションシステム
JP2005310124A (ja) * 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目検出装置、プログラムおよびプログラムを記録した記録媒体
JP2008003724A (ja) * 2006-06-20 2008-01-10 Kao Corp 美容シミュレーションシステム
JP2008022154A (ja) * 2006-07-11 2008-01-31 Fujifilm Corp 化粧支援装置及び方法
CN107679507A (zh) * 2017-10-17 2018-02-09 北京大学第三医院 面部毛孔检测系统及方法
JP2018092351A (ja) 2016-12-02 2018-06-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201804159XA (en) * 2015-12-28 2018-06-28 Panasonic Ip Man Co Ltd Makeup simulation assistance apparatus, makeup simulation assistance method, and makeup simulation assistance program
WO2018003421A1 (ja) * 2016-06-30 2018-01-04 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JPWO2018079255A1 (ja) * 2016-10-24 2019-09-12 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216386A (ja) * 2000-02-02 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> 化粧支援装置
JP2002221896A (ja) * 2001-01-24 2002-08-09 Victor Co Of Japan Ltd 化粧シミュレーションシステム
JP2005310124A (ja) * 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目検出装置、プログラムおよびプログラムを記録した記録媒体
JP2008003724A (ja) * 2006-06-20 2008-01-10 Kao Corp 美容シミュレーションシステム
JP2008022154A (ja) * 2006-07-11 2008-01-31 Fujifilm Corp 化粧支援装置及び方法
JP2018092351A (ja) 2016-12-02 2018-06-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN107679507A (zh) * 2017-10-17 2018-02-09 北京大学第三医院 面部毛孔检测系统及方法

Also Published As

Publication number Publication date
CN113767410A (zh) 2021-12-07
JPWO2020230444A1 (ja) 2020-11-19
JP7503757B2 (ja) 2024-06-21
US20220051001A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
KR102317478B1 (ko) 상처의 평가 및 관리를 위한 방법 및 시스템
US11963846B2 (en) Systems and methods for integrity analysis of clinical data
US20210343400A1 (en) Systems and Methods for Integrity Analysis of Clinical Data
US20190088374A1 (en) Remote dental consultation method and system
KR102304370B1 (ko) 딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법
Howell et al. Development of a method for clinical evaluation of artificial intelligence–based digital wound assessment tools
WO2022011342A9 (en) Systems and methods for integrity analysis of clinical data
KR20200068992A (ko) 전자 차트 관리 장치, 전자 차트 관리 방법 및 기록 매체
WO2020230444A1 (ja) 情報生成装置、情報生成方法、及び、コンピュータプログラム
US11017216B2 (en) Skin analyzing device, skin analyzing method, and recording medium
Savage et al. Use of 3D photography in complex-wound assessment
TW201802761A (zh) 以病人爲中心的壓瘡照護方法
CN114732425A (zh) 一种提升dr胸片成像质量的方法及系统
CN109767822B (zh) 选择外科植入物的方法和相关装置
JP2009232982A (ja) 画像計測装置、医用画像システム及びプログラム
JP2019075071A (ja) 保険料算定システム、保険料算定方法及びプログラム
JP7513978B2 (ja) 受付支援装置、受付支援方法、受付支援システムおよび受付支援プログラム
JP6654274B1 (ja) 診察手帳システム、患者端末及び制御方法
JP2012200292A (ja) 医療情報管理システム
Friesen et al. An mHealth technology for chronic wound management
JP2003339685A (ja) 表示装置、画像処理装置、画像処理システム、表示方法、及び記憶媒体
Patil et al. Normalized Feature Plane Alteration for Dental Caries Recognition
Salati Smartphone photography for smart assessment of post-surgical wounds–an experience during the COVID-19 pandemic
US20240331342A1 (en) System and method for determining an orthodontic occlusion class
WO2023054295A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20806258

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021519284

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020806258

Country of ref document: EP

Effective date: 20211213

122 Ep: pct application non-entry in european phase

Ref document number: 20806258

Country of ref document: EP

Kind code of ref document: A1