WO2018015988A1 - 人物画特定システム、人物画特定方法及びプログラム - Google Patents

人物画特定システム、人物画特定方法及びプログラム Download PDF

Info

Publication number
WO2018015988A1
WO2018015988A1 PCT/JP2016/071109 JP2016071109W WO2018015988A1 WO 2018015988 A1 WO2018015988 A1 WO 2018015988A1 JP 2016071109 W JP2016071109 W JP 2016071109W WO 2018015988 A1 WO2018015988 A1 WO 2018015988A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
data
image
probability
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/071109
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2016567954A priority Critical patent/JP6159491B1/ja
Priority to PCT/JP2016/071109 priority patent/WO2018015988A1/ja
Priority to US15/620,924 priority patent/US9922239B2/en
Publication of WO2018015988A1 publication Critical patent/WO2018015988A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • the present invention relates to a person image specifying system, a person image specifying method, and a program for specifying a person drawn in a person image.
  • a key image as a search condition is subjected to image analysis, and the person ID of the person shown in the key image is specified.
  • a configuration is disclosed in which an image showing a person who belongs to the same cluster as the person shown in the key image is selected by specifying the cluster to which the person ID is assigned (see Patent Document 1).
  • Patent Document 1 Although it is effective for a captured image obtained by imaging a real person, it is difficult to specify a person drawn in a human figure depicting a real person.
  • An object of the present invention is to provide a human figure specifying system, a human figure specifying method, and a program capable of specifying a person drawn in a figure.
  • the present invention provides the following solutions.
  • the invention according to the first feature is a human figure specifying system for specifying a person drawn in a human figure, Accepting means for accepting input of person image data of the person image; Storage means for storing different person data of a plurality of persons; Extraction means for extracting the feature points of the received human image by image analysis; Collating means for collating the extracted feature points with the person data; A specifying means for specifying a person drawn in the figure from the result of the matching; Display means for displaying the identified result together with a probability according to the degree of specificity;
  • a human figure identification system characterized by comprising:
  • the person image specifying system for specifying a person drawn in a person image receives input of person image data of the person image, stores different person data of a plurality of persons, The feature points of the received person image are extracted by image analysis, the extracted feature points are collated with the person data, the person drawn in the person image is identified from the collation result, and the identified result Are displayed together with the probability according to the degree of specificity.
  • the invention according to the first feature is a category of the person image specifying system, the same actions and effects according to the category are exhibited in other categories such as a method or a program.
  • the different person data is different person image data.
  • a human figure specifying system which is an invention according to a first feature.
  • the different person data is different person picture data.
  • the different person data is different captured image data.
  • a human figure specifying system which is an invention according to a first feature.
  • the different person data is different captured image data.
  • the different person data is different person image data and different captured image data
  • the collation unit changes the collation procedure depending on whether the data to be collated with the extracted feature points is the different person image data or the different captured image data.
  • the human figure specifying system is characterized in that the different person data is different person image data and different captured image data, and the extracted feature points The collation procedure is changed depending on whether the data to be collated is the different person image data or the different captured image data.
  • the extraction means extracts a feature amount of each part of the received human image data
  • the collation means collates the extracted feature quantity of each part with the same part of the stored person data;
  • the human figure specifying system extracts the feature amount of each part of the received human image data, and the extracted feature quantity of each part Are matched with the same part of the stored person data.
  • the display means displays a probability corresponding to each degree of specificity for each part.
  • the human figure identification system displays a probability corresponding to the degree of identification for each part.
  • the display means when the display means includes a plurality of the specified persons, the probability according to each specific degree is displayed together.
  • a human figure specifying system which is an invention according to a first feature.
  • the person image specifying system displays together the probabilities corresponding to the specificities when there are a plurality of the specified persons. To do.
  • the display means displays a basis for identifying the person.
  • a human figure specifying system which is an invention according to a first feature.
  • the human figure specifying system which is the first aspect of the invention displays the basis for specifying the person.
  • the display means displays the attribute information of the specified person.
  • a human figure specifying system which is an invention according to a first feature.
  • the person image specifying system displays the attribute information of the specified person.
  • the invention according to a tenth feature is a person image specifying method for specifying a person drawn in a person image, Receiving an input of human image data of the human image; Storing different person data for multiple people; Extracting the feature points of the accepted person image by image analysis; Collating the extracted feature points with the person data; Identifying a person drawn in the portrait from the result of the matching; Displaying the identified result together with a probability depending on the degree of specificity; A method for specifying a person image is provided.
  • a human figure specifying system for specifying a person drawn in a human figure, Receiving input of human image data of the human image; Storing different person data for multiple persons; Extracting the feature points of the accepted human figure by image analysis; Collating the extracted feature points with the person data; A step of identifying a person drawn in the portrait from the collation result; Displaying the identified result together with a probability depending on the degree of specificity; Provide a program to execute.
  • a person image specifying system a person image specifying method, and a program capable of specifying a person drawn in a person image.
  • FIG. 1 is a diagram showing an outline of a person image specifying system 1.
  • FIG. 2 is an overall configuration diagram of the person image specifying system 1.
  • FIG. 3 is a functional block diagram of the information terminal 100.
  • FIG. 4 is a diagram illustrating a person image specifying process executed by the information terminal 100.
  • FIG. 5 is a diagram illustrating an example of a state in which the information terminal 100 displays the specific result and the probability.
  • FIG. 6 is a diagram illustrating an example of a state in which the information terminal 100 displays the specific result, the probability, and the basis.
  • FIG. 7 is a diagram illustrating an example of a state where the information terminal 100 displays the identification result, the probability, and the highlight of the person data.
  • FIG. 8 is a diagram illustrating an example of a state where the information terminal 100 displays the specific result and the probability attribute information.
  • FIG. 1 is a diagram for explaining the outline of a human figure specifying system 1 which is a preferred embodiment of the present invention.
  • the person image specifying system 1 includes an information terminal 100.
  • the number of information terminals 100 is not limited to one and may be plural. Further, the information terminal 100 is not limited to a real device, and may be a virtual device. Moreover, the structure in which external apparatuses, such as a server and a terminal device which are not illustrated, may exist may be sufficient.
  • the information terminal 100 is a terminal device capable of specifying a person drawn in a person image.
  • the information terminal 100 is, for example, a cellular phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head mounted display, or the like Wearable terminals and other items.
  • the information terminal 100 stores different person data of a plurality of people in advance (step S01).
  • the information terminal 100 stores, as person data, for example, person image data in which a person is drawn and captured image data in which a person is imaged.
  • the person data is data relating to, for example, part or all of a person's face, part or all of a body.
  • person image data it is data of a person image depicting part or all of a person's face or part or all of a body.
  • captured image data it is data of a captured image obtained by capturing part or all of a person's face or part or all of a body.
  • the information terminal 100 accepts input of person image data of a person image (step S02).
  • the information terminal 100 captures a human image with an imaging device such as a camera, and accepts input of image data of the captured human image.
  • the information terminal 100 reads a person image by a reading device such as a scanner connected to the information terminal 100 and receives input of person image data.
  • a person picture is, for example, a picture in which part or all of a person's face or part or whole of a body is drawn.
  • the information terminal 100 extracts the feature points of the person image data that has been accepted by image analysis (step S03).
  • the information terminal 100 extracts characteristic points on the data of the person image data.
  • the information terminal 100 may be configured to extract feature amounts in addition to feature points.
  • the information terminal 100 extracts feature points and feature amounts of each part such as a person's eyes, ears, nose, mouth, mole position, hand length, and foot length of the person image data.
  • the information terminal 100 collates the extracted feature points with the stored person data (step S04).
  • the information terminal 100 collates the extracted feature points with the feature points of the stored person data.
  • the information terminal 100 may be configured to change the collation procedure depending on whether the data to be collated with the extracted feature points is different person image data or different captured image data. For example, when the data to be collated is different person image data, the information terminal 100 collates the entire feature points of the person image data, and thereafter collates the feature points of the respective parts. In addition, when the data to be collated is different captured image data, the information terminal 100 collates the feature points of the respective parts.
  • the change of the verification procedure executed by the information terminal 100 is not limited to the above-described configuration, and can be changed as appropriate.
  • the information terminal 100 identifies the person drawn in the figure from the collation result (step S05). As a result of the collation, the information terminal 100 calculates a probability corresponding to the degree of specification for the specified person. For example, the information terminal 100 obtains the degree of coincidence of each of the plurality of parts as the degree of specificity, and calculates the probability of matching between the person drawn in the figure and the identified person according to the degree of specificity. To do.
  • the information terminal 100 displays the identified result and the probability according to the degree of specificity together (step S06).
  • the information terminal 100 identifies a plurality of persons
  • the information terminal 100 displays a probability corresponding to the degree of identification for each person.
  • the information terminal 100 displays a probability corresponding to the degree of identification on the person.
  • the information terminal 100 may be configured to display a probability corresponding to the degree of specificity for each part of the identified person.
  • the information terminal 100 may be configured to display the basis for specifying this person together with the person.
  • the information terminal 100 may be configured to display attribute information such as the history, name, address, and age of the identified person.
  • any one or a combination of storing personal data, extracting feature points, matching feature points, and specifying a person may not necessarily be executed by the information terminal 100.
  • the information terminal 100 transmits person image data to an external device such as a server or another terminal device (not shown), and the external device performs any one or a combination of the above-described processes instead of the information terminal 100.
  • the configuration may be such that the external device transmits the identified result to the information terminal 100.
  • FIG. 2 is a diagram showing a system configuration of a human figure specifying system 1 which is a preferred embodiment of the present invention.
  • the person image specifying system 1 includes an information terminal 100. Note that the number of information terminals 100 is not limited to one and may be plural. Further, the information terminal 100 is not limited to a real device, and may be a virtual device. Further, it may be communicably connected to an external device such as a server or a terminal device (not shown) via a public network.
  • the information terminal 100 is the above-described terminal device having the functions described below.
  • FIG. 3 is a functional block diagram of the information terminal 100.
  • the information terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like as the control unit 110, and enables communication with other devices as a communication unit (not shown). For example, a device compatible with WiFi (Wireless Fidelity) compliant with IEEE 802.11.
  • the information terminal 100 includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 130.
  • the information terminal 100 stores person data such as a plurality of different person image data and captured image data, which will be described later, in the storage unit 130.
  • the information terminal 100 includes, as the input / output unit 140, a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that accepts input from a user, a camera, and the like
  • Various types of imaging devices such as imaging devices, analysis devices that perform various types of image analysis, extraction devices that extract feature points and feature quantities of human image data, and specific devices that identify a person included in the data Provide a device.
  • the storage module 160 is realized in cooperation with the storage unit 130. Further, in the information terminal 100, the control unit 110 reads a predetermined program, so that the input receiving module 170, the extraction module 171, the matching module 172, the specifying module 173, and the display module 174 are cooperated with the input / output unit 140. Realize.
  • FIG. 4 is a diagram illustrating a flowchart of the person image specifying process executed by the information terminal 100. Processing executed by each module described above will be described together with this processing.
  • the storage module 160 stores different person data of a plurality of persons (step S10).
  • step S10 the storage module 160 stores, as person data, person image data that is data of a person image in which a person is drawn, and captured image data that is data of a captured image in which a person is captured.
  • the character image data is data of a character image depicting part or all of a person's face and body.
  • the captured image data is captured image data obtained by capturing part or all of a person's face or body.
  • the storage module 160 stores person data received from an external device.
  • the input receiving module 170 receives input of human image data of human images (step S11).
  • the input reception module 170 captures a human image with an imaging device such as a camera, for example, and receives input of the captured human image as human image data.
  • the input receiving module 170 reads a human image by a reading device such as a scanner, and receives input of the read human image as human image data.
  • a person picture is, for example, a picture in which a part or all of a person's face or body is drawn.
  • the input receiving module 170 is not limited to the above-described configuration, and may receive input of person image data using other configurations.
  • the person image is not limited to the above-described configuration, and any person image may be used as long as all or part of the person is drawn.
  • the extraction module 171 extracts the feature points of the person image data that has been accepted by image analysis (step S12).
  • the extraction module 171 extracts characteristic points by extracting characteristic points of the person image data. For example, the extraction module 171 extracts each corner existing in the image data, and extracts the position of this corner as a feature point.
  • the extraction module 171 extracts the feature amount of the person image data (step S13).
  • the extraction module 171 extracts feature quantities of each part such as eyes, ears, nose, mouth, mole position, hand length, foot length, and the like of the person image data.
  • the extraction module 171 extracts, for example, each part of the person's face and body existing in the person image data, and extracts feature quantities such as the size, position, and angle of each part.
  • step S13 can be omitted.
  • the information terminal 100 should just be the structure which performs each process mentioned later based on a feature point, after performing the process of step S12.
  • the collation module 172 determines whether the type of data to be collated with the extracted feature points and feature amounts is person image data or captured image data (step S14).
  • the collation module 172 may determine the type of data to be collated by receiving input of which data to collate from the user, or stores only one of the data It may be determined that the stored data is collated, or the type of data may be determined based on a preset condition.
  • the collation module 172 may be configured to collate either the extracted feature point or feature quantity.
  • step S14 when the data type is person image data (YES in step S14), the collation module 172 executes processing in step S15 described later.
  • step S14 the collation module 172 performs the process of step S16, which will be described later, when the type of data is captured image data (NO in step S14). That is, the information terminal 100 changes the collation procedure by executing different processes depending on whether the data to be collated with the extracted feature points is different person image data or different captured image data.
  • step S14 when the type of data is human image data (YES in step S14), the collation module 172 is a person who is a personal data storing feature points and feature amounts extracted from the human image data. It collates with the image data (step S15). In step S15, the collation module 172 collates the entire feature points of the person image data, and thereafter collates the feature points and feature amounts of the respective parts. For example, the collation module 172 collates the feature points of the entire face of the person included in the person image data, and further collates the feature points and feature amounts of each part of the face.
  • step S14 if the type of data is captured image data (NO in step S14), the matching module 172 uses the stored personal data to store the feature points and feature quantities extracted from the human image data. It collates with some captured image data (step S16). In step S16, the collation module 172 collates the feature points and feature amounts of the respective parts of the captured image data. For example, the collation module 172 collates a person included in the captured image data, and collates feature points and feature amounts of each part of the person's face.
  • step S15 and step S16 the collation module 172 executes different collation procedures.
  • step S15 and step S16 mentioned above can be changed suitably.
  • the information terminal 100 may be configured to execute the same processing procedure in the processing of step S15 and step S16.
  • the structure collated with person data by a different structure may be sufficient.
  • the information terminal 100 may be configured to collate based only on feature points.
  • the identification module 173 calculates a probability according to the degree of identification between the person included in the person image data and the person included in the person data from the collation result (step S17).
  • the degree of specificity means how much the person included in the person image data matches the person included in the person data.
  • the specifying module 173 calculates a probability according to the specific degree for each part in addition to the probability according to the overall specific degree of the person.
  • the specifying module 173 calculates a probability according to the specific degree for each part such as the eyes, ears, nose, mouth, mole position, hand length, foot length, and the like.
  • the identification module 173 calculates a probability according to the degree of specificity of the entire person based on the probabilities of these parts. For example, when the probability of eyes is 90% and the probability of other parts is 80%, the specific module 173 calculates that the probability is 80% as a whole.
  • the calculation of the probability according to the degree of specificity executed by the identification module 173 is not limited to the above-described configuration and can be changed as appropriate. That is, the identification module 173 may be configured to calculate the probability of a person based on a partial position, or may be configured to calculate the probability of a person based on a plurality of parts, or may be set in advance. The configuration may be such that the probability of a person is calculated based on the specific part, or a configuration other than that.
  • the identifying module 173 identifies the person drawn in the figure based on the collation result and the calculated probability (step S18).
  • the specifying module 173 specifies a person drawn in the portrait based on a criterion such as whether the overall probability is equal to or higher than a predetermined value or whether the overall or part probability exists even slightly. .
  • the identification module 173 draws all the person data having this probability in the person image when there is a slight probability of the whole or a partial place as a result of collating with the person image data among the stored person data. Identified as a designated person.
  • the identification module 173 identifies one person data or a plurality of person data as a person drawn in a person image.
  • the display module 174 displays the identified result together with the probability corresponding to the degree of specificity (step S19). In step S19, the display module 174 displays the identified person and the probability of this person. When a plurality of persons exist as a result of the identification, the display module 174 displays each person and the probability for each person. The display module 174 displays one or both of the person image data and the captured image data of the specified person.
  • FIG. 5 is a diagram illustrating an example of a state in which the identified result displayed by the display module 174 and the probability according to the degree of specificity are displayed together.
  • the display module 174 displays a data display area 200, a person data display area 300, and a probability display area 400.
  • the display module 174 displays a plurality of person data display areas 300 and a plurality of probability display areas 400 in the data display area 200.
  • the display module 174 displays the person data of the specified person in the person data display area 300. This person data is one or both of person image data and captured image data stored in the storage module 160.
  • the display module 174 displays the probability display area 400 in the lower part of each person data display area 300.
  • the display module 174 displays, in the probability display area 400, the probability corresponding to the degree of specificity of the person data displayed in each person data display area 300.
  • the display module 174 displays the person data side by side in descending order of probability.
  • the display module 174 displays the person data A in the person data display area 300 and displays 80%, which is the probability corresponding to the degree of specification of the person data A, in the probability display area 400.
  • the display module 174 displays the person data B in the person data display area 300, and displays 10%, which is the probability corresponding to the degree of specification of the person data B, in the probability display area 400.
  • the display module 174 displays the person data C in the person data display area 300, and displays 5%, which is a probability corresponding to the degree of specification of the person data C, in the probability display area 400.
  • the display module 174 displays others in the person data display area 300, and displays 5%, which is a probability corresponding to the other specificities, in the probability display area 400. “Other” is displayed when there is no corresponding person data or when there is more than a predetermined number of corresponding person data.
  • the above-described person data A to C each display captured image data.
  • the person data A to C are not limited to the captured image data, and may be person image data.
  • the display module 174 may be configured to display the probability for each part of the specified person.
  • the display module 174 is configured to display the calculated probability in the vicinity of each part, to display the probability calculated in a state in which the probability of the part is clearly indicated by a leader line, etc.
  • the structure etc. which display the probability of a part may be sufficient.
  • the structure which displays a probability by structures other than the structure mentioned above may be sufficient. For example, in FIG. 5 described above, the probability of this part may be displayed on the corresponding part of the person data.
  • the display module 174 may be configured to display the basis for identifying the person together with the person.
  • the display module 174 is configured to display a notification that this person has been identified because the probability of each part exceeds a predetermined value, and the probability of some parts exceeds a predetermined value. Therefore, a notification is displayed indicating that this person has been identified, and the probability of each part does not exceed a predetermined value, but the person who has the highest overall probability compared to other specified persons It may be configured to display a notification to the effect.
  • the structure which displays a basis by structures other than the structure mentioned above may be sufficient. For example, in FIG. 5 described above, the person data or the probability may be displayed, and the person data or the basis of the probability may be displayed.
  • FIG. 6 is a diagram showing an example of a state in which the probability and the grounds for specifying this person are displayed for each part of the specified person displayed by the display module 174.
  • the person data A in FIG. 5 is shown as an example.
  • the display module 174 displays the probability of each part and the basis for specifying this person for each person data in each person data display area 300 in FIG. 5 described above.
  • the display module 174 displays the person data A in the person data display area 300 of the person data A, and displays 80% that is the probability corresponding to the degree of specification of the person data A in the probability display area 400. To do.
  • the display module 174 shows a leader line for each part of the person data A, for example, eyes, nose, mouth, and dimples, and displays the probabilities corresponding to the specificities of the parts.
  • the display module 174 displays the eye specificity of 85%, the nose specificity of 90%, the mouth specificity of 80%, and the dimple specificity of 10%.
  • the display module 174 displays that the probability according to the specific degree of each part exceeds a predetermined value as a basis for specifying the captured image data of the person data A.
  • the display module 174 displays “the position of eyes, mouth, nose, and dimples exceeds a predetermined probability” as a basis.
  • the display mode of the probability of each part displayed by the display module 174, the display content thereof, the display mode of the basis and the display content thereof can be appropriately changed, and are not limited to the above-described configuration.
  • the display module 174 may be configured to display only either the probability or the basis of each part.
  • the display module 174 may be configured to highlight and display personal data having a high probability that the probability according to the degree of specificity of each part is completely the same, although the probability according to the degree of specificity is low. That is, the display module 174 has a low probability according to the degree of specificity, for example, when the shape and position of the eyes completely match, or when the position and size of the moles match completely, etc. In this case, when the specificities of the respective parts completely match, the person data may be highlighted.
  • FIG. 7 is a diagram illustrating an example of a state in which the probability of a person specified by the display module 174 and highlights of person data are displayed.
  • the display module 174 has substantially the same display as that shown in FIG. 5, but the person data B is highlighted and displayed. Although the display module 174 has a lower probability according to the degree of specificity than the person data A, the probability of other parts, mole positions, eye sizes, etc. is substantially the same. It is assumed that B is a person drawn in the figure, and this person data B is highlighted and displayed.
  • the display mode of highlights displayed by the display module 174 can be changed as appropriate.
  • the display module 174 may be configured to highlight the person data in a display mode other than highlight.
  • the display module 174 may be configured to display corresponding person data in an enlarged manner than other person data, or may be configured to display other person data in a reduced size.
  • Other configurations such as blinking display and audio output may be used.
  • the display module 174 may be configured to display the attribute information of the identified person together with the person.
  • the attribute information is, for example, information such as a person's career, name, address, and age.
  • the display module 174 may be configured to display the attribute information of the specified person in the vicinity of the person, or to display the attribute information in a state in which the person is clearly indicated by a leader line or the like.
  • the structure which displays attribute information by structures other than the structure mentioned above may be sufficient. For example, in FIG. 5 described above, the attribute information may be displayed together with the person data.
  • FIG. 8 is a diagram illustrating an example of a state in which the probability of the person specified by the display module 174 and the attribute information of the person are displayed.
  • the display module 174 shows the person data A in FIG. 5 as an example.
  • the display module 174 displays the attribute information of this person for each person data in each person data display area 300 in FIG.
  • the attribute information is the name, age, address, career, etc. of the person data.
  • the display module 174 displays a name, age, and address as attribute information. This attribute information is associated with the person data, and the display module 174 displays this attribute information.
  • attribute information is not limited to the configuration described above, and may be information related to other persons. Further, the display mode and display position of the attribute information are not limited to the above-described configuration, and can be changed as appropriate.
  • any one or a combination of the storage module 160, the extraction module 171, the collation module 172, or the specific module 173 may not necessarily have the configuration of the information terminal 100.
  • a configuration in which an external device (not shown) executes these configurations may be used.
  • the information terminal 100 may be configured to transmit the person image data to the external device, and the external device executes each of these processes and transmits the execution result to the information terminal 100. Further, in the case where the external device executes a part of each of these modules, the corresponding process may be performed by the external device.
  • the display module 174 described above may be configured to display any one or a combination of the above-described configurations. For example, it may be configured to display the person data, the probability of each part of the person data, the probability according to the degree of specification, the specified basis, and the attribute information. It may be configured to display the corresponding probability, the identified grounds, the highlight display, and the attribute information, or may be configured to display other combinations.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】人物画に描かれた人物を特定することが可能な人物画特定システム、人物画特定方法及びプログラムを提供することを目的とする。 【解決手段】人物画に描かれた人物を特定する人物画特定システム１は、人物画の人物画データの入力を受け付け、複数人の異なる人物データを格納し、受け付けた人物画の特徴点を画像解析で抽出し、抽出した特徴点を、人物データと照合し、照合した結果から、人物画に描かれた人物を特定し、特定した結果を、特定度に応じた確率と一緒に表示する。

Description

人物画特定システム、人物画特定方法及びプログラム
　本発明は、人物画に描かれた人物を特定する人物画特定システム、人物画特定方法及びプログラムに関する。
　従来、カメラ等の撮像装置により撮像した撮像画像を、画像解析することにより、この撮像画像に映っている人物を特定することが行われている。このような人物の特定は、個人の特定、生体認証等の様々な場面で行われる。また、このような人物の特定を利用することにより、撮像画像に映っている人物を特定し、この人物が映っている他の画像を特定する構成が開示されている。
　このような人物の特定の利用方法として、検索条件とするキー画像を画像解析し、このキー画像に映っている人物の人物ＩＤを特定する。この人物ＩＤが付与されたクラスタを特定することにより、キー画像に映っている人物と同一のクラスタに属する人物が映っている画像を選抜する構成が開示されている（特許文献１参照）。
特開２０１１－１０７９９７号公報
　しかしながら、特許文献１の構成では、実在の人物を撮像した撮像画像に対して有効であるものの、実在の人物を描いた人物画に描かれた人物を特定することは困難であった。
　本発明の目的は、人物画に描かれた人物を特定することが可能な人物画特定システム、人物画特定方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、人物画に描かれた人物を特定する人物画特定システムであって、
　前記人物画の人物画データの入力を受け付ける受付手段と、
　複数人の異なる人物データを格納する記憶手段と、
　前記受け付けた人物画の特徴点を画像解析で抽出する抽出手段と、
　前記抽出した特徴点を、前記人物データと照合する照合手段と、
　前記照合した結果から、前記人物画に描かれた人物を特定する特定手段と、
　前記特定した結果を、特定度に応じた確率と一緒に表示する表示手段と、
　を備えることを特徴とする人物画特定システムを提供する。
　第１の特徴に係る発明によれば、人物画に描かれた人物を特定する人物画特定システムは、前記人物画の人物画データの入力を受け付け、複数人の異なる人物データを格納し、前記受け付けた人物画の特徴点を画像解析で抽出し、前記抽出した特徴点を、前記人物データと照合し、前記照合した結果から、前記人物画に描かれた人物を特定し、前記特定した結果を、特定度に応じた確率と一緒に表示する。
　ここで、第１の特徴に係る発明は、人物画特定システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、前記異なる人物データが、異なる人物画データである、
　ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記異なる人物データが、異なる人物画データである。
　第３の特徴に係る発明は、前記異なる人物データが、異なる撮像画像データである、
　ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。
　第３の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記異なる人物データが、異なる撮像画像データである。
　第４の特徴に係る発明は、前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、
　前記照合手段が、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する、
　ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。
　第４の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する。
　第５の特徴に係る発明は、前記抽出手段が、前記受け付けた人物画データの各部位の特徴量を抽出し、
　前記照合手段が、前記抽出した各部位の特徴量を、前記格納した人物データの同じ部位と照合する、
　ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。
　第５の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記受け付けた人物画データの各部位の特徴量を抽出し、前記抽出した各部位の特徴量を、前記格納した人物データの同じ部位と照合する。
　第６の特徴に係る発明は、前記表示手段が、前記各部位毎に、其々の特定度に応じた確率を表示する、
　ことを特徴とする第５の特徴に係る発明である人物画特定システムを提供する。
　第６の特徴に係る発明によれば、第５の特徴に係る発明である人物画特定システムは、前記各部位毎に、其々の特定度に応じた確率を表示する。
　第７の特徴に係る発明は、前記表示手段が、前記特定した人物が複数人いる場合に、其々の特定度に応じた確率を一緒に表示する、
　ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。
　第７の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記特定した人物が複数人いる場合に、其々の特定度に応じた確率を一緒に表示する。
　第８の特徴に係る発明は、前記表示手段が、前記人物を特定した根拠を表示する、
　ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。
　第８の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記人物を特定した根拠を表示する。
　第９の特徴に係る発明は、前記表示手段が、前記特定した人物の属性情報を表示する、
　ことを特徴とする第１の特徴に係る発明である人物画特定システムを提供する。
　第９の特徴に係る発明によれば、第１の特徴に係る発明である人物画特定システムは、前記特定した人物の属性情報を表示する。
　第１０の特徴に係る発明は、人物画に描かれた人物を特定する人物画特定方法であって、
　前記人物画の人物画データの入力を受け付けるステップと、
　複数人の異なる人物データを格納するステップと、
　前記受け付けた人物画の特徴点を画像解析で抽出するステップと、
　前記抽出した特徴点を、前記人物データと照合するステップと、
　前記照合した結果から、前記人物画に描かれた人物を特定するステップと、
　前記特定した結果を、特定度に応じた確率と一緒に表示するステップと、
　を備えることを特徴とする人物画特定方法を提供する。
　第１１の特徴に係る発明は、人物画に描かれた人物を特定する人物画特定システムに、
　前記人物画の人物画データの入力を受け付けるステップ、
　複数人の異なる人物データを格納するステップ、
　前記受け付けた人物画の特徴点を画像解析で抽出するステップ、
　前記抽出した特徴点を、前記人物データと照合するステップ、
　前記照合した結果から、前記人物画に描かれた人物を特定するステップ、
　前記特定した結果を、特定度に応じた確率と一緒に表示するステップ、
　を実行させるためのプログラムを提供する。
　本発明によれば、人物画に描かれた人物を特定することが可能な人物画特定システム、人物画特定方法及びプログラムを提供することが可能となる。
図１は、人物画特定システム１の概要を示す図である。 図２は、人物画特定システム１の全体構成図である。 図３は、情報端末１００の機能ブロック図である。 図４は、情報端末１００が実行する人物画特定処理を示す図である。 図５は、情報端末１００が特定結果と確率とを表示した状態の一例を示す図である。 図６は、情報端末１００が特定結果と確率と根拠とを表示した状態の一例を示す図である。 図７は、情報端末１００が特定結果と確率と人物データのハイライトを表示した状態の一例を示す図である。 図８は、情報端末１００が特定結果と確率属性情報とを表示した状態の一例を示す図である。
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［人物画特定システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である人物画特定システム１の概要を説明するための図である。人物画特定システム１は、情報端末１００から構成される。
　なお、図１において、情報端末１００は、１つに限らず複数であってもよい。また、情報端末１００は、実在する装置に限らず仮想的な装置であってもよい。また、図示していないサーバや端末装置等の外部装置が存在する構成であってもよい。
　情報端末１００は、人物画に描かれた人物を特定することが可能な端末装置である。情報端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
　情報端末１００は、予め複数人の異なる人物データを格納する（ステップＳ０１）。情報端末１００は、人物データとして、例えば、人物が描かれた人物画データ、人物が撮像された撮像画像データを格納する。人物データとは、例えば、人物の顔の一部又は全部、身体の一部又は全部等に関するデータである。人物画データである場合、人物の顔の一部又は全部や、身体の一部又は全部を描いた人物画のデータである。撮像画像データである場合、人物の顔の一部又は全部や、身体の一部又は全部を撮像した撮像画像のデータである。
　情報端末１００は、人物画の人物画データの入力を受け付ける（ステップＳ０２）。情報端末１００は、例えば、カメラ等の撮像装置により、人物画を撮像し、撮像した人物画の画像データの入力を受け付ける。また、情報端末１００は、例えば、自身に接続されたスキャナ等の読取装置により、人物画を読み取り、人物画データの入力を受け付ける。人物画とは、例えば、人物の顔の一部又は全部や、身体の一部又は全部が描かれた絵画である。
　情報端末１００は、入力を受け付けた人物画データの特徴点を画像解析で抽出する（ステップＳ０３）。情報端末１００は、人物画データのデータ上の特徴的な点を抽出する。なお、情報端末１００は、特徴点に加え、特徴量を抽出する構成であってもよい。このとき、情報端末１００は、人物画データの人物の目、耳、鼻、口、黒子位置、手の長さ、足の長さ等の各部位の特徴点や特徴量を抽出する。
　情報端末１００は、抽出した特徴点を、格納した人物データと照合する（ステップＳ０４）。情報端末１００は、抽出した特徴点と、格納した人物データの特徴点とを照合する。なお、情報端末１００は、抽出した特徴点と照合するデータが、異なる人物画データであるか、異なる撮像画像データであるかに応じて、照合手順を変更する構成であってもよい。例えば、情報端末１００は、照合するデータが、異なる人物画データである場合、人物画データの全体の特徴点を照合し、その後に各部位の特徴点を照合する。また、情報端末１００は、照合するデータが、異なる撮像画像データである場合、各部位の特徴点を照合する。情報端末１００が実行する照合手順の変更は、上述した構成に限らず、適宜変更可能である。
　情報端末１００は、照合した結果から、人物画に描かれた人物を特定する（ステップＳ０５）。情報端末１００は、照合した結果、特定した人物に対して、その特定度に応じた確率を算出する。例えば、情報端末１００は、複数部位の各々の一致度を特定度として求め、この特定度に応じて、人物画に描かれた人物と特定した人物とが、どの程度一致するかの確率を算出する。
　情報端末１００は、特定した結果と、特定度に応じた確率とを一緒に表示する（ステップＳ０６）。情報端末１００は、複数の人物を特定した場合、各人物毎に、特定度に応じた確率を表示する。情報端末１００は、一の人物を特定した場合、この人物に、特定度に応じた確率を表示する。なお、情報端末１００は、特定した人物の各部位毎に、特定度に応じた確率を表示する構成であってもよい。また、情報端末１００は、この人物を特定した根拠を、人物とともに表示する構成であってもよい。また、情報端末１００は、特定した人物の経歴、氏名、住所、年齢等の属性情報を表示する構成であってもよい。
　なお、上述した処理において、人物データの格納、特徴点の抽出、特徴点の照合、人物の特定のいずれか又は複数の組合せは、必ずしも情報端末１００が実行する構成でなくともよい。例えば、情報端末１００は、図示していないサーバや他の端末装置等の外部装置に、人物画データを送信し、外部装置が上述した処理のいずれか又は複数の組合わせを情報端末１００の代わりに実行し、外部装置が、特定した結果を情報端末１００に送信する構成であってもよい。
　以上が、人物画特定システム１の概要である。
　［人物画特定システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である人物画特定システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である人物画特定システム１のシステム構成を示す図である。人物画特定システム１は、情報端末１００から構成される。なお、情報端末１００は、１つに限らず、複数であってもよい。また、情報端末１００は、実在する装置に限らず、仮想的な装置であってもよい。また、公衆回線網等により図示していないサーバや端末装置等の外部装置と通信可能に接続されていてもよい。
　情報端末１００は、後述の機能を備えた上述した端末装置である。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である人物画特定システム１の機能について説明する。図３は、情報端末１００の機能ブロック図を示す図である。
　情報端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、図示していない通信部として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、情報端末１００は、記憶部１３０として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。情報端末１００は、記憶部１３０に後述する複数人の異なる人物画データや撮像画像データ等の人物データを格納する。また、情報端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像等を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、カメラ等の撮像装置等の撮像デバイスや、各種画像解析を実行する解析デバイスや、人物画データの特徴点や特徴量等を抽出する抽出デバイスや、データ中に含まれる人物を特定する特定デバイス等の各種デバイスを備える。
　情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、記憶部１３０と協働して、記憶モジュール１６０を実現する。また、情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、入力受付モジュール１７０、抽出モジュール１７１、照合モジュール１７２、特定モジュール１７３、表示モジュール１７４を実現する。
　［人物画特定処理］
　図４に基づいて、人物画特定システム１が実行する人物画特定処理について説明する。図４は、情報端末１００が実行する人物画特定処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
　記憶モジュール１６０は、複数人の異なる人物データを格納する（ステップＳ１０）。ステップＳ１０において、記憶モジュール１６０は、人物データとして、人物が描かれた人物画のデータである人物画データや、人物が撮像された撮像画像のデータである撮像画像データを格納する。人物画データは、人物の顔や身体の一部又は全部を描いた人物画のデータである。また、撮像画像データは、人物の顔や身体の一部又は全部を撮像した撮像画像のデータである。記憶モジュール１６０は、例えば、外部装置から受信した人物データを格納する。
　入力受付モジュール１７０は、人物画の人物画データの入力を受け付ける（ステップＳ１１）。ステップＳ１１において、入力受付モジュール１７０は、例えば、カメラ等の撮像装置により、人物画を撮像し、撮像した人物画を人物画データとして入力を受け付ける。また、ステップＳ１１において、入力受付モジュール１７０は、例えば、スキャナ等の読取装置により、人物画を読取、読み取った人物画を人物画データとして入力を受け付ける。人物画とは、例えば、人物の顔や身体の一部又は全部が描かれた絵画である。
　なお、入力受付モジュール１７０は、上述した構成に限らず、その他の構成により人物画データの入力を受け付けてもよい。また、人物画は、上述した構成に限らず、人物の全体又は一部が描かれたものであればよい。
　抽出モジュール１７１は、入力を受け付けた人物画データの特徴点を、画像解析により抽出する（ステップＳ１２）。ステップＳ１２において、抽出モジュール１７１は、人物画データの特徴的な点を抽出することにより、特徴点を抽出する。抽出モジュール１７１は、例えば、画像データに存在する各角を抽出し、この角の位置を特徴点として抽出する。
　抽出モジュール１７１は、人物画データの特徴量を抽出する（ステップＳ１３）。ステップＳ１３において、抽出モジュール１７１は、人物画データの目、耳、鼻、口、黒子位置、手の長さ、足の長さ等の各部位の特徴量を抽出する。抽出モジュール１７１は、例えば、人物画データに存在する人物の顔や身体の各部位を抽出し、この各部位の大きさ、位置、角度等の特徴量を抽出する。
　なお、ステップＳ１３の処理は、省略可能である。この場合、情報端末１００は、ステップＳ１２の処理を実行した後、後述する各処理を特徴点に基づいて実行する構成であればよい。
　照合モジュール１７２は、抽出した特徴点及び特徴量と照合するデータの種類が、人物画データであるか、撮像画像データであるかを判別する（ステップＳ１４）。ステップＳ１４において、照合モジュール１７２は、照合するデータの種類を、ユーザからいずれのデータを照合するかの入力を受け付けることにより判別してもよいし、いずれか一方のみのデータを格納している場合、格納しているデータを照合することを判別してもよいし、予め設定された条件に基づいて、データの種類を判別する構成であってもよい。なお、ステップＳ１４において、照合モジュール１７２は、抽出した特徴点又は特徴量のいずれかを照合する構成であってもよい。
　ステップＳ１４において、照合モジュール１７２は、データの種類が人物画データである場合（ステップＳ１４　ＹＥＳ）、後述するステップＳ１５の処理を実行する。一方、ステップＳ１４において、照合モジュール１７２は、データの種類が撮像画像データである場合（ステップＳ１４　ＮＯ）、後述するステップＳ１６の処理を実行する。すなわち、情報端末１００は、抽出した特徴点と照合するデータが、異なる人物画データであるか、異なる撮像画像データであるかに応じて、異なる処理を実行することにより、照合手順を変更する。
　ステップＳ１４において、照合モジュール１７２は、データの種類が人物画データである場合（ステップＳ１４　ＹＥＳ）、照合モジュール１７２は、人物画データから抽出した特徴点や特徴量を、格納した人物データである人物画データと照合する（ステップＳ１５）。ステップＳ１５において、照合モジュール１７２は、人物画データの全体の特徴点を照合し、その後に各部位の特徴点や特徴量を照合する。例えば、照合モジュール１７２は、人物画データに含まれる人物の顔全体の特徴点を照合し、さらに、顔の各部位の特徴点や特徴量を照合する。
　一方、ステップＳ１４において、照合モジュール１７２は、データの種類が撮像画像データである場合（ステップＳ１４　ＮＯ）、照合モジュール１７２は、人物画データから抽出した特徴点や特徴量を、格納した人物データである撮像画像データと照合する（ステップＳ１６）。ステップＳ１６において、照合モジュール１７２は、撮像画像データの各部位の特徴点や特徴量を照合する。例えば、照合モジュール１７２は、撮像画像データに含まれる人物を照合し、この人物の顔の各部位の特徴点や特徴量を照合する。
　このように、ステップＳ１５及びステップＳ１６において、照合モジュール１７２は、異なる照合手順を実行する。
　なお、上述したステップＳ１５及びステップＳ１６の処理は、適宜変更可能である。例えば、情報端末１００は、ステップＳ１５及びステップＳ１６の処理において、同様の処理手順を実行する構成であってもよい。また、ステップＳ１５及びステップＳ１６の処理において、異なる構成により、人物データと照合する構成であってもよい。例えば、ステップＳ１５及びステップＳ１６において、情報端末１００は、特徴点のみに基づいて、照合する構成であってもよい。
　特定モジュール１７３は、照合した結果から、人物画データに含まれる人物と、人物データに含まれる人物との特定度に応じた確率を算出する（ステップＳ１７）。ステップＳ１７において、特定度とは、人物画データに含まれる人物と、人物データに含まれる人物とがどの程度一致するかを意味する。また、ステップＳ１７において、特定モジュール１７３は、人物の全体的な特定度に応じた確率に加え、各部位毎の特定度に応じた確率を算出する。ステップＳ１７において、例えば、特定モジュール１７３は、目、耳、鼻、口、黒子位置、手の長さ、足の長さ等の各部位毎の特定度に応じた確率を算出する。特定モジュール１７３は、これら各部位の確率に基づいて、人物全体としての特定度に応じた確率を算出する。例えば、特定モジュール１７３は、目の確率が９０％、他部位の確率が８０％であった場合、全体では８０％の確率であると算出する。
　なお、ステップＳ１７において、特定モジュール１７３が実行する特定度に応じた確率の算出は、上述した構成に限らず適宜変更可能である。すなわち、特定モジュール１７３は、一部位に基づいて、人物の確率を算出する構成であってもよいし、複数部位に基づいて、人物の確率を算出する構成であってもよいし、予め設定された特定部位に基づいて、人物の確率を算出する構成であってもよいし、それ以外の構成であってもよい。
　特定モジュール１７３は、照合した結果と、算出した確率とに基づいて、人物画に描かれた人物を特定する（ステップＳ１８）。ステップＳ１８において、特定モジュール１７３は、全体の確率が所定の値以上であるか、全体又は部位の確率がわずかでも存在するか等の判断基準に基づいて、人物画に描かれた人物を特定する。例えば、特定モジュール１７３は、格納する人物データのうち、人物画データと照合した結果、全体又は一部位の確率がわずかでも存在する場合、この確率が存在する全ての人物データを、人物画に描かれた人物として特定する。この時、特定モジュール１７３は、一の人物データ又は複数の人物データを、人物画に描かれた人物として特定する。
　表示モジュール１７４は、特定した結果を、特定度に応じた確率と一緒に表示する（ステップＳ１９）。ステップＳ１９において、表示モジュール１７４は、特定した人物と、この人物の確率とを表示する。表示モジュール１７４は、特定した結果複数の人物が存在する場合、各人物と、各人物毎に確率とを表示する。表示モジュール１７４は、特定した人物の人物画データ又は撮像画像データのいずれか又は双方を表示する。
　図５は、表示モジュール１７４が表示する特定した結果と特定度に応じた確率とを一緒に表示した状態の一例を示す図である。図５において、表示モジュール１７４は、データ表示領域２００、人物データ表示領域３００、確率表示領域４００を表示する。表示モジュール１７４は、データ表示領域２００内に、複数の人物データ表示領域３００、複数の確率表示領域４００を表示する。表示モジュール１７４は、人物データ表示領域３００に、特定した人物の人物データを表示する。この人物データは、記憶モジュール１６０に格納した人物画データ又は撮像画像データのいずれか又は双方である。また、表示モジュール１７４は、各人物データ表示領域３００の下段に確率表示領域４００を表示する。表示モジュール１７４は、各人物データ表示領域３００に表示した人物データの特定度に応じた確率を確率表示領域４００に表示する。表示モジュール１７４は、人物データを、確率が高い順に並べて表示する。
　図５において、表示モジュール１７４は、人物データ表示領域３００に、人物データＡを表示し、確率表示領域４００に、この人物データＡの特定度に応じた確率である８０％を表示する。表示モジュール１７４は、人物データ表示領域３００に、人物データＢを表示し、確率表示領域４００に、この人物データＢの特定度に応じた確率である１０％を表示する。表示モジュール１７４は、人物データ表示領域３００に、人物データＣを表示し、確率表示領域４００に、この人物データＣの特定度に応じた確率である５％を表示する。表示モジュール１７４は、人物データ表示領域３００に、その他を表示し、確率表示領域４００に、このその他の特定度に応じた確率である５％を表示する。その他とは、該当する人物データが存在しなかった場合、該当する人物データが所定の数を超えて存在する場合に表示する。上述した人物データＡ～Ｃは、其々撮像画像データを表示する。
　なお、表示モジュール１７４が表示する人物データ表示領域３００及び確率表示領域４００の数、位置及び形状は適宜変更可能である。また、人物データＡ～Ｃは、撮像画像データに限らず、人物画データであってもよい。
　また、ステップＳ１９において、表示モジュール１７４は、特定した人物の各部位毎に確率を表示する構成であってもよい。例えば、表示モジュール１７４は、各部位の近傍に算出した確率を表示する構成、引出線等によりどの部位の確率であるかを明示した状態で算出した確率を表示する構成、各部位の名称とこの部位の確率とを表示する構成等であってもよい。また、上述した構成以外の構成により確率を表示する構成であってもよい。例えば、上述した図５において、人物データの該当部位に、この部位の確率を表示する構成であればよい。
　また、ステップＳ１９において、表示モジュール１７４は、人物を特定した根拠を、人物とともに表示する構成であってもよい。例えば、表示モジュール１７４は、各部位の其々の確率が所定の値を超過していることから、この人物を特定した旨の通知を表示する構成、一部部位の確率が所定の値を超過していることから、この人物を特定した旨の通知を表示する構成、各部位の確率は所定の値を超過していないものの、他の特定した人物と比較して最も全体の確率が高い人物である旨の通知を表示する構成等であってもよい。また、上述した構成以外の構成により、根拠を表示する構成であってもよい。例えば、上述した図５において、人物データ又は確率を表示するとともに、この人物データ又は確率の根拠を表示する構成であればよい。
　図６は、表示モジュール１７４が表示する特定した人物の各部位毎に確率と、この人物を特定した根拠とを表示した状態の一例を示す図である。図６において、図５における人物データＡを一例として示す。表示モジュール１７４は、上述した図５における各人物データ表示領域３００の其々の人物データに対して、各部位の確率とこの人物を特定した根拠とを表示する。図６において、表示モジュール１７４は、人物データＡの人物データ表示領域３００に、人物データＡを表示し、確率表示領域４００に、この人物データＡの特定度に応じた確率である８０％を表示する。また、表示モジュール１７４は、この人物データＡの各部位、例えば、目、鼻、口、えくぼに引出線を示し、この部位の特定度に応じた確率を其々表示する。表示モジュール１７４は、目の特定度を８５％、鼻の特定度を９０％、口の特定度を８０％、えくぼの特定度に１０％を表示する。また、表示モジュール１７４は、この人物データＡの撮像画像データを特定した根拠として、各部位の特定度に応じた確率が所定の値を超過していることを表示する。表示モジュール１７４は、根拠として「目、口、鼻、えくぼの位置が所定の確率を超過してます」と表示する。
　なお、表示モジュール１７４が表示する各部位の確率の表示態様やその表示内容及び根拠の表示態様やその表示内容は、適宜変更可能であり、上述した構成に限られない。また、表示モジュール１７４は、各部位の確率又は根拠のいずれかのみを表示する構成であってもよい。
　また、表示モジュール１７４は、特定度に応じた確率が低いものの、各部位の特定度に応じた確率が、完全に一致する割合が高い人物データをハイライト表示する構成であってもよい。すなわち、表示モジュール１７４は、特定度に応じた確率が低い場合であっても、例えば、目の形や位置が完全に一致する場合や、黒子の位置やその大きさが完全に一致する場合等の、各部位の特定度が完全に一致する場合において、その人物データをハイライト表示する構成であってもよい。
　図７は、表示モジュール１７４が特定した人物の確率と、人物データのハイライトとを表示した状態の一例を示す図である。表示モジュール１７４は、図５と略同様の表示であるが、人物データＢをハイライトして表示する。表示モジュール１７４は、特定度に応じた確率が人物データＡと比較して、低いものの、他の部位、黒子の位置や目の大きさ等の確率が略一致していることから、この人物データＢが人物画に描かれた人物であると推測し、この人物データＢをハイライトして表示する。
　なお、表示モジュール１７４が表示するハイライトの表示態様は適宜変更可能である。また、表示モジュール１７４は、ハイライト以外の表示態様で人物データを強調表示する構成であってもよい。例えば、表示モジュール１７４は、該当する人物データを、他の人物データよりも拡大して表示する構成であってもよいし、他の人物データを縮小して表示する構成であってもよいし、点滅表示、音声出力等他の構成であってもよい。
　また、ステップＳ１９において、表示モジュール１７４は、特定した人物の属性情報を、人物とともに表示する構成であってもよい。属性情報とは、例えば、人物の経歴、氏名、住所、年齢等の情報である。例えば、表示モジュール１７４は、特定した人物の属性情報を、この人物の近傍に表示する構成、引出線等によりどの人物であるかを明示した状態で属性情報を表示する構成等であってもよい。また、上述した構成以外の構成により、属性情報を表示する構成であってもよい。例えば、上述した図５において、人物データとともに属性情報を表示する構成であればよい。
　図８は、表示モジュール１７４が特定した人物の確率と、人物の属性情報とを表示した状態の一例を示す図である。図８において、表示モジュール１７４は、図５における人物データＡを一例として示す。表示モジュール１７４は、上述した図５における各人物データ表示領域３００の其々の人物データに対して、この人物の属性情報を表示する。属性情報とは、人物データの氏名、年齢、住所、経歴等である。図８において、表示モジュール１７４は、属性情報として、氏名、年齢、住所を表示する。この属性情報は、人物データに紐付けられており、表示モジュール１７４は、この属性情報を表示する。
　なお、属性情報は、上述した構成に限らず、その他の人物に関する情報であってもよい。また、属性情報の表示態様や表示位置は、上述した構成に限らず、適宜変更可能である。
　上述した各処理において、記憶モジュール１６０、抽出モジュール１７１、照合モジュール１７２又は特定モジュール１７３のいずれか又は複数の組合せは、必ずしも情報端末１００が有する構成でなくともよい。例えば、これらの構成を、図示していない外部装置が実行する構成であってもよい。この場合、情報端末１００は、人物画データを外部装置に送信し、外部装置は、これらの各処理を実行し、実行した結果を、情報端末１００に送信する構成であればよい。また、これらの各モジュールの一部を外部装置が実行する構成で有る場合、該当する処理を、外部装置が実行する構成であればよい。
　また、上述した表示モジュール１７４は、上述した各構成のいずれか又は複数を組合わせて表示する構成であってもよい。例えば、人物データと、この人物データの各部位の確率と、特定度に応じた確率と、特定した根拠と、属性情報とを表示する構成であってもよいし、人物データと、特定度に応じた確率と、特定した根拠と、ハイライト表示と、属性情報とを表示する構成であってもよいし、その他の組合わせを表示する構成であってもよい。
　以上が、人物画特定処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　人物画特定システム、１００　情報端末

Claims (11)

  1. 　人物画に描かれた人物を特定する人物画特定システムであって、
    　前記人物画の人物画データの入力を受け付ける受付手段と、
    　複数人の異なる人物データを格納する記憶手段と、
    　前記受け付けた人物画の特徴点を画像解析で抽出する抽出手段と、
    　前記抽出した特徴点を、前記人物データと照合する照合手段と、
    　前記照合した結果から、前記人物画に描かれた人物を特定する特定手段と、
    　前記特定した結果を、特定度に応じた確率と一緒に表示する表示手段と、
    　を備えることを特徴とする人物画特定システム。
  2. 　前記異なる人物データが、異なる人物画データである、
    　ことを特徴とする請求項１に記載の人物画特定システム。
  3. 　前記異なる人物データが、異なる撮像画像データである、
    　ことを特徴とする請求項１に記載の人物画特定システム。
  4. 　前記異なる人物データが、異なる人物画データ及び異なる撮像画像データであって、
    　前記照合手段は、前記抽出した特徴点と照合するデータが、前記異なる人物画データであるか、前記異なる撮像画像データであるかに応じて照合手順を変更する、
    　ことを特徴とする請求項１に記載の人物画特定システム。
  5. 　前記抽出手段は、前記受け付けた人物画データの各部位の特徴量を抽出し、
    　前記照合手段は、前記抽出した各部位の特徴量を、前記格納した人物データの同じ部位と照合する、
    　ことを特徴とする請求項１に記載の人物画特定システム。
  6. 　前記表示手段は、前記各部位毎に、其々の特定度に応じた確率を表示する、
    　ことを特徴とする請求項５に記載の人物画特定システム。
  7. 　前記表示手段は、前記特定した人物が複数人いる場合に、其々の特定度に応じた確率を一緒に表示する、
    　ことを特徴とする請求項１に記載の人物画特定システム。
  8. 　前記表示手段は、前記人物を特定した根拠を表示する、
    　ことを特徴とする請求項１に記載の人物画特定システム。
  9. 　前記表示手段は、前記特定した人物の属性情報を表示する、
    　ことを特徴とする請求項１に記載の人物画特定システム。
  10. 　人物画に描かれた人物を特定する人物画特定方法であって、
    　前記人物画の人物画データの入力を受け付けるステップと、
    　複数人の異なる人物データを格納するステップと、
    　前記受け付けた人物画の特徴点を画像解析で抽出するステップと、
    　前記抽出した特徴点を、前記人物データと照合するステップと、
    　前記照合した結果から、前記人物画に描かれた人物を特定するステップと、
    　前記特定した結果を、特定度に応じた確率と一緒に表示するステップと、
    　を備えることを特徴とする人物画特定方法。
  11. 　人物画に描かれた人物を特定する人物画特定システムに、
    　前記人物画の人物画データの入力を受け付けるステップ、
    　複数人の異なる人物データを格納するステップ、
    　前記受け付けた人物画の特徴点を画像解析で抽出するステップ、
    　前記抽出した特徴点を、前記人物データと照合するステップ、
    　前記照合した結果から、前記人物画に描かれた人物を特定するステップ、
    　前記特定した結果を、特定度に応じた確率と一緒に表示するステップ、
    　を実行させるためのプログラム。
PCT/JP2016/071109 2016-07-19 2016-07-19 人物画特定システム、人物画特定方法及びプログラム Ceased WO2018015988A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016567954A JP6159491B1 (ja) 2016-07-19 2016-07-19 人物画特定システム、人物画特定方法及びプログラム
PCT/JP2016/071109 WO2018015988A1 (ja) 2016-07-19 2016-07-19 人物画特定システム、人物画特定方法及びプログラム
US15/620,924 US9922239B2 (en) 2016-07-19 2017-06-13 System, method, and program for identifying person in portrait

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/071109 WO2018015988A1 (ja) 2016-07-19 2016-07-19 人物画特定システム、人物画特定方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/620,924 Continuation US9922239B2 (en) 2016-07-19 2017-06-13 System, method, and program for identifying person in portrait

Publications (1)

Publication Number Publication Date
WO2018015988A1 true WO2018015988A1 (ja) 2018-01-25

Family

ID=59272928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071109 Ceased WO2018015988A1 (ja) 2016-07-19 2016-07-19 人物画特定システム、人物画特定方法及びプログラム

Country Status (3)

Country Link
US (1) US9922239B2 (ja)
JP (1) JP6159491B1 (ja)
WO (1) WO2018015988A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020021430A (ja) * 2018-08-03 2020-02-06 Ｌｉｎｎｅ株式会社 画像情報表示装置
JP2021105807A (ja) * 2019-12-26 2021-07-26 株式会社日立製作所 計算機システム及び業務システムの運用環境の解析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302271A (ja) * 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 合成顔検索装置
JP2003187352A (ja) * 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The 特定人物検出システム
JP2005078590A (ja) * 2003-09-03 2005-03-24 Nec Corp 顔照合システム
JP2008257460A (ja) * 2007-04-04 2008-10-23 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011516966A (ja) * 2008-04-02 2011-05-26 グーグル インコーポレイテッド デジタル画像集合内に自動顔認識を組み込む方法および装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711145B2 (en) * 2006-01-27 2010-05-04 Eastman Kodak Company Finding images with multiple people or objects
JP2011107997A (ja) 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302271A (ja) * 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 合成顔検索装置
JP2003187352A (ja) * 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The 特定人物検出システム
JP2005078590A (ja) * 2003-09-03 2005-03-24 Nec Corp 顔照合システム
JP2008257460A (ja) * 2007-04-04 2008-10-23 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011516966A (ja) * 2008-04-02 2011-05-26 グーグル インコーポレイテッド デジタル画像集合内に自動顔認識を組み込む方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020021430A (ja) * 2018-08-03 2020-02-06 Ｌｉｎｎｅ株式会社 画像情報表示装置
JP2021105807A (ja) * 2019-12-26 2021-07-26 株式会社日立製作所 計算機システム及び業務システムの運用環境の解析方法

Also Published As

Publication number Publication date
US9922239B2 (en) 2018-03-20
JPWO2018015988A1 (ja) 2018-07-19
US20180025216A1 (en) 2018-01-25
JP6159491B1 (ja) 2017-07-05

Similar Documents

Publication Publication Date Title
US11501514B2 (en) Universal object recognition
CN111898108B (zh) 身份认证方法、装置、终端及服务器
CN109858371B (zh) 人脸识别的方法及装置
JP7107598B2 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
US9864902B2 (en) Apparatus and method of collating categories of images
CN111240482B (zh) 一种特效展示方法及装置
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
TW201944294A (zh) 身份驗證方法和裝置、電子裝置、電腦程式和儲存介質
JPWO2017170384A1 (ja) 生体データ処理装置、生体データ処理システム、生体データ処理方法、生体データ処理プログラム、生体データ処理プログラムを記憶する記憶媒体
WO2020070821A1 (ja) 生体認証装置、生体認証方法、及び生体認証プログラム
CN107622246A (zh) 人脸识别方法及相关产品
CN107622243A (zh) 解锁控制方法及相关产品
JP2014203353A (ja) 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
JP2020526835A (ja) 画像を投稿するためのユーザのアカウントを動的に識別する装置及び方法
JPWO2020152917A1 (ja) 顔認証装置、顔認証方法、プログラム、および記録媒体
JP2020187763A (ja) 情報処理装置、容疑者情報生成方法及びプログラム
CN106649710A (zh) 图片推选方法、装置和移动终端
JP6159491B1 (ja) 人物画特定システム、人物画特定方法及びプログラム
CN108154070A (zh) 人脸识别方法及装置
CN116229631B (zh) 一种排队管理方法、装置、设备及存储介质
CN103984415B (zh) 一种信息处理方法及电子设备
WO2018042549A1 (ja) 被写体情報表示システム、被写体情報表示方法及びプログラム
CN107632775A (zh) 一种用户空间之间的信息共享方法、装置及终端
JP6375084B1 (ja) コンピュータシステム、手描き対象特定方法及びプログラム
KR102904583B1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016567954

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16909463

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/04/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16909463

Country of ref document: EP

Kind code of ref document: A1