WO2016175075A1 - 情報処理システム、情報処理方法およびプログラム - Google Patents

情報処理システム、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2016175075A1
WO2016175075A1 PCT/JP2016/062255 JP2016062255W WO2016175075A1 WO 2016175075 A1 WO2016175075 A1 WO 2016175075A1 JP 2016062255 W JP2016062255 W JP 2016062255W WO 2016175075 A1 WO2016175075 A1 WO 2016175075A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
information
unit
evaluation value
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/062255
Other languages
English (en)
French (fr)
Inventor
英明 小野田
次郎 鵜▲崎▼
瑞樹 小原
賢司 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2016175075A1 publication Critical patent/WO2016175075A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • Embodiments described herein relate generally to an information processing system, an information processing method, and a program.
  • a database that stores a player name, a back number, and a face pattern (information representing a face) in association with each other is prepared. Perform detection.
  • the database when there is a face pattern that matches the face pattern detected by face detection, or the back number that matches the back number detected by the back number detection (a number existing in the vicinity of the face).
  • the person of the subject having the detected face pattern or the detected spine number is a player identified by the player name associated with the face pattern or the spine number in the database. recognize.
  • Patent Document 1 is a technique for recognizing a person reflected in an image using only one feature (face or spine number) as a determination material, the recognition accuracy is insufficient. There's a problem.
  • the present invention has been made in view of the above, and an object thereof is to improve the recognition accuracy of a person reflected in an image.
  • the present invention includes an acquisition unit that acquires an image, an extraction unit that extracts a person region indicating a region in which a person is captured, and a plurality of persons For each of a plurality of person identification information each identifying any one of the above, a storage unit for storing related information in which a plurality of features and a plurality of first feature information corresponding one-to-one are associated, and from the person region A determination unit that detects second feature information corresponding to the feature for each of the plurality of features, and determines a degree of coincidence between the detected second feature information and the first feature information included in the related information And any one of the plurality of person identification information included in the related information and one of the plurality of first feature information associated with the one person identification information.
  • a calculation unit that calculates a second evaluation value by performing a predetermined calculation based on the plurality of first evaluation values corresponding to the plurality of first feature information in a one-to-one relationship, and is calculated for each person identification information
  • a determination unit that determines a person corresponding to the person area based on the second evaluation value.
  • the present invention provides an acquisition step for acquiring an image, an extraction step for extracting a person region indicating a region in which a person is captured from the image, and a plurality of features from the person region.
  • the second feature information is detected, the detected second feature information, each of a plurality of person identification information each identifying any one of a plurality of persons, and the plurality of features correspond one-to-one.
  • One of the determination step for determining the degree of coincidence with the first feature information included in the related information associated with the plurality of first feature information, and the plurality of person identification information included in the related information For each combination of the one piece of person identification information and one of the plurality of pieces of first feature information associated with the one piece of person identification information.
  • the second evaluation value is calculated by performing a predetermined calculation based on a plurality of the first evaluation values corresponding to the plurality of the first feature information associated with the information indicating the value corresponding to the degree of coincidence. And a determination step of determining a person corresponding to the person area based on the second evaluation value calculated for each person identification information.
  • the present invention provides an acquisition step of acquiring an image on a computer, an extraction step of extracting a person region indicating a region in which a person is captured from the image, and a plurality of features from the person region for each of a plurality of features.
  • the second feature information corresponding to the feature is detected, the detected second feature information, each of a plurality of person identification information each identifying any one of the plurality of persons, and the plurality of features are paired with each other.
  • a first evaluation value indicating a value according to the degree of coincidence determined by a group is calculated, and for each of the plurality of person identification information included in the related information, a plurality of the first evaluation values associated with the person identification information
  • the recognition accuracy of a person reflected in an image can be improved.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus.
  • FIG. 3 is a diagram illustrating an example of functions of the information processing apparatus.
  • FIG. 4 is a diagram illustrating an example of related information.
  • FIG. 5 is a diagram illustrating an example of the first selection screen.
  • FIG. 6 is a diagram illustrating an example of person information.
  • FIG. 7 is a flowchart illustrating an operation example of the information processing apparatus.
  • FIG. 8 is a diagram illustrating an example of functions of the information processing apparatus according to the modification.
  • FIG. 9 is a diagram illustrating an example of the second selection screen.
  • FIG. 10A is a diagram illustrating an example of a candidate screen.
  • FIG. 10B is a diagram illustrating an example of a candidate screen.
  • FIG. 10C is a diagram illustrating an example of a candidate screen.
  • FIG. 11A is a schematic diagram illustrating how a person is determined in a modified example.
  • FIG. 11B is a schematic diagram illustrating how a person is determined in a modified example.
  • FIG. 11C is a schematic diagram illustrating how a person is determined in a modified example.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information processing system 1 according to the present embodiment. As illustrated in FIG. 1, the information processing system 1 includes an imaging device 10 and an information processing device 20.
  • the imaging device 10 is a device that performs imaging, and includes, for example, a camera.
  • imaging refers to converting an image of an imaging target imaged by an optical system such as a lens into an electrical signal.
  • the information processing system 1 installs the imaging device 10 in a venue (for example, a baseball field, a soccer stadium, a tennis court, a gymnasium, etc.) where a sports game is held, and images the state of the game. In this system, the information processing apparatus 20 processes an obtained image (captured image).
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 20.
  • the information processing apparatus 20 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an operation display unit 104, and a device I / F.
  • Unit 105 and network I / F unit 106 which are connected to each other via a bus 107.
  • the CPU 101 comprehensively controls the operation of the information processing apparatus 20.
  • the CPU 101 is an arithmetic device that implements various functions to be described later by reading a program from a storage device such as the ROM 102 and executing the read program on the RAM 103.
  • the ROM 102 is a nonvolatile semiconductor memory (storage device), and stores various programs and data.
  • the RAM 103 is a volatile semiconductor memory (storage device) and functions as a work area (work area) for processing executed by the CPU 101.
  • the operation display unit 104 is a device that accepts user operations and displays various types of information.
  • the operation display unit 104 includes a touch panel, and can accept an input (an input by a touch operation on the screen) instructing an arbitrary position on the screen displayed on the touch panel.
  • the device I / F unit 105 is an interface for connecting to an external device (such as the imaging device 10).
  • the network I / F unit 106 is an interface for connecting to a network such as the Internet.
  • FIG. 3 is a diagram illustrating an example of functions of the information processing apparatus 20.
  • the information processing device 20 includes an acquisition unit 111, an extraction unit 112, a storage unit 113, a determination unit 114, a calculation unit 115, a determination unit 116, a first display unit 117, A second display unit 118 and a recording unit 119 are provided.
  • the acquisition unit 111 acquires an image. More specifically, the acquisition unit 111 acquires an image (captured image) obtained by the image capture from the image capture device 10 every time the image capture by the image capture device 10 is performed, and the acquired display image is an operation display unit. 104.
  • the extraction unit 112 extracts a person area indicating an area in which a person is reflected from the image acquired by the acquisition unit 111.
  • the extraction unit 112 is a position indicated by the user among the images acquired by the acquisition unit 111 (in this example, a position where a touch operation by the user is performed among the images displayed on the operation display unit 104).
  • the person area is extracted from the predetermined area including ().
  • a technique for extracting a person area from an image various known techniques can be used. For example, a method of extracting a person area by detecting a skin color can be used.
  • the storage unit 113 stores related information in which a plurality of features and first feature information corresponding one-to-one are associated with each other for each of a plurality of pieces of person identification information for identifying any one of a plurality of persons.
  • FIG. 4 is a diagram illustrating an example of related information.
  • a player is an example of a person
  • a player ID is an example of person identification information
  • a spine number is an example of a plurality of features
  • a spine number is an example of first feature information.
  • the related information has a one-to-one correspondence with the four features of the spine number, face, player name, and uniform for each of the plurality of player IDs that respectively identify one of the plurality of players.
  • a number representing a back number a face ID number identifying face information (pattern) representing a face, a character string representing a player name, and uniform information representing a uniform pattern are associated.
  • related for every player ID can be changed arbitrarily.
  • information representing a player's belongings for example, shoes, gloves, a captain mark, a headband, a wristband, etc.
  • information representing a player's body shape, and the like may be associated with the player ID as the first feature information.
  • the determination unit 114 detects, for each of a plurality of features, second feature information corresponding to the feature from the person region, and the detected second feature information and the first feature information included in the related information (more specifically, Determines the degree of coincidence with the first feature information corresponding to the feature corresponding to the detected second feature information.
  • the determination unit 114 uses the number representing the back number as the second feature information corresponding to the feature “number” from the person region extracted by the extraction unit 112, and the second feature corresponding to the feature “face”. Face information representing a face as information, a character string representing a player name as second feature information corresponding to the feature “player name”, and a uniform pattern as second feature information corresponding to the feature “uniform” are detected.
  • the determination unit 114 detects the spine number detected from the person area for each number representing a plurality of spine numbers corresponding to a plurality of player IDs in the related information.
  • the degree of coincidence with the number representing is determined. For example, a number in the vicinity of the face can be detected as a number representing the back number. The same applies to the case where face information, character strings representing player names, and uniform patterns are detected from the person area.
  • the calculation unit 115 includes any one player ID among the plurality of player IDs included in the related information and any one first feature among the four first feature information associated with the one player ID. For each combination with information, a first evaluation value indicating a value according to the degree of matching determined by the determination unit 114 is calculated. In this example, the first evaluation value indicates a larger value as the degree of coincidence between the first feature information and the second feature information is larger.
  • the calculation unit 115 calculates a value predetermined according to the corresponding feature as the first evaluation value.
  • the first feature information and the second feature information are not limited to being completely matched, and the case where the difference between them is less than the reference value may be regarded as matching. On the other hand, if they do not match, “0” is calculated as the first evaluation value.
  • the present invention is not limited to this.
  • the first evaluation value may be a value that continuously changes in accordance with the degree of coincidence between the first feature information and the second feature information.
  • a value of “10” is set in advance for the feature of “face”, and the feature of “uniform”
  • a value of “8” is preset for the feature “6” for the feature “number” and a value “4” for the feature “player name”. It is set in advance.
  • the calculation unit 115 includes, for each of a plurality of player IDs included in the related information, four first evaluation values corresponding to the four first feature information associated with the player ID.
  • the second evaluation value is calculated by performing a predetermined calculation based on the above. More specifically, the calculation unit 115 calculates the second evaluation value by adding the four first characteristic information and the four first evaluation values corresponding one-to-one.
  • the first evaluation value is set to a value reflecting the weight of the corresponding feature. That is, for each player ID included in the related information, the calculation unit 115 performs weighted addition of four first feature information associated with the player ID and four first evaluation values corresponding one-to-one. 2 It can be considered that the evaluation value is calculated.
  • the present invention is not limited to this.
  • a form in which simple addition is performed without performing weighted addition for example, the first evaluation value when the first feature information and the second feature information match is the type of the corresponding feature. (The form set to the same value irrespectively).
  • face information identified by the face ID number “1” is detected as the second feature information corresponding to “face” from the person region extracted by the extraction unit 112, and the second feature corresponding to “uniform” is detected.
  • a pattern representing a uniform “JH1” is detected as information, a number “1” is detected as second feature information corresponding to “back number”, and second feature information corresponding to “player name” is detected Suppose that it was not done (detection failed).
  • the calculation unit 115 calculates “10” as the first evaluation value for the combination of the player ID “A” and the face ID number “1” included in the related information shown in FIG.
  • the first evaluation values for other combinations of player IDs and face ID numbers are all calculated as “0”.
  • the calculation unit 115 also includes a combination of the player ID “A” and the uniform information “JH1”, a combination of the player ID “B” and the uniform information “JH1” included in the related information illustrated in FIG. “8” is calculated as the first evaluation value for each combination of “C” and uniform information “JH1”. The first evaluation values for the combinations of other player IDs and uniform information are all calculated as “0”.
  • calculation unit 115 calculates “6” as the first evaluation value for the combination of the player ID “C” and the number “1” representing the spine number included in the related information shown in FIG.
  • the first evaluation values for the combinations of other player IDs and numbers representing the spine numbers are all calculated as “0”.
  • the first evaluation value for the combination of the selected ID and the character string representing the player name is calculated as “0”.
  • the calculation unit 115 adds the four first characteristic information associated with the player ID and the four first evaluation values corresponding to the one-to-one correspondence. To calculate a second evaluation value.
  • the first evaluation value corresponding to the number “11” representing the back number associated with the player ID “A” is “0” and the face ID number “1”. Since the corresponding first evaluation value is “10”, the first evaluation value corresponding to the character string representing the player name is “0”, and the first evaluation value corresponding to the uniform information “JH1” is “8”.
  • the first evaluation value corresponding to the number “4” representing the back number associated with the player ID “B” corresponds to “0” and the face ID number “2”.
  • the first evaluation value is “0”
  • the first evaluation value corresponding to the character string representing the player name is “0”
  • the first evaluation value corresponding to the uniform information “JH1” is “8”.
  • the first evaluation value corresponding to the number “1” representing the back number associated with the player ID “C” corresponds to “6” and the face ID number “3”.
  • the first evaluation value is “0”
  • the first evaluation value corresponding to the character string representing the player name is “0”
  • the first evaluation value corresponding to the uniform information “JH1” is “8”.
  • the second evaluation value is also calculated as “0”.
  • the determination unit 116 determines a person corresponding to the person area based on the second evaluation value calculated for each player ID by the calculation unit 115. More specifically, the determination unit 116 determines the player identified by the player ID whose corresponding second evaluation value exceeds the threshold as the player corresponding to the person area. In the above example, for example, if the threshold value is “15”, the determination unit 116 corresponds to the person area the player identified by the player ID “A” whose corresponding second evaluation value exceeds “15”. It can be determined as a player (player shown in the person area).
  • the determination unit 116 may determine the player identified by the player ID indicating the highest corresponding second evaluation value as the player corresponding to the person area. Good.
  • the first display unit 117 is person information (information representing a plurality of persons corresponding to the plurality of player IDs one-to-one (for example, the player ID itself may be displayed in descending order of the corresponding second evaluation value, and a first selection screen for selecting any one of the plurality of person information may be displayed, for example, 111 is displayed superimposed on the acquired image.
  • the threshold value is “10”
  • the player ID “A” and the player ID “B” correspond to the player IDs whose corresponding second evaluation value exceeds the threshold value.
  • 117 controls to display the first selection screen as shown in FIG.
  • “TN” displayed at the top of the first selection screen in FIG. 5 is an example of person information representing a player identified by the player ID “A”, and represents an abbreviation of the player.
  • “SA” displayed under “TN” in the first selection screen of FIG. 5 is an example of person information representing a player identified by the player ID “B”, and represents the abbreviation of the player. Yes.
  • the user selects the person information corresponding to the area by touching the area corresponding to any of the plurality of displayed person information on the first selection screen. Can do.
  • the determination part 116 can determine the player which the person information selected from the said 1st selection screen represents as a player corresponding to a person area.
  • the second display unit 118 displays personal information representing the player determined by the determination unit 116 in the vicinity of the person area extracted by the extraction unit 112 in the image acquired by the acquisition unit 111. For example, when the player identified by the player ID “A” is determined by the determining unit 116 as the player corresponding to the person area, the second display unit 118 displays a player near the person area as shown in FIG.
  • the abbreviation “TN” of the player identified by the ID “A” can also be displayed as the person information.
  • the recording unit 119 records tag information in which the image acquired by the acquisition unit 111, the region corresponding to the person region extracted by the extraction unit 112 in the image, and the person determined by the determination unit 116 are associated with each other.
  • Tag information is accumulated in a storage device such as the ROM 102, for example.
  • each unit of the information processing apparatus 20 (the acquisition unit 111, the extraction unit 112, the determination unit 114, the calculation unit 115, the determination unit 116, the first display unit 117, the second display unit 118, and the recording unit). 119) is realized by the CPU 101 executing a program stored in a storage device such as the ROM 102.
  • a dedicated hardware circuit for example, a semiconductor integrated circuit.
  • FIG. 7 is a flowchart showing an operation example of the information processing apparatus 20 of the present embodiment.
  • the acquisition unit 111 acquires an image from the imaging device 10 (step S ⁇ b> 1)
  • the acquired image is displayed on the operation display unit 104.
  • the extraction unit 112 extracts a person region from a predetermined region including a position where the user's touch operation is performed, in the image displayed on the operation display unit 104 (step S2).
  • the information processing apparatus 20 calculates a second evaluation value for each of a plurality of player IDs included in the related information shown in FIG. 4 (step S3).
  • the determination unit 114 determines the feature for each of the four features (in this example, face, spine number, player name, uniform) from the person region extracted in step S2.
  • the second feature information corresponding to is detected, and the degree of coincidence between the detected second feature information and the first feature information corresponding to the feature included in the related information is determined.
  • the calculation part 115 is any one 1st feature information of any one player ID contained in the relevant information shown in FIG. 4, and four 1st feature information linked
  • the calculation unit 115 adds, for each of the plurality of player IDs included in the related information, four first feature information associated with the player ID and four first evaluation values corresponding one-to-one (this example) Then, the second evaluation value is calculated.
  • step S4 determines whether or not there is a player ID whose corresponding second evaluation value exceeds the threshold.
  • step S4 determines whether or not there are a plurality of player IDs whose corresponding second evaluation values exceed the threshold (step S5).
  • step S5 When the result of step S5 is affirmative (step S5: Yes), the determination unit 116 requests the first display unit 117 to display the first selection screen, and the first display unit 117 that receives this request A first selection screen is displayed (step S6). And the determination part 116 determines the player which the person information selected from the 1st selection screen represents as a player corresponding to a person area (step S7).
  • step S5 when the result of step S5 is negative (step S5: No), the determination unit 116 corresponds to the player identified by one player ID whose corresponding second evaluation value exceeds the threshold value as the person region. A player is determined (step S8).
  • step S7 or step S8 the second display unit 118 displays personal information representing the player determined in step S7 or step S8 (step S9).
  • the recording unit 119 records tag information (step S10). The specific contents are as described above.
  • a plurality of first feature information corresponding to four features in this example, face, back number, player name, uniform
  • second feature information corresponding to the feature is detected for each of the four features from the person region extracted from the image (the image obtained by the obtaining unit 111) according to the user's instruction, and the detected second feature information is detected. And the degree of coincidence with the first feature information included in the related information. Then, any one player ID among the plurality of player IDs included in the related information and any one first feature information among the four first feature information associated with the one player ID.
  • a first evaluation value corresponding to the degree of coincidence is calculated, and for each of a plurality of player IDs included in the related information, there is a one-to-one correspondence with the four first feature information associated with the player ID.
  • a predetermined calculation (in this example, weighted addition) based on the four first evaluation values is performed to calculate the second evaluation value.
  • the person corresponding to a person field is determined.
  • the recognition accuracy of the person reflected in the image can be improved.
  • the information processing apparatus 20 may further include a third display unit 120.
  • the third display unit 120 receives an operation of selecting the personal information displayed by the second display unit 118, the third display unit 120 corresponds to a plurality of pieces of personal information corresponding to a predetermined number of player IDs included in the related information.
  • the second evaluation values are displayed in descending order, and a second selection screen for selecting any one of the plurality of person information is displayed.
  • the predetermined number included in the related information may be the number of all player IDs included in the related information, or may be a certain number in the descending order of the corresponding second evaluation value.
  • the third display unit 120 displays the second selection screen as shown in FIG. “TN” displayed at the top of the second selection screen in FIG. 9 is an example of person information representing a player identified by the player ID “A”, and represents the abbreviation of the player.
  • “SA” displayed under “TN” on the second selection screen in FIG. 9 is an example of person information representing a player identified by the player ID “B”, and represents the abbreviation of the player. Yes.
  • “MY” displayed under “SA” on the second selection screen of FIG. 9 is an example of person information representing a player identified by the player ID “C”, and represents the abbreviation of the player. Yes.
  • the user selects the person information corresponding to the area by touching the area corresponding to any of the plurality of displayed person information in the second selection screen. Can do.
  • the determination unit 116 can determine or re-determine the player represented by the person information selected from the second selection screen as a player corresponding to the person area. As described above, the determination by the determination unit 116 can be corrected.
  • the calculation unit 115 includes a plurality of one-to-one correspondences with a predetermined number of player IDs included in the related information in descending order of the addition value of the corresponding first evaluation value.
  • Candidate screens showing person information can also be displayed. For example, in the above example, when a pattern representing a uniform “JH1” is first detected from the person area, the calculation unit 115 can also display a candidate screen as shown in FIG. 10A. Next, when the number “1” is detected as the number representing the spine number from the person area, the calculation unit 115 can also display a candidate screen as shown in FIG. 10B. Next, when face information identified by the face ID number “1” is detected from the person area, the calculation unit 115 can also display a candidate screen as shown in FIG. 10C.
  • the extraction unit 112 automatically extracts a person area sequentially from the image acquired by the acquisition unit 111 without depending on a user instruction, and when a person corresponding to the extracted person area is determined, The person area may be extracted. For example, as shown in FIG. 11A to FIG. 11C, in the images acquired by the acquisition unit 111, three players (players identified by player ID “A”, players identified by player ID “B”, player IDs) Assume that the player identified by “C” is reflected.
  • the extraction unit 112 first extracts the upper left person area among the three person areas included in the image, the upper left person area, the center person area, and the upper right person area.
  • the player corresponding to the person area is determined by the method described in the above embodiment.
  • the player identified by the player ID “A” is determined as the player corresponding to the upper left person area, and is identified by the player ID “A” in the vicinity of the upper left person area as shown in FIG. 11A.
  • the abbreviation “TN” of the player to be played is displayed as the person information.
  • the extraction unit 112 extracts a central person area. Then, the player corresponding to the extracted central person area is determined by the method described in the above embodiment. In this example, the player identified by the player ID “B” is determined as the player corresponding to the upper left person area, and is identified by the player ID “B” in the vicinity of the central person area as shown in FIG. 11B.
  • the abbreviation “SA” of the player to be played is displayed as the person information. Moreover, you may display the character string which represents a player name instead of an abbreviation as person information.
  • the extraction unit 112 extracts the upper right person area. Then, the player corresponding to the extracted upper right person area is determined by the method described in the above embodiment.
  • the player identified by the player ID “C” is determined as the player corresponding to the upper right person area, and is identified by the player ID “C” in the vicinity of the upper right person area as shown in FIG. 11C.
  • the abbreviation “MY” of the player to be played is displayed as the person information.
  • the players reflected in the image are three players: a player identified by the player ID “A”, a player identified by the player ID “B”, and a player identified by the player ID “C”. If it is known in advance, the remaining players can be determined at the stage where two players are determined (recognized).
  • the program executed by the information processing apparatus 20 (the program executed by the CPU 101) is stored on an external device connected to a network such as the Internet, and is provided by being downloaded via the network. Good. Further, the program executed by the information processing apparatus 20 described above may be provided or distributed via a network such as the Internet. Furthermore, the program executed by the information processing apparatus 20 described above may be provided by being incorporated in advance in a nonvolatile recording medium such as a ROM. Further, in the present embodiment, the second evaluation value is obtained by adding the first evaluation value. However, the second evaluation value is not limited to this, and may be obtained from, for example, the product of the first evaluation values, a predetermined arithmetic expression, or a predetermined table.
  • the first evaluation value corresponding to the number “11” representing the spine number associated with the player ID “A” is “0”
  • the first evaluation value corresponding to the face ID number “1” is “10”
  • Imaging Device 10
  • Information Processing Device 101
  • CPU 102
  • ROM 103
  • RAM 104
  • Operation display unit 105
  • Device I / F unit 106
  • Network I / F unit 107
  • Bus 111
  • Acquisition unit 112
  • Extraction unit 113
  • Storage unit 114
  • Determination unit 115
  • Calculation unit 116 Determination unit 117 First display unit 118 Second display unit 119 Recording unit 120

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)

Abstract

　本発明の情報処理装置は取得部と抽出部と記憶部と判定部と算出部と決定部とを備える。取得部は画像を取得する。抽出部は画像から人物領域を抽出する。記憶部は関連情報を記憶する。判定部は、人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報内の第１特徴情報との一致度合いを判定する。算出部は、関連情報内の１つの人物識別情報と、該１つの人物識別情報に関連付けられた１つの第１特徴情報との組み合わせごとに、判定部により判定された一致度合いに応じた第１評価値を算出し、関連情報内の人物識別情報ごとに、該人物識別情報に関連付けられた複数の第１特徴情報と１対１に対応する複数の第１評価値に基づく所定の演算を行って第２評価値を算出する。決定部は、人物識別情報ごとに算出された第２評価値に基づいて、人物領域に対応する人物を決定する。

Description

情報処理システム、情報処理方法およびプログラム
　本発明の実施形態は、情報処理システム、情報処理方法およびプログラムに関する。
　従来、カメラなどの撮像装置で撮像した画像（撮像画像）に対して、その画像の中に「何が写っているのか」を示す情報を付加する技術が知られている。
　例えば特許文献１に開示された技術では、選手名と背番号と顔パターン(顔を表す情報)とを対応付けて記憶するデータベースを用意し、カメラで撮像した画像に対して顔検出や背番号検出を行う。そして、該データベースの中に、顔検出により検出された顔パターンと一致する顔パターンが存在する場合、または、背番号検出により検出された背番号（顔の近傍に存在する数字）と一致する背番号がデータベースに存在する場合、検出された顔パターンまたは検出された背番号を有する被写体の人物は、データベースにおいて該顔パターンまたは該背番号に対応付けられた選手名で識別される選手であると認識する。
特開２００７－８１６８１号公報
　しかしながら、特許文献１に開示された技術は、１つの特徴（顔または背番号）のみを判断材料として、画像に写り込んだ人物を認識する技術であるため、その認識精度が不十分であるという問題がある。
　本発明は、上記に鑑みてなされたものであって、画像に写り込んだ人物の認識精度を向上させることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、画像を取得する取得部と、前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出部と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報ごとに、複数の特徴と１対１に対応する複数の第１特徴情報を関連付けた関連情報を記憶する記憶部と、前記人物領域から、前記複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、前記関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定部と、前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定部により判定された前記一致度合いに応じた値を示す第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出部と、前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定部と、を備える。
　また、本発明は、画像を取得する取得ステップと、前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた値を示す情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を含む情報処理方法である。
　また、本発明は、コンピュータに、画像を取得する取得ステップと、前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた値を示す第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を実行させるためのプログラムである。
　本発明によれば、画像に写り込んだ人物の認識精度を向上させることができる。
図１は、実施形態の情報処理システムの概略構成の一例を示す図である。 図２は、情報処理装置のハードウェア構成の一例を示す図である。 図３は、情報処理装置が有する機能の一例を示す図である。 図４は、関連情報の一例を示す図である。 図５は、第１選択画面の一例を示す図である。 図６は、人物情報の一例を示す図である。 図７は、情報処理装置の動作例を示すフローチャートである。 図８は、変形例の情報処理装置が有する機能の一例を示す図である。 図９は、第２選択画面の一例を示す図である。 図１０Ａは、候補画面の一例を示す図である。 図１０Ｂは、候補画面の一例を示す図である。 図１０Ｃは、候補画面の一例を示す図である。 図１１Ａは、変形例における人物決定の様子を示す模式図である。 図１１Ｂは、変形例における人物決定の様子を示す模式図である。 図１１Ｃは、変形例における人物決定の様子を示す模式図である。
　以下、添付図面を参照しながら、本発明にかかる情報処理システム、情報処理方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
　図１は、本実施形態の情報処理システム１の概略構成の一例を示す図である。図１に示すように、情報処理システム１は、撮像装置１０と、情報処理装置２０とを含む。
　撮像装置１０は撮像を行う装置であり、例えばカメラで構成される。本明細書において、「撮像」とは、レンズなどの光学系により結像された撮像対象の像を、電気信号に変換することを指す。本実施形態の情報処理システム１は、スポーツの試合が開催される会場（例えば野球場、サッカースタジアム、テニスコート、体育館等）に撮像装置１０を設置して試合の様子を撮像し、その撮像で得られた画像（撮像画像）を情報処理装置２０で処理するシステムである。
　次に、情報処理装置２０の構成を説明する。図２は、情報処理装置２０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３と、操作表示部１０４と、機器Ｉ／Ｆ部１０５と、ネットワークＩ／Ｆ部１０６とを備え、これらはバス１０７を介して相互に接続される。
　ＣＰＵ１０１は、情報処理装置２０の動作を統括的に制御する。ＣＰＵ１０１は、ＲＯＭ１０２などの記憶装置からプログラムを読み出し、その読み出したプログラムをＲＡＭ１０３上で実行することで、後述する各種の機能を実現する演算装置である。
　ＲＯＭ１０２は、不揮発性の半導体メモリ（記憶装置）であり、各種のプログラムやデータを記憶する。ＲＡＭ１０３は、揮発性の半導体メモリ（記憶装置）であり、ＣＰＵ１０１が実行する処理の作業領域（ワークエリア）として機能する。
　操作表示部１０４は、ユーザによる操作を受け付けるとともに各種の情報を表示するデバイスである。この例では、操作表示部１０４はタッチパネルで構成され、タッチパネルに表示される画面上の任意の位置を指示する入力（画面に対するタッチ操作による入力）を受け付けることができる。
　機器Ｉ／Ｆ部１０５は、外部機器（撮像装置１０等）と接続するためのインタフェースである。ネットワークＩ／Ｆ部１０６は、例えばインターネットなどのネットワークと接続するためのインタフェースである。
　図３は、情報処理装置２０が有する機能の一例を示す図である。図２に示すように、情報処理装置２０は、取得部１１１と、抽出部１１２と、記憶部１１３と、判定部１１４と、算出部１１５と、決定部１１６と、第１表示部１１７と、第２表示部１１８と、記録部１１９とを有する。
　取得部１１１は画像を取得する。より具体的には、取得部１１１は、撮像装置１０による撮像が行われるたびに、その撮像により得られた画像（撮像画像）を撮像装置１０から取得し、その取得した撮像画像を操作表示部１０４に表示する。
　抽出部１１２は、取得部１１１が取得した画像から、人物が写り込んだ領域を示す人物領域を抽出する。本実施形態では、抽出部１１２は、取得部１１１が取得した画像のうち、ユーザが指示した位置（この例では操作表示部１０４に表示された画像のうち、ユーザによるタッチ操作が行われた位置）を含む所定領域から人物領域を抽出する。画像から人物領域を抽出する技術としては公知の様々な技術を利用することができ、例えば肌色を検出することで人物領域を抽出する方法などを用いることができる。
　記憶部１１３は、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報ごとに、複数の特徴と１対１に対応する第１特徴情報を関連付けた関連情報を記憶する。図４は、関連情報の一例を示す図である。図４の例では、人物の一例として選手、人物識別情報の一例として選手ＩＤ、複数の特徴の一例として背番号、顔、選手名およびユニフォームの４つの特徴、第１特徴情報の一例として背番号を表す数字、顔を表す顔情報（顔パターン）を識別する顔ＩＤ番号、選手名を表す文字列、ユニフォームの模様を表すユニフォーム情報としている。より具体的には、関連情報は、複数の選手のうちの何れかをそれぞれが識別する複数の選手ＩＤごとに、背番号、顔、選手名およびユニフォームの４つの特徴と１対１に対応する４つの第１特徴情報として背番号を表す数字、顔を表す顔情報（パターン）を識別する顔ＩＤ番号、選手名を表す文字列、ユニフォームの模様を表すユニフォーム情報を関連付けている。なお、これに限らず、選手ＩＤごとに関連付けられる第１特徴情報の種類や数は任意に変更可能である。例えば選手の携行品（例えば靴、グローブ、キャプテンマーク、ヘッドバンド、リストバンド等）を表す情報や、選手の体型を表す情報などが第１特徴情報として選手ＩＤに関連付けられていてもよい。
　判定部１１４は、人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報に含まれる第１特徴情報（より具体的には、その検出した第２特徴情報に対応する特徴に対応する第１特徴情報）との一致度合いを判定する。この例では、判定部１１４は、抽出部１１２が抽出した人物領域から、「背番号」という特徴に対応する第２特徴情報として背番号を表す数字、「顔」という特徴に対応する第２特徴情報として顔を表す顔情報、「選手名」という特徴に対応する第２特徴情報として選手名を表す文字列、「ユニフォーム」という特徴に対応する第２特徴情報としてユニフォームの模様をそれぞれ検出する。例えば人物領域から背番号を表す数字を検出した場合、判定部１１４は、関連情報において複数の選手ＩＤと１対１に対応する複数の背番号を表す数字ごとに、人物領域から検出した背番号を表す数字との一致度合いを判定する。背番号を表す数字の検出は、例えば顔の近傍の数字を、背番号を表す数字として検出することができる。人物領域から、顔情報、選手名を表す文字列、ユニフォームの模様を検出した場合についても同様である。
　算出部１１５は、関連情報に含まれる複数の選手ＩＤのうちの何れか１つの選手ＩＤと、該１つの選手ＩＤに関連付けられた４つの第１特徴情報のうちの何れか１つの第１特徴情報との組み合わせごとに、判定部１１４により判定された一致度合いに応じた値を示す第１評価値を算出する。この例では、第１評価値は、第１特徴情報と第２特徴情報との一致度合いが大きいほど大きい値を示す。
　本実施形態では、算出部１１５は、第１特徴情報と第２特徴情報とが一致した場合は、対応する特徴に応じて予め定められた値を第１評価値として算出する。第１特徴情報と第２特徴情報とが完全一致に限らず、両者の差分が基準値未満の場合も一致しているとみなしてもよい。一方、一致しない場合は、第１評価値として「０」を算出する。ただし、これに限られるものではない。例えば第１評価値は、第１特徴情報と第２特徴情報との一致度合いに応じて連続的に変化する値であってもよい。本実施形態では、第１特徴情報と第２特徴情報とが一致した場合の第１評価値として、「顔」という特徴に対しては「１０」という値が予め設定され、「ユニフォーム」という特徴に対しては「８」という値が予め設定され、「背番号」という特徴に対しては「６」という値が予め設定され、「選手名」という特徴に対しては「４」という値が予め設定されている。
　また、本実施形態では、算出部１１５は、関連情報に含まれる複数の選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値に基づく所定の演算を行って第２評価値を算出する。より具体的には、算出部１１５は、４つの第１特徴情報と１対１に対応する４つの第１評価値を加算して第２評価値を算出する。上述したように、本実施形態では、上記第１評価値は、対応する特徴の重みを反映した値に設定されている。つまり、算出部１１５は、関連情報に含まれる選手ＩＤごとに、該選手ＩＤに関連付けられた４つ第１特徴情報と１対１に対応する４つの第１評価値を重み付き加算して第２評価値を算出していると考えることができる。なお、これに限らず、例えば重み付き加算を行わずに、単純加算を行う形態（例えば第１特徴情報と第２特徴情報とが一致した場合の第１評価値が、対応する特徴の種類によらずに同一の値に設定される形態）であってもよい。
　ここで、抽出部１１２が抽出した人物領域から、「顔」に対応する第２特徴情報として、顔ＩＤ番号「１」で識別される顔情報が検出され、「ユニフォーム」に対応する第２特徴情報として、「ＪＨ１」というユニフォームを表す模様が検出され、「背番号」に対応する第２特徴情報として、「１」という数字が検出され、「選手名」に対応する第２特徴情報は検出されなかった（検出に失敗した）場合を想定する。
　この場合、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤ「Ａ」と顔ＩＤ番号「１」との組み合わせに対する第１評価値として「１０」を算出する。その他の選手ＩＤと顔ＩＤ番号との組み合わせに対する第１評価値は何れも「０」と算出される。
　また、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤ「Ａ」とユニフォーム情報「ＪＨ１」との組み合わせ、選手ＩＤ「Ｂ」とユニフォーム情報「ＪＨ１」との組み合わせ、および、選手ＩＤ「Ｃ」とユニフォーム情報「ＪＨ１」との組み合わせの各々に対する第１評価値として「８」を算出する。その他の選手ＩＤとユニフォーム情報との組み合わせに対する第１評価値は何れも「０」と算出される。
　さらに、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤ「Ｃ」と背番号を表す数字「１」との組み合わせに対する第１評価値として「６」を算出する。その他の選手ＩＤと背番号を表す数字との組み合わせに対する第１評価値は何れも「０」と算出される。
　なお、「選手名」に対応する第２特徴情報は検出されなかったので、選出ＩＤと選手名を表す文字列との組み合わせに対する第１評価値は何れも「０」と算出される。
　そして、算出部１１５は、図４に示す関連情報に含まれる選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値を加算して第２評価値を算出する。上記の場合、選手ＩＤ「Ａ」に着目すると、該選手ＩＤ「Ａ」に関連付けられた背番号を表す数字「１１」に対応する第１評価値は「０」、顔ＩＤ番号「１」に対応する第１評価値は「１０」、選手名を表す文字列に対応する第１評価値は「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」と算出されるので、選手ＩＤ「Ａ」に対応する第２評価値は１０＋０＋０＋８＝１８と算出される。
　次に、選手ＩＤ「Ｂ」に着目すると、該選手ＩＤ「Ｂ」に関連付けられた背番号を表す数字「４」に対応する第１評価値は「０」、顔ＩＤ番号「２」に対応する第１評価値は「０」、選手名を表す文字列に対応する第１評価値は「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」と算出されるので、選手ＩＤ「Ｂ」に対応する第２評価値は０＋０＋０＋８＝８と算出される。
　次に、選手ＩＤ「Ｃ」に着目すると、該選手ＩＤ「Ｃ」に関連付けられた背番号を表す数字「１」に対応する第１評価値は「６」、顔ＩＤ番号「３」に対応する第１評価値は「０」、選手名を表す文字列に対応する第１評価値は「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」と算出されるので、選手ＩＤ「Ｃ」に対応する第２評価値は６＋０＋０＋８＝１４と算出される。
　その他の選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値は何れも「０」なので、第２評価値も「０」と算出される。
　図３の説明を続ける。決定部１１６は、算出部１１５によって選手ＩＤごとに算出された第２評価値に基づいて、人物領域に対応する人物を決定する。より具体的には、決定部１１６は、対応する第２評価値が閾値を超える選手ＩＤで識別される選手を、人物領域に対応する選手として決定する。上記の一例において、例えば上記閾値が「１５」であれば、決定部１１６は、対応する第２評価値が「１５」を超える選手ＩＤ「Ａ」で識別される選手を、人物領域に対応する選手（人物領域に写っている選手）として決定することができる。
　なお、例えば上記閾値を設けずに、決定部１１６は、対応する第２評価値が最も高い値を示す選手ＩＤで識別される選手を、人物領域に対応する選手として決定する形態であってもよい。
　図３の説明を続ける。第１表示部１１７は、対応する第２評価値が上記閾値を超える選手ＩＤが複数存在する場合は、該複数の選手ＩＤと１対１に対応する複数の人物を表す情報である人物情報（、例えば選手ＩＤそのものであってもよい）を、対応する第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第１選択画面を、例えば取得部１１１が取得した画像に重畳して表示する。上記の場合において、例えば上記閾値が「１０」であれば、対応する第２評価値が閾値を超える選手ＩＤとして、選手ＩＤ「Ａ」および選手ＩＤ「Ｂ」が該当するので、第１表示部１１７は、図５に示すような第１選択画面を表示する制御を行う。図５の第１選択画面において一番上に表示された「ＴＮ」は選手ＩＤ「Ａ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。同様に、図５の第１選択画面において「ＴＮ」の下に表示された「ＳＡ」は選手ＩＤ「Ｂ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。この例では、ユーザは、第１選択画面のうち、表示された複数の人物情報のうちの何れかに対応する領域をタッチする操作を行うことにより、該領域に対応する人物情報を選択することができる。
　そして、決定部１１６は、上記第１選択画面から選択された人物情報が表す選手を、人物領域に対応する選手として決定することができる。
　第２表示部１１８は、取得部１１１が取得した画像のうち、抽出部１１２が抽出した人物領域の近傍に、決定部１１６が決定した選手を表す人物情報を表示する。例えば決定部１１６によって、人物領域に対応する選手として選手ＩＤ「Ａ」で識別される選手が決定された場合、図６に示すように、第２表示部１１８は、人物領域の近傍に、選手ＩＤ「Ａ」で識別される選手の略称「ＴＮ」を人物情報として表示することもできる。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。
　図３の説明を続ける。記録部１１９は、取得部１１１が取得した画像と、該画像のうち抽出部１１２が抽出した人物領域に対応する領域と、決定部１１６が決定した人物とを関連付けたタグ情報を記録する。タグ情報は、例えばＲＯＭ１０２等の記憶装置に蓄積されていく。
　本実施形態では、上述した情報処理装置２０の各部の機能（取得部１１１、抽出部１１２、判定部１１４、算出部１１５、決定部１１６、第１表示部１１７、第２表示部１１８、記録部１１９）は、ＣＰＵ１０１がＲＯＭ１０２等の記憶装置に格納されたプログラムを実行することにより実現される。なお、これに限らず、例えば上述した情報処理装置２０の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。
　図７は、本実施形態の情報処理装置２０の動作例を示すフローチャートである。図７に示すように、まず取得部１１１が撮像装置１０から画像を取得すると（ステップＳ１）、その取得した画像を操作表示部１０４に表示する。次に、抽出部１１２は、操作表示部１０４に表示された画像のうち、ユーザによるタッチ操作が行われた位置を含む所定領域から人物領域を抽出する（ステップＳ２）。
　次に、情報処理装置２０は、図４に示す関連情報に含まれる複数の選手ＩＤごとに第２評価値を算出する（ステップＳ３）。この具体的な内容は上述したとおりであるが、判定部１１４は、ステップＳ２で抽出した人物領域から、４つの特徴（この例では、顔、背番号、選手名、ユニフォーム）ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報に含まれる該特徴に対応する第１特徴情報との一致度合いを判定する。また、算出部１１５は、図４に示す関連情報に含まれる何れか１つの選手ＩＤと、該１つの選手ＩＤに関連付けられた４つの第１特徴情報のうちの何れか１つの第１特徴情報との組み合わせごとに、判定部１１４により判定された一致度合いに応じた第１評価値を算出する。そして、算出部１１５は、関連情報に含まれる複数の選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値を加算（この例では重み付き加算）して第２評価値を算出する。
　次に、決定部１１６は、対応する第２評価値が閾値を超える選手ＩＤが存在するか否かを判断する（ステップＳ４）。ステップＳ４の結果が肯定の場合（ステップＳ４：Ｙｅｓ）、決定部１１６は、対応する第２評価値が閾値を超える選手ＩＤが複数存在するか否かを判断する（ステップＳ５）。
　ステップＳ５の結果が肯定の場合（ステップＳ５：Ｙｅｓ）、決定部１１６は、第１表示部１１７に対して第１選択画面の表示を依頼し、この依頼を受けた第１表示部１１７は、第１選択画面を表示する（ステップＳ６）。そして、決定部１１６は、第１選択画面から選択された人物情報が表す選手を、人物領域に対応する選手として決定する（ステップＳ７）。
　一方、ステップＳ５の結果が否定の場合（ステップＳ５：Ｎｏ）、決定部１１６は、対応する第２評価値が閾値を超えている１つの選手ＩＤで識別される選手を、人物領域に対応する選手として決定する（ステップＳ８）。
　ステップＳ７またはステップＳ８の後、第２表示部１１８は、ステップＳ７またはステップＳ８で決定した選手を表す人物情報を表示する（ステップＳ９）。次に、記録部１１９は、タグ情報を記録する（ステップＳ１０）。具体的な内容は上述したとおりである。
　以上に説明したように、本実施形態では、複数の選手ＩＤごとに、４つの特徴（この例では、顔、背番号、選手名、ユニフォーム）と１対１に対応する複数の第１特徴情報を関連付けた関連情報を記憶する記憶部１１３を有する。そして、ユーザの指示に応じて画像（取得部１１１が取得した画像）から抽出した人物領域から、４つの特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した第２特徴情報と、関連情報に含まれる第１特徴情報との一致度合いを判定する。そして、関連情報に含まれる複数の選手ＩＤのうちの何れか１つの選手ＩＤと、該１つの選手ＩＤに関連付けられた４つの第１特徴情報のうちの何れか１つの第１特徴情報との組み合わせごとに、上記一致度合いに応じた第１評価値を算出し、関連情報に含まれる複数の選手ＩＤごとに、該選手ＩＤに関連付けられた４つの第１特徴情報と１対１に対応する４つの第１評価値に基づく所定の演算（この例では重み付き加算）を行って第２評価値を算出する。そして、選手ＩＤごとに算出された第２評価値に基づいて、人物領域に対応する人物を決定する。
　すなわち、本実施形態では、上記４つの特徴を総合的に考慮して、人物領域に対応する人物を決定するので、画像に写り込んだ人物の認識精度を向上させることができる。
　以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
　例えば図８に示すように、情報処理装置２０は、第３表示部１２０をさらに有する形態であってもよい。第３表示部１２０は、第２表示部１１８が表示した人物情報を選択する操作を受け付けた場合、関連情報に含まれる所定数の選手ＩＤと１対１に対応する複数の人物情報を、対応する第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第２選択画面を表示する。関連情報に含まれる所定数は、関連情報に含まれる全ての選手ＩＤの数であってもよいし、対応する第２評価値が高い順の一定数であってもよい。
　例えば上記の一例において、図６に示す人物情報を選択する操作を受け付けた場合、第３表示部１２０は、図９に示すような第２選択画面を表示する。図９の第２選択画面において一番上に表示された「ＴＮ」は選手ＩＤ「Ａ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。同様に、図９の第２選択画面において「ＴＮ」の下に表示された「ＳＡ」は選手ＩＤ「Ｂ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。同様に、図９の第２選択画面において「ＳＡ」の下に表示された「ＭＹ」は選手ＩＤ「Ｃ」で識別される選手を表す人物情報の一例であり、該選手の略称を表している。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。この例では、ユーザは、第２選択画面のうち、表示された複数の人物情報のうちの何れかに対応する領域をタッチする操作を行うことにより、該領域に対応する人物情報を選択することができる。そして、決定部１１６は、上記第２選択画面から選択された人物情報が表す選手を、人物領域に対応する選手として決定したり、決定し直したりすることができる。以上のようにして、決定部１１６による決定を修正することもできる。
　また、例えば決定部１１６による決定前の段階において、算出部１１５は、対応する第１評価値の加算値が高い順に、関連情報に含まれる所定数の選手ＩＤと１対１に対応する複数の人物情報を示す候補画面を表示することもできる。例えば上記の一例において、最初に、人物領域から、「ＪＨ１」というユニフォームを表す模様が検出された場合、算出部１１５は、図１０Ａのような候補画面を表示することもできる。次に、人物領域から、背番号を表す数字として「１」という数字が検出された場合、算出部１１５は、図１０Ｂのような候補画面を表示することもできる。次に、人物領域から、顔ＩＤ番号「１」で識別される顔情報が検出された場合、算出部１１５は、図１０Ｃのような候補画面を表示することもできる。
　また、例えば抽出部１１２は、ユーザの指示によらずに、取得部１１１が取得した画像から順次に人物領域を自動的に抽出し、抽出した人物領域に対応する人物が決定されると、次の人物領域を抽出する形態であってもよい。例えば図１１Ａないし図１１Ｃのように、取得部１１１が取得した画像の中に、３人の選手（選手ＩＤ「Ａ」で識別される選手、選手ＩＤ「Ｂ」で識別される選手、選手ＩＤ「Ｃ」で識別される選手）が写り込んでいる場合を想定する。
　この例では、まず抽出部１１２は、画像に含まれる３つの人物領域である左上の人物領域、中央の人物領域、右上の人物領域のうち左上の人物領域を抽出する。抽出部１１２による人物領域の抽出が行われると、上述の実施形態で説明した方法により、その人物領域に対応する選手が決定される。この例では、選手ＩＤ「Ａ」で識別される選手が、左上の人物領域に対応する選手として決定され、図１１Ａに示すように、左上の人物領域の近傍に、選手ＩＤ「Ａ」で識別される選手の略称「ＴＮ」が人物情報として表示される。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。
　次に、抽出部１１２は中央の人物領域を抽出する。そして、上述の実施形態で説明した方法により、抽出された中央の人物領域に対応する選手が決定される。この例では、選手ＩＤ「Ｂ」で識別される選手が、左上の人物領域に対応する選手として決定され、図１１Ｂに示すように、中央の人物領域の近傍に、選手ＩＤ「Ｂ」で識別される選手の略称「ＳＡ」が人物情報として表示される。また、略称ではなく選手名を表す文字列を人物情報として表示しても良い。
　次に、抽出部１１２は右上の人物領域を抽出する。そして、上述の実施形態で説明した方法により、抽出された右上の人物領域に対応する選手が決定される。この例では、選手ＩＤ「Ｃ」で識別される選手が、右上の人物領域に対応する選手として決定され、図１１Ｃに示すように、右上の人物領域の近傍に、選手ＩＤ「Ｃ」で識別される選手の略称「ＭＹ」が人物情報として表示される。なお、画像の中に映り込んでいる選手が、選手ＩＤ「Ａ」で識別される選手、選手ＩＤ「Ｂ」で識別される選手、選手ＩＤ「Ｃ」で識別される選手の３人であることが予め分かっている場合は、２人の選手を決定（認識）した段階で、残りの選手を決定することもできる。
（プログラム）
　また、上述の情報処理装置２０で実行されるプログラム（ＣＰＵ１０１が実行するプログラム）を、インターネット等のネットワークに接続された外部装置上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の情報処理装置２０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上述の情報処理装置２０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。さらに、本実施形態では第２評価値は第１評価値の加算で求めたが、これに限らず、例えば第１評価値の積や所定の演算式や所定のテーブルから求めても良い。例えば、選手ＩＤ「Ａ」に関連付けられた背番号を表す数字「１１」に対応する第１評価値を「０」、顔ＩＤ番号「１」に対応する第１評価値を「１０」、選手名を表す文字列に対応する第１評価値を「０」、ユニフォーム情報「ＪＨ１」に対応する第１評価値は「８」とすると、選手ＩＤ「Ａ」に対応する第２評価値を１０＋（０＋０）＊８＝１０等と算出しても良い。
１　　　情報処理システム
１０　　撮像装置
２０　　情報処理装置
１０１　ＣＰＵ
１０２　ＲＯＭ
１０３　ＲＡＭ
１０４　操作表示部
１０５　機器Ｉ／Ｆ部
１０６　ネットワークＩ／Ｆ部
１０７　バス
１１１　取得部
１１２　抽出部
１１３　記憶部
１１４　判定部
１１５　算出部
１１６　決定部
１１７　第１表示部
１１８　第２表示部
１１９　記録部
１２０　第３表示部

Claims (12)

  1. 　画像を取得する取得部と、
    　前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出部と、
    　複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報ごとに、複数の特徴と１対１に対応する複数の第１特徴情報を関連付けた関連情報を記憶する記憶部と、
    　前記人物領域から、前記複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、前記関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定部と、
    　前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定部により判定された前記一致度合いに応じた値を示す第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出部と、
    　前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定部と、を備える、
    　情報処理システム。
  2. 　前記第１評価値は、前記第１特徴情報と前記第２特徴情報との一致度合いが大きいほど大きい値を示し、
    　前記決定部は、対応する前記第２評価値が閾値を超える前記人物識別情報で識別される人物を、前記人物領域に対応する人物として決定する、
    　請求項１に記載の情報処理システム。
  3. 　対応する前記第２評価値が前記閾値を超える前記人物識別情報が複数存在する場合は、該複数の前記人物識別情報と１対１に対応する複数の人物情報を、対応する前記第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第１選択画面を表示する第１表示部をさらに備え、
    　前記決定部は、前記第１選択画面から選択された人物情報が表す人物を、前記人物領域に対応する人物として決定する、
    　請求項２に記載の情報処理システム。
  4. 　前記第１評価値は、前記第１特徴情報と前記第２特徴情報との一致度合いが大きいほど大きい値を示し、
    　前記決定部は、対応する前記第２評価値が最も高い値を示す前記人物識別情報で識別される人物を、前記人物領域に対応する人物として決定する、
    　請求項１に記載の情報処理システム。
  5. 　前記画像のうち、前記人物領域の近傍に、前記決定部が決定した人物を表す人物情報を表示する第２表示部をさらに備える、
    　請求項２乃至４のうちの何れか１項に記載の情報処理システム。
  6. 　前記第２表示部が表示した人物情報を選択する操作を受け付けた場合、前記関連情報に含まれる所定数の前記人物識別情報と１対１に対応する複数の人物情報を、対応する前記第２評価値が高い順に表示するとともに、該複数の人物情報のうちの何れかを選択するための第２選択画面を表示する第３表示部をさらに備え、
    　前記決定部は、前記第２選択画面から選択された人物情報が表す人物を、前記人物領域に対応する人物として決定する、
    　請求項５に記載の情報処理システム。
  7. 　前記算出部は、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値を重み付き加算して前記第２評価値を算出する、
    　請求項１乃至６のうちの何れか１項に記載の情報処理システム。
  8. 　前記取得部が取得した前記画像と、該画像のうち前記抽出部が抽出した前記人物領域に対応する領域と、前記決定部が決定した人物とを関連付けたタグ情報を記録する記録部をさらに備える、
    　請求項１乃至７のうちの何れか１項に記載の情報処理システム。
  9. 　前記抽出部は、前記取得部が取得した前記画像のうち、ユーザが指示した位置を含む所定領域から前記人物領域を抽出する、
    　請求項１乃至８のうちの何れか１項に記載の情報処理システム。
  10. 　前記抽出部は、前記取得部が取得した前記画像から順次に前記人物領域を抽出し、抽出した前記人物領域に対応する人物が決定されると、次の前記人物領域を抽出する、
    　請求項１乃至８のうちの何れか１項に記載の情報処理システム。
  11. 　画像を取得する取得ステップと、
    　前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、
    　前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、
    　前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、
    　前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を含む、
    　情報処理方法。
  12. 　コンピュータに、
    　画像を取得する取得ステップと、
    　前記画像から、人物が写り込んだ領域を示す人物領域を抽出する抽出ステップと、
    　前記人物領域から、複数の特徴ごとに、該特徴に対応する第２特徴情報を検出し、検出した前記第２特徴情報と、複数の人物のうちの何れかをそれぞれが識別する複数の人物識別情報の各々と、前記複数の特徴と１対１に対応する複数の第１特徴情報とを関連付けた関連情報に含まれる前記第１特徴情報との一致度合いを判定する判定ステップと、
    　前記関連情報に含まれる複数の前記人物識別情報のうちの何れか１つの前記人物識別情報と、該１つの前記人物識別情報に関連付けられた複数の前記第１特徴情報のうちの何れか１つの前記第１特徴情報との組み合わせごとに、前記判定ステップにより判定された前記一致度合いに応じた第１評価値を算出し、前記関連情報に含まれる複数の前記人物識別情報ごとに、該人物識別情報に関連付けられた複数の前記第１特徴情報と１対１に対応する複数の前記第１評価値に基づく所定の演算を行って第２評価値を算出する算出ステップと、
    　前記人物識別情報ごとに算出された前記第２評価値に基づいて、前記人物領域に対応する人物を決定する決定ステップと、を実行させるためのプログラム。
PCT/JP2016/062255 2015-04-28 2016-04-18 情報処理システム、情報処理方法およびプログラム Ceased WO2016175075A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-091980 2015-04-28
JP2015091980A JP2016207167A (ja) 2015-04-28 2015-04-28 情報処理システム、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2016175075A1 true WO2016175075A1 (ja) 2016-11-03

Family

ID=57198321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062255 Ceased WO2016175075A1 (ja) 2015-04-28 2016-04-18 情報処理システム、情報処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2016207167A (ja)
WO (1) WO2016175075A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164006B2 (en) * 2017-03-30 2021-11-02 Nec Corporation Information processing apparatus, control method, and program
JP2023513806A (ja) * 2020-02-13 2023-04-03 エディスン インコーポレイテッド リアルタイムでビデオを分析するためのシステムおよび方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238393A (ja) * 2005-02-21 2006-09-07 Shinzo Ito スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法
JP2007081681A (ja) * 2005-09-13 2007-03-29 Canon Inc 撮像装置、方法
JP2012123676A (ja) * 2010-12-09 2012-06-28 Canon Inc 個人認証装置
JP2014026370A (ja) * 2012-07-25 2014-02-06 Nippon Hoso Kyokai <Nhk> 映像領域分割装置及び映像領域分割プログラム
JP2014086797A (ja) * 2012-10-22 2014-05-12 Sony Corp 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2016001447A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238393A (ja) * 2005-02-21 2006-09-07 Shinzo Ito スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法
JP2007081681A (ja) * 2005-09-13 2007-03-29 Canon Inc 撮像装置、方法
JP2012123676A (ja) * 2010-12-09 2012-06-28 Canon Inc 個人認証装置
JP2014026370A (ja) * 2012-07-25 2014-02-06 Nippon Hoso Kyokai <Nhk> 映像領域分割装置及び映像領域分割プログラム
JP2014086797A (ja) * 2012-10-22 2014-05-12 Sony Corp 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2016001447A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164006B2 (en) * 2017-03-30 2021-11-02 Nec Corporation Information processing apparatus, control method, and program
US11776274B2 (en) 2017-03-30 2023-10-03 Nec Corporation Information processing apparatus, control method, and program
US12046043B2 (en) 2017-03-30 2024-07-23 Nec Corporation Information processing apparatus, control method, and program
US12046044B2 (en) 2017-03-30 2024-07-23 Nec Corporation Information processing apparatus, control method, and program
US12106571B2 (en) 2017-03-30 2024-10-01 Nec Corporation Information processing apparatus, control method, and program
US12423985B2 (en) 2017-03-30 2025-09-23 Nec Corporation Information processing apparatus, control method, and program
JP2023513806A (ja) * 2020-02-13 2023-04-03 エディスン インコーポレイテッド リアルタイムでビデオを分析するためのシステムおよび方法
JP7649315B2 (ja) 2020-02-13 2025-03-19 エディスン インコーポレイテッド リアルタイムでビデオを分析するためのシステムおよび方法

Also Published As

Publication number Publication date
JP2016207167A (ja) 2016-12-08

Similar Documents

Publication Publication Date Title
JP5203281B2 (ja) 人物検出装置、人物検出方法、及び人物検出プログラム
US9245172B2 (en) Authentication apparatus, authentication method, and non-transitory computer readable medium
KR101305694B1 (ko) 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
US9679383B2 (en) Display control apparatus displaying image
CN107851328A (zh) 用于推荐适合鞋类的方法和系统
JP7586189B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム
JP2013156829A (ja) 衣服画像処理システム、衣服画像処理システムの制御方法、衣服画像処理装置、衣服画像処理装置の制御方法、プログラム、及び情報記憶媒体
US20170186022A1 (en) Information processing apparatus
JP2020089539A (ja) 表示方法、表示プログラムおよび情報処理装置
WO2020050413A1 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
KR20190070179A (ko) 사용자 등록 장치 및 방법
JP6589144B2 (ja) 姿勢推定方法および姿勢推定装置
EP3214834A1 (en) Play segment extraction method and play segment extraction device
JP7327494B2 (ja) 補正方法、補正プログラムおよび情報処理システム
WO2016175075A1 (ja) 情報処理システム、情報処理方法およびプログラム
JP2018081402A5 (ja)
JP7336835B2 (ja) 属性決定装置、属性決定システムおよび属性決定方法
JP7560015B2 (ja) 物体認識装置、物体認識方法、及びプログラム
JP5044664B2 (ja) 人物画像検索装置
US12361541B2 (en) Measurement apparatus and measurement method
KR20160068311A (ko) 안면 형상 기울기 보정 방법 및 보정 시스템
JP5706995B2 (ja) 靴画像処理システム、靴画像処理方法、プログラム
JP2014075098A (ja) 顔特徴抽出装置および顔認証システム
JP7722092B2 (ja) 選定プログラム、選定方法および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16786352

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16786352

Country of ref document: EP

Kind code of ref document: A1