WO2013061492A1 - 個体判別装置および個体判別方法 - Google Patents

個体判別装置および個体判別方法 Download PDF

Info

Publication number
WO2013061492A1
WO2013061492A1 PCT/JP2012/004267 JP2012004267W WO2013061492A1 WO 2013061492 A1 WO2013061492 A1 WO 2013061492A1 JP 2012004267 W JP2012004267 W JP 2012004267W WO 2013061492 A1 WO2013061492 A1 WO 2013061492A1
Authority
WO
WIPO (PCT)
Prior art keywords
vital signs
user
imaging region
correlation
signal sequence
Prior art date
Application number
PCT/JP2012/004267
Other languages
English (en)
French (fr)
Inventor
彰彦 菅原
大場　章男
聡幸 廣井
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to EP12843864.5A priority Critical patent/EP2772828B1/en
Priority to CN201280051393.8A priority patent/CN104054038B/zh
Priority to US14/351,274 priority patent/US9717987B2/en
Publication of WO2013061492A1 publication Critical patent/WO2013061492A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1102—Ballistocardiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to an apparatus and a method for performing individual discrimination from a captured image.
  • Some game machines in the home are equipped with a camera, which captures a user playing a game and displays the user's image on the game screen, or detects a user's action from the captured image of the user to play a game. It can be reflected. It is also possible to detect the user's facial expression from the user's image captured by the camera, grasp the user's mental state during game play, and reflect it in the development of the game.
  • a plurality of players each have a controller and can operate a game machine, and a game is often played by a plurality of people including family members and friends.
  • a sensor for detecting a pulse is attached to the user, and the measurement result of the pulse output from the sensor is input to the game machine and reflected in the game. ing.
  • Patent Document 1 describes a method of measuring vital signs from temporal changes in the density of a captured image of a subject.
  • the present invention has been made in view of these problems, and an object of the present invention is to provide an individual discrimination device and an individual discrimination method capable of accurately discriminating an individual in a captured image.
  • an individual identification device includes a storage unit that stores an image of at least a part of a user's body, and a predetermined number of frames stored in the storage unit.
  • a vital signs signal detector that detects a periodically changing vital signs signal sequence from a plurality of imaging areas of the user's body using the captured images of the user, and a vital signs signal sequence detected from each imaging area of the body Identity that determines whether each imaging region of the body belongs to the same user, based on the correlation between the correlation calculation unit that calculates the correlation between the image and the vital signs signal sequence detected from each imaging region of the body And a determination unit.
  • Another aspect of the present invention is an individual discrimination method. This method periodically changes from a plurality of imaging regions of the user's body by referring to a memory that stores an image in which at least a part of the user's body is captured using a predetermined number of frames.
  • a vital sign signal detection step for detecting a vital sign signal sequence
  • a correlation calculation step for obtaining a correlation of the vital sign signal sequence detected from each imaging region of the body
  • a vital sign signal detected from each imaging region of the body An identity determination step of determining whether or not each imaging region of the body belongs to the same user based on the correlation of the signal sequence.
  • FIG. 1 is a configuration diagram of a game system according to the embodiment.
  • the game system includes a game machine 200, a display 20, a controller 300, and cameras 10a and 10b.
  • the controller 300 is connected to the game machine 200 wirelessly or by wire.
  • the display 20 has a built-in camera 10a for photographing a user who is playing a game with the controller 300, a friend or family who is with the user.
  • a game screen is displayed on the display 20.
  • the video camera 10b can focus and shoot a part of the user's body, for example, a hand holding a controller or a specific user's face, and the captured image is input to the game machine 200.
  • the display 20 can also display a user image taken by the cameras 10a and 10b.
  • embodiment is demonstrated here by taking a game play as an example, embodiment is applicable not only to a game but when viewing images etc. on a television screen.
  • FIG. 2 is a configuration diagram of the individual identification device 100 according to the embodiment.
  • a plurality of cameras 10a and 10b, a display 20, a controller 300, and a mounting sensor 310 are connected to the individual identification device 100.
  • the individual identification device 100 has a functional configuration mounted on the game machine 200 of FIG.
  • Cameras 10a and 10b capture a part or the whole area of the user's body.
  • One or more cameras may be used. For example, a plurality of people including game players may be photographed with one camera. Alternatively, a camera that shoots with the player at the center and another camera that shoots the whole of a plurality of persons including or not including the player may be provided. Alternatively, one camera may capture the user's hand and another camera may capture the user's face. The captured image is stored in the frame storage unit 30.
  • the vital sign signal detection unit 40 uses a predetermined number of frames of captured images stored in the frame storage unit 30 to detect a signal sequence of vital signs that periodically varies from the imaging region of the user's body.
  • the vital sign signal detection unit 40 can detect a periodically changing sign series of vital signs by detecting changes in skin vibration or light absorption characteristics in a body imaging region in a predetermined number of frames. it can.
  • Periodically changing vital signs are vital signs such as heartbeat and respiration.
  • a waveform data string of vital signs such as a heartbeat can be acquired by detecting changes in skin vibration and light absorption characteristics of a body part where the skin is exposed in a captured image of about 5 frames. .
  • the change in the light absorption characteristic is detected as a change in the density or color of the skin image.
  • the vital sign signal detection unit 40 may divide the imaging area into small areas and detect a vital signs signal string for each of the divided small areas. In order to reduce the amount of calculation and noise, it is more preferable to detect a vital signs signal sequence for each region of a predetermined area.
  • a method for measuring a pulse by detecting a vibration of a skin or a light absorption characteristic in an imaging region of the body is described in detail in, for example, the following documents.
  • “Heart rate measurement based on a time-lapse image” Medical Engineering and Physics, 2007
  • “Non-contact, automated cardiac pulse measurements using video imaging and blind source separation” Optics Express, 2010.
  • the correlation calculation unit 50 obtains the correlation of the vital signs signal sequence detected from each imaging region of the body.
  • the vital sign signal sequence detected in the first body imaging region is H1 (t)
  • the vital sign signal sequence detected in the second body imaging region is H2 (t)
  • two signal sequences The correlation R between H1 (t) and H2 (t) can be obtained by the following formula, but a calculation formula different from this can also be used.
  • the identity determination unit 60 determines whether or not each imaging region of the body belongs to the same user based on the correlation of the vital signs signal sequence detected from each imaging region of the body. If the correlation R between the vital signs signal sequence H1 (t) of the first body imaging region and the vital signs signal sequence H2 (t) of the second body imaging region is greater than a predetermined threshold T, the first It is determined that the imaging region of the body and the imaging region of the second body belong to the same person, and if the correlation R between the two signal sequences H1 (t) and H2 (t) is equal to or less than a predetermined threshold T, the first It is determined that the imaging area of the body and the imaging area of the second body belong to different persons.
  • the first body imaging area and the second body imaging area may be captured by different cameras 10a and 10b, respectively.
  • the vital signs signal sequence H1 (t) detected from the captured image of the user's hand And the vital signs signal sequence H2 (t) detected from the captured image of the user's face, and if the correlation R is high, the captured user's hand and face belong to the same person If the correlation R is low, it is determined that the captured user's hand and face belong to different persons. In this way, even if the user's hand and face are not necessarily captured by the same camera, individual discrimination can be performed by obtaining the correlation between the vital signs signal sequences detected from the hand and the face.
  • the display unit 70 performs the same highlighting on the plurality of imaging regions of the body determined to belong to the same person and displays the same on the display 20. For example, a plurality of imaging regions of the body determined to belong to the same person are displayed in the same color. Thereby, it is possible to confirm in the screen how the individual determination apparatus 100 performed the individual determination.
  • the sensor input unit 80 receives an input of a signal sequence of vital signs that periodically changes from a sensor mounted on the controller 300 or a mounting sensor 310.
  • the controller 300 is equipped with a pulse sensor and the like, and the pulse of the operator of the controller 300 can be measured and input to the sensor input unit 80.
  • the user can wear a wearing sensor 310 such as a pulse sensor on the wrist or ankle, measure the pulse, and input it to the sensor input unit 80.
  • the correlation calculation unit 50 may obtain a correlation between the vital sign signal sequence obtained from the sensor input unit 80 and the vital sign signal sequence detected from the imaging region of the body. Based on the correlation between the vital signs signal sequence obtained from the sensor and the vital signs signal sequence detected from the body imaging area, the identity determination unit 60 determines whether the body imaging area is an operator of the controller or It can be determined whether or not the sensor belongs to the sensor wearer. For example, when the correlation between the vital signs signal sequence detected from the imaging region of the hand of the user making a specific gesture and the vital signs signal sequence obtained from the sensor is high, the gesture hand is It can be determined that it belongs to the controller operator. Accordingly, it is possible to grasp that the gesture by the hand and the operation by the controller are performed by the same person, and the gesture by the hand and the operation by the controller can be handled as input from the same user for the game.
  • the individual information management unit 90 stores and manages the imaging region of the body determined to belong to the same person by the identity determination unit 60 in the individual information storage unit 92 as user individual information.
  • the individual information management unit 90 manages a specific body imaging area determined to belong to the controller operator or the sensor wearer in association with a flag indicating the controller operator or the sensor wearer.
  • the body area of the controller operator or the sensor wearer is identified from the plurality of users shown in the captured image, and for example, the satisfaction level of the user during game play from the facial expression of the controller operator's face Can be determined.
  • the vital sign signal detection unit 40 obtains a feature quantity indicating the periodicity of the individual vital signs by performing discrete Fourier transform on the vital sign signal sequence and detecting the frequency.
  • the feature quantity indicating the periodicity of the individual vital signs is obtained by obtaining the autocorrelation of the vital signs signal sequence and detecting the period of the signal.
  • the vital sign is a heart rate
  • the heart rate is obtained as a feature amount indicating the periodicity of the individual's vital sign.
  • the individual information management unit 90 classifies the feature amount indicating the periodicity of the vital signs of the individual in units of users and stores it as individual information in the individual information storage unit 92. Thereby, for example, it is possible to detect the degree of excitement of the user during the game play, such as an increase in the heart rate of a specific user.
  • a face of a user other than the player having the controller is detected using the face detection function, and the heart rate fluctuation between the user and the player and the correlation value of the breathing timing are regarded as an index indicating empathy with the player.
  • the excitement of the place including the observer may be evaluated. For example, in a party game or the like, when the index indicating empathy is low and the place is not exciting even when only the player is excited, the game development can be adjusted based on such an index.
  • the player's posture may be estimated based on the physical information of the same individual such as the face, hand, and foot, and advice may be given to correct the posture when an unfavorable posture lasts for a long time.
  • advice may be given to correct the posture when an unfavorable posture lasts for a long time.
  • an application that moves the player's body, such as yoga it can be used as a material for determining whether the user's posture is good or bad.
  • FIG. 3A is a diagram illustrating a user's image taken by the cameras 10a and 10b. It is assumed that four users 400, 402, 404, and 406 are looking at the game screen in front of the game machine 200. These users are family members, and the second user 404 (mother) from the right holds the controller 300. The second user 402 (father) from the left wears the wearing sensor 310 on the wrist (not shown).
  • FIG. 3B is a diagram for explaining the determination result of the imaging region of the body by the identity determination unit 60.
  • the two body imaging regions 410a and 410b are determined to belong to the same person 400 because the correlation of the vital signs signal sequences detected from these imaging regions is higher than a predetermined threshold.
  • the correlation threshold value used for the identity determination can be experimentally determined so that the success or failure of the identity determination is within a certain error range.
  • the two body imaging regions 412a and 412b are determined to belong to the same person 402 because the correlation of the vital signs signal sequence is higher than a predetermined threshold, and the four body imaging regions 414a, 414b and 414c are determined.
  • 414d is determined to belong to the same person 404 because the correlation of the vital signs signal sequence is higher than a predetermined threshold, and the three body imaging regions 416a, 416b, and 416c are correlated with the vital signs signal sequence. Since it is higher than the predetermined threshold value, it is determined that they belong to the same person 406.
  • the user 402 (father) wears the wearing sensor 310
  • the user 402 (father) can acquire the signal sequence of the father's life sign from the wearing sensor 310.
  • the vital signs signal sequence from the wearing sensor 310 has a correlation higher than a predetermined threshold value with the vital signs signal sequence in the imaging regions 412a and 412b of the two bodies
  • the imaging regions 412a and 412b are determined to belong to the wearer (here, the father) of the wear sensor 310.
  • the individual information management unit 90 stores the body imaging regions 412 a and 412 b in the individual information storage unit 92 in association with the identification information of the wearer of the wearing sensor 310.
  • the user 404 holds the controller 300 in his / her hand, and can obtain a signal sequence of the mother's vital signs from a sensor installed in the controller 300. Since the vital signs signal sequence from the sensor of the controller 300 has a correlation with the vital signs signal sequences of the four body imaging regions 414a, 414b, 414c, and 414d higher than a predetermined threshold, the identity determination unit 60 Determines that these body imaging areas 414a, 414b, 414c, 414d belong to the operator (here, mother) of the controller 300.
  • the individual information management unit 90 stores the body imaging regions 414a, 414b, 414c, and 414d in the individual information storage unit 92 in association with the identification information of the wearer of the controller 300.
  • FIG. 4 is a flowchart for explaining an individual discrimination procedure by the individual discrimination device 100.
  • the vital sign is assumed to be a heartbeat.
  • the vital sign signal detection unit 40 detects a heartbeat signal sequence H1 (t) from the imaging region of the first body (S10).
  • the vital sign signal detection unit 40 detects a heartbeat signal string H2 (t) from the imaging region of the second body (S12).
  • the correlation calculation unit 50 calculates the correlation R between the first heartbeat signal sequence H1 (t) and the second heartbeat signal sequence H2 (t) (S14).
  • the identity determination unit 60 determines that the first body imaging region and the second body imaging region belong to the same person, and the individual information management unit 90 Classifies the imaging region of the first body and the imaging region of the second body as individual information of the person and registers them in the individual information storage unit 92 (S18). Thereby, for example, a user's hand and face are associated with each other as belonging to the same person.
  • the identity determination unit 60 determines that the first body imaging region and the second body imaging region belong to different persons, and the individual information management unit 90 classifies the imaging region of the first body and the imaging region of the second body as individual information of different persons, and registers them in the individual information storage unit 92 (S20). Thereby, a plurality of users can be individually identified and classified.
  • FIG. 5 is a flowchart for explaining another individual determination procedure by the individual determination apparatus 100.
  • the sensor input unit 80 detects a heartbeat signal string H1 (t) from a sensor equipped in the controller 300 or a wearing sensor 310 worn on the user's body (S30).
  • the vital sign signal detection unit 40 detects a heartbeat signal sequence H2 (t) from the imaging region of the body imaged by the cameras 10a and 10b (S32).
  • the correlation calculation unit 50 calculates the correlation R between the first heartbeat signal sequence H1 (t) and the second heartbeat signal sequence H2 (t) (S34).
  • the identity determination unit 60 determines that the imaging region of the body belongs to the controller operator or the sensor wearer, and the individual information management unit 90 The imaging area is classified as individual information of the controller operator or sensor wearer and registered in the individual information storage unit 92 (S38).
  • the body region of the controller operator or the sensor wearer for example, the face can be specified, and control such as changing the development of the game based on the facial expression of the controller operator or the sensor wearer becomes possible. .
  • the identity determination unit 60 determines that the imaging region of the body does not belong to the controller operator or the sensor wearer (S40). Thereby, a controller operator or a sensor wearer can be distinguished from other users.
  • the method for determining the identity of the body imaging region based on vital signs has been described, but once the identity determination of the body imaging region is finished, using techniques such as template matching, By tracking the imaging region of the body such as the face, the identity determination of the imaging region of the body may be continued without detecting vital signs. When the user moves his body greatly, or when the user's position is changed, tracking fails, so the identity determination based on vital signs may be resumed.
  • the heartbeat is taken as an example of the vital sign.
  • breathing may be detected as the vital sign from the vibration of the user's body imaged.
  • respiration can also be detected from a signal train of heartbeats.
  • a method for detecting the respiration cycle or frequency from the heartbeat will be described.
  • a heart rate is obtained by detecting a frequency from a waveform data string of heartbeats by Fourier transform. You may obtain
  • the obtained heart rate is continuously obtained at a time interval equal to or less than the heart cycle, for example, at intervals of 0.5 seconds, to obtain a heart rate sequence.
  • heart rate fluctuations corresponding to breathing motion appear in the heart rate sequence.
  • the heart rate increases during the inhalation operation, and the heart rate decreases during the exhalation operation. Therefore, if the frequency and cycle of heart rate fluctuation are obtained from the heart rate sequence by the same method as in (1) above, it can be regarded as the breathing frequency and cycle.
  • breathing can be detected even when dressed. It is also possible to detect whether or not the plurality of players breathe during the game play from the synchronization of the breathing waveforms of the players.
  • the individual discriminating apparatus 100 of the present embodiment it is possible to identify the region of the same pulse source, and perform individual discrimination and classification by correlating the time variation of the pulse-detected region. it can. Even if there are a plurality of users in the captured image, it is possible to individually determine areas such as the face, hand, and foot to determine whether they belong to the same person. Further, based on the correlation with pulse information from a contact sensor such as a controller or an appliance, the captured hand or face image can be associated with a controller operator or a sensor wearer.
  • the face, hands, and feet are far away from the body and away from the heart, but the pulse waveforms and frequencies are almost the same in each part of the body.
  • the pulse waveform data sequence of each part of the body has a waveform that resembles the difference in phase due to a shift according to the distance from the heart.
  • a plurality of correlations whose phases are shifted back and forth are obtained, and the maximum correlation value among them is adopted. This makes it possible to determine whether or not the pulse waveform data is obtained from the body of the same person even if the body parts are different.
  • a high correlation may be obtained instantaneously with another person's pulse waveform data.
  • the waveforms do not match or the phase shift fluctuates with time, so a high correlation cannot be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Analysis (AREA)

Abstract

　フレーム記憶部３０は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する。生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する。相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。

Description

個体判別装置および個体判別方法
　この発明は、撮像画像から個体判別を行う装置および方法に関する。
　家庭内のゲーム機にはカメラが搭載されたものがあり、ゲームプレイをするユーザを撮像してゲーム画面にユーザの画像を表示したり、ユーザの撮像画像からユーザの動作を検出してゲームに反映させることができる。また、カメラで撮影されたユーザの画像からユーザの表情を検出し、ゲームプレイ中のユーザの精神状態を把握してゲームの展開に反映させることもできる。また、複数のプレイヤがそれぞれコントローラを持ち、ゲーム機を操作することもでき、家族や友人などを加えて複数人でゲームをすることも多い。
　また、ゲームプレイ中のユーザの緊張度合いを検出するために、脈拍を検知するセンサをユーザに装着させ、センサが出力する脈拍の測定結果をゲーム機に入力させてゲームに反映させることも行われている。
　特許文献１には、被検体の撮像画像の濃度の時間的変化からバイタルサインを計測する方法が記載されている。
特開２００５－２１８５０７号公報
　複数のプレイヤがコントローラをもってゲーム機を操作する場合や、コントローラをもっているプレイヤ以外にも家族や友人が周囲にいる場合、カメラで撮影した画像には複数のユーザが写っているため、撮像画像において個体判別をする必要がある。画像から顔や手などの領域を認識して、個体判別を行うこともできるが、コントローラを操作するプレイヤの手がゲームプレイ中に交差していると、手と顔の対応付けが難しくなることがある。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像画像において個体判別を正確に行うことのできる個体判別装置および個体判別方法を提供することにある。
　上記課題を解決するために、本発明のある態様の個体判別装置は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含む。
　本発明の別の態様は、個体判別方法である。この方法は、ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、撮像画像から正確に個体判別を行うことができる。
実施の形態に係るゲームシステムの構成図である。 実施の形態に係る個体判別装置の構成図である。 カメラにより撮影されたユーザの画像を説明する図である。 図２の同一性判定部による身体の撮像領域の判定結果を説明する図である。 図２の個体判別装置による個体判別手順を説明するフローチャートである。 図２の個体判別装置による別の個体判別手順を説明するフローチャートである。
　図１は、実施の形態に係るゲームシステムの構成図である。ゲームシステムは、ゲーム機２００、ディスプレイ２０、コントローラ３００、およびカメラ１０ａ、１０ｂを含む。
　コントローラ３００は無線または有線でゲーム機２００と接続される。ディスプレイ２０にはカメラ１０ａが内蔵されており、ゲームをコントローラ３００をもってプレイしているユーザやそのユーザといっしょにいる友人や家族などを撮影する。ディスプレイ２０にはゲームの画面が表示される。ビデオカメラ１０ｂは、ユーザの身体の一部、たとえば、コントローラを持っている手や特定のユーザの顔などにフォーカスして撮影することができ、撮影された画像はゲーム機２００に入力される。ディスプレイ２０は、カメラ１０ａ、１０ｂで撮影されたユーザの画像を表示することもできる。
　なお、ここではゲームプレイを例に実施の形態を説明するが、実施の形態は、ゲームに限らず、映像などをテレビ画面で鑑賞する場合にも適用することができる。
　図２は、実施の形態に係る個体判別装置１００の構成図である。個体判別装置１００には、複数のカメラ１０ａ、１０ｂ、ディスプレイ２０、コントローラ３００、および装着センサ３１０が接続されている。個体判別装置１００は、図１のゲーム機２００に搭載される機能構成である。
　カメラ１０ａ、１０ｂはユーザの身体の一部または全体の領域を撮影する。カメラは一台でも複数でもよい。たとえば、一つのカメラでゲームのプレイヤを含む複数人を撮影してもよい。あるいは、プレイヤを中心に撮影するカメラと、プレイヤを含むあるいは含まない複数人の全体を撮影する別のカメラとが設けられてもよい。あるいは、あるカメラがユーザの手を撮影し、別のカメラがユーザの顔を撮影してもよい。撮影された画像はフレーム記憶部３０に記憶される。
　生命兆候信号検出部４０は、フレーム記憶部３０に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の撮像領域から周期的に変動する生命兆候の信号列を検出する。生命兆候信号検出部４０は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することができる。周期的に変動する生命兆候は心拍、呼吸などのバイタルサインである。たとえば５フレーム程度のフレーム数の撮像画像において肌が露出している身体の部位の皮膚の振動や光吸収特性の変化を検出すれば、心拍などの生命兆候の波形データ列を取得することができる。光吸収特性の変化は、皮膚の画像の濃度や色彩の変化として検出される。
　生命兆候信号検出部４０は、撮像領域を小領域に区分して、区分された小領域毎に生命兆候の信号列を検出してもよい。計算量を抑え、また、ノイズを抑えるために、所定の面積の領域毎に生命兆候の信号列を検出することがより好ましい。
　身体の撮像領域における皮膚の振動または光吸収特性の変化を検知して脈拍を計測する方法は、たとえば以下の文献に詳しく記載されている。
　"Heart rate measurement based on a time-lapse image", Medical Engineering and Physics, 2007
　"Advancements in non-contact, multiparameter physiological measurements using a webcam", IEEE Trans Biomed Eng, 2010.
　"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", Optics Express, 2010.
　相関計算部５０は、身体の各撮像領域から検出された生命兆候の信号列の相関を求める。第１の身体の撮像領域において検出された生命兆候の信号列をＨ１（ｔ）、第２の身体の撮像領域において検出された生命兆候の信号列をＨ２（ｔ）とすると、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒは、以下の式で求めることができるが、これとは異なる計算式を用いることも可能である。
Figure JPOXMLDOC01-appb-M000001
　同一性判定部６０は、身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する。第１の身体の撮像領域の生命兆候の信号列Ｈ１（ｔ）と第２の身体の撮像領域の生命兆候の信号列Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔよりも大きければ、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、２つの信号列Ｈ１（ｔ）、Ｈ２（ｔ）の相関Ｒが所定の閾値Ｔ以下であれば、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定する。
　第１の身体の撮像領域と第２の身体の撮像領域はそれぞれ別のカメラ１０ａ、１０ｂによって撮像されたものであってもよい。たとえば、ユーザの手が第１のカメラ１０ａで撮像され、ユーザの顔が第２のカメラ１０ｂで撮像されている場合、ユーザの手の撮像画像から検出される生命兆候の信号列Ｈ１（ｔ）とユーザの顔の撮像画像から検出される生命兆候の信号列Ｈ２（ｔ）との間で相関Ｒを計算し、相関Ｒが高ければ、撮像されたユーザの手と顔は同一人物に属すると判定し、相関Ｒが低ければ、撮像されたユーザの手と顔とは別人物に属すると判定する。このように必ずしもユーザの手と顔が同じカメラで撮像されたものでなくても、手と顔それぞれから検出される生命兆候の信号列の相関を求めることで個体判別を行うことができる。
　表示部７０は、同一人物に属すると判定された身体の複数の撮像領域に対して同一の強調表示を行ってディスプレイ２０に表示する。たとえば、同一人物に属すると判定された身体の複数の撮像領域は同じ色で表示する。これにより、個体判別装置１００がどのように個体判定を行ったかを画面内で確認することができる。
　センサ入力部８０は、コントローラ３００に装備されたセンサまたは装着センサ３１０から周期的に変動する生命兆候の信号列の入力を受ける。たとえば、コントローラ３００には脈拍センサなどが装備され、コントローラ３００の操作者の脈拍を計測してセンサ入力部８０に入力することができる。また、脈拍センサなどの装着センサ３１０をユーザが手首や足首などに装着し、脈拍を計測してセンサ入力部８０に入力することもできる。
　相関計算部５０は、センサ入力部８０から得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求めてもよい。同一性判定部６０は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がコントローラの操作者またはセンサ装着者に属するものであるか否かを判定することができる。たとえば、特定のジェスチャをしているユーザの手の撮像領域から検出された生命兆候の信号列と、センサから得られた生命兆候の信号列との相関が高い場合、ジェスチャをしている手がコントローラの操作者に属するものであると判定することができる。これにより、手によるジェスチャとコントローラによる操作とが同一人物によるものであることを把握することができ、手によるジェスチャもコントローラによる操作もゲームに対する同一ユーザからの入力として扱うことが可能になる。
　個体情報管理部９０は、同一性判定部６０により同一人物に属すると判定された身体の撮像領域をユーザの個体情報として個体情報記憶部９２に格納して管理する。また、個体情報管理部９０は、コントローラの操作者またはセンサ装着者に属すると判定された特定の身体の撮像領域には、コントローラの操作者またはセンサ装着者を示すフラグを対応づけて管理する。これにより、撮像画像に写っている複数のユーザの中から、コントローラの操作者またはセンサ装着者の身体領域を特定し、たとえば、コントローラの操作者の顔の表情からゲームプレイ中のユーザの満足度を判定することができる。
　生命兆候信号検出部４０は、生命兆候の信号列を離散フーリエ変換して周波数を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。あるいは、生命兆候の信号列の自己相関を求めて信号の周期を検出することにより、個体の生命兆候の周期性を示す特徴量を求める。たとえば、生命兆候が心拍であれば、個体の生命兆候の周期性を示す特徴量として心拍数を求める。個体情報管理部９０は、個体の生命兆候の周期性を示す特徴量をユーザ単位で分類して個体情報記憶部９２に個体情報として格納する。これにより、たとえば、特定のユーザの心拍数が高まっているなど、ゲームプレイ中のユーザの興奮度合いなどを検出することができる。
　このようにして得られるユーザの満足度や興奮度をゲーム展開にフィードバックすることにより、利便性や娯楽性を高めることができる。たとえば、ユーザの興奮度にもとづいてユーザがリラックスしていると判定される場合は、ゲーム展開に急激な変化を与える短期的な制御を行ってもよい。あるいは、ユーザの満足度にもとづいて、コントローラの操作やゲームのルールなどに対するユーザの習熟度を把握し、ユーザの習熟度に応じてゲーム展開の速度などを調整する長期的な制御を行ってもよい。また、プレイヤの心拍数が高過ぎる場合や、心拍数が元に復帰するのが遅い場合は、プレイヤに休憩するように提案するようにしてもよい。また、ユーザの満足度や興奮度を記録して、ネットワークなどを介してゲーム開発元にフィードバックし、ゲームのアップデートや将来のゲーム開発に活かしてもよい。
　また、コントローラを持ったプレイヤとは別のユーザの顔を顔検出機能を用いて検出し、そのユーザとプレイヤ間の心拍数変動や呼吸タイミングの相関値を、プレイヤとの共感を示す指標とみなし、観察者も含めた場の盛り上がりを評価してもよい。たとえば、パーティ系ゲームなどにおいて、共感を示す指標が低く、プレイヤだけが興奮しても場が盛り上がっていない場合、そのような指標にもとづいてゲーム展開を調整することができる。
　また、顔、手、足などの同一個体の身体情報をもとにプレイヤの姿勢を推測し、良くない姿勢が長時間に及ぶ場合に姿勢を直すようアドバイスしてもよい。ヨガのようにプレイヤの体を動かすアプリケーションの場合、ユーザの姿勢の良否を判断する材料として用いることができる。
　図３Ａは、カメラ１０ａ、１０ｂにより撮影されたユーザの画像を説明する図である。ゲーム機２００の前で４人のユーザ４００、４０２、４０４、４０６がゲーム画面を見ているとする。これらのユーザは家族であり、右から二人目のユーザ４０４（母親）はコントローラ３００を手にもっている。左から二人目のユーザ４０２（父親）は図示しないが手首に装着センサ３１０を装着している。
　図３Ｂは、同一性判定部６０による身体の撮像領域の判定結果を説明する図である。二つの身体の撮像領域４１０ａ、４１０ｂは、これらの撮像領域から検出される生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４００に属すると判定される。同一性判定に用いられる相関の閾値は、同一性判定の成否を一定の誤差範囲に収めるべく、実験的に定めることができる。
　同様に、二つの身体の撮像領域４１２ａ、４１２ｂは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０２に属すると判定され、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０４に属すると判定され、三つの身体の撮像領域４１６ａ、４１６ｂ、４１６ｃは、生命兆候の信号列の相関が所定の閾値よりも高いことから同一人物４０６に属すると判定される。
　ここで、ユーザ４０２（父親）は、装着センサ３１０を装着していることから、装着センサ３１０から父親の生命兆候の信号列を取得することができる。装着センサ３１０からの生命兆候の信号列は、二つの身体の撮像領域４１２ａ、４１２ｂの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１２ａ、４１２ｂは、装着センサ３１０の装着者（ここでは父親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１２ａ、４１２ｂを装着センサ３１０の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
　また、ユーザ４０４（母親）は、コントローラ３００を手に持っており、コントローラ３００に装備されたセンサから母親の生命兆候の信号列を取得することができる。コントローラ３００のセンサからの生命兆候の信号列は、四つの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄの生命兆候の信号列との相関が所定の閾値よりも高いことから、同一性判定部６０は、これらの身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄは、コントローラ３００の操作者（ここでは母親）に属すると判定する。個体情報管理部９０は、身体の撮像領域４１４ａ、４１４ｂ、４１４ｃ、４１４ｄをコントローラ３００の装着者の識別情報と対応づけて個体情報記憶部９２に格納する。
　図４は、個体判別装置１００による個体判別手順を説明するフローチャートである。ここでは、生命兆候は心拍であるとして説明する。
　生命兆候信号検出部４０は、第１の身体の撮像領域から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ１０）。生命兆候信号検出部４０は、第２の身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ１２）。
　相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ１４）。
　相関Ｒが閾値Ｔより大きければ（Ｓ１６のＹ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は同一人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をその人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ１８）。これにより、たとえば、あるユーザの手と顔が同一人物に属するものとして対応付けられる。
　相関Ｒが閾値Ｔ以下であれば（Ｓ１６のＮ）、同一性判定部６０は、第１の身体の撮像領域と第２の身体の撮像領域は別人物に属すると判定し、個体情報管理部９０は、第１の身体の撮像領域と第２の身体の撮像領域をそれぞれ別人物の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ２０）。これにより、複数のユーザを個体判別して分類することができる。
　図５は、個体判別装置１００による別の個体判別手順を説明するフローチャートである。
　センサ入力部８０は、コントローラ３００に装備されたセンサまたはユーザの身体に装着された装着センサ３１０から心拍の信号列Ｈ１（ｔ）を検出する（Ｓ３０）。生命兆候信号検出部４０は、カメラ１０ａ、１０ｂにより撮像された身体の撮像領域から心拍の信号列Ｈ２（ｔ）を検出する（Ｓ３２）。
　相関計算部５０は、第１の心拍の信号列Ｈ１（ｔ）と第２の心拍の信号列Ｈ２（ｔ）の相関Ｒを計算する（Ｓ３４）。
　相関Ｒが閾値Ｔより大きければ（Ｓ３６のＹ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属すると判定し、個体情報管理部９０は、当該身体の撮像領域をコントローラ操作者またはセンサ装着者の個体情報として分類し、個体情報記憶部９２に登録する（Ｓ３８）。これにより、コントローラ操作者またはセンサ装着者の身体領域、たとえば、顔を特定することができ、コントローラ操作者またはセンサ装着者の顔の表情にもとづいてゲームの展開を変えるなどの制御が可能になる。
　相関Ｒが閾値Ｔ以下であれば（Ｓ３６のＮ）、同一性判定部６０は、当該身体の撮像領域はコントローラ操作者またはセンサ装着者に属さないと判定する（Ｓ４０）。これにより、コントローラ操作者またはセンサ装着者と、それ以外のユーザとを区別することができる。
　上記の説明では、生命兆候にもとづいて身体の撮像領域の同一性判定を行う方法を説明したが、いったん身体の撮像領域の同一性判定が終われば、テンプレートマッチングなどの技術を用いて、手や顔などの身体の撮像領域をトラッキングすることで、生命兆候を検出せずに、身体の撮像領域の同一性判定を継続してもよい。ユーザが体を大きく動かした場合や、ユーザの位置が入れ替わった場合などは、トラッキングに失敗するため、生命兆候による同一性判定を再開するようにしてもよい。
　実施の形態では、生命兆候として心拍を例に挙げたが、撮像されたユーザの身体の振動から呼吸を生命兆候として検出してもよい。また、人には吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少するという特性があるため、呼吸は心拍の信号列からも検出することが可能である。以下、心拍から呼吸の周期または周波数を検出する方法を説明する。
　（１）まず、心拍の波形データ列からフーリエ変換によって周波数を検出することにより、心拍数を求める。心拍の波形データ列の自己相関を用いて得られた周期から心拍数を求めてもよい。
　（２）次に、求めた心拍数を心拍周期以下の時間間隔、たとえば０．５秒間隔で連続して求めて心拍数列を得る。
　心拍数に影響を与えるような運動をしていない場合、心拍数列には呼吸動作に対応する心拍数変動が現れる。吸気動作時に心拍数が増加し、呼気動作時に心拍数が減少する。したがって、上記の（１）と同様の手法で心拍数列から心拍数変動の周波数や周期を求めれば、それを呼吸の周波数や周期とみなすことができる。呼吸は服を着ていても検出することができる点、有利である。また、ゲームプレイ中に複数のプレイヤの息が合っているかどうかをプレイヤの呼吸の波形の同期の具合から検出することもできる。
　以上述べたように、本実施の形態の個体判別装置１００によれば、脈拍検知した領域の時間変化の相関を取ることにより、同一脈元の領域を同定し、個体判別、分類を行うことができる。撮像画像に複数のユーザがいても顔、手、足などの領域を個体判別して、同一人物に属するものか否かを判定することができる。また、コントローラや装具などの接触センサからの脈拍情報との相関にもとづいて、撮像された手や顔の画像をコントローラ操作者やセンサ装着者に対応付けることができる。
　顔、手、足は身体の離れた場所にあり、心臓からも離れているが、身体の各部において脈拍の波形や周波数はほぼ一致する。身体各部の脈拍の波形データ列は心臓からの距離に応じたずれが生じることで、波形は似ているが位相に違いが生じる場合がある。このような場合に対応するため、身体各部の脈拍の波形データ列の相関を取る際には、位相を前後にずらしした複数の相関を求め、その中の最大の相関値を採用する。これによって体の部位が異なっていても同一人物の身体から得られた脈拍の波形データであるかどうかを判定することができる。別の人物の脈拍の波形データとは瞬間的に高い相関が得られることがある。しかし長時間観察すると波形が一致しなくなったり位相のずれが時間と共に大きく変動するので高い相関は得られなくなる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
　１０　カメラ、　２０　ディスプレイ、　３０　フレーム記憶部、　４０　生命兆候信号検出部、　５０　相関計算部、　６０　同一性判定部、　７０　表示部、　８０　センサ入力部、　９０　個体情報管理部、　９２　個体情報記憶部、　１００　個体判別装置、　２００　ゲーム機、　３００　コントローラ、　３１０　装着センサ。
　撮像画像から個体判別を行う技術に利用できる。

Claims (8)

  1. 　ユーザの身体の少なくとも一部の領域が撮像された画像を記憶する記憶部と、
    　前記記憶部に記憶された所定フレーム数の撮像画像を用いて、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出部と、
    　身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算部と、
    　身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定部とを含むことを特徴とする個体判別装置。
  2. 　前記生命兆候信号検出部は、所定フレーム数の撮像画像において身体の撮像領域における皮膚の振動または光吸収特性の変化を検知することにより、周期的に変動する生命兆候の信号列を検出することを特徴とする請求項１に記載の個体判別装置。
  3. 　前記生命兆候は心拍であり、
    　前記同一性判定部は、検出された心拍の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１または２に記載の個体判別装置。
  4. 　同一ユーザに属すると判定された身体の複数の撮像領域に対して同一の強調表示を行う表示部をさらに含むことを特徴とする請求項１から３のいずれかに記載の個体判別装置。
  5. 　ユーザが身体に装着したセンサまたはユーザが操作するコントローラに装備されたセンサから周期的に変動する生命兆候の信号列の入力を受けるセンサ信号入力部をさらに含み、
    　前記相関計算部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関を求め、
    　前記同一性判定部は、センサから得られた生命兆候の信号列と、身体の撮像領域から検出された生命兆候の信号列との相関にもとづいて、当該身体の撮像領域がセンサを装着したユーザまたはコントローラを操作するユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
  6. 　前記生命兆候信号検出部は、第１の撮像部により撮像された第１の身体の撮像領域と、第２の撮像部により撮像された第２の身体の撮像領域からそれぞれ周期的に変動する生命兆候の信号列を検出し、
    　前記相関計算部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関を求め、
    　前記同一性判定部は、第１の身体の撮像領域と第２の身体の撮像領域から検出されたそれぞれの生命兆候の信号列の相関にもとづいて、第１の身体の撮像領域と第２の身体の撮像領域が同一ユーザに属するものであるか否かを判定することを特徴とする請求項１から４のいずれかに記載の個体判別装置。
  7. 　ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
    　身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
    　身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとを含むことを特徴とする個体判別方法。
  8. 　ユーザの身体の少なくとも一部の領域が撮像された画像を記憶するメモリから所定フレーム数の撮像画像を用いて参照して、ユーザの身体の複数の撮像領域から周期的に変動する生命兆候の信号列を検出する生命兆候信号検出ステップと、
    　身体の各撮像領域から検出された生命兆候の信号列の相関を求める相関計算ステップと、
    　身体の各撮像領域から検出された生命兆候の信号列の相関にもとづいて、身体の各撮像領域が同一ユーザに属するものであるか否かを判定する同一性判定ステップとをコンピュータに実行させることを特徴とするプログラム。
PCT/JP2012/004267 2011-10-26 2012-07-02 個体判別装置および個体判別方法 WO2013061492A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12843864.5A EP2772828B1 (en) 2011-10-26 2012-07-02 Individual body discrimination device and individual body discrimination method
CN201280051393.8A CN104054038B (zh) 2011-10-26 2012-07-02 个体鉴别装置和个体鉴别方法
US14/351,274 US9717987B2 (en) 2011-10-26 2012-07-02 Individual discrimination device and individual discrimination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-235327 2011-10-26
JP2011235327A JP5822651B2 (ja) 2011-10-26 2011-10-26 個体判別装置および個体判別方法

Publications (1)

Publication Number Publication Date
WO2013061492A1 true WO2013061492A1 (ja) 2013-05-02

Family

ID=48167350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/004267 WO2013061492A1 (ja) 2011-10-26 2012-07-02 個体判別装置および個体判別方法

Country Status (5)

Country Link
US (1) US9717987B2 (ja)
EP (1) EP2772828B1 (ja)
JP (1) JP5822651B2 (ja)
CN (1) CN104054038B (ja)
WO (1) WO2013061492A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105310650A (zh) * 2014-05-30 2016-02-10 联发科技股份有限公司 用于生命体征监测的控制器和方法
CN105473062A (zh) * 2013-08-30 2016-04-06 索尼公司 信息处理装置、信息处理方法及信息处理系统
CN105917355A (zh) * 2013-12-14 2016-08-31 维亚凯姆有限责任公司 用于判定物理、生理和/或生物计量数据和/或用于风险评估的基于相机的跟踪系统
EP3072078A1 (en) * 2013-11-18 2016-09-28 Microsoft Technology Licensing, LLC Persistent user identification

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2772884A1 (en) * 2013-02-28 2014-09-03 Koninklijke Philips N.V. Apparatus and method for detecting subjects on the basis of vital signs
TWI549649B (zh) * 2013-09-24 2016-09-21 廣達電腦股份有限公司 頭戴式系統
US10525336B2 (en) * 2014-09-11 2020-01-07 Sony Interactive Entertainment Inc. Image processing system, image processing method, program, and information storage medium
US10238345B2 (en) 2014-10-16 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Biological information processing device and biological information processing method
US9596538B2 (en) * 2014-12-12 2017-03-14 Intel Corporation Wearable audio mixing
CN105787420B (zh) * 2014-12-24 2020-07-14 北京三星通信技术研究有限公司 用于生物认证的方法、装置以及生物认证系统
US10154818B2 (en) 2014-12-24 2018-12-18 Samsung Electronics Co., Ltd. Biometric authentication method and apparatus
MX2018002458A (es) * 2015-09-04 2018-06-15 Koninklijke Philips Nv Sistema, metodo y procesador para monitorear un signo vital de un sujeto.
CN108135498B (zh) * 2015-10-15 2020-12-18 大金工业株式会社 有用信息呈现装置
US20170115726A1 (en) * 2015-10-22 2017-04-27 Blue Goji Corp. Incorporating biometric data from multiple sources to augment real-time electronic interaction
CA2958010C (en) 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
JP6769896B2 (ja) * 2017-03-02 2020-10-14 大学共同利用機関法人自然科学研究機構 環境共有レベル判定装置
JP6724827B2 (ja) * 2017-03-14 2020-07-15 オムロン株式会社 人物動向記録装置
CN108784650A (zh) 2017-05-03 2018-11-13 深圳迈瑞生物医疗电子股份有限公司 生理信号的同源性识别方法及装置
JP6833639B2 (ja) * 2017-07-25 2021-02-24 日本電信電話株式会社 観客状況判定装置、その方法、及びプログラム
EP3681394A1 (en) 2017-11-13 2020-07-22 Covidien LP Systems and methods for video-based monitoring of a patient
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
JP6826733B2 (ja) * 2018-03-26 2021-02-10 国立大学法人東北大学 信号制御装置、信号制御プログラム、及び信号制御方法
JP6660601B2 (ja) * 2018-06-06 2020-03-11 パナソニックＩｐマネジメント株式会社 生体情報監視装置及び生体情報監視方法
US11510584B2 (en) 2018-06-15 2022-11-29 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
US11771863B1 (en) * 2019-12-11 2023-10-03 Amazon Technologies, Inc. Interface for guided meditation based on user interactions
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
JP2021149810A (ja) * 2020-03-23 2021-09-27 株式会社東海理化電機製作所 識別器の生成方法、処理装置の製造方法、認証装置、コンピュータプログラム、および認証システム
CN111860187A (zh) * 2020-06-24 2020-10-30 广东邦鑫数据科技股份有限公司 一种高精度的佩戴口罩识别方法及系统
KR20220130567A (ko) * 2021-03-17 2022-09-27 센스타임 인터내셔널 피티이. 리미티드. 이미지에 포함된 상관된 객체들을 검출하기 위한 방법들, 장치들, 디바이스들, 및 저장 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218507A (ja) 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
JP2009544080A (ja) * 2006-07-12 2009-12-10 アービトロン インコーポレイテッド 順守確認および奨励方法およびシステム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171680B2 (en) 2002-07-29 2007-01-30 Idesia Ltd. Method and apparatus for electro-biometric identity recognition
JP4659722B2 (ja) 2006-11-14 2011-03-30 日本電信電話株式会社 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム
JP2008181220A (ja) 2007-01-23 2008-08-07 Ricoh Co Ltd 個人認証装置及び個人認証方法
US7967728B2 (en) * 2008-11-16 2011-06-28 Vyacheslav Zavadsky Wireless game controller for strength training and physiotherapy
CN102341811B (zh) * 2009-03-06 2015-04-29 皇家飞利浦电子股份有限公司 控制设备的功能的方法和用于检测生物的存在的系统
WO2010100594A2 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Processing images of at least one living being
CN201454059U (zh) 2009-06-26 2010-05-12 上海久娱网络科技有限公司 一种卡牌游戏机中人物身份识别系统
JP5715132B2 (ja) * 2009-08-20 2015-05-07 コーニンクレッカ フィリップス エヌ ヴェ 画像解析に関する方法及びシステム
JP2011110181A (ja) 2009-11-26 2011-06-09 Panasonic Corp 生体情報の通信装置、生体情報の通信方法、生体情報の通信プログラムおよび集積回路
LV14514B (lv) * 2010-10-06 2012-08-20 Latvijas Universitāte Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218507A (ja) 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
JP2009544080A (ja) * 2006-07-12 2009-12-10 アービトロン インコーポレイテッド 順守確認および奨励方法およびシステム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Advancements in non-contact, multiparameter physiological measurements using a webcam", IEEE TRANS BIOMED ENG, 2010
"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", OPTICS EXPRESS, 2010
HEART RATE MEASUREMENT BASED ON A TIME-LAPSE IMAGE,'' MEDICAL ENGINEERING AND PHYSICS, 2007
See also references of EP2772828A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105473062A (zh) * 2013-08-30 2016-04-06 索尼公司 信息处理装置、信息处理方法及信息处理系统
EP3072078A1 (en) * 2013-11-18 2016-09-28 Microsoft Technology Licensing, LLC Persistent user identification
CN105917355A (zh) * 2013-12-14 2016-08-31 维亚凯姆有限责任公司 用于判定物理、生理和/或生物计量数据和/或用于风险评估的基于相机的跟踪系统
CN105310650A (zh) * 2014-05-30 2016-02-10 联发科技股份有限公司 用于生命体征监测的控制器和方法
CN105310650B (zh) * 2014-05-30 2018-10-26 联发科技股份有限公司 用于生命体征监测的控制器和方法

Also Published As

Publication number Publication date
JP2013090847A (ja) 2013-05-16
US9717987B2 (en) 2017-08-01
US20140254902A1 (en) 2014-09-11
EP2772828B1 (en) 2019-01-09
EP2772828A1 (en) 2014-09-03
CN104054038B (zh) 2018-03-23
CN104054038A (zh) 2014-09-17
EP2772828A4 (en) 2015-06-03
JP5822651B2 (ja) 2015-11-24

Similar Documents

Publication Publication Date Title
JP5822651B2 (ja) 個体判別装置および個体判別方法
US9339215B2 (en) Method and apparatus for monitoring movement and breathing of multiple subjects in a common bed
Munn et al. Fixation-identification in dynamic scenes: Comparing an automated algorithm to manual coding
JP7068339B2 (ja) 血圧測定装置、および、血圧測定方法
JPWO2015045554A1 (ja) 生体情報取得装置および生体情報取得方法
US20120194648A1 (en) Video/ audio controller
JPWO2018066421A1 (ja) 認知機能評価装置、認知機能評価システム、認知機能評価方法、及び、プログラム
JP2006293979A (ja) コンテンツ提供システム
JP5789735B2 (ja) コンテンツ評価装置、方法、及びそのプログラム
US20160106329A1 (en) Utilizing different color channels for rgb-image-based differential heart rate detection
JP6149084B2 (ja) 個体判別装置および個体判別方法
CN111712187A (zh) 生命信息显示设备、生命信息显示方法和程序
WO2017047734A1 (ja) 計測装置
JP6198530B2 (ja) 画像処理装置
Islam et al. Respiratory feature extraction for contactless breathing pattern recognition using a single digital camera
US20220240865A1 (en) Video based detection of pulse waveform
JP5511503B2 (ja) 生体情報計測処理装置及び生体情報計測処理方法
JP7107725B2 (ja) 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム
Mathe et al. User evaluation of low-cost, non-invasive methods for heart-rate measurement
Popescu et al. Cardiowatch: A solution for monitoring the heart rate on a Mobile device
CN118078234B (zh) Ppg信号处理方法、设备及存储介质
ES2890715B2 (es) Sistema para analizar una practica de actividad motora con participantes
Tsai et al. Wearable ECG for tension assessment in movie watching and adventure riding
JP2019024608A (ja) 視線検出校正方法、システム、及びコンピュータプログラム
US20240269513A1 (en) System and method for tracking and recommending breathing exercises using wearable devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12843864

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012843864

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14351274

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE