WO2020153031A1 - ユーザ属性推定装置およびユーザ属性推定方法 - Google Patents

ユーザ属性推定装置およびユーザ属性推定方法 Download PDF

Info

Publication number
WO2020153031A1
WO2020153031A1 PCT/JP2019/048639 JP2019048639W WO2020153031A1 WO 2020153031 A1 WO2020153031 A1 WO 2020153031A1 JP 2019048639 W JP2019048639 W JP 2019048639W WO 2020153031 A1 WO2020153031 A1 WO 2020153031A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
position detection
detection information
attribute
unit
Prior art date
Application number
PCT/JP2019/048639
Other languages
English (en)
French (fr)
Inventor
拓宏 水野
Original Assignee
株式会社アルファコード
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アルファコード filed Critical 株式会社アルファコード
Priority to US17/424,341 priority Critical patent/US20220044038A1/en
Publication of WO2020153031A1 publication Critical patent/WO2020153031A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • the present invention relates to a user attribute estimation device and a user attribute estimation method, and is particularly suitable for use in a device that estimates the attributes of a user who is viewing a VR image.
  • VR virtual reality
  • HMD head mounted display
  • VR space three-dimensional space
  • VR image three-dimensional image
  • An eyeglass-type or hat-type HMD may be used instead of the goggle-type HMD.
  • VR is also capable of presenting the user with a world beyond the actual constraints of time and space.
  • VR advertisements are not necessarily expressed in a flat manner.
  • the advertisement may be displayed on a plane on the VR space, or the advertisement may be expanded by making the most of the VR space of 360 degrees.
  • a mechanism has been devised to display an advertisement having contents that match the attributes, interests, behaviors, etc. of the user who is viewing the VR image (see Patent Document 1, for example).
  • the target objects are ranked in descending order of attention
  • the associated information associated with the object is provided to the user terminal according to the ranking.
  • detailed accompanying information corresponding to the target object detected when the VR image is displayed on the HMD is displayed after completion or stop of the reproduction of the VR image. It is provided to the viewer through a user terminal different from the HMD.
  • Patent Document 1 estimates the content of interest of a user who is watching a VR image, and displays an advertisement matching the content of interest as accompanying information.
  • a technique of estimating a user's attribute (weight, age, sex, etc.) by analyzing a user's image captured by a camera for example, see Patent Documents 2 and 3. It is also possible to display the VR advertisement determined according to the attribute of the user estimated using the technology described in Patent Documents 2 and 3.
  • a captured image is used to estimate the attribute of the user, and it is necessary to install a camera around the user who is viewing the VR image.
  • a camera can be installed in a special venue of an exhibition or a shop, but a camera is not installed in a general place such as a home, and a user who is watching a VR image is externally connected.
  • a camera can be installed in a special venue of an exhibition or a shop, but a camera is not installed in a general place such as a home, and a user who is watching a VR image is externally connected.
  • a user who is watching a VR image is externally connected.
  • the present invention has been made to solve such a problem, and makes it possible to estimate the attribute of a user who is viewing a VR image even in a place where a camera is not installed. With the goal.
  • a plurality of position detection information is acquired from at least one of a position detection sensor mounted on a user's body and a position detection sensor mounted on a controller held and used by a user. Then, the physical characteristic of the user's body is recognized from the plurality of position detection information, and the attribute of the user is estimated from the recognized physical characteristic of the user's body.
  • the attribute of the user is determined based on the detection information by the sensor mounted on the body of the user who is viewing the VR image or the sensor mounted on the controller held by the user. Since it is estimated, the attribute of the user who is viewing the VR image can be estimated even in the place where the camera is not installed.
  • FIG. 1 It is a figure which shows the structural example of the VR viewing-and-listening system which applied the user attribute estimation apparatus by this embodiment. It is a block diagram showing an example of functional composition of an arithmetic unit containing a user attribute estimating device by this embodiment. It is a figure for demonstrating an example of the processing content of the attribute estimation part by this embodiment. It is a figure for demonstrating an example of the processing content of the attribute estimation part by this embodiment. It is a figure for demonstrating an example of the processing content of the attribute estimation part by this embodiment. It is a figure for demonstrating an example of the processing content of the attribute estimation part by this embodiment.
  • FIG. 1 is a diagram showing a configuration example of a VR viewing system to which the user attribute estimation device according to the present embodiment is applied.
  • the VR viewing system according to the present embodiment includes a computing device 100 including a functional configuration of a user attribute estimation device, a head mounted display (HMD) 200 that is used by being worn on the head of a user,
  • the controller 300 includes a controller 300 that the user holds and uses, and a plurality of sensors 400.
  • the HMD 200 may be of any type. That is, the HMD 200 may be a binocular type or a monocular type.
  • the HMD 200 may be a non-transmissive type that completely covers the eyes or a transmissive type. Further, the HMD 200 may be any of goggle type, eyeglass type, and hat type.
  • the controller 300 is for a user to give a desired instruction to the arithmetic device 100, and is provided with a predetermined operation button.
  • One of the plurality of sensors 400 is mounted on the HMD 200.
  • the other one of the plurality of sensors 400 is mounted on the controller 300.
  • the remaining sensor 400 is attached to each place of the user's body using a belt or the like.
  • Each location of the user's body to which the sensor 400 is attached via a belt or the like is a shoulder, an elbow, a wrist, a waist, a knee, an ankle, or the like.
  • the sensor 400 is composed of a position detection sensor and a motion detection sensor.
  • the sensor 400 mounted on the HMD 200 mounted on the user's head and the sensor 400 mounted on the user's body by using a belt or the like are position detection sensors and movements “mounted on the user's body”. It corresponds to a detection sensor.
  • the position detection sensor is a known sensor including, for example, a light receiving sensor, and includes a synchronization flash and an infrared laser which are emitted at regular intervals from a light emitting device (not shown) installed around the arithmetic unit 100.
  • the light reception time, the light reception angle, the reception time difference between the synchronization flash and the infrared laser, and the like are detected, and the position detection information is wirelessly transmitted to the arithmetic unit 100.
  • the arithmetic device 100 calculates the position in the three-dimensional space where the position detection sensor is present (the position of the body part where the position detection sensor is attached) based on the position detection information transmitted from the position detection sensor.
  • the motion detection sensor is a known sensor configured by combining an acceleration sensor, a gyro sensor, etc., and detects acceleration and angular velocity according to the direction and speed of movement of an object, change in posture, etc. Information is wirelessly transmitted to the arithmetic device 100.
  • the arithmetic device 100 calculates the movement of the movement detection sensor in three-dimensional space (the movement of the body part where the movement detection sensor is attached) based on the movement detection information transmitted from the movement detection sensor.
  • FIG. 2 is a block diagram showing a functional configuration example of the arithmetic device 100.
  • the arithmetic device 100 has, as its functional configuration, a position detection information acquisition unit 11, a physical feature recognition unit 12, a motion detection information acquisition unit 13, a behavioral feature recognition unit 14, an attribute estimation unit 15, and The advertisement providing unit 16 is provided.
  • the arithmetic device 100 also includes an advertisement data storage unit 10 as a storage medium.
  • the functional blocks 11 to 15 constitute a user attribute estimation device.
  • Each of the functional blocks 11 to 16 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • DSP Digital Signal Processor
  • each of the functional blocks 11 to 16 is actually configured by including a CPU, a RAM, a ROM and the like of a computer, and a program stored in a recording medium such as a RAM, a ROM, a hard disk or a semiconductor memory. Is realized by operating.
  • the position detection information acquisition unit 11 acquires a plurality of position detection information from a plurality of sensors 400 (position detection sensors).
  • the position detection information acquisition unit 11 sequentially acquires the position detection information transmitted from the position detection sensor at predetermined time intervals.
  • the position detection information sent from the position detection sensor is accompanied by identification information (ID) unique to each position detection sensor.
  • ID identification information
  • the physical characteristic recognition unit 12 recognizes the physical characteristic of the user's body from the plurality of position detection information acquired by the position detection information acquisition unit 11. Specifically, the physical feature recognition unit 12 detects the position of each body part of the user's body from the plurality of position detection information acquired by the position detection information acquisition unit 11, and detects the position of the user's body from each position. Recognize physical features.
  • the physical feature recognition unit 12 first detects the position of the user's head based on the position detection information acquired from the position detection sensor mounted on the HMD 200. In addition, the physical feature recognition unit 12 uses the position detection information acquired from the position detection sensors attached to the shoulders, elbows, wrists, hips, knees, and ankles of the user, based on the user's elbows, wrists, hips, and knees. , Detect the position of the ankle.
  • the physical feature recognition unit 12 stores table information in which the correspondence between the ID of the position detection sensor and the body part is recorded, and by referring to this table information, the position acquired from which position detection sensor is detected. It is possible to recognize which part of the body the detection information corresponds to.
  • the physical feature recognition unit 12 recognizes the height of the user from the detected position of the head.
  • the physical feature recognition unit 12 also recognizes the sitting height of the user from the detected position of the head and the detected position of the waist.
  • the physical feature recognition unit 12 recognizes the length of the user's hand from the detected positions of the shoulder and the wrist.
  • the physical feature recognition unit 12 also recognizes the length of the user's foot from the detected waist position and ankle position.
  • the physical feature recognition unit 12 recognizes the joint ratio of the arm (the ratio of the length from the shoulder to the elbow and the length from the elbow to the wrist) from the detected positions of the shoulder, the elbow, and the wrist.
  • the physical feature recognition unit 12 recognizes the leg joint ratio (the ratio of the length from the waist to the knee and the length from the knee to the ankle) from the detected positions of the waist, the knee, and the ankle.
  • the physical feature recognizing unit 12 recognizes physical features such as the height, sitting height, hand length, leg length, and joint ratio of the user as described above at each position detection sensor at a certain temporary point.
  • the physical characteristics may be recognized by using the position of each part of the body at a certain point of time detected based on the position detection information acquired from. However, the position of each body part is detected using the position detection information acquired from each position detection sensor at a plurality of time points, and the physical feature is recognized using the position of each body part at a plurality of time points. Is preferred. This is because the user's body moves while viewing the VR image, and therefore the positions of the respective parts of the body detected at a certain point in time are not always the values representing the physical characteristics of the body.
  • the physical feature recognition unit 12 recognizes the height of the user from the highest position of the head positions detected at a plurality of time points.
  • the detected head position becomes lower than the original height position.
  • the position of the head detected when the user stands upright is the highest. Therefore, the height of the user can be correctly recognized by recognizing the height of the user based on the highest position among the positions of the head detected at a plurality of time points.
  • the user may jump. Therefore, the height of the user may be recognized by excluding the highest position for a period shorter than the predetermined time and adopting the highest position continuously for a period longer than the predetermined time. ..
  • the physical feature recognizing unit 12 uses the highest position among the positions of the head detected at a plurality of time points as well as the highest position among the positions of the waist detected at a plurality of time points in the same manner for the sitting height.
  • the sitting height of the user is recognized based on the difference between the height positions of the two. Regarding the sitting height, it is possible to recognize the sitting height almost correctly from the difference between the position of the head and the position of the waist, regardless of the posture, unless the user bends his/her neck. .. Therefore, the physical feature recognition unit 12 may recognize the sitting height of the user from the difference between the position of the head and the position of the waist detected at a plurality of time points, and adopt the longest one among them. ..
  • the physical feature recognition unit 12 respectively recognizes the length of the user's hand from the differences between the positions of the shoulder and the position of the wrist detected at a plurality of time points, and adopts the longest one.
  • the length of the legs is similar.
  • the physical feature recognition unit 12 respectively recognizes the length of the user's foot from the difference between the waist position and the ankle position detected at a plurality of time points, and adopts the longest one of them.
  • the joint ratio of the arms and the joint ratio of the legs may be recognized from the positions of the shoulders, elbows and wrists, and the positions of the hips, knees and ankles detected at a certain point in time.
  • the motion detection information acquisition unit 13 acquires a plurality of motion detection information from a plurality of sensors 400 (motion detection sensor).
  • the motion detection information acquisition unit 13 sequentially acquires the motion detection information sequentially transmitted from the motion detection sensor at predetermined time intervals.
  • the motion detection information sent from the motion detection sensor is accompanied by identification information (ID) unique to each motion detection sensor.
  • ID identification information
  • the motion characteristic recognition unit 14 recognizes the motion characteristic of the user's body from the motion detection information acquired by the motion detection information acquisition unit 13. Specifically, the motion feature recognition unit 14 detects the movement of each part of the user's body from the plurality of pieces of motion detection information acquired by the motion detection information acquisition unit 13, and detects the movement of the user's body from the movement of each part. Recognize behavioral features.
  • the motion characteristic recognition unit 14 stores table information in which the correspondence between the ID of the motion detection sensor and the body part is recorded, and by referring to this table information, the motion acquired from which motion detection sensor is detected. It is possible to recognize which part of the body the detection information corresponds to.
  • the operational features recognized by the operational feature recognizing unit 14 are, for example, how the user runs, how to wave his/her hand, how to look around, how to stand, and how to sit.
  • the motion characteristic recognition unit 14 uses the motion detection information acquired from the motion detection sensors attached to the shoulders, elbows, wrists, hips, knees, and ankles to swing the arm of the user and the leg. Recognize how to run based on how to move and stride.
  • the behavioral feature recognition unit 14 shakes the hand of the user based on the motion detection information acquired from the motion detection sensor mounted on the elbow and the wrist and the motion detection sensor mounted on the controller 300. Recognize how to shake the hand based on the size and speed of the motion.
  • the behavioral feature recognition unit 14 recognizes the look around based on the motion detection information acquired from the motion detection sensor mounted on the HMD 200, such as the speed at which the user turns his/her head.
  • the motion characteristic recognition unit 14 determines whether the user stands with his/her legs open or closed based on the motion detection information acquired from the motion detection sensors attached to the waist, knees, and ankles. Recognize how to stand.
  • the motion characteristic recognition unit 14 determines whether the user sits with his/her foot (or) open based on the motion detection information acquired from the motion detection sensor attached to the waist, knees, or ankles. Recognizes how the user is sitting.
  • the motion characteristic recognition unit 14 recognizes the motion characteristic of the user's body based on the position of each body part detected from the position detection information acquired by the position detection information acquisition unit 11. Good. For example, with respect to standing and sitting, the behavioral feature recognition unit 14 recognizes the standing and sitting of the user based on the position detection information acquired from the position detection sensors attached to the waist, knees, and ankles. It is possible.
  • the attribute estimation unit 15 estimates the attribute of the user from the physical feature of the user's body recognized by the physical feature recognition unit 12 and the physical feature of the user's body recognized by the behavioral feature recognition unit 14.
  • the attributes estimated by the attribute estimation unit 15 are, for example, the sex and age (age) of the user. In other words, there are physical characteristics such as height, sitting height, hand length, foot length, joint ratio, and movement characteristics such as running, hand shaking, looking around, standing, and sitting. Since there is a certain tendency depending on gender and age, the gender and age of the user are estimated based on this tendency.
  • the tendency of the physical characteristics by gender and age is defined in advance, and the gender of the user and the tendency of the physical characteristics of the user's body recognized by the physical characteristic recognition unit 12 correspond to the tendency. It is possible to estimate the age.
  • thresholds are set for each of height, sitting height, hand length, leg length, and joint ratio, and when the value recognized by the physical feature recognition unit 12 is greater than the threshold value, male, and when the value is less than or equal to the threshold value Can be presumed to be female. Then, it is possible to estimate the probability of being a male or a female by summing whether male/female is estimated for each of height, sitting height, hand length, foot length, and joint ratio. is there. For example, if one of the five items of height, sitting height, hand length, leg length, and joint ratio is estimated to be male and the other four are estimated to be female, then It is estimated that a certain probability is 20% and a female is 80%.
  • the height is classified into a plurality of levels by a plurality of thresholds, and the height is recognized by the physical feature recognition unit 12 to which the height belongs, and the person is a male.
  • the probability or the probability of being female may be estimated.
  • the probability of being male or female at each level of height can be set in advance on the basis of, for example, a statistical value of sex regarding height.
  • M1+F1 100%
  • M2+F2 100%,...
  • table information is used for sitting height, hand length, foot length, and joint ratio, and the probability of being a male or female is estimated based on which of the levels classified according to the range of values. It is possible to Even when using such table information, the attribute estimation unit 15 synthesizes the male/female probability estimated for each of the height, sitting height, hand length, leg length, and joint ratio, and Estimate the probability of being a woman.
  • the attribute estimation unit 15 also uses the table information regarding the sitting height, the length of the hand, the length of the foot, and the joint ratio, and the user belongs to each of the levels classified according to the range of values. Estimate the age probabilities respectively. Then, the probabilities of the ages estimated for the height, sitting height, hand lengths, leg lengths, and joint ratios are combined to estimate the probability to which the age belongs.
  • the estimation method can be the same as the estimation method based on the physical characteristics described above.
  • the attribute estimating unit 15 can estimate the probability of gender and age from the physical characteristics of the user's body, and can estimate the probability of gender and age from the behavioral characteristics of the user's body. ..
  • the attribute estimating unit 15 further estimates the final probability of the user's gender and age by combining the probability of gender and age estimated from the physical feature and the probability of gender and age estimated from the behavioral feature. ..
  • the attribute estimating unit 15 may estimate the sex and age having the highest final probability as the gender and age of the user. For example, if the final probability regarding the gender of the user is 65% male and 35% female, the user is estimated to be male.
  • the attribute of the user may be estimated by a method using machine learning. That is, when learning, the physical characteristics of the body are measured and the movement characteristics of the body are specified for a plurality of sample users whose gender and age (age) are known. Then, as shown in FIG. 5A, an information set consisting of physical characteristics of the body, behavioral characteristics, and known user attributes is given to a learning device as teacher data to perform machine learning, thereby performing physical learning. Then, when a behavioral feature is given to the input layer, a learning model in which the gender and age (age) are obtained from the output layer is generated.
  • the physical feature recognized by the physical feature recognizing unit 12 and the action characteristic recognizing unit 14 recognize that user.
  • the attribute of the user is estimated as an output from the learning model by inputting the determined behavioral feature into the predictor to which the learning model is applied. Note that, with respect to the estimation result of the user based on such a learning model, actual attributes are given as correct answer data, and this correct answer data and the physical characteristics and behavioral characteristics input to the predictor are input to the learner. By doing so, reinforcement learning of the learning model may be performed.
  • the advertisement providing unit 16 Based on the user's attribute estimated by the attribute estimating unit 15, the advertisement providing unit 16 provides the HMD 200 with a VR advertisement having contents matched with the attribute.
  • the VR advertisement data displayed on the HMD 200 is stored in advance in the advertisement data storage unit 10.
  • the advertisement data storage unit 10 stores advertisement data whose contents are changed according to sex and age (age).
  • the advertisement providing unit 16 reads the advertisement data according to the gender and age (age) of the user estimated by the attribute estimation unit 15 from the advertisement data storage unit 10 and issues a VR advertisement to the HMD 200 based on the read advertisement data. Display it.
  • a plurality of position detection information and a plurality of motion detection information are acquired from the sensor 400 mounted on the user's body and the sensor 400 mounted on the controller 300 held and used by the user. It acquires and recognizes the physical characteristics of the user's body and also recognizes the movement characteristics of the user's body. Then, the attribute of the user is estimated from the recognized physical and physical characteristics of the user's body.
  • the attribute estimation unit 15 detects the physical characteristics of the user's body recognized by the physical characteristic recognition unit 12 and the movement characteristics of the user's body recognized by the movement characteristic recognition unit 14.
  • the present invention is not limited to this.
  • the attribute of the user may be estimated only from the physical feature of the body of the user recognized by the physical feature recognition unit 12. In this case, the motion detection information acquisition unit 13 and the behavioral feature recognition unit 14 are unnecessary.
  • the position detection information acquisition unit 11 includes at least one of a position detection sensor mounted on the user's body (including one mounted on the HMD 200) and a position detection sensor mounted on the controller 300 held and used by the user. It is only necessary to acquire a plurality of position detection information from.
  • the motion detection information acquisition unit 13 is at least one of a motion detection sensor mounted on the user's body (including one mounted on the HMD 200) and a motion detection sensor mounted on the controller 300 held and used by the user. It is only necessary to acquire the motion detection information from the.
  • the arithmetic device 100 is configured as another device different from the HMD 200
  • the present invention is not limited to this. That is, part or all of the functional blocks 10 to 16 included in the arithmetic device 100 may be included in the HMD 200.
  • the arithmetic unit 100 further includes a voice information acquisition unit that further attaches a microphone to the user's body using the HMD 200 or a belt, and acquires the user's utterance voice information from the microphone, and the attribute estimation unit 15
  • the user's attribute may be estimated by further using the user's uttered voice information acquired by the voice information acquisition unit.
  • Advertisement Data Storage Unit 11 Position Detection Information Acquisition Unit 12 Physical Feature Recognition Unit 13 Motion Detection Information Acquisition Unit 14 Behavioral Feature Recognition Unit 15 Attribute Estimation Unit 16 Advertisement Providing Unit 100 Computing Device (User Attribute Estimation Device) 200 HMD 300 controller 400 sensor (position detection sensor, motion detection sensor)

Abstract

ユーザの身体に装着される位置検知センサや、ユーザが把持して使用するコントローラに搭載された位置検知センサから複数の位置検知情報を取得する位置検知情報取得部１１と、複数の位置検知情報からユーザの身体の物理的特徴を認識する物理的特徴認識部１２と、当該認識したユーザの身体の物理的特徴からユーザの属性を推定する属性推定部１５とを備え、ＶＲ画像を視聴しているユーザ自身の身体に装着されるセンサや、ユーザが把持するコントローラに搭載されるセンサによる検知情報に基づいてユーザの属性を推定することにより、カメラが設置されていない場所においても、ＶＲ画像を視聴しているユーザの属性を推定することができるようにする。

Description

ユーザ属性推定装置およびユーザ属性推定方法
　本発明は、ユーザ属性推定装置およびユーザ属性推定方法に関し、特に、ＶＲ画像を視聴しているユーザの属性を推定する装置に用いて好適なものである。
　近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲの応用例は様々であるが、ユーザがゴーグルのようなＨＭＤ（ヘッドマウントディスプレイ）を装着して、コンピュータによりＨＭＤに対して３次元画像（ＶＲ画像）として描き出された３次元空間（ＶＲ空間）の中で自由に行動することにより、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。ゴーグル型のＨＭＤの代わりに眼鏡型や帽子型のＨＭＤを用いる場合もある。ＶＲは、時間や空間という現実の制約を超えた世界をユーザに提示することも可能である。
　最近では、ＶＲの利用シーンの広がりを背景として、ＶＲ空間内に広告を表示する動きも広がりつつある。ＶＲ空間内に表示される広告は、ＶＲ広告と呼ばれている。ＶＲ広告は、インターネットのウェブサイトや電子メールを使用して行う従来型のインターネット広告とは異なり、その表現方法は平面とは限らない。ＶＲ空間上の平面に広告を表示することもあれば、３６０度のＶＲ空間を最大限に生かした広告展開も可能である。このように表現方法の違いはあるが、ＶＲ広告はインターネット広告と同様、できるだけ広告効果を高めることが望まれている。そのため、ＶＲ画像を視聴しているユーザの属性や興味、行動等に合わせた内容の広告を表示する仕組みが工夫されている（例えば、特許文献１参照）。
　特許文献１に記載の情報提供システムでは、ＨＭＤに表示されたＶＲ画像内で視聴者が注目した１以上の対象物を検出した上で、注目対象物を注目度合が高い順にランキングし、注目対象物に関連付けられた付随情報をランキングに従ってユーザ端末に提供する。なお、特許文献１に記載の情報提供システムでは、ＨＭＤにＶＲ画像を表示しているときに検出された注目対象物に対応する詳細な付随情報を、ＶＲ画像の再生の終了後または停止後に、ＨＭＤとは異なるユーザ端末を通じて視聴者に提供するようにしている。
　上記特許文献１に記載の情報提供システムは、ＶＲ画像を視聴しているユーザの興味内容を推定し、その興味内容に合わせた広告を付随情報として表示するものである。これに対し、カメラで撮影したユーザの画像を解析することにより、ユーザの属性（体重、年齢、性別等）を推定する技術が知られている（例えば、特許文献２，３参照）。この特許文献２，３に記載の技術を用いて推定したユーザの属性に応じて決定したＶＲ広告を表示することも考えられる。
特開２０１８－３７７５５号公報 特表２０１１－５０５６１８号公報 特表２０１５－５０１９９７号公報
　上記特許文献２，３に記載の技術では、ユーザの属性を推定するために撮影画像を用いており、ＶＲ画像を視聴しているユーザの周囲にカメラの設置が必要となる。しかしながら、例えば展示会の特設会場やショップなどであればカメラの設置も可能であるが、自宅などの一般的な場所にはカメラは設置されておらず、ＶＲ画像を視聴しているユーザを外部から撮影することができないケースが多い。そのため、特許文献２，３に記載の技術を適用することができないことが多いという問題があった。
　本発明は、このような問題を解決するために成されたものであり、カメラが設置されていない場所においても、ＶＲ画像を視聴しているユーザの属性を推定することができるようにすることを目的とする。
　上記した課題を解決するために、本発明では、ユーザの身体に装着される位置検知センサ、ユーザが把持して使用するコントローラに搭載された位置検知センサの少なくとも一方から複数の位置検知情報を取得し、複数の位置検知情報からユーザの身体の物理的特徴を認識するとともに、当該認識したユーザの身体の物理的特徴からユーザの属性を推定するようにしている。
　上記のように構成した本発明によれば、ＶＲ画像を視聴しているユーザ自身の身体に装着されるセンサや、ユーザが把持するコントローラに搭載されるセンサによる検知情報に基づいてユーザの属性が推定されるので、カメラが設置されていない場所においても、ＶＲ画像を視聴しているユーザの属性を推定することができる。
本実施形態によるユーザ属性推定装置を適用したＶＲ視聴システムの構成例を示す図である。 本実施形態によるユーザ属性推定装置を含む演算装置の機能構成例を示すブロック図である。 本実施形態による属性推定部の処理内容の一例を説明するための図である。 本実施形態による属性推定部の処理内容の一例を説明するための図である。 本実施形態による属性推定部の処理内容の一例を説明するための図である。
　以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるユーザ属性推定装置を適用したＶＲ視聴システムの構成例を示す図である。図１に示すように、本実施形態のＶＲ視聴システムは、ユーザ属性推定装置の機能構成を含む演算装置１００と、ユーザの頭部に装着して使用されるヘッドマウントディスプレイ（ＨＭＤ）２００と、ユーザが把持して使用するコントローラ３００と、複数のセンサ４００とを備えて構成される。
　ＨＭＤ２００は、どのようなタイプのものでもよい。すなわち、ＨＭＤ２００は、両眼タイプでもよいし、単眼タイプでもよい。また、ＨＭＤ２００は、目を完全に覆う非透過型でもよいし、透過型でもよい。また、ＨＭＤ２００は、ゴーグル型、眼鏡型、帽子型の何れであってもよい。コントローラ３００は、ユーザが所望の指示を演算装置１００に与えるためのものであり、所定の操作ボタンが設けられている。
　複数のセンサ４００の１つは、ＨＭＤ２００に搭載される。複数のセンサ４００の他の１つは、コントローラ３００に搭載される。残りのセンサ４００は、ユーザの身体の各場所にベルト等を使って装着される。ベルト等を介してセンサ４００が装着されるユーザの身体の各場所は、肩、肘、手首、腰、膝、足首などである。本実施形態において、センサ４００は、位置検知センサおよび動き検知センサにより構成される。ユーザの頭部に装着されるＨＭＤ２００に搭載されたセンサ４００と、ユーザの身体の各場所にベルト等を使って装着されるセンサ４００とが「ユーザの身体に装着される」位置検知センサおよび動き検出センサに相当する。
　位置検知センサは、例えば受光センサを備えて構成される公知のセンサであり、演算装置１００の周囲に設置された発光装置（図示せず）から一定間隔で発光される同期用フラッシュと赤外線レーザーとを受光し、その受光時間や受光角度、同期用フラッシュと赤外線レーザーとの受信時間差等を検知し、これらの位置検知情報を演算装置１００に無線で送信する。演算装置１００は、位置検知センサから送信される位置検知情報に基づいて、位置検知センサが存在する３次元空間上の位置（位置検知センサが装着された身体の部位の位置）を算出する。
　動き検知センサは、加速度センサやジャイロセンサなどを組み合わせて構成される公知のセンサであり、物体の動きの方向や速さ、姿勢の変化等に応じた加速度や角速度を検知し、これらの動き検知情報を演算装置１００に無線で送信する。演算装置１００は、動き検知センサから送信される動き検知情報に基づいて、動き検知センサの３次元空間上の動き（動き検知センサが装着された身体の部位の動き）を算出する。
　図２は、演算装置１００の機能構成例を示すブロック図である。図２に示すように、演算装置１００は、その機能構成として、位置検知情報取得部１１、物理的特徴認識部１２、動き検知情報取得部１３、動作的特徴認識部１４、属性推定部１５および広告提供部１６を備えている。また、演算装置１００は、記憶媒体として、広告データ記憶部１０を備えている。なお、機能ブロック１１～１５によりユーザ属性推定装置が構成される。
　上記各機能ブロック１１～１６は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　位置検知情報取得部１１は、複数のセンサ４００（位置検知センサ）から複数の位置検知情報を取得する。位置検知情報取得部１１は、位置検知センサから所定の時間間隔で順次送信されてくる位置検知情報を順次取得する。なお、位置検知センサから送られてくる位置検知情報には、各位置検知センサに固有の識別情報（ＩＤ）が付随している。
　物理的特徴認識部１２は、位置検知情報取得部１１により取得される複数の位置検知情報からユーザの身体の物理的特徴を認識する。具体的には、物理的特徴認識部１２は、位置検知情報取得部１１により取得される複数の位置検知情報からユーザの身体の各部位の位置を検出し、各部位の位置からユーザの身体の物理的特徴を認識する。
　すなわち、物理的特徴認識部１２は、まず、ＨＭＤ２００に搭載された位置検知センサから取得される位置検知情報に基づいて、ユーザの頭部の位置を検出する。また、物理的特徴認識部１２は、ユーザの肩、肘、手首、腰、膝、足首に装着された位置検知センサから取得される位置検知情報に基づいて、ユーザの肘、手首、腰、膝、足首の位置を検出する。物理的特徴認識部１２は、位置検知センサのＩＤと身体の部位との対応関係を記録したテーブル情報を記憶しており、このテーブル情報を参照することにより、どの位置検知センサから取得された位置検知情報が身体のどの部位に対応するものかを認識することが可能である。
　次に、物理的特徴認識部１２は、検出した頭部の位置からユーザの身長を認識する。また、物理的特徴認識部１２は、検出した頭部の位置と腰の位置とからユーザの座高を認識する。また、物理的特徴認識部１２は、検出した肩の位置と手首の位置とからユーザの手の長さを認識する。また、物理的特徴認識部１２は、検出した腰の位置と足首の位置とからユーザの足の長さを認識する。また、物理的特徴認識部１２は、検出した肩、肘、手首の各位置から、腕の関節比率（肩から肘までの長さと肘から手首までの長さとの比率）を認識する。また、物理的特徴認識部１２は、検出した腰、膝、足首の各位置から、脚の関節比率（腰から膝までの長さと膝から足首までの長さとの比率）を認識する。
　物理的特徴認識部１２は、以上のようにしてユーザの身長、座高、手の長さ、足の長さ、関節比率などの物理的特徴を認識する際に、ある一時点において各位置検知センサから取得される位置検知情報に基づいて検出される、ある一時点における身体の各部位の位置を用いて物理的特徴を認識するようにしてよい。ただし、複数の時点において各位置検知センサから取得される位置検知情報を用いて身体の各部位の位置を検出し、複数の時点における身体の各部位の位置を用いて物理的特徴を認識するのが好ましい。ＶＲ画像の視聴中にユーザの身体が動くため、ある一時点において検出された身体の各部位の位置が、そのまま身体の物理的特徴を表す値であるとは限らないからである。
　例えば、物理的特徴認識部１２は、複数の時点において検出した頭部の位置のうち、最も高い位置からユーザの身長を認識する。ユーザが座ったり、上半身を前に屈めたり、後ろに反らしたりすると、検出される頭部の位置は、本来の身長の位置よりも低くなる。これに対し、ユーザが直立した状態で検出される頭部の位置は最も高くなる。よって、複数の時点において検出した頭部の位置のうち、最も高い位置に基づいてユーザの身長を認識することにより、ユーザの身長を正しく認識することができる。なお、ユーザがジャンプすることも考えられる。そこで、所定時間より短い期間だけ最も高い位置を示しているものは排除し、所定時間より長い期間続けて最も高い位置を示しているものを採用してユーザの身長を認識するようにしてもよい。
　また、物理的特徴認識部１２は、座高についても同様に、複数の時点において検出した頭部の位置のうち最も高い位置を用いるとともに、複数の時点において検出した腰の位置のうち最も高い位置を用いて、両者の高さの位置の差分からユーザの座高を認識する。なお、座高に関しては、ユーザが首を曲げた状態でなければ、どのような姿勢をとっていても、頭部の位置と腰の位置との差分から座高をほぼ正しく認識することが可能である。そこで、物理的特徴認識部１２は、複数の時点において検出した頭部の位置と腰の位置との差分からユーザの座高をそれぞれ認識し、その中で最も長いものを採用するようにしてもよい。
　手の長さに関しては、肘を曲げている状態ではなく、肘を伸ばしている状態において認識する必要がある。そこで、物理的特徴認識部１２は、複数の時点において検出した肩の位置と手首の位置との差分からユーザの手の長さをそれぞれ認識し、その中で最も長いものを採用する。足の長さも同様である。物理的特徴認識部１２は、複数の時点において検出した腰の位置と足首の位置との差分からユーザの足の長さをそれぞれ認識し、その中で最も長いものを採用する。なお、腕の関節比率および脚の関節比率に関しては、ある一時点において検出した肩、肘、手首の各位置、および腰、膝、足首の各位置から認識するようにしてもよい。
　動き検知情報取得部１３は、複数のセンサ４００（動き検知センサ）から複数の動き検知情報を取得する。動き検知情報取得部１３は、動き検知センサから所定の時間間隔で順次送信されてくる動き検知情報を順次取得する。なお、動き検知センサから送られてくる動き検知情報には、各動き検知センサに固有の識別情報（ＩＤ）が付随している。
　動作的特徴認識部１４は、動き検知情報取得部１３により取得される動き検知情報からユーザの身体の動作的特徴を認識する。具体的には、動作的特徴認識部１４は、動き検知情報取得部１３により取得される複数の動き検知情報からユーザの身体の各部位の動きを検出し、各部位の動きからユーザの身体の動作的特徴を認識する。動作的特徴認識部１４は、動き検知センサのＩＤと身体の部位との対応関係を記録したテーブル情報を記憶しており、このテーブル情報を参照することにより、どの動き検知センサから取得された動き検知情報が身体のどの部位に対応するものかを認識することが可能である。
　動作的特徴認識部１４が認識する動作的特徴は、例えば、ユーザの走り方、手の振り方、辺りの見回し方、立ち方、座り方などである。走り方に関して、動作的特徴認識部１４は、肩、肘、手首、腰、膝、足首に装着された動き検知センサから取得される動き検知情報に基づいて、ユーザの腕の振り方、脚の動かし方、歩幅などから走り方を認識する。手の振り方に関して、動作的特徴認識部１４は、肘、手首に装着された動き検知センサおよびコントローラ３００に搭載された動き検出センサから取得される動き検知情報に基づいて、ユーザが手を振る動作の大きさや速さなどから手の振り方を認識する。
　辺りの見回し方に関して、動作的特徴認識部１４は、ＨＭＤ２００に搭載された動き検出センサから取得される動き検知情報に基づいて、ユーザが首を回す速度などから辺りの見回し方を認識する。立ち方に関して、動作的特徴認識部１４は、腰、膝、足首に装着された動き検知センサから取得される動き検知情報に基づいて、足を開いて立っているか閉じて立っているかなどからユーザの立ち方を認識する。座り方に関して動作的特徴認識部１４は、腰、膝、足首に装着された動き検知センサから取得される動き検知情報に基づいて、足（又）を開いて座っているか閉じて座っているかなどからユーザの座り方を認識する。
　なお、動作的特徴認識部１４は、位置検知情報取得部１１により取得される位置検知情報から検出される身体の各部位の位置に基づいて、ユーザの身体の動作的特徴を認識するようにしてもよい。例えば、立ち方や座り方に関して、動作的特徴認識部１４は、腰、膝、足首に装着された位置検知センサから取得される位置検知情報に基づいて、ユーザの立ち方や座り方を認識することが可能である。
　属性推定部１５は、物理的特徴認識部１２により認識されたユーザの身体の物理的特徴および動作的特徴認識部１４により認識されたユーザの身体の動作的特徴からユーザの属性を推定する。属性推定部１５が推定する属性は、例えばユーザの性別、年齢（年代）である。すなわち、身長、座高、手の長さ、足の長さ、関節比率などの物理的特徴や、走り方、手の振り方、辺りの見回し方、立ち方、座り方などの動作的特徴には、性別や年代に応じて一定の傾向が見られるため、この傾向をもとにユーザの性別や年代を推定する。
　すなわち、身長、座高、手の長さ、足の長さ、関節比率などの物理的特徴に関して、性別ごとにみられる傾向の違いや、年代ごとにみられる傾向の違いがある。そのような性別および年代別の物理的特徴の傾向をあらかじめ定義しておき、物理的特徴認識部１２により認識されたユーザの身体の物理的特徴がどの傾向に該当するかによって、ユーザの性別や年代を推定することが可能である。
　例えば、身長、座高、手の長さ、足の長さ、関節比率は、女性よりも男性の方が大きな値を示す傾向にある。これにより、身長、座高、手の長さ、足の長さ、関節比率のそれぞれに関して閾値を設定し、物理的特徴認識部１２により認識された値が閾値より大きい場合は男性、閾値以下の場合は女性などと推定することが可能である。そして、身長、座高、手の長さ、足の長さ、関節比率のそれぞれにおいて男性／女性のどちらが推定されたかを総合して、男性または女性である確率を推定するようにすることが可能である。例えば、身長、座高、手の長さ、足の長さ、関節比率の５つの項目のうち、何れか１つにおいて男性と推定され、他の４つにおいて女性と推定された場合は、男性である確率が２０％、女性である確率が８０％と推定される。
　あるいは、例えば図３に示すようなテーブル情報を用いて、複数の閾値によって身長を複数のレベルに分類し、物理的特徴認識部１２により認識された身長がどの分類に属するかによって、男性である確率または女性である確率を推定するようにしてもよい。身長の各レベルにおける男性または女性である確率は、例えば身長に関する性別の統計値を根拠としてあらかじめ設定しておくことが可能である。図３の例において、Ｍ１＋Ｆ１＝１００％、Ｍ２＋Ｆ２＝１００％、・・・である。座高、手の長さ、足の長さ、関節比率についても同様にテーブル情報を用い、値の範囲に応じて分類した各レベルのどれに該当するかによって、男性または女性である確率をそれぞれ推定することが可能である。このようなテーブル情報を用いる場合も、属性推定部１５は、身長、座高、手の長さ、足の長さ、関節比率のそれぞれにおいて推定された男性／女性の確率を総合して、男性または女性である確率を推定する。
　また、身長、座高、手の長さ、足の長さ、関節比率の中には、年代ごとの平均的な数値が統計として得られているものがある。年代別の統計が存在しない物理的特徴でも、一定数のサンプルユーザを集めて測定することにより、物理的特徴の年代別の平均値などを得ることは可能である。これにより、例えば図４に示すようなテーブル情報を用いて、複数の閾値によって身長を複数のレベルに分類し、物理的特徴認識部１２により認識された身長がどの分類に属するかによって、ユーザがどの年代に属するかの確率を推定することが可能である。図４の例において、Ｘ１＋Ｙ１＋・・・＋Ｚ１＝１００％、Ｘ２＋Ｙ２＋・・・＋Ｚ２＝１００％、・・・である。属性推定部１５は、座高、手の長さ、足の長さ、関節比率についても同様にテーブル情報を用い、値の範囲に応じて分類した各レベルのどれに該当するかによって、ユーザが属する年代の確率をそれぞれ推定する。そして、身長、座高、手の長さ、足の長さ、関節比率のそれぞれにおいて推定された年代の確率を総合して、どの年代に属するかの確率を推定するようにする。
　また、走り方、手の振り方、辺りの見回し方、立ち方、座り方などの動作的特徴に関しても、性別ごとにみられる傾向の違いや、年代ごとにみられる傾向の違いがある。そのような性別および年代別の動作的特徴の傾向をあらかじめ定義しておき、動作的特徴認識部１４により認識されたユーザの動作的特徴がどの傾向に該当するかによって、ユーザの性別や年代を推定することが可能である。その推定の仕方は、上述した物理的特徴に基づく推定の仕方と同様とすることが可能である。
　以上のように、属性推定部１５は、ユーザの身体の物理的特徴から性別および年代の確率を推定するとともに、ユーザの身体の動作的特徴から性別および年代の確率を推定することが可能である。属性推定部１５はさらに、物理的特徴から推定した性別および年代の確率と、動作的特徴から推定した性別および年代の確率とを総合して、ユーザの性別および年代の最終的な確率を推定する。属性推定部１５は、最終的な確率が最も大きい性別および年代を、ユーザの性別および年代であると推定するようにしてもよい。例えば、ユーザの性別に関する最終的な確率が男性６５％、女性３５％であれば、そのユーザは男性であると推定するといった具合である。
　なお、ここでは閾値を用いたテーブル方式でユーザの属性を推定する例について説明したが、本発明はこれに限定されない。例えば、図５に示すように、機械学習を用いた方式でユーザの属性を推定するようにしてもよい。すなわち、学習を行う際は、性別および年齢（年代）が既知の複数のサンプルユーザについて、身体の物理的特徴を測定するとともに、身体の動作的特徴を特定する。そして、図５（ａ）のように、身体の物理的特徴、動作的特徴および既知のユーザ属性から成る情報セットを教師データとして学習器に与えて機械学習を行うことにより、身体の物理的特徴および動作的特徴を入力層に与えたときに性別および年齢（年代）が出力層から得られるような学習モデルを生成する。
　そして、属性が未知のユーザについて属性を推定する際には、図５（ｂ）のように、そのユーザに関して物理的特徴認識部１２により認識された物理的特徴および動作的特徴認識部１４により認識された動作的特徴を、学習モデルが適用された予測器に入力することにより、当該学習モデルからの出力としてユーザの属性を推定する。なお、このような学習モデルに基づくユーザの推定結果に対して、実際の属性を正解データとして与え、この正解データと、予測器に入力された物理的特徴および動作的特徴とを学習器に入力することにより、学習モデルの強化学習を行うようにしてもよい。
　広告提供部１６は、属性推定部１５により推定されたユーザの属性に基づいて、当該属性に合わせた内容のＶＲ広告をＨＭＤ２００に提供する。ＨＭＤ２００に表示させるＶＲ広告のデータは、広告データ記憶部１０にあらかじめ記憶されている。広告データ記憶部１０は、性別ごとおよび年齢（年代）ごとに内容を変えた広告データを記憶している。広告提供部１６は、属性推定部１５により推定されたユーザの性別および年齢（年代）に応じた広告データを広告データ記憶部１０から読み出して、当該読み出した広告データに基づいてＨＭＤ２００にＶＲ広告を表示させる。
　以上詳しく説明したように、本実施形態では、ユーザの身体に装着されるセンサ４００およびユーザが把持して使用するコントローラ３００に搭載されたセンサ４００から複数の位置検知情報および複数の動き検知情報を取得し、ユーザの身体の物理的特徴を認識するとともに、ユーザの身体の動作的特徴を認識する。そして、当該認識したユーザの身体の物理的特徴および動作的特徴からユーザの属性を推定するようにしている。
　このように構成した本実施形態によれば、ＨＭＤ２００を装着してＶＲ画像を視聴しているユーザ自身の身体に装着されるセンサ４００や、ユーザが把持するコントローラ３００に搭載されるセンサ４００による検知情報に基づいてユーザの属性が推定されるので、カメラが設置されていない場所においても、ＶＲ画像を視聴しているユーザの属性を推定することができる。そして、推定したユーザの属性に応じた内容のＶＲ広告をＨＭＤ２００に表示させることができる。
　なお、上記実施形態において、属性推定部１５は、物理的特徴認識部１２により認識されたユーザの身体の物理的特徴と、動作的特徴認識部１４により認識されたユーザの身体の動作的特徴とからユーザの属性を推定するものとして説明したが、本発明はこれに限定されない。例えば、物理的特徴認識部１２により認識されたユーザの身体の物理的特徴のみからユーザの属性を推定するようにしてもよい。この場合、動き検知情報取得部１３および動作的特徴認識部１４は不要である。
　また、上記実施形態では、肩、肘、手首、腰、膝、足の各場所にベルト等を使って位置検知センサを装着するとともに、ＨＭＤ２００やコントローラ３００にも位置検知センサを搭載する例について説明したが、これらの場所の全てに位置検知センサを設置することを必須とするものではない。すなわち、位置検知情報取得部１１は、ユーザの身体に装着される位置検知センサ（ＨＭＤ２００に搭載されるものも含む）、ユーザが把持して使用するコントローラ３００に搭載された位置検知センサの少なくとも一方から複数の位置検知情報を取得するものであればよい。
　また、上記実施形態では、肩、肘、手首、腰、膝、足の各場所にベルト等を使って動き検知センサを装着するとともに、ＨＭＤ２００やコントローラ３００にも動き検知センサを搭載する例について説明したが、これらの場所の全てに動き検知センサを設置することを必須とするものではない。すなわち、動き検知情報取得部１３は、ユーザの身体に装着される動き検知センサ（ＨＭＤ２００に搭載されるものも含む）、ユーザが把持して使用するコントローラ３００に搭載された動き検知センサの少なくとも一方から動き検知情報を取得するものであればよい。
　また、上記実施形態では、ユーザの身体の物理的特徴として、ユーザの身長、座高、手の長さ、足の長さ、関節比率を認識する例について説明したが、これらの全てを認識することを必須とするものではない。また、認識する物理的特徴の内容がこれらに限定されるものでもない。なお、より多くの種類の物理的特徴を認識した方が、その認識結果に基づくユーザの属性の推定の精度が上がる点で好ましい。
　また、上記実施形態では、ユーザの身体の動作的特徴として、ユーザの走り方、手の振り方、辺りの見回し方、立ち方、座り方を認識する例について説明したが、これらの全てを認識することを必須とするものではない。また、認識する動作的特徴の内容がこれらに限定されるものでもない。なお、より多くの種類の動作的特徴を認識した方が、その認識結果に基づくユーザの属性の推定の精度が上がる点で好ましい。
　また、上記実施形態では、推定したユーザの属性に応じた内容のＶＲ広告を提供する例について説明したが、広告以外のコンテンツをユーザの属性に応じて提供するようにしてもよい。
　また、上記実施形態では、演算装置１００がＨＭＤ２００とは異なる別装置として構成される例について説明したが、本発明はこれに限定されない。すなわち、演算装置１００が備える機能ブロック１０～１６の一部または全部をＨＭＤ２００が備える構成としてもよい。
　また、上記実施形態において、ＨＭＤ２００またはベルト等を使ってユーザの身体にマイクを更に装着し、マイクからユーザの発話音声情報を取得する音声情報取得部を演算装置１００が更に備え、属性推定部１５が、当該音声情報取得部により取得されたユーザの発話音声情報を更に用いてユーザの属性を推定するようにしてもよい。
　その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１０　広告データ記憶部
　１１　位置検知情報取得部
　１２　物理的特徴認識部
　１３　動き検知情報取得部
　１４　動作的特徴認識部
　１５　属性推定部
　１６　広告提供部
　１００　演算装置（ユーザ属性推定装置）
　２００　ＨＭＤ
　３００　コントローラ
　４００　センサ（位置検知センサ、動き検出センサ）

Claims (8)

  1. 　ユーザの身体に装着される位置検知センサ、上記ユーザが把持して使用するコントローラに搭載された位置検知センサの少なくとも一方から複数の位置検知情報を取得する位置検知情報取得部と、
    　上記位置検知情報取得部により取得される複数の位置検知情報から上記ユーザの身体の物理的特徴を認識する物理的特徴認識部と、
    　上記物理的特徴認識部により認識された上記ユーザの身体の物理的特徴から上記ユーザの属性を推定する属性推定部とを備えたことを特徴とするユーザ属性推定装置。
  2. 　上記位置検知情報取得部により取得される位置検知情報から上記ユーザの身体の動作的特徴を認識する動作的特徴認識部を更に備え、
    　上記属性推定部は、上記物理的特徴認識部により認識された上記ユーザの身体の物理的特徴および上記動作的特徴認識部により認識された上記ユーザの身体の動作的特徴から上記ユーザの属性を推定することを特徴とする請求項１に記載のユーザ属性推定装置。
  3. 　上記ユーザの身体に装着される動き検知センサ、上記ユーザが把持して使用するコントローラに搭載された動き検知センサの少なくとも一方から動き検知情報を取得する動き検知情報取得部と、
    　上記動き検知情報取得部により取得される動き検知情報から上記ユーザの身体の動作的特徴を認識する動作的特徴認識部とを更に備え、
    　上記属性推定部は、上記物理的特徴認識部により認識された上記ユーザの身体の物理的特徴および上記動作的特徴認識部により認識された上記ユーザの身体の動作的特徴から上記ユーザの属性を推定することを特徴とする請求項１に記載のユーザ属性推定装置。
  4. 　上記動作的特徴認識部は、上記位置検知情報取得部により取得される位置検知情報から上記ユーザの身体の動作的特徴を更に認識することを特徴とする請求項３に記載のユーザ属性推定装置。
  5. 　上記ユーザの身体に装着される位置検知センサは、上記ユーザの頭部に装着されるヘッドマウントディスプレイに搭載された位置検知センサ、上記ユーザの頭部以外の身体に装着される位置検知センサであることを特徴とする請求項１～４の何れか１項に記載のユーザ属性推定装置。
  6. 　上記ユーザの身体に装着される動き検知センサは、上記ユーザの頭部に装着されるヘッドマウントディスプレイに搭載された動き検知センサ、上記ユーザの頭部以外の身体に装着される動き検知センサであることを特徴とする請求項３または４に記載のユーザ属性推定装置。
  7. 　上記ユーザの身体に装着されるマイクから上記ユーザの発話音声情報を取得する音声情報取得部を更に備え、
    　上記属性推定部は、上記音声情報取得部により取得された上記ユーザの発話音声情報を更に用いて上記ユーザの属性を推定することを特徴とする請求項１～６の何れか１項に記載のユーザ属性推定装置。
  8. 　ユーザ属性推定装置の位置検知情報取得部が、ユーザの身体に装着される位置検知センサ、上記ユーザが把持して使用するコントローラに搭載された位置検知センサの少なくとも一方から複数の位置検知情報を取得する第１のステップと、
    　上記ユーザ属性推定装置の物理的特徴認識部が、上記位置検知情報取得部により取得される複数の位置検知情報から上記ユーザの身体の物理的特徴を認識する第２のステップと、
    　上記ユーザ属性推定装置の属性推定部が、上記物理的特徴認識部により認識された上記ユーザの身体の物理的特徴から上記ユーザの属性を推定する第３のステップとを有することを特徴とするユーザ属性推定方法。
PCT/JP2019/048639 2019-01-21 2019-12-12 ユーザ属性推定装置およびユーザ属性推定方法 WO2020153031A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/424,341 US20220044038A1 (en) 2019-01-21 2019-12-12 User attribute estimation device and user attribute estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019007969A JP7453490B2 (ja) 2019-01-21 2019-01-21 ユーザ属性推定装置およびユーザ属性推定方法
JP2019-007969 2019-01-21

Publications (1)

Publication Number Publication Date
WO2020153031A1 true WO2020153031A1 (ja) 2020-07-30

Family

ID=71736752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048639 WO2020153031A1 (ja) 2019-01-21 2019-12-12 ユーザ属性推定装置およびユーザ属性推定方法

Country Status (3)

Country Link
US (1) US20220044038A1 (ja)
JP (1) JP7453490B2 (ja)
WO (1) WO2020153031A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113520A1 (ja) * 2020-11-30 2022-06-02 株式会社電通 情報処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011166331A (ja) * 2010-02-08 2011-08-25 Hitachi Consumer Electronics Co Ltd コンテンツ処理装置及びコンテンツ処理方法
JP2014186434A (ja) * 2013-03-22 2014-10-02 Seiko Epson Corp 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP2015029696A (ja) * 2013-08-02 2015-02-16 日本電気株式会社 類似度算出装置、類似度算出方法、類似度算出プログラム、及び、情報処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4904835B2 (ja) 2006-02-03 2012-03-28 トヨタ自動車株式会社 車両用制御装置
US9986293B2 (en) 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
JP2014167438A (ja) 2013-02-28 2014-09-11 Denso Corp 情報通知装置
US20160331279A1 (en) 2014-05-13 2016-11-17 Nexinity Inc Methods for determining psychological characteristics and gender using motion-based analysis, and related methods for targeting advertising and improving relevance of user reviews
JP2017006192A (ja) 2015-06-17 2017-01-12 セイコーエプソン株式会社 アドバイス生成方法、アドバイス生成プログラムおよびアドバイス生成システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011166331A (ja) * 2010-02-08 2011-08-25 Hitachi Consumer Electronics Co Ltd コンテンツ処理装置及びコンテンツ処理方法
JP2014186434A (ja) * 2013-03-22 2014-10-02 Seiko Epson Corp 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
JP2015029696A (ja) * 2013-08-02 2015-02-16 日本電気株式会社 類似度算出装置、類似度算出方法、類似度算出プログラム、及び、情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113520A1 (ja) * 2020-11-30 2022-06-02 株式会社電通 情報処理システム
US20240029113A1 (en) * 2020-11-30 2024-01-25 Dentsu Inc. Information processing system

Also Published As

Publication number Publication date
JP7453490B2 (ja) 2024-03-21
JP2020119097A (ja) 2020-08-06
US20220044038A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
Chen et al. A survey of depth and inertial sensor fusion for human action recognition
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
US9058663B2 (en) Modeling human-human interactions for monocular 3D pose estimation
US20160042652A1 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
Jörg et al. Data-driven finger motion synthesis for gesturing characters
CN105228709A (zh) 用于重复检测和分析的信号分析
CN105209136A (zh) 用于分析3d图像中的用户动作的质心状态矢量
JP6489726B1 (ja) ３ｄデータシステム及び３ｄデータ処理方法
US11055891B1 (en) Real time styling of motion for virtual environments
Nassani et al. Tag it! ar annotation using wearable sensors
Kumar et al. Virtual trainer with real-time feedback using kinect sensor
Sandygulova et al. Real-time adaptive child-robot interaction: Age and gender determination of children based on 3d body metrics
CN110348370B (zh) 一种人体动作识别的增强现实系统及方法
WO2020153031A1 (ja) ユーザ属性推定装置およびユーザ属性推定方法
Anjum et al. Skeleton tracking based complex human activity recognition using kinect camera
Alexanderson et al. Towards Fully Automated Motion Capture of Signs--Development and Evaluation of a Key Word Signing Avatar
Alaoui et al. Ai-enabled high-level layer for posture recognition using the azure kinect in unity3d
CN110942327A (zh) 推荐方法及实境呈现装置
JP2018055619A (ja) 画像表示装置
Cha et al. Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors
Gavrilă et al. Towards the development of a medical rehabilitation system
JP7482471B2 (ja) 学習モデルの生成方法
WO2021192149A1 (ja) 情報処理方法、情報処理装置およびプログラム
US20230068731A1 (en) Image processing device and moving image data generation method
JP7198892B2 (ja) 動画再生装置、動画再生方法、及び動画配信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910928

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910928

Country of ref document: EP

Kind code of ref document: A1