WO2017126474A1 - 素材評価方法、及び素材評価装置 - Google Patents

素材評価方法、及び素材評価装置 Download PDF

Info

Publication number
WO2017126474A1
WO2017126474A1 PCT/JP2017/001253 JP2017001253W WO2017126474A1 WO 2017126474 A1 WO2017126474 A1 WO 2017126474A1 JP 2017001253 W JP2017001253 W JP 2017001253W WO 2017126474 A1 WO2017126474 A1 WO 2017126474A1
Authority
WO
WIPO (PCT)
Prior art keywords
brain
semantic space
evaluation
target
estimation
Prior art date
Application number
PCT/JP2017/001253
Other languages
English (en)
French (fr)
Inventor
伸志 西本
知史 西田
秀紀 柏岡
Original Assignee
国立研究開発法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人情報通信研究機構 filed Critical 国立研究開発法人情報通信研究機構
Priority to CN201780002397.XA priority Critical patent/CN107920773B/zh
Priority to US15/738,195 priority patent/US20180315500A1/en
Priority to EP17741352.3A priority patent/EP3406191B1/en
Publication of WO2017126474A1 publication Critical patent/WO2017126474A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0263—Measuring blood flow using NMR
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4806—Functional imaging of brain activation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/563—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution of moving material, e.g. flow contrast angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain

Definitions

  • the present invention relates to a material evaluation method and a material evaluation device.
  • This application claims priority based on Japanese Patent Application No. 2016-7314 for which it applied to Japan on January 18, 2016, and uses the content here.
  • Patent Document 1 a technique for measuring the brain activity of a subject and estimating the semantic content of the perception perceived by the subject is known (for example, Patent Document 1).
  • materials such as video / audio contents and various products are evaluated by the following procedure.
  • a stimulus set composed of a moving image or the like is presented to a subject, and brain activity induced by those stimuli is measured.
  • a brain semantic space that is an intermediate representation of the correspondence relationship is defined for the stimulus-brain activity combination data, and the correspondence relationship between the brain activity and the brain semantic space is described above. Learn from data.
  • the position in the brain semantic space is estimated from the brain activity measured when the material to be evaluated is presented to the subject, and estimated from the brain activity. Based on the position in the brain semantic space, the material to be evaluated was evaluated.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a material evaluation method and a material evaluation apparatus that can be quickly and easily evaluated.
  • the material evaluation method includes a brain activity measurement step in which a brain activity measurement unit presents a training material to a subject and measures brain activity, and a semantic space construction unit
  • a brain activity measurement step in which a brain activity measurement unit presents a training material to a subject and measures brain activity
  • a semantic space construction unit based on the measurement result measured by the brain activity measurement step and the language description obtained by natural language processing of the content of the training material, the semantic relationship in the brain between the brain activity and the word appearing in the language description.
  • the evaluation processing unit includes an evaluation step of evaluating the new material based on the first position estimated by the first estimation step and the second position estimated by the second estimation step. .
  • the evaluation processing unit in the evaluation step of the material evaluation method, is configured to use the new material based on a distance between the first position and the second position. It is evaluated whether or not is close to the target concept.
  • the evaluation processing unit calculates an inner product value of a vector indicating the first position and a vector indicating the second position. As an index, it is evaluated whether or not the new material is close to the target concept.
  • the material estimation unit in the first estimation step of the material evaluation method, may be positioned in the brain semantic space corresponding to each word included in the language description. Is estimated as the first position.
  • the material estimation unit estimates a position in the brain semantic space for each word included in the language description. Then, the center of gravity of the position for each word is estimated as the first position.
  • the material evaluation apparatus is a language in which a brain activity measurement unit presents a training material to a subject and the brain activity is measured, and a language obtained by natural language processing of the content of the training material.
  • Brain semantic space information indicating the brain semantic space constructed based on the description, and storing the brain semantic space information indicating the semantic relationship in the brain between the brain activity and words appearing in the language description
  • a target estimation unit for estimating the first position, and based on the brain semantic space information stored in the semantic space storage unit, from the target word indicating the target concept of the new material, the target in the brain semantic space To the word
  • the new material is evaluated based on a target estimation unit that estimates a corresponding second position, the first position estimated by the material estimation unit, and the second position estimated by the target estimation unit.
  • the present invention it is not necessary to newly measure the brain activity for the evaluation of a new material, so that the evaluation can be performed quickly and easily.
  • FIG. 1 is a functional block diagram illustrating an example of a material evaluation system 1 according to the present embodiment.
  • the material evaluation system 1 includes a data processing device 10, an image reproduction terminal 20, an fMRI (functional Magnetic Resonance Imaging) 30, and an analysis device 40.
  • the material evaluation system 1 according to the present embodiment performs estimation of perceptual contents and purchase prediction (hereinafter referred to as evaluation) regarding materials such as video / audio contents such as CM videos (commercial videos, commercial films (CF)) and various products.
  • evaluation perceptual contents and purchase prediction
  • the image playback terminal 20 is a terminal device including a liquid crystal display, for example, and displays, for example, a training video (training video) and causes the subject S1 to view it.
  • a training video training video
  • the training video is a video including a wide variety of images.
  • the fMRI 30 measures the brain activity of the subject S1 who viewed an image (for example, a training video) displayed by the image reproduction terminal 20. That is, the fMRI 30 measures the brain activity of the subject S1 with respect to the stimulus to the subject S1 presented and presented with the training video to the subject S1.
  • the fMRI 30 outputs an fMRI signal (brain activity signal) that visualizes the hemodynamic response related to the brain activity of the subject S1.
  • the fMRI 30 measures the brain activity of the subject S1 at a predetermined time interval (for example, every 2 seconds), and outputs the measured result to the analysis device 40 as an fMRI signal.
  • the analysis device 40 uses the measurement result measured by the fMRI 30 and the language description (annotation) obtained by performing natural language processing on the content of the training video and the words appearing in the brain activity and the language description.
  • the semantic space in the brain is constructed to show the semantic relationships in the brain.
  • the analysis device 40 uses a statistical learning model to define a meaning space in the brain that is an intermediate representation of the correspondence relationship for the combination data of the stimulus and brain activity based on the training video.
  • the analysis device 40 outputs the brain semantic space information indicating the constructed brain semantic space to the data processing device 10, and stores the brain semantic space information in the semantic space storage unit 111 of the data processing device 10.
  • the data processing apparatus 10 evaluates a new material to be evaluated based on the brain semantic space constructed by the analysis apparatus 40 without newly measuring the brain activity by the fMRI 30.
  • a computer device projects the semantic content of the new material onto the brain semantic space constructed by the analysis device 40 and projects a target word indicating the target concept into the brain semantic space. Then, the data processing device 10 performs a new process based on the position in the brain semantic space corresponding to the new material (first position) and the position in the brain semantic space corresponding to the target word (second position). Evaluate the material. Further, the data processing device 10 includes a storage unit 11 and a control unit 12.
  • the storage unit 11 stores various information used for various processes executed by the data processing apparatus 10.
  • the storage unit 11 includes a semantic space storage unit 111, an estimation result storage unit 112, and an evaluation result storage unit 113.
  • the semantic space storage unit 111 stores brain semantic space information indicating the brain semantic space constructed by the analysis device 40.
  • the brain semantic space information is, for example, a projection function that projects an annotation vector, which will be described later, onto the brain semantic space.
  • the estimation result storage unit 112 stores estimation results from a material estimation unit 121 and a target estimation unit 122 described later.
  • the estimation result storage unit 112 stores, for example, an estimation result indicating the position in the brain semantic space corresponding to the new material and an estimation result indicating the position in the brain semantic space corresponding to the target word.
  • the evaluation result storage unit 113 stores the evaluation result of the new material.
  • the evaluation result storage unit 113 stores, for example, information such as a distance index in the brain semantic space described later.
  • the control unit 12 is a processor including, for example, a CPU (Central Processing Unit) and controls the data processing apparatus 10 in an integrated manner.
  • the control unit 12 executes various processes executed by the data processing apparatus 10.
  • the control unit 12 includes a material estimation unit 121, a target estimation unit 122, an evaluation processing unit 123, and an output processing unit 124.
  • the material estimation unit 121 estimates a position (first position) corresponding to the content of the new material in the brain semantic space from a language description obtained by natural language processing of the content of the new material. That is, the material estimation unit 121 corresponds to the content of the new material in the brain semantic space from the language description obtained by natural language processing of the content of the new material based on the brain semantic space information stored in the semantic space storage unit 111. A first position is estimated.
  • the language description is, for example, an annotation vector described later.
  • the material estimation unit 121 projects an annotation vector corresponding to the content of the new material onto the brain semantic space using the brain semantic space information.
  • the material estimation unit 121 When the new material is, for example, an image, a language description sentence (annotation information) indicating an impression of the image is created in advance, and the material estimation unit 121 acquires the annotation information from the outside.
  • the annotation information is, for example, sentences such as descriptions and impressions of a scene outline (image outline) of 50 to 150 characters.
  • the material estimation unit 121 performs a morphological analysis on the acquired language description sentence (annotation information) using, for example, MeCab, and generates segmented data.
  • the material estimation unit 121 performs natural language processing (for example, word2vec) on each word included in the segmentation data using the corpus 50, and generates an annotation vector that is a matrix such as Skip-gram. Generate for each word.
  • the corpus 50 is a database of a large amount of text data such as Wikipedia (registered trademark) and newspaper articles.
  • the material estimation unit 121 performs natural language processing using such a large amount of text data as the corpus 50 and generates an annotation vector.
  • the annotation vector is obtained by calculating a word having a short distance (meaning) in relation to a word registered in the corpus 50 with respect to a word appearing in a language description (annotation) indicating an image impression. .
  • the material estimation unit 121 converts (projects) the generated annotation vector for each word into a position in the brain semantic space based on the brain semantic space information described above.
  • the material estimation unit 121 may set each of the positions corresponding to the projected words as the first position described above, or may set the center of gravity (average) of the positions corresponding to the projected words as the first position described above. Good.
  • the material estimation unit 121 stores an estimation result (for example, a vector (V1) indicating a position) indicating a position (first position) in the brain semantic space corresponding to the content of the new material in the estimation result storage unit 112.
  • the target estimation unit 122 estimates a position (second position) corresponding to the target word in the brain semantic space from the target word indicating the target concept of the new material. That is, the target estimation unit 122 estimates a second position corresponding to the target word in the brain semantic space from the target word based on the brain semantic space information stored in the semantic space storage unit 111.
  • the target word is a word representing a concept targeted by the new material to be evaluated, such as “cute” or “fresh”.
  • the target estimation unit 122 acquires a target word from the outside, performs natural language processing (for example, word2vec) on the target word using the corpus 50, and corresponds to the target word that is a matrix such as Skip-gram.
  • An annotation vector is generated.
  • the target estimation unit 122 converts (projects) the annotation vector corresponding to the target word into a position in the brain semantic space based on the brain semantic space information described above. Further, the target estimation unit 122 causes the estimation result storage unit 112 to store an estimation result (for example, a vector (V2) indicating a position) indicating the position (second position) in the brain semantic space corresponding to the target word.
  • an estimation result for example, a vector (V2) indicating a position
  • the evaluation processing unit 123 evaluates the new material based on the first position estimated by the target estimation unit 122 and the second position estimated by the target estimation unit 122. For example, the evaluation processing unit 123 evaluates whether or not the new material is close to the target concept based on the distance between the first position and the second position in the brain semantic space. That is, it can be said that the evaluation processing unit 123 reflects the production intention as the new material is considered to be closer to the target concept as the distance in the brain semantic space is closer. Further, it can be said that the evaluation processing unit 123 does not reflect the production intention because the new material is considered farther from the target concept as the distance in the brain semantic space is farther.
  • the evaluation processing unit 123 calculates, for example, a Euclidean distance, Mahalanobis distance, entropy, likelihood, and the like as a distance index in the brain semantic space. In addition, the evaluation processing unit 123 calculates an inner product value (V1 ⁇ V2) of a vector (V1) indicating the first position corresponding to the content of the new material and a vector (V2) indicating the second position corresponding to the target word. As an index, it may be evaluated whether the new material is close to the target concept. Further, the evaluation processing unit 123 stores information such as the calculated distance index in the brain semantic space in the evaluation result storage unit 113.
  • the output processing unit 124 outputs the evaluation result evaluated by the evaluation processing unit 123 to the outside.
  • the output processing unit 124 outputs information such as a distance index stored in the evaluation result storage unit 113 to the outside in the form of a graph or the like.
  • FIG. 2 is a diagram for explaining an example of construction of a brain semantic space in the present embodiment.
  • a training moving image is displayed on the image reproduction terminal 20, and the brain activity when the subject S1 views the training moving image is measured by the fMRI 30. Thereby, the measurement result of brain activity is obtained.
  • the analysis device 40 acquires the measurement result of the brain activity measured by the fMRI 30.
  • annotation information is generated from a scene image (for example, image G1) included in the training video.
  • a scene image for example, image G1
  • the annotation information TX1 includes “unusual streetcars ...”, “penis trains that run in the city ... ⁇ ”,“ Hiroshima City ... ”, etc.
  • This annotation information is the same as the sentence of the language description explained in the material estimation unit 121 described above.
  • the analysis device 40 performs natural language processing based on the corpus 50 and generates an annotation vector from the annotation information. Similarly to the description in the target estimation unit 122, the analysis device 40 performs morphological analysis of annotation information using, for example, MeCab, and generates segmented data. Next, the analysis device 40 performs natural language processing (for example, word2vec) on each word included in the segmented data using the corpus 50, and an annotation vector that is a matrix such as Skip-gram is used as the word. Generate for each.
  • the annotation vector used for constructing the brain semantic space is, for example, an annotation vector for each word included in the annotation information.
  • the analysis device 40 performs a statistical learning process using a set of a brain activity measurement result and an annotation vector, and constructs a brain semantic space.
  • the analysis device 40 performs, for example, statistical learning processing such as a regression model, and constructs a brain semantic space indicating the brain's semantic relationship between the brain activity and words appearing in the language description.
  • the analysis device 40 outputs the brain semantic space information indicating the constructed brain semantic space to the data processing device 10, and stores the brain semantic space information in the semantic space storage unit 111.
  • FIG. 3 is a diagram for explaining an example of a material evaluation process in the present embodiment.
  • the material estimation unit 121 of the data processing apparatus 10 converts a language description (annotation information) of a material in which the content of the material (for example, a moving image to be evaluated) is a language description into a brain semantic space. Project to.
  • the material estimation unit 121 generates morphological data by performing morphological analysis on the annotation information, and performs natural language processing (for example, word2vec) using the corpus 50 for each word included in the framing data.
  • an annotation vector that is a matrix such as Skip-gram is generated for each word.
  • the material estimation unit 121 projects the generated annotation vector to the position P1 corresponding to the content of the new material in the brain semantic space based on the brain semantic space information stored in the semantic space storage unit 111. Specifically, the material estimation unit 121 projects an annotation vector for each word into the brain semantic space based on the brain semantic space information, and the position P1 corresponding to the content of the new material with the center of gravity of each projected position.
  • the target estimation unit 122 of the data processing device 10 projects a target word, which is a target concept of the material, into the brain semantic space. That is, the target estimation unit 122 performs natural language processing (for example, word2vec) on the target word using the corpus 50, and generates a target concept vector corresponding to the target word that is a matrix such as Skip-gram. . The target estimation unit 122 projects the target concept vector corresponding to the target word to the position P2 corresponding to the target word in the brain semantic space based on the brain semantic space information stored in the semantic space storage unit 111.
  • natural language processing for example, word2vec
  • the target estimation unit 122 projects the target concept vector corresponding to the target word to the position P2 corresponding to the target word in the brain semantic space based on the brain semantic space information stored in the semantic space storage unit 111.
  • the evaluation processing unit 123 of the data processing apparatus 10 evaluates the material according to the distance d between the position P1 in the brain semantic space and the position P2. For example, the closer the distance d is, the more the subject S1 perceives that the content of the new material to be evaluated is closer to the target word in the brain, and the evaluation processing unit 123 is closer to the distance d. It is determined that the new material reflects the production intention. Further, for example, the farther the distance d is, the more the subject S1 perceives that the content of the new material to be evaluated is far from the target word in the brain, and the evaluation processing unit 123 indicates that the distance d It is determined that the farther is, the new material to be evaluated does not reflect the production intention.
  • FIG. 4 is a flowchart showing an example of the operation of the material evaluation system 1 according to the present embodiment.
  • the material evaluation system 1 first measures the brain activity of viewing the training video (step S101). That is, the image reproduction terminal 20 of the material evaluation system 1 displays a training video, and the fMRI 30 measures the brain activity of the subject S1 who has watched the training video. The fMRI 30 outputs the measured measurement result to the analysis device 40.
  • the analysis device 40 generates an annotation vector from each scene of the training video (step S102).
  • the analysis device 40 generates an annotation vector from each scene of the training video, as shown in FIG.
  • the analysis device 40 constructs a brain semantic space from the measurement result of the brain activity and the annotation vector (step S103).
  • the analysis device 40 performs a statistical learning process on the set of the brain activity measurement result and the annotation vector, relates the brain activity and the annotation vector, and constructs a brain semantic space corresponding to the subject S1 (FIG. 2).
  • the analysis device 40 outputs brain semantic space information indicating the constructed brain semantic space to the data processing device 10, and stores the brain semantic space information in the semantic space storage unit 111 of the data processing device 10.
  • the data processing apparatus 10 generates an annotation vector from a language description obtained by performing natural language processing on the new material to be evaluated (step S104).
  • the material estimation unit 121 of the data processing apparatus 10 generates an annotation vector from each scene in any new material of the CM video.
  • the material estimation unit 121 estimates the first position in the brain semantic space from the annotation vector of the new material (step S105). For example, as illustrated in FIG. 3, the material estimation unit 121 projects an annotation vector of a new material to a position P1 corresponding to the new material in the brain semantic space. For example, the material estimation unit 121 projects an annotation vector corresponding to each scene onto the brain semantic space, and estimates a plurality of positions P1.
  • the data processing device 10 generates a target concept vector from the target word (step S106).
  • the target estimation unit 122 of the data processing apparatus 10 generates a target concept vector from a target word (for example, “cute”) indicating the target concept of the new material.
  • the target estimation unit 122 estimates the second position in the brain semantic space from the target concept vector of the target word (step S107). For example, as shown in FIG. 3, the target estimation unit 122 projects the target concept vector of the target word to the position P2 corresponding to the target word in the brain semantic space.
  • the evaluation processing unit 123 of the data processing apparatus 10 evaluates the new material based on the first position (position P1) and the second position (position P2) in the brain semantic space (step S108). .
  • the evaluation processing unit 123 calculates an inner product value of a vector (V1) indicating the position P1 corresponding to each scene and a vector (V2) indicating the position P2 corresponding to the target word as an evaluation index.
  • step S101 corresponds to the process of the brain activity measurement step
  • the processes of step S102 and step S103 correspond to the process of the semantic space construction step
  • the processing in step S104 and step S105 corresponds to the processing in the first estimation step
  • the processing in step S106 and step S107 corresponds to the processing in the second estimation step
  • the processing in step S108 corresponds to the evaluation step.
  • the processing from step S101 to step S103 includes brain activity measurement, but the processing from step S104 to step S108 necessary for evaluation of a new material does not include new brain activity measurement.
  • the material evaluation method according to the present embodiment provides a quick and simple evaluation means that does not require new brain activity measurement in response to an evaluation request for a new material.
  • FIG. 5 is a diagram illustrating an example of an evaluation result of the material evaluation system 1 according to the present embodiment.
  • the example shown in FIG. 5 is an example in which the data processing apparatus 10 according to the present embodiment quantitatively evaluates a specific CM moving image. This is for the purpose of providing a quantitative index such as which of the two images A and B gives a specific impression to the viewer more strongly.
  • a quantitative index such as which of the two images A and B gives a specific impression to the viewer more strongly.
  • the recognition degree in this case, the inner product value
  • the target word in this case, “cute”
  • the vertical axis represents the recognition level (inner product value) of “cute”
  • the horizontal axis represents time.
  • CM video CM-1 is a “scene where a high school girl is talking to a relative”
  • CM video CM-2 is a “scene where a high school girl is talking to a relative”
  • CM video CM-2 is a “Scene where a board meeting is held”
  • CM video CM-3 is “a scene where an idol is practicing dance”.
  • the example shown in FIG. 5 indicates that the CM video CM-1 has the highest inner product value and is the material closest to the target word (“cute”).
  • the evaluation processing unit 123 evaluates in the brain semantic space corresponding to one subject S1, but new in each brain semantic space constructed by each of the plurality of subjects S1.
  • the material may be evaluated.
  • the semantic space storage unit 111 stores the identification information of the subject S1 and the brain semantic space information in association with each other.
  • the evaluation processing unit 123 selects the brain corresponding to the subject S1 according to the type of the new material to be evaluated.
  • the inner semantic space information may be changed and evaluated.
  • the material evaluation method includes a brain activity measurement step, a semantic space construction step, a first estimation step, a second estimation step, and an evaluation step.
  • fMRI 30 brain activity measurement unit
  • the analysis device 40 determines the brain based on the measurement result measured in the brain activity measurement step and the language description (annotation) obtained by natural language processing of the content of the training material. Build a brain semantic space that shows the semantic relationship in the brain between the activity and the words that appear in the language description.
  • the material estimation unit 121 estimates a first position corresponding to the content of the new material in the brain semantic space from the language description obtained by performing natural language processing on the content of the new material.
  • the target estimation unit 122 estimates a second position corresponding to the target word in the brain semantic space from the target word indicating the target concept of the new material.
  • the evaluation processing unit 123 evaluates the new material based on the first position estimated in the first estimation step and the second position estimated in the second estimation step.
  • the material evaluation method according to the present embodiment quantitatively evaluates whether or not the new material to be newly evaluated induces an expression in the brain that is close to the target concept without measuring new brain activity. be able to.
  • the material evaluation method according to the present embodiment does not need to measure individual brain activities when evaluating a new material, and therefore can greatly reduce the cycle of material creation and evaluation. Therefore, the material evaluation method according to the present embodiment can be evaluated quickly and easily.
  • the material evaluation method according to the present embodiment can reduce human costs, time costs, and monetary costs.
  • the evaluation processing unit 123 is based on the distance (d) between the first position (position P1) and the second position (position P2) in the brain semantic space. Evaluate whether the new material is close to the target concept. Thereby, the material evaluation method according to the present embodiment can objectively and quantitatively evaluate a new material (for example, perceptual content estimation and purchase prediction).
  • the evaluation processing unit 123 uses the inner product value of the vector indicating the first position and the vector indicating the second position as an index to determine whether the new material is close to the target concept. You may evaluate.
  • the material evaluation method according to the present embodiment can appropriately perform quantitative evaluation on a new material as shown in FIG. 5 by a simple method of calculating an inner product value.
  • the material estimation unit 121 estimates the position in the brain semantic space for each word included in the language description, and sets the center of gravity of the position for each word as the first position. presume. Thereby, the material evaluation method according to the present embodiment can appropriately estimate the first position corresponding to the new material in the brain semantic space by a simple method of calculating the center of gravity.
  • the material estimation unit 121 may estimate the position in the brain semantic space corresponding to each word included in the language description as the first position. Thereby, the material evaluation method according to the present embodiment can evaluate the distance from the target word in units of words included in the language description indicating the contents of the new material.
  • the data processing apparatus 10 material evaluation apparatus and the material evaluation system 1 according to the present embodiment include a semantic space storage unit 111, a material estimation unit 121, a target estimation unit 122, and an evaluation processing unit 123.
  • the semantic space storage unit 111 uses the fMRI 30 to present the training material to the subject S1 and measure the brain activity, and the brain constructed based on the language description obtained by natural language processing of the content of the training material.
  • Brain semantic space information indicating an internal semantic space which is a brain semantic space information indicating a brain semantic relationship between a brain activity and a word appearing in a language description.
  • the material estimation unit 121 Based on the brain semantic space information stored in the semantic space storage unit 111, the material estimation unit 121 performs first processing corresponding to the content of the new material in the brain semantic space from the language description obtained by natural language processing of the content of the new material. Estimate the position.
  • the target estimation unit 122 estimates the second position corresponding to the target word in the brain semantic space from the target word indicating the target concept of the new material, based on the brain semantic space information stored in the semantic space storage unit 111. To do.
  • the evaluation processing unit 123 evaluates the new material based on the first position estimated by the material estimation unit 121 and the second position estimated by the target estimation unit 122. Accordingly, the data processing apparatus 10 and the material evaluation system 1 according to the present embodiment can quantitatively evaluate a new material without measuring a new brain activity, similarly to the material evaluation method described above. Can be evaluated quickly and easily.
  • this invention is not limited to said embodiment, It can change in the range which does not deviate from the meaning of this invention.
  • the material evaluation system 1 has been described as an example including the image reproduction terminal 20, the fMRI 30, and the analysis device 40.
  • brain semantic space information is stored in the semantic space storage unit 111 in advance.
  • the data processing apparatus 10 alone may be used.
  • the data processing device 10 may include the function of the analysis device 40.
  • the output processing unit 124 outputs an evaluation result to the outside.
  • the data processing apparatus 10 includes a display unit, and the display unit evaluates the evaluation result. The result may be output. Further, a part or all of the storage unit 11 may be provided outside the data processing apparatus 10.
  • CM movie new material
  • evaluation may be performed for each cut of a storyboard or the like, and the content of the new material (CM movie) as a whole You may evaluate it.
  • the example in which the annotation vector used for constructing the brain semantic space is the annotation vector for each word included in the annotation information, but the center of gravity of the annotation vector for each word is used as the brain meaning. It may be an annotation vector used to construct a space.
  • each structure with which the data processor 10 and the analyzer 40 which were mentioned above are provided has a computer system inside.
  • achieving the function of each structure with which the data processor 10 and the analyzer 40 which were mentioned above is recorded is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read into a computer system.
  • the processing in each configuration included in the data processing device 10 and the analysis device 40 described above may be performed.
  • “loading and executing a program recorded on a recording medium into a computer system” includes installing the program in the computer system.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer system” may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and dedicated line.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM.
  • the recording medium includes an internal or external recording medium that can be accessed from the distribution server in order to distribute the program.
  • the composition of the data processing apparatus 10 and the analysis apparatus 40 and the distribution server that distributes each of the divided programs are different. Also good.
  • the “computer-readable recording medium” holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that becomes a server or a client when the program is transmitted via a network. Including things.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • part or all of the above-described functions may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each function described above may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an integrated circuit based on the technology may be used.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

素材評価方法は、脳活動計測部が、訓練用素材を被験者に提示して、脳活動を計測する脳活動計測ステップと、意味空間構築部が、脳活動計測ステップによって計測された計測結果と、訓練用素材の内容を自然言語処理した言語記述とに基づいて、脳活動と言語記述に現れる単語との脳内の意味関係を示す脳内意味空間を構築する意味空間構築ステップと、素材推定部が、新規素材の内容を自然言語処理した言語記述から、脳内意味空間において新規素材の内容に対応する第１位置を推定する第１推定ステップと、目標推定部が、新規素材の目標概念を示す目標単語から、脳内意味空間において当該目標単語に対応する第２位置を推定する第２推定ステップと、評価処理部が、第１推定ステップによって推定された第１位置と、第２推定ステップによって推定された第２位置とに基づいて、新規素材を評価する評価ステップとを含む。

Description

素材評価方法、及び素材評価装置
　本発明は、素材評価方法、及び素材評価装置に関する。
　本願は、２０１６年１月１８日に日本に出願された特願２０１６－７３１４号に基づき優先権を主張し、その内容をここに援用する。
　近年、被験者の脳活動を計測して、被験者が知覚している知覚の意味内容を推定する技術が知られている（例えば、特許文献１）。この特許文献１に記載の技術では、次の手順により、映像・音声コンテンツや各種製品等の素材を評価している。特許文献１に記載の従来技術では、まず、動画等で構成される刺激セットを被験者に提示し、それらの刺激が誘発した脳活動を計測する。次に、従来技術では、当該刺激－脳活動の組データに対して、対応関係の中間表象となる脳内意味空間を定義し、脳活動と当該脳内意味空間との対応関係を上述した組データから学習させる。そして、従来技術では、当該学習させた対応関係を用いて、評価対象の素材が被験者に提示された際に計測された脳活動から脳内意味空間上の位置を推定し、脳活動から推定した脳内意味空間上の当該位置に基づいて、評価対象の素材の評価が行われていた。
特願２０１５－０７７６９４号
　しかしながら、従来技術では、新たな素材（新規素材）に対する評価要求がある度に、新たな素材を被験者に提示して脳活動の計測を行う必要があり、迅速、且つ簡便に評価することが困難であった。
　本発明は、上記問題を解決すべくなされたもので、その目的は、迅速、且つ簡便に評価することができる素材評価方法、及び素材評価装置を提供することにある。
　上記問題を解決するために、本発明の一態様の素材評価方法は、脳活動計測部が、訓練用素材を被験者に提示して、脳活動を計測する脳活動計測ステップと、意味空間構築部が、前記脳活動計測ステップによって計測された計測結果と、前記訓練用素材の内容を自然言語処理した言語記述とに基づいて、前記脳活動と前記言語記述に現れる単語との脳内の意味関係を示す脳内意味空間を構築する意味空間構築ステップと、素材推定部が、新規素材の内容を自然言語処理した言語記述から、前記脳内意味空間において前記新規素材の内容に対応する第１位置を推定する第１推定ステップと、目標推定部が、前記新規素材の目標概念を示す目標単語から、前記脳内意味空間において当該目標単語に対応する第２位置を推定する第２推定ステップと、評価処理部が、前記第１推定ステップによって推定された前記第１位置と、前記第２推定ステップによって推定された前記第２位置とに基づいて、前記新規素材を評価する評価ステップとを含む。
　また、本発明の一態様の素材評価方法は、上記素材評価方法における前記評価ステップにおいて、前記評価処理部が、前記第１位置と前記第２位置との間の距離に基づいて、前記新規素材が前記目標概念に近いか否かを評価する。
　また、本発明の一態様の素材評価方法は、上記素材評価方法における前記評価ステップにおいて、前記評価処理部が、前記第１位置を示すベクトルと、前記第２位置を示すベクトルとの内積値を指標として、前記新規素材が前記目標概念に近いか否かを評価する。
　また、本発明の一態様の素材評価方法は、上記素材評価方法における前記第１推定ステップにおいて、前記素材推定部が、前記言語記述に含まれる単語のそれぞれに対応する前記脳内意味空間における位置を前記第１位置として推定する。
　また、本発明の一態様の素材評価方法は、上記素材評価方法における前記第１推定ステップにおいて、前記素材推定部が、前記言語記述に含まれる単語ごとに、前記脳内意味空間における位置を推定し、当該単語ごとの位置の重心を前記第１位置として推定する。
　また、本発明の一態様の素材評価装置は、脳活動計測部によって、被験者に訓練用素材を提示して脳活動が計測された計測結果と、前記訓練用素材の内容を自然言語処理した言語記述とに基づいて構築された脳内意味空間を示す脳内意味空間情報であって、前記脳活動と前記言語記述に現れる単語との脳内の意味関係を示す脳内意味空間情報を記憶する意味空間記憶部と、前記意味空間記憶部が記憶する前記脳内意味空間情報に基づいて、新規素材の内容を自然言語処理した言語記述から、前記脳内意味空間において前記新規素材の内容に対応する第１位置を推定する素材推定部と、前記意味空間記憶部が記憶する前記脳内意味空間情報に基づいて、前記新規素材の目標概念を示す目標単語から、前記脳内意味空間において当該目標単語に対応する第２位置を推定する目標推定部と、前記素材推定部によって推定された前記第１位置と、前記目標推定部によって推定された前記第２位置とに基づいて、前記新規素材を評価する評価処理部とを備える。
　本発明によれば、新規素材に対する評価に対して、脳活動を新たに計測する必要がないため、迅速、且つ簡便に評価することができる。
本実施形態による素材評価システムの一例を示す機能ブロック図である。 本実施形態における脳内意味空間の構築の一例を説明する図である。 本実施形態における素材の評価処理の一例を説明する図である。 本実施形態による素材評価システムの動作の一例を示すフローチャートである。 本実施形態による素材評価システムの評価結果の一例を示す図である。
　以下、本発明の一実施形態による素材評価システム、及び素材評価方法について、図面を参照して説明する。
　図１は、本実施形態による素材評価システム１の一例を示す機能ブロック図である。
　図１に示すように、素材評価システム１は、データ処理装置１０と、画像再生端末２０と、ｆＭＲＩ（functional Magnetic Resonance Imaging）３０と、解析装置４０とを備えている。
　本実施形態による素材評価システム１は、ＣＭ動画（コマーシャル動画、コマーシャルフィルム（ＣＦ））などの映像・音声コンテンツや各種製品等である素材に関する知覚内容推定や購買予測等（以下、評価という）を行う。
　画像再生端末２０は、例えば、液晶ディスプレイなどを備える端末装置であり、例えば、トレーニング用の動画（トレーニング動画）などを表示し、被験者Ｓ１に視聴させる。
ここで、トレーニング動画（訓練用素材の一例）は、多種多様な画像を含む動画である。
　ｆＭＲＩ３０（脳活動計測部の一例）は、画像再生端末２０が表示した画像（例えば、トレーニング動画など）を視聴した被験者Ｓ１の脳活動を計測する。すなわち、ｆＭＲＩ３０は、トレーニング動画を被験者Ｓ１に提示して与えた被験者Ｓ１への刺激に対する被験者Ｓ１の脳活動を計測する。ｆＭＲＩ３０は、被験者Ｓ１の脳活動に関連した血流動態反応を視覚化するｆＭＲＩ信号（脳活動信号）を出力する。ｆＭＲＩ３０は、所定の時間間隔（例えば、２秒間隔）で、被験者Ｓ１の脳活動を計測し、計測した計測結果をｆＭＲＩ信号として解析装置４０に出力する。
　解析装置４０（意味空間構築部の一例）は、ｆＭＲＩ３０によって計測された計測結果と、トレーニング動画の内容を自然言語処理した言語記述（アノテーション）とに基づいて、脳活動と言語記述に現れる単語との脳内の意味関係を示す脳内意味空間を構築する。
解析装置４０は、例えば、統計的学習モデルを用いて、トレーニング動画による刺激と脳活動との組データに対して、対応関係の中間表象となる脳内意味空間を定義する。解析装置４０は、構築した脳内意味空間を示す脳内意味空間情報を、データ処理装置１０に出力し、当該脳内意味空間情報を、データ処理装置１０の意味空間記憶部１１１に記憶させる。
　データ処理装置１０（素材評価装置の一例）は、ｆＭＲＩ３０による脳活動の計測を新たに行わずに、解析装置４０によって構築された脳内意味空間に基づいて、評価対象の新規素材の評価を行うコンピュータ装置である。データ処理装置１０は、解析装置４０によって構築された脳内意味空間に、新規素材の意味内容を投射するとともに、目標概念を示す目標単語を脳内意味空間に投射する。そして、データ処理装置１０は、新規素材に対応する脳内意味空間上の位置（第１位置）と、目標単語に対応する脳内意味空間上の位置（第２位置）とに基づいて、新規素材を評価する。また、データ処理装置１０は、記憶部１１と、制御部１２とを備えている。
　記憶部１１は、データ処理装置１０が実行する各種処理に利用される各種情報を記憶する。記憶部１１は、意味空間記憶部１１１と、推定結果記憶部１１２と、評価結果記憶部１１３とを備えている。
　意味空間記憶部１１１は、解析装置４０によって構築された脳内意味空間を示す脳内意味空間情報を記憶する。ここで脳内意味空間情報は、例えば、後述するアノテーションベクトルを脳内意味空間上に投射する投射関数である。
　推定結果記憶部１１２は、後述する素材推定部１２１及び目標推定部１２２による推定結果を記憶する。推定結果記憶部１１２は、例えば、新規素材に対応する脳内意味空間上の位置を示す推定結果と、目標単語に対応する脳内意味空間上の位置を示す推定結果とを記憶する。
　評価結果記憶部１１３は、新規素材の評価結果を記憶する。評価結果記憶部１１３は、例えば、後述する脳内意味空間上の距離の指標などの情報を記憶する。
　制御部１２は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、データ処理装置１０を統括的に制御する。制御部１２は、データ処理装置１０が実行する各種処理を実行する。また、制御部１２は、素材推定部１２１と、目標推定部１２２と、評価処理部１２３と、出力処理部１２４を備えている。
　素材推定部１２１は、新規素材の内容を自然言語処理した言語記述から、脳内意味空間において新規素材の内容に対応する位置（第１位置）を推定する。すなわち、素材推定部１２１は、意味空間記憶部１１１が記憶する脳内意味空間情報に基づいて、新規素材の内容を自然言語処理した言語記述から、脳内意味空間において新規素材の内容に対応する第１位置を推定する。ここで、言語記述は、例えば、後述するアノテーションベクトルである。素材推定部１２１は、新規素材の内容に対応するアノテーションベクトルを、脳内意味空間情報を用いて、脳内意味空間上に投射する。
　ここで、素材推定部１２１が新規素材の内容からアノテーションベクトルを生成する処理について説明する。新規素材が、例えば、画像である場合、当該画像の印象を示す言語記述の文章（アノテーション情報）が予め作成されており、素材推定部１２１は、当該アノテーション情報を外部から取得する。ここで、アノテーション情報は、例えば、５０字～１５０字のシーン概要（画像の概要）の説明や感想などの文章である。素材推定部１２１は、取得した言語記述の文章（アノテーション情報）を例えば、ＭｅＣａｂなどを利用して、形態素解析を行い、分かち書きのデータを生成する。次に、素材推定部１２１は、当該分かち書きのデータに含まれる各単語に対して、コーパス５０を利用して自然言語処理（例えば、ｗｏｒｄ２ｖｅｃ）を行い、Ｓｋｉｐ－ｇｒａｍ等の行列であるアノテーションベクトルを単語ごとに生成する。
　なお、コーパス５０は、例えば、Ｗｉｋｉｐｅｄｉａ（登録商標）や新聞記事等の大量の文章データのデータベースである。素材推定部１２１は、このような大量の文章データをコーパス５０として、自然言語処理を行い、アノテーションベクトルを生成する。ここで、アノテーションベクトルは、画像の印象を示す言語記述（アノテーション）に登場する単語に対して、コーパス５０に登録されている単語の関係性で距離（意味）が近いものを算出したものである。
　素材推定部１２１は、例えば、生成した単語ごとアノテーションベクトルを、上述した脳内意味空間情報に基づいて、脳内意味空間上の位置に変換（投射）する。なお、素材推定部１２１は、投射した各単語に対応する位置のそれぞれを上述した第１位置としてもよいし、投射した各単語に対応する位置の重心（平均）を上述した第１位置としてもよい。
　また、素材推定部１２１は、新規素材の内容に対応する脳内意味空間上の位置（第１位置）を示す推定結果（例えば、位置を示すベクトル（Ｖ１））を推定結果記憶部１１２に記憶させる。
　目標推定部１２２は、新規素材の目標概念を示す目標単語から、脳内意味空間において当該目標単語に対応する位置（第２位置）を推定する。すなわち、目標推定部１２２は、意味空間記憶部１１１が記憶する脳内意味空間情報に基づいて、目標単語から、脳内意味空間において目標単語に対応する第２位置を推定する。ここで、目標単語とは、例えば、「可愛い」、「新鮮」など、評価対象の新規素材が目標とする概念を表す単語である。
　目標推定部１２２は、目標単語を外部から取得し、当該目標単語に対して、コーパス５０を利用して自然言語処理（例えば、ｗｏｒｄ２ｖｅｃ）を行い、Ｓｋｉｐ－ｇｒａｍ等の行列である目標単語に対応するアノテーションベクトルを生成する。目標推定部１２２は、目標単語に対応するアノテーションベクトルを、上述した脳内意味空間情報に基づいて、脳内意味空間上の位置に変換（投射）する。
　また、目標推定部１２２は、目標単語に対応する脳内意味空間上の位置（第２位置）を示す推定結果（例えば、位置を示すベクトル（Ｖ２））を推定結果記憶部１１２に記憶させる。
　評価処理部１２３は、目標推定部１２２によって推定された第１位置と、目標推定部１２２によって推定された第２位置とに基づいて、新規素材を評価する。評価処理部１２３は、例えば、脳内意味空間上の第１位置と第２位置との間の距離に基づいて、新規素材が目標概念に近いか否かを評価する。すなわち、評価処理部１２３は、脳内意味空間上の距離が近い程、新規素材が目標概念に近いと考えられ、制作意図を反映しているといえる。
また、評価処理部１２３は、脳内意味空間上の距離が遠い程、新規素材が目標概念から遠いと考えられ、制作意図を反映していないといえる。
　また、評価処理部１２３は、脳内意味空間上の距離の指標として、例えば、ユークリッド距離、マハラノビス距離、エントロピー、尤度などを算出する。また、評価処理部１２３は、新規素材の内容に対応する第１位置を示すベクトル（Ｖ１）と、目標単語に対応する第２位置を示すベクトル（Ｖ２）との内積値（Ｖ１・Ｖ２）を指標として、新規素材が目標概念に近いか否かを評価するようにしてもよい。
　また、評価処理部１２３は、算出した脳内意味空間上の距離の指標等の情報を評価結果記憶部１１３に記憶させる。
　出力処理部１２４は、評価処理部１２３によって評価された評価結果を外部に出力させる。出力処理部１２４は、例えば、評価結果記憶部１１３が記憶する距離の指標等の情報をグラフなどにして、外部に出力させる。
　次に、図面を参照して本実施形態による素材評価システム１の動作について説明する。
　まず、図２を参照して、本実施形態における脳内意味空間の構築処理について説明する。
　図２は、本実施形態における脳内意味空間の構築の一例を説明する図である。
　図２に示すように、まず、画像再生端末２０にトレーニング動画を表示させて、被験者Ｓ１が当該トレーニング動画を視聴した際の脳活動をｆＭＲＩ３０が計測する。これにより、脳活動の計測結果が得られる。解析装置４０は、ｆＭＲＩ３０が計測した脳活動の計測結果を取得する。
　また、一方で、トレーニング動画に含まれるシーン画像（例えば、画像Ｇ１）から、アノテーション情報（例えば、アノテーション情報ＴＸ１）が生成される。例えば、シーン画像Ｇ１が、「大通りを路面電車と大勢の人が通っているシーン」である場合、アノテーション情報ＴＸ１は、「珍しい路面電車・・・」、「街の中を走るちんちん電車・・・」、「広島市だろか・・・」などのシーンの概要を説明する文章となる。このアノテーション情報は、上述した素材推定部１２１において説明した言語記述の文章と同様である。
　また、解析装置４０は、コーパス５０に基づいて自然言語処理を行い、アノテーション情報からアノテーションベクトルを生成する。解析装置４０は、目標推定部１２２における説明と同様に、例えば、ＭｅＣａｂなどを利用して、アノテーション情報の形態素解析を行い、分かち書きのデータを生成する。次に、解析装置４０は、当該分かち書きのデータに含まれる各単語に対して、コーパス５０を利用して自然言語処理（例えば、ｗｏｒｄ２ｖｅｃ）を行い、Ｓｋｉｐ－ｇｒａｍ等の行列であるアノテーションベクトルを単語ごとに生成する。なお、ここでの脳内意味空間の構築に使用するアノテーションベクトルは、例えば、アノテーション情報に含まれる単語ごとのアノテーションベクトルであるものとする。
　次に、解析装置４０は、脳活動の計測結果と、アノテーションベクトルとの組を用いて、統計的学習処理を行い、脳内意味空間を構築する。解析装置４０は、例えば、回帰モデルなどの統計的学習処理を行い、脳活動と言語記述に現れる単語との脳内の意味関係を示す脳内意味空間を構築する。解析装置４０は、構築した脳内意味空間を示す脳内意味空間情報をデータ処理装置１０に出力し、当該脳内意味空間情報を意味空間記憶部１１１に記憶させる。
　次に、図３を参照して、本実施形態における素材の評価処理について説明する。
　図３は、本実施形態における素材の評価処理の一例を説明する図である。
　図３に示すように、まず、データ処理装置１０の素材推定部１２１は、素材（例えば、評価対象の動画など）の内容を言語記述にした素材の言語記述（アノテーション情報）を脳内意味空間に投射する。すなわち、素材推定部１２１は、アノテーション情報を形態素解析して分かち書きのデータを生成し、当該分かち書きのデータに含まれる各単語に対して、コーパス５０を利用して自然言語処理（例えば、ｗｏｒｄ２ｖｅｃ）を行い、Ｓｋｉｐ－ｇｒａｍ等の行列であるアノテーションベクトルを単語ごとに生成する。
　次に、素材推定部１２１は、生成したアノテーションベクトルを、意味空間記憶部１１１が記憶する脳内意味空間情報に基づいて、脳内意味空間において新規素材の内容に対応する位置Ｐ１に投射する。具体的に、素材推定部１２１は、単語ごとのアノテーションベクトルをそれぞれ脳内意味空間情報に基づいて、脳内意味空間に投射し、投射した各位置の重心を新規素材の内容に対応する位置Ｐ１とする。
　また、データ処理装置１０の目標推定部１２２は、素材の目標概念である目標単語を脳内意味空間に投射する。すなわち、目標推定部１２２は、目標単語に対して、コーパス５０を利用して自然言語処理（例えば、ｗｏｒｄ２ｖｅｃ）を行い、Ｓｋｉｐ－ｇｒａｍ等の行列である目標単語に対応する目標概念ベクトルを生成する。目標推定部１２２は、目標単語に対応する目標概念ベクトルを、意味空間記憶部１１１が記憶する脳内意味空間情報に基づいて、脳内意味空間において目標単語に対応する位置Ｐ２に投射する。
　次に、データ処理装置１０の評価処理部１２３は、上述した脳内意味空間の位置Ｐ１と、位置Ｐ２との距離ｄに応じて、素材を評価する。例えば、距離ｄが近い程、被験者Ｓ１が脳内で評価対象の新規素材の内容が目標単語に近い内容であると知覚していることを示しており、評価処理部１２３は、距離ｄが近い程、新規素材が制作意図を反映していると判定する。また、例えば、距離ｄが遠い程、被験者Ｓ１が評価対象の新規素材の内容が脳内で目標単語に遠い内容であると知覚していることを示しており、評価処理部１２３は、距離ｄが遠い程、評価対象の新規素材が制作意図を反映していないと判定する。
　次に、図４を参照して、本実施形態による素材評価システム１の全体の動作について説明する。
　図４は、本実施形態による素材評価システム１の動作の一例を示すフローチャートである。
　図４に示すように、素材評価システム１は、まず、トレーニング動画を視聴した脳活動を計測する（ステップＳ１０１）。すなわち、素材評価システム１の画像再生端末２０が、トレーニング動画を表示し、当該トレーニング動画を視聴した被験者Ｓ１の脳活動をｆＭＲＩ３０が計測する。ｆＭＲＩ３０は、計測した計測結果を解析装置４０に出力する。
　次に、解析装置４０は、トレーニング動画の各シーンからアノテーションベクトルを生成する（ステップＳ１０２）。解析装置４０は、トレーニング動画の各シーンから、図２に示すように、アノテーションベクトルを生成する。
　次に、解析装置４０は、脳活動の計測結果と、アノテーションベクトルとから脳内意味空間を構築する（ステップＳ１０３）。解析装置４０は、脳活動の計測結果とアノテーションベクトルとの組を、統計的学習処理して、脳活動とアノテーションベクトルとを関係付けて、被験者Ｓ１に対応した脳内意味空間を構築する（図２参照）。解析装置４０は、構築した脳内意味空間を示す脳内意味空間情報をデータ処理装置１０に出力し、当該脳内意味空間情報をデータ処理装置１０の意味空間記憶部１１１に記憶させる。
　次に、データ処理装置１０は、評価対象である新規素材を自然言語処理した言語記述からアノテーションベクトルを生成する（ステップＳ１０４）。データ処理装置１０の素材推定部１２１は、例えば、ＣＭ動画のどの新規素材における各シーンからアノテーションベクトルを生成する。
　次に、素材推定部１２１は、新規素材のアノテーションベクトルから脳内意味空間の第１位置を推定する（ステップＳ１０５）。素材推定部１２１は、例えば、図３に示すように、新規素材のアノテーションベクトルを、脳内意味空間上の新規素材に対応する位置Ｐ１に投射する。なお、素材推定部１２１は、例えば、各シーンに対応するアノテーションベクトルをそれぞれ脳内意味空間上に投射し、複数の位置Ｐ１を推定する。
　次に、データ処理装置１０は、目標単語から目標概念ベクトルを生成する（ステップＳ１０６）。データ処理装置１０の目標推定部１２２は、新規素材の目標概念を示す目標単語（例えば、「可愛い」など）から、目標概念ベクトルを生成する。
　次に、目標推定部１２２は、目標単語の目標概念ベクトルから脳内意味空間の第２位置を推定する（ステップＳ１０７）。目標推定部１２２は、例えば、図３に示すように、目標単語の目標概念ベクトルを、脳内意味空間上の目標単語に対応する位置Ｐ２に投射する。
　次に、データ処理装置１０の評価処理部１２３は、脳内意味空間上の第１位置（位置Ｐ１）と、第２位置（位置Ｐ２）とに基づいて、新規素材を評価する（ステップＳ１０８）。評価処理部１２３は、例えば、各シーンに対応する位置Ｐ１を示すベクトル（Ｖ１）と、目標単語に対応する位置Ｐ２を示すベクトル（Ｖ２）との内積値を評価の指標として算出する。
　なお、上述した素材評価のフローチャートにおいて、ステップＳ１０１の処理が、脳活動計測ステップの処理に対応し、ステップＳ１０２及びステップＳ１０３の処理が、意味空間構築ステップの処理に対応する。また、ステップＳ１０４及びステップＳ１０５の処理が、第１推定ステップの処理に対応し、ステップＳ１０６及びステップＳ１０７の処理が、第２推定ステップの処理に対応し、ステップＳ１０８の処理が、評価ステップに対応する。ここで、ステップＳ１０１からステップＳ１０３の処理は、脳活動計測を含むが、新規素材の評価に必要なステップＳ１０４からステップＳ１０８の処理は、新たな脳活動計測を含まない。これにより、本実施形態による素材評価方法は、新規素材にかかる評価要求に対し、新たな脳活動計測を必要としない迅速、かつ簡便な評価手段を提供している。
　次に、図５を参照して、素材評価システム１の評価結果の一例について説明する。
　図５は、本実施形態による素材評価システム１の評価結果の一例を示す図である。
　図５に示す例は、本実施形態によるデータ処理装置１０が、特定のＣＭ動画を定量評価した一例である。これは、例えば２つの映像ＡとＢのどちらが特定の印象をより強く視聴者に与えるか、等の定量指標を提供することを目的とするものである。例えば、３つの３０秒ＣＭ動画を新規素材として、ＣＭ動画の各シーンが目標概念を示す目標単語（この場合は「可愛い」）の認識度（ここでは、内積値）を確認することで、目標単語を認知している度合を推定したものである。
　図５に示すグラフにおいて、縦軸は、「可愛い」の認識度（内積値）を示す、横軸は、時間を示している。
　例えば、ＣＭ動画ＣＭ－１が、「女子高生が親戚と話をしている場面」であり、ＣＭ動画ＣＭ－２が。「重役会議が行われている場面」であり、ＣＭ動画ＣＭ－３が、「アイドルがダンスの練習をしている場面」である。
　図５に示す例では、ＣＭ動画ＣＭ－１が、最も内積値が高く、目標単語（「可愛い」）に最も近い素材であることを示している。
　なお、図５に示す例では、評価処理部１２３は、１人の被験者Ｓ１に対応する脳内意味空間により評価しているが、複数の被験者Ｓ１それぞれにより構築した脳内意味空間それぞれにより、新規素材を評価するようにしてもよい。この場合、意味空間記憶部１１１は、被験者Ｓ１の識別情報と、脳内意味空間情報とを対応付けて記憶する。
　また、新規素材によって、女性向けのＣＭ、子供向けのＣＭなど、評価対象が分かっている場合には、評価処理部１２３は、評価対象の新規素材の種類に応じて、被験者Ｓ１に対応する脳内意味空間情報を変更して、評価するようにしてもよい。
　以上説明したように、本実施形態による素材評価方法は、脳活動計測ステップと、意味空間構築ステップと、第１推定ステップと、第２推定ステップと、評価ステップとを含んでいる。脳活動計測ステップにおいて、ｆＭＲＩ３０（脳活動計測部）が、訓練用素材（例えば、トレーニング動画）を被験者Ｓ１に提示して、脳活動を計測する。意味空間構築ステップにおいて、解析装置４０（意味空間構築部）が、脳活動計測ステップによって計測された計測結果と、訓練用素材の内容を自然言語処理した言語記述（アノテーション）とに基づいて、脳活動と言語記述に現れる単語との脳内の意味関係を示す脳内意味空間を構築する。第１推定ステップにおいて、素材推定部１２１が、新規素材の内容を自然言語処理した言語記述から、脳内意味空間において新規素材の内容に対応する第１位置を推定する。第２推定ステップにおいて、目標推定部１２２が、新規素材の目標概念を示す目標単語から、脳内意味空間において当該目標単語に対応する第２位置を推定する。そして、評価ステップにおいて、評価処理部１２３が、第１推定ステップによって推定された第１位置と、第２推定ステップによって推定された第２位置とに基づいて、新規素材を評価する。
　これにより、本実施形態による素材評価方法は、新たに評価する新規素材が目標概念に近い脳内表現を誘起するか否かを、新たな脳活動の計測を行わずに、定量的に評価することができる。また、本実施形態による素材評価方法は、新規素材を評価する際に、個別の脳活動の計測をする必要がないため、素材作成、及び評価のサイクルを大幅に低減することができる。よって、本実施形態による素材評価方法は、迅速、且つ簡便に評価することができる。また、本実施形態による素材評価方法は、人的コスト、時間的コスト、及び金銭的コストを低減することが可能である。
　また、本実施形態では、評価ステップにおいて、評価処理部１２３が、脳内意味空間上の第１位置（位置Ｐ１）と第２位置（位置Ｐ２）との間の距離（ｄ）に基づいて、新規素材が目標概念に近いか否かを評価する。
　これにより、本実施形態による素材評価方法は、客観的、且つ、定量的に新規素材に関する評価（例えば、知覚内容推定、及び購買予測など）を行うことができる。
　また、本実施形態では、評価ステップにおいて、評価処理部１２３が、第１位置を示すベクトルと、第２位置を示すベクトルとの内積値を指標として、新規素材が目標概念に近いか否かを評価してもよい。
　これにより、本実施形態による素材評価方法は、内積値の算出という簡易な手法により、図５に示すように、新規素材に関する定量的な評価を適切に行うことができる。
　また、本実施形態では、第１推定ステップにおいて、素材推定部１２１が、言語記述に含まれる単語ごとに、脳内意味空間における位置を推定し、当該単語ごとの位置の重心を第１位置として推定する。
　これにより、本実施形態による素材評価方法は、脳内意味空間における新規素材に対応する第１位置を、重心を算出すという簡易な手法により適切に推定することができる。
　また、本実施形態では、第１推定ステップにおいて、素材推定部１２１が、言語記述に含まれる単語のそれぞれに対応する脳内意味空間における位置を第１位置として推定するようにしてもよい。
　これにより、本実施形態による素材評価方法は、新規素材の内容を示す言語記述に含まれる単語単位で、目標単語との距離を評価することができる。
　また、本実施形態によるデータ処理装置１０（素材評価装置）及び素材評価システム１は、意味空間記憶部１１１と、素材推定部１２１と、目標推定部１２２と、評価処理部１２３とを備えている。意味空間記憶部１１１は、ｆＭＲＩ３０によって、被験者Ｓ１に訓練用素材を提示して脳活動が計測された計測結果と、訓練用素材の内容を自然言語処理した言語記述とに基づいて構築された脳内意味空間を示す脳内意味空間情報であって、脳活動と言語記述に現れる単語との脳内の意味関係を示す脳内意味空間情報を記憶する。素材推定部１２１は、意味空間記憶部１１１が記憶する脳内意味空間情報に基づいて、新規素材の内容を自然言語処理した言語記述から、脳内意味空間において新規素材の内容に対応する第１位置を推定する。目標推定部１２２は、意味空間記憶部１１１が記憶する脳内意味空間情報に基づいて、新規素材の目標概念を示す目標単語から、脳内意味空間において当該目標単語に対応する第２位置を推定する。評価処理部１２３は、素材推定部１２１によって推定された第１位置と、目標推定部１２２によって推定された第２位置とに基づいて、新規素材を評価する。
　これにより、本実施形態によるデータ処理装置１０及び素材評価システム１は、上述した素材評価方法と同様に、新規素材に対して、新たな脳活動の計測を行わずに、定量的に評価することができ、迅速、且つ簡便に評価することができる。
　なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
　例えば、上記の実施形態において、素材評価システム１は、画像再生端末２０と、ｆＭＲＩ３０と、解析装置４０とを備える例を説明したが、予め脳内意味空間情報が意味空間記憶部１１１に記憶されている場合には、データ処理装置１０のみにより構成されてもよい。また、データ処理装置１０は、解析装置４０の機能を含んでもよい。
　また、上記の実施形態において、出力処理部１２４が、外部に評価結果を出力する例を説明したが、これに限定されるものではなく、データ処理装置１０が表示部を備え、表示部に評価結果を出力するようにしてもよい。また、記憶部１１の一部又は全部をデータ処理装置１０の外部に備えるようにしてもよい。
　また、上記の実施形態において、新規素材（ＣＭ動画）のシーンごとに評価する例を説明したが、絵コンテなどのカットごとに評価してもよいし、新規素材（ＣＭ動画）全体の内容に対して評価してもよい。
　また、上記の実施形態において、脳内意味空間の構築に使用するアノテーションベクトルが、アノテーション情報に含まれる単語ごとのアノテーションベクトルである例を説明したが、単語ごとのアノテーションベクトルの重心を脳内意味空間の構築に使用するアノテーションベクトルとしてもよい。
　なお、上述したデータ処理装置１０及び解析装置４０が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したデータ処理装置１０及び解析装置４０が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したデータ処理装置１０及び解析装置４０が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。
　また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にデータ処理装置１０及び解析装置４０が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　１　素材評価システム
　１０　データ処理装置
　１１　記憶部
　１２　制御部
　２０　画像再生端末
　３０　ｆＭＲＩ
　４０　解析装置
　５０　コーパス
　１１１　意味空間記憶部
　１１２　推定結果記憶部
　１１３　評価結果記憶部
　１２１　素材推定部
　１２２　目標推定部
　１２３　評価処理部
　１２４　出力処理部
　Ｓ１　被験者

Claims (6)

  1. 　脳活動計測部が、訓練用素材を被験者に提示して、脳活動を計測する脳活動計測ステップと、
    　意味空間構築部が、前記脳活動計測ステップによって計測された計測結果と、前記訓練用素材の内容を自然言語処理した言語記述とに基づいて、前記脳活動と前記言語記述に現れる単語との脳内の意味関係を示す脳内意味空間を構築する意味空間構築ステップと、
    　素材推定部が、新規素材の内容を自然言語処理した言語記述から、前記脳内意味空間において前記新規素材の内容に対応する第１位置を推定する第１推定ステップと、
    　目標推定部が、前記新規素材の目標概念を示す目標単語から、前記脳内意味空間において当該目標単語に対応する第２位置を推定する第２推定ステップと、
    　評価処理部が、前記第１推定ステップによって推定された前記第１位置と、前記第２推定ステップによって推定された前記第２位置とに基づいて、前記新規素材を評価する評価ステップと
    　を含む素材評価方法。
  2. 　前記評価ステップにおいて、前記評価処理部が、前記第１位置と前記第２位置との間の距離に基づいて、前記新規素材が前記目標概念に近いか否かを評価する
    　請求項１に記載の素材評価方法。
  3. 　前記評価ステップにおいて、前記評価処理部が、前記第１位置を示すベクトルと、前記第２位置を示すベクトルとの内積値を指標として、前記新規素材が前記目標概念に近いか否かを評価する
    　請求項１に記載の素材評価方法。
  4. 　前記第１推定ステップにおいて、前記素材推定部が、前記言語記述に含まれる単語のそれぞれに対応する前記脳内意味空間における位置を前記第１位置として推定する
    　請求項１から請求項３のいずれか一項に記載の素材評価方法。
  5. 　前記第１推定ステップにおいて、前記素材推定部が、前記言語記述に含まれる単語ごとに、前記脳内意味空間における位置を推定し、当該単語ごとの位置の重心を前記第１位置として推定する
    　請求項１から請求項３のいずれか一項に記載の素材評価方法。
  6. 　脳活動計測部によって、被験者に訓練用素材を提示して脳活動が計測された計測結果と、前記訓練用素材の内容を自然言語処理した言語記述とに基づいて構築された脳内意味空間を示す脳内意味空間情報であって、前記脳活動と前記言語記述に現れる単語との脳内の意味関係を示す脳内意味空間情報を記憶する意味空間記憶部と、
    　前記意味空間記憶部が記憶する前記脳内意味空間情報に基づいて、新規素材の内容を自然言語処理した言語記述から、前記脳内意味空間において前記新規素材の内容に対応する第１位置を推定する素材推定部と、
    　前記意味空間記憶部が記憶する前記脳内意味空間情報に基づいて、前記新規素材の目標概念を示す目標単語から、前記脳内意味空間において当該目標単語に対応する第２位置を推定する目標推定部と、
    　前記素材推定部によって推定された前記第１位置と、前記目標推定部によって推定された前記第２位置とに基づいて、前記新規素材を評価する評価処理部と
    　を備える素材評価装置。
PCT/JP2017/001253 2016-01-18 2017-01-16 素材評価方法、及び素材評価装置 WO2017126474A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780002397.XA CN107920773B (zh) 2016-01-18 2017-01-16 素材评价方法以及素材评价装置
US15/738,195 US20180315500A1 (en) 2016-01-18 2017-01-16 Material evaluating method and material evaluating apparatus
EP17741352.3A EP3406191B1 (en) 2016-01-18 2017-01-16 Material evaluation method and material evaluation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016007314A JP6687940B2 (ja) 2016-01-18 2016-01-18 素材評価方法、及び素材評価装置
JP2016-007314 2016-01-18

Publications (1)

Publication Number Publication Date
WO2017126474A1 true WO2017126474A1 (ja) 2017-07-27

Family

ID=59362354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001253 WO2017126474A1 (ja) 2016-01-18 2017-01-16 素材評価方法、及び素材評価装置

Country Status (5)

Country Link
US (1) US20180315500A1 (ja)
EP (1) EP3406191B1 (ja)
JP (1) JP6687940B2 (ja)
CN (1) CN107920773B (ja)
WO (1) WO2017126474A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6928348B2 (ja) * 2017-08-09 2021-09-01 国立研究開発法人情報通信研究機構 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法
EP3870038A4 (en) * 2018-10-25 2022-11-02 Arctop Ltd EMPATHIC COMPUTER SYSTEM AND PROCESSES FOR ENHANCED HUMAN INTERACTIONS WITH DIGITAL CONTENT EXPERIENCES

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102594A (ja) * 2006-10-17 2008-05-01 Fujitsu Ltd コンテンツの検索方法及び検索装置
WO2014092045A1 (ja) * 2012-12-11 2014-06-19 株式会社国際電気通信基礎技術研究所 脳情報処理装置、および脳情報処理方法
JP2015077694A (ja) 2013-10-15 2015-04-23 ファナック株式会社 変圧器を有する射出成形機の電源供給方法
JP2015207038A (ja) * 2014-04-17 2015-11-19 日本放送協会 映像評価装置及びそのプログラム
JP2016007314A (ja) 2014-06-24 2016-01-18 サマンサジャパン株式会社 床面洗浄装置，及び同床面洗浄装置を搭載した電動走行式床面洗浄機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10162927A1 (de) * 2001-12-20 2003-07-17 Siemens Ag Auswerten von mittels funktionaler Magnet-Resonanz-Tomographie gewonnenen Bildern des Gehirns
DK2139390T3 (da) * 2006-12-22 2017-11-27 Neuro-Insight Pty Ltd Fremgangsmåde til evaluering af effektiviteten af kommerciel kommunikation
CN104391963A (zh) * 2014-12-01 2015-03-04 北京中科创益科技有限公司 一种自然语言文本关键词关联网络构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102594A (ja) * 2006-10-17 2008-05-01 Fujitsu Ltd コンテンツの検索方法及び検索装置
WO2014092045A1 (ja) * 2012-12-11 2014-06-19 株式会社国際電気通信基礎技術研究所 脳情報処理装置、および脳情報処理方法
JP2015077694A (ja) 2013-10-15 2015-04-23 ファナック株式会社 変圧器を有する射出成形機の電源供給方法
JP2015207038A (ja) * 2014-04-17 2015-11-19 日本放送協会 映像評価装置及びそのプログラム
JP2016007314A (ja) 2014-06-24 2016-01-18 サマンサジャパン株式会社 床面洗浄装置，及び同床面洗浄装置を搭載した電動走行式床面洗浄機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3406191A4

Also Published As

Publication number Publication date
EP3406191A4 (en) 2019-07-31
JP2017129924A (ja) 2017-07-27
CN107920773A (zh) 2018-04-17
US20180315500A1 (en) 2018-11-01
EP3406191B1 (en) 2020-10-07
CN107920773B (zh) 2020-11-17
EP3406191A1 (en) 2018-11-28
JP6687940B2 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
Stöckli et al. Facial expression analysis with AFFDEX and FACET: A validation study
Nguyen et al. Hirability in the wild: Analysis of online conversational video resumes
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
JP6662644B2 (ja) 視聴素材評価方法、視聴素材評価システム、及びプログラム
Jaiswal et al. Muse: a multimodal dataset of stressed emotion
CN111052751A (zh) 用于媒体内容的观众响应捕获和分析的校准系统
EP3281582A1 (en) Method for estimating perceptual semantic content by analysis of brain activity
RU2012143140A (ru) Система для анализа при лечении кожи с использованием данных спектральных изображений для генерации трехмерной модели rgb
JP2016195716A5 (ja)
Stewart et al. Body image, shape, and volumetric assessments using 3D whole body laser scanning and 2D digital photography in females with a diagnosed eating disorder: Preliminary novel findings
CN108363487A (zh) 梦境重现模型的构建方法、梦境重现方法及装置
CN106663210A (zh) 基于感受的多媒体处理
WO2017126474A1 (ja) 素材評価方法、及び素材評価装置
CN106339917A (zh) 一种商品模型训练方法及装置
JP6928348B2 (ja) 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法
KR20150086289A (ko) 온라인 비디오에 대한 자동화된 섬네일 선택
Sgouramani et al. Move still: The effects of implied and real motion on the duration estimates of dance steps
Viviani et al. Categorical perception of newly learned faces
Day et al. Physical and perceptual accuracy of upright and inverted face drawings
JP7218154B2 (ja) 評価方法
WO2015087323A1 (en) Emotion based 3d visual effects
JP2015219698A (ja) パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
CN110047118B (zh) 视频生成方法、装置、计算机设备及存储介质
US9648091B2 (en) Transforming sensory representations
Vinciarelli Social perception in machines: The case of personality and the Big-Five traits

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17741352

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15738195

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE