WO2021040181A1 - 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스 - Google Patents

선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스 Download PDF

Info

Publication number
WO2021040181A1
WO2021040181A1 PCT/KR2020/005071 KR2020005071W WO2021040181A1 WO 2021040181 A1 WO2021040181 A1 WO 2021040181A1 KR 2020005071 W KR2020005071 W KR 2020005071W WO 2021040181 A1 WO2021040181 A1 WO 2021040181A1
Authority
WO
WIPO (PCT)
Prior art keywords
gaze
data
preference
determining
leap
Prior art date
Application number
PCT/KR2020/005071
Other languages
English (en)
French (fr)
Inventor
이홍구
이송섭
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to JP2022508802A priority Critical patent/JP2022545868A/ja
Priority to US17/638,824 priority patent/US20220273210A1/en
Publication of WO2021040181A1 publication Critical patent/WO2021040181A1/ko
Priority to US17/971,518 priority patent/US20230043838A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements

Definitions

  • the present invention relates to a method for determining a preference and a device for determining a preference using the same, and more specifically, a method for determining and providing a preference for determining and providing a user's preference for image content based on biosignal data, and for determining a preference using the same. It relates to the device.
  • Neuromarketing is a compound word of marketing and neurons, which are nerves that transmit information, and may mean that emotions and purchasing behaviors from the consumer's unconsciousness are analyzed through neuroscience and then applied to marketing.
  • Such neuro marketing is used in various ways to measure the marketing effect by measuring the psychological and emotional reactions of consumers.
  • neuromarketing is being studied as a fusion study with neuroscience in various disciplines such as product design, architecture, sports, and advertising marketing, and through neuromarketing, research targets such as products, advertisements, and brands that affect marketing are studied. By measuring quantitatively, it is possible to find out the degree of influence on the consumer's purchasing decision.
  • neuromarketing can measure and analyze human biometric data such as autonomic nervous system reactions, display the numbers using various statistical techniques, and analyze human behaviors that affect marketing.
  • biometric data such as autonomic nervous system reactions
  • display the numbers using various statistical techniques and analyze human behaviors that affect marketing.
  • fMRI functional magnetic resonance imaging
  • EEG electroencephalogram
  • eye tracking and the like may be employed.
  • biometric data among functional magnetic resonance imaging, brain wave measurement, and gaze estimation was applied to analyze consumer's psychological and emotional responses.
  • the reliability of analysis may be low.
  • gaze tracking consumer attention can be confirmed based on the degree of gaze retention.
  • expensive analysis equipment and specialized personnel may be required to analyze biosignal data, which may be cumbersome.
  • the inventors of the present invention have paid attention to the distinction of interest with preference or interest without preference in relation to the degree of interest associated with the consumption psychology.
  • consumers may be interested in a particular product as they have a high preference, or may be interested in avoiding consumption of the product because they have a high dislike.
  • the inventors of the present invention were able to recognize the importance of discriminating between interest with preference or interest without preference in providing accurate neuro marketing analysis results.
  • the inventors of the present invention provide bio-signal data including gaze data corresponding to the user's interest in discriminating whether it is of interest with preference or interest without preference, and HMD (Head More attention was paid to the device (Mounted Display).
  • the HMD device is formed in a structure that can be worn on the user's head, so that the user can experience a spatial and temporal experience similar to the real one, so that the user can experience virtual reality (VR), augmented reality (AR), and/or It may be a display device that provides an image in mixed reality (MR).
  • Such an HMD device may include a body formed in a goggle shape to be worn on the user's eye area, and a wearing part formed in a band shape to be connected to the body and fix the body to the user's head. .
  • the HMD device may be equipped with a sensor that acquires biometric data such as a user's gaze and brain waves, and further includes a content output unit that outputs content requiring preference detection in virtual reality, augmented reality, or/and mixed reality. can do.
  • the inventors of the present invention can extract a region of interest corresponding to the user's gaze based on the user's biosignal data according to the content provided through the HMD device, and more specifically, gaze data, and determine whether to prefer it. was able to recognize.
  • the inventors of the present invention noted that the biosignal data of the gaze data and the EEG data are correlated in determining the preference for the region of interest.
  • the inventors of the present invention have paid attention to a specific point in time at which preference or non-preferred interests can be distinguished.
  • EEG data at the point of gaze saccade at which the gaze moves rapidly has a feature value that is important in discriminating between interest with preference or interest without preference.
  • the inventors of the present invention have developed a new preference determination system that determines the gaze leap point of view based on the gaze data acquired while the specific image content is provided, and extracts brainwave data for a period including the gaze leap point. It came to the following.
  • the inventors of the present invention were able to provide the above system configured to differentiate and provide the user's interest according to the preference for content, and could expect to overcome the limitations of conventional neuro marketing.
  • the inventors of the present invention were expected to be able to more sensitively and accurately infer a user's consumption emotion based on the user's biosignal data for a specific content, as the system was provided.
  • the problem to be solved by the present invention is to receive the user's gaze gaze data and brainwave data according to the provision of image content, determine the region of interest and the gaze leap point based on the gaze data, and include the gaze leap point.
  • a method for determining preference using biosignal data of a user performed by a processor includes providing image content to a user, a series of gaze position data or gaze velocity data measured while the image content is being provided.
  • Receiving gaze data and EEG data including, determining a region of interest of a user for content based on gaze data, determining a saccade onset time based on gaze data, EEG Based on the data, extracting EEG data for a period including a gaze leap point, and determining whether a user prefers the region of interest based on the EEG data for the period.
  • the determining of the gaze leap time includes dividing the gaze position data into a plurality of unit sections having a predetermined time interval, and based on gaze speed data in each of the plurality of unit sections.
  • the step of determining a gaze leap section including a gaze leap point at which the user's gaze rapidly changes among the plurality of unit sections may be further included.
  • the step of extracting the EEG data may include extracting EEG data corresponding to the gaze leap section.
  • the step of determining the gaze leap section comprises classifying each of the plurality of unit sections into a gaze leap section or a gaze fixation section based on gaze speed data in each of the plurality of unit sections. And selecting a gaze leap section from among a plurality of classified unit sections.
  • the step of classifying as a gaze leap section or a gaze fixed section includes assigning a weight to at least one section of a plurality of unit sections based on gaze velocity data, and based on the weight.
  • the step of classifying each of the plurality of unit sections into a gaze leap section or a gaze fixed section may be further included.
  • the step of assigning a weight may include classifying a plurality of unit sections into a first group or a second group having a lower gaze speed than the first group, based on the gaze speed data, Determining an reciprocal number of the number of sections belonging to the first group as a weight for the first group and 0 as a weight for the second group among a plurality of unit sections, and for each of the first group and the second group It may include the step of assigning the determined weights, respectively.
  • the step of classifying each of the plurality of unit sections as a gaze leap section or a gaze fixed section based on the weight includes a leap section among a plurality of unit sections classified into the first group based on the weight for the first group. It may include determining, and determining a gaze fixed section based on gaze velocity data for a plurality of unit sections classified into a second group.
  • the method of the present invention is performed after the step of extracting EEG data for a period including the gaze leap point, a 0.5 hz high filter, a 60 hz stop filter. filter), filtering the EEG data based on at least one of a 1 to 10 hz band pass filter.
  • the step of extracting EEG data for a period including the gaze leap point includes extracting corresponding EEG data before and after a predetermined time based on the gaze leap point. can do.
  • the step of determining whether the user prefers the region of interest is the step of determining that there is a preference for the region of interest when the EEG data before the leap point is attenuated than the EEG data at the point of the leap. It may include.
  • the step of determining whether the user prefers the region of interest may include determining that there is a preference for the region of interest when the EEG data after the leap point is attenuated than the EEG data of the leap point. It may include steps.
  • the method of the present invention may further include correcting the gaze data and the EEG data, which is performed after the step of receiving the gaze data and the EEG data.
  • the method of the present invention may further include displaying and providing a region of interest differently according to preference or not in the image content.
  • the device of the present invention includes an output unit configured to provide image content to a user, a receiving unit configured to receive gaze data including a series of gaze position data or gaze velocity data measured while the image content is provided, and brainwave data, and a receiving unit And a processor configured to communicate with the output unit.
  • the processor determines a user's region of interest for the content based on the gaze data, determines a saccade onset time based on the gaze data, and includes the gaze jump time based on the brainwave data. It is configured to extract EEG data for a period of time, and determine whether or not a user prefers the region of interest based on the EEG data for the period.
  • the processor divides the gaze position data into a plurality of unit sections having a predetermined time interval, and based on the gaze speed data in each of the plurality of unit sections, the user's It may be further configured to determine a gaze leap section including a gaze leap point in which the gaze changes rapidly, and extract EEG data corresponding to the gaze leap section.
  • the processor classifies each of the plurality of unit sections into a gaze leap section or a gaze fixation section based on gaze speed data in each of the plurality of unit sections, and the classified plurality of Among the unit sections, it may be further configured to select a gaze leap section.
  • the processor assigns a weight to at least one of the plurality of unit sections based on the gaze speed data, and based on the weight, each of the plurality of unit sections is a gaze leap section or gaze. It may be further configured to classify into a fixed section.
  • the processor classifies a plurality of unit sections into a first group or a second group having a lower gaze speed than the first group, based on the gaze speed data, and among the plurality of unit sections , An reciprocal of the number of sections belonging to the first group is determined as a weight for the first group, 0 as a weight for the second group, and a weight determined for each of the first group and the second group is given, To determine a leap section among a plurality of unit sections classified into the first group based on weights for the first group, and determine a gaze fixed section based on gaze velocity data for a plurality of unit sections classified into the second group. It can be further configured.
  • the device is based on at least one filter of a 0.5 hz high filter, a 60 hz stop filter, and a 1 to 10 hz band pass filter. It may further include a filter unit configured to filter the EEG data.
  • the processor may be configured to extract corresponding EEG data before and after a predetermined time based on the gaze leap time point.
  • the processor may be configured to determine that there is a preference for the region of interest when the EEG data before the leap point attenuates than the EEG data at the leap point.
  • the processor may be configured to determine that there is a preference for the region of interest when the EEG data after the leap point attenuates than the EEG data at the leap point.
  • the processor may be further configured to correct gaze data and brainwave data.
  • the processor may be further configured to determine whether or not the user prefers the region of interest by using a prediction model configured to predict the user's preference based on the EEG data at the point of gaze leap. I can.
  • the output unit may be further configured to display and provide a region of interest differently depending on whether or not the user prefers the image content.
  • the present invention provides a new preference determination system for determining a gaze leap point based on gaze data acquired while the image content is provided and extracting EEG data at the gaze leap point, thereby providing a consumer's interest in consumer psychology. There is an effect that can be provided by categorizing in detail.
  • the present invention has the effect of being able to differentiate and provide interest in avoiding consumption of the product because the consumer has a high preference for a specific product or a high dislike.
  • the present invention can more sensitively and accurately infer a user's consumption emotion based on biosignal data such as gaze data and brainwave data of a user for a specific content. Accordingly, the present invention can provide an accurate neuro marketing analysis result and overcome the limitations of conventional neuro marketing.
  • biosignal data obtainable through an HMD device is used, expensive analysis equipment and specialized personnel are not required, and preference for a user can be determined regardless of a location.
  • FIG. 1A is a schematic diagram illustrating a system for determining a preference using biosignal data according to an embodiment of the present invention.
  • FIG. 1B is a schematic diagram illustrating a device for determining a preference according to an embodiment of the present invention.
  • FIG. 2 is a schematic flowchart illustrating a method of determining a preference based on biosignal data of a user according to a method for determining a preference according to an embodiment of the present invention.
  • 3A is an exemplary diagram illustrating gaze data of a user generated by providing video content according to a method for determining a preference according to an embodiment of the present invention.
  • 3B and 3C exemplarily illustrate a step of determining a gaze leap point at which a user's gaze rapidly changes according to a method for determining a preference according to an embodiment of the present invention.
  • 3D is an exemplary diagram illustrating a step of determining whether a user prefers a user according to a method for determining a preference according to an embodiment of the present invention.
  • 4A to 4E are exemplary views showing a region of interest of a user according to provision of image content through an HMD device and whether a user has a preference determined for the region of interest according to a method for determining a preference according to an embodiment of the present invention.
  • the system for determining a preference is not limited, and may include all devices configured to acquire a user's gaze and obtain biosignal data such as a user's brain waves.
  • the preference determination system includes not only an HMD device, but also a device including a sensor that is in contact with/wears on a part of the user's body such as a headset, a smart ring, a smart watch, an ear set, and an earphone, and acquires the user's biosignal data.
  • a content output device that outputs video content for which preference detection related to virtual reality, augmented reality, or/and mixed reality is required, and an electronic device that manages them.
  • the preference determination system may include an HMD device and an electronic device.
  • the biosignal data represents various signals generated from the user's body according to the user's conscious and/or unconscious (e.g., breathing, heartbeat, metabolism, etc.) behavior such as the user's gaze, brain waves, pulse, blood pressure, etc. I can.
  • 1A is a schematic diagram illustrating a system for determining a preference using biosignal data according to an embodiment of the present invention.
  • 1B is a schematic diagram illustrating a device for determining a preference according to an embodiment of the present invention.
  • the preference determination system 1000 determines a user's region of interest based on biosignal data including at least one of a user's brainwave and gaze data according to provision of image content requiring preference detection. It may be a system configured to extract and classify preferences for a region of interest. In this case, the preference determination system 1000 may include a preference determination device 100 that determines whether or not a user prefers based on the biosignal data and an HMD device 200 that acquires biosignal data.
  • the device for determining the preference 100 may be connected to enable communication with the HMD device 200, and may be configured to provide the image content for which preference detection is required to the HMD device 200.
  • the preference determination device 100 is a device that determines preferences for biosignal data acquired through the HMD device 200 and image content requiring preference detection, and includes a personal computer (PC), a laptop computer, and a workstation. ), may include a smart TV, and the like.
  • the device for determining a preference 100 may include a receiving unit 110, an input unit 120, an output unit 130, a storage unit 140, and a processor 150. .
  • the receiving unit 110 may be configured to receive the user's biosignal data according to the provision of image content for which preference detection is required.
  • the receiving unit 110 may be further configured to receive gaze data for image content for which preference detection is requested, and further, EEG data for a period in which the image content is provided.
  • the input unit 120 may receive a setting of the device 100 for detecting a preference from a user. It is also possible to receive an input of the user's gaze according to the provision of video content that requires detection of preference. Meanwhile, the input unit 120 may be an input unit of a head mounted display (HMD), but is not limited thereto.
  • HMD head mounted display
  • the output unit 130 may be configured to provide an interface screen for confirming the user's interest and preference for the video content for which preference detection is required.
  • the interface screen may include a display space indicating image content for which preference detection is required.
  • the output unit 130 may be configured to display and provide a region of interest in the image content determined by the processor 150 to be described later, and whether or not the region of interest is preferred.
  • the provision of the video content for which the preference detection is required is not limited to the one described above, and may also be provided through the output unit of the HMD device 200 to be described later.
  • the storage unit 140 stores various bio-signal data received by the receiving unit 110, a user's setting input through the input unit 120, and image content requiring preference detection provided through the output unit 130. Can be configured. Furthermore, the storage unit 140 may be further configured to store a region of interest in the image content determined by the processor 150 to be described later, and whether or not to prefer the region of interest. However, the present invention is not limited thereto, and the storage unit 140 may be configured to store all data generated in the process of the processor 150 determining a degree of interest and preference for image content.
  • the processor 150 determines the user's region of interest and the gaze leap point in the image content, based on the gaze data and EEG data acquired through the HMD device 200, and extracts the EEG data at the gaze leap point of interest. It may be configured to determine whether or not to prefer the area.
  • the gaze leap point is a point in time at which the user's gaze changes rapidly, and may be a single point of view, or may be a series of sections in which gaze speed appears above a predetermined level.
  • the processor 150 divides the gaze position data into a plurality of unit sections having a predetermined time interval, and based on the gaze speed data in each of the plurality of unit sections, the user's gaze changes rapidly among the plurality of unit sections. It may be configured to determine a gaze leap section including the gaze leap time point and extract EEG data corresponding to the gaze leap section.
  • the processor 150 classifies each of the plurality of unit sections into a gaze leap section or a gaze fixation section, based on the gaze speed data in each of the plurality of unit sections, and among the plurality of classified unit sections, It may be further configured to select the gaze leap section.
  • the processor 150 assigns a weight to at least one section of a plurality of unit sections based on the gaze speed data, and based on the weight, each of the plurality of unit sections is a gaze leap section or a gaze fixation. It can be further configured to classify into sections.
  • the processor 150 may be configured to extract corresponding EEG data before and after a predetermined time based on the gaze leap time point. In this case, the processor 150 may be configured to determine that there is a preference for the region of interest when the EEG data before the leap point is attenuated than the EEG data at the leap point. Further, the processor 150 may be configured to determine that there is no preference for the region of interest when the EEG data after the leap point attenuates than the EEG data at the leap point.
  • the processor 150 may be further configured to correct gaze data and brainwave data.
  • the processor 150 uses a prediction model configured to predict the user's preference based on the EEG data at the gaze leap time, and determines whether the user prefers the region of interest. It can be further configured to determine. For example, the processor 150 may determine whether the user prefers the region of interest from various biometric feature data such as brain wave data and gaze data based on a deep learning algorithm.
  • the deep learning algorithm is DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD.
  • the processor 150 may classify whether the user prefers the region of interest based on the classification model from various biometric feature data such as EEG data and gaze data.
  • the classification model may be at least one of a random forest, Gaussian naive Bayes (GNB), a locally weighted naive bay (LNB), and a support vector machine (SVN).
  • GNB Gaussian naive Bayes
  • LNB locally weighted naive bay
  • SVN support vector machine
  • the processor 150 may be based on a variety of algorithms as long as the preference can be determined based on the EEG data at the point of the leap.
  • the device for determining a preference 100 includes at least one of a 0.5 hz high filter, a 60 hz stop filter, and a 1 to 10 hz band pass filter. It may further include a filter unit (not shown) configured to filter the EEG data based on one filter.
  • the HMD device 200 is mounted on the user's head to provide image content for virtual reality to the user so that the user can experience a spatial and temporal experience similar to the real one, while simultaneously providing the user's biosignal data.
  • It may be a complex virtual experience device capable of detecting physical, cognitive, and emotional changes of a user who is acquired and is undergoing a virtual experience.
  • the video content provided through the HMD device 200 is a non-interactive video such as a movie, animation, advertisement, or promotional video, and a game, an electronic manual, an electronic encyclopedia, or a promotional video. It may include, but is not limited to, interactive images that are mutually active.
  • the image may be a 3D image and may include a stereoscopic image.
  • the HMD device 200 may be formed in a structure that can be worn on the user's head, and may be implemented in a form in which image content requiring detection of various preferences is processed through an output unit inside the HMD device 200.
  • one surface of the output unit may be disposed to face the user's face so that the user can check image content when the user wears the HMD device 200.
  • At least one sensor that acquires brainwave and gaze data of a user may be formed on one side of the HMD device 200.
  • the at least one sensor may include an EEG sensor for measuring a user's EEG and/or a gaze tracking sensor for tracking a user's gaze or gaze.
  • At least one sensor is formed at a location capable of photographing the user's eyes or face or a location capable of contacting the user's skin, and photographing the user's eyes or face when the user wears the HMD device 200, Acquires the user's gaze data by analyzing the captured image, or obtains EEG data such as the user's EEG signal (electroencephalography, EEG), EMG signal (electromyography, EMG), or electrocardiogram signal (electrocardiogram, ECG) by contacting the user's skin can do.
  • EEG signal electroencephalography
  • EMG electrocardiogram
  • ECG electrocardiogram
  • the HMD device 200 is described as including at least one sensor for acquiring the user's EEG and gaze data, but is not limited thereto, and the user’s EEG or gaze through a separate module from the HMD device 200
  • At least one sensor for acquiring data may be implemented in a format that is mounted on the HMD housing.
  • the expression HMD device 200 is intended to include such a module or to contemplate the module itself.
  • the HMD device 200 may obtain the user's biosignal data according to the request of the preference determination device 100 and transmit the obtained biosignal data to the preference determination device 100 through an output unit or a reception unit.
  • the preference determination system 1000 may determine not only a user's interest in video content, but also a preference for a region of interest. This analysis result can be used for various neuro marketing.
  • FIG. 2 is a schematic flowchart illustrating a method of determining a preference based on biosignal data of a user according to a method for determining a preference according to an embodiment of the present invention.
  • 3A is an exemplary diagram illustrating gaze data of a user generated by providing video content according to a method for determining a preference according to an embodiment of the present invention.
  • 3B and 3C exemplarily illustrate a step of determining a gaze leap point at which a user's gaze rapidly changes according to a method for determining a preference according to an embodiment of the present invention.
  • 3D is an exemplary diagram illustrating a step of determining whether a user prefers a user according to a method for determining a preference according to an embodiment of the present invention.
  • video content is provided to a user (S210).
  • gaze data including gaze position data or gaze velocity data measured while the image content is provided and brain wave data are received (S220).
  • brain wave data are received (S220).
  • the user's region of interest with respect to the content is determined (S230), and a gaze leap point is determined (S240).
  • the EEG data for the period including the gaze leap point is extracted (S250), and finally, whether or not the user prefers the region of interest is determined (S260).
  • the video content that is required to detect a preference that induces an emotion of like or dislike to a user may be provided.
  • At least one of an image, a movie, an animation, an advertisement, a promotional video, a game, an electronic manual, an electronic encyclopedia, and a text may be provided in the step of providing video content (S210). have.
  • step S220 of receiving gaze data and brainwave data a series of data measured during provision of image content, that is, time-series gaze data and brainwave data acquired for a certain period may be obtained.
  • the gaze data including the gaze on the image content for which preference detection is required may include gaze position data and gaze speed data.
  • the gaze data may further include a gaze-gaze time at which the gaze is gazed, a gaze tracking time at which the gaze tracks a specific object of the content, or the number of times the user blinks.
  • step S220 of receiving gaze data and EEG data providing image content through an HMD device and a user's gaze according to the user's gaze Location data can be received.
  • the gaze position data may be obtained based on the user's gaze elevation and azimuth that are changed based on the screen on which the content is provided.
  • the position of the acquired gaze may be expressed in a plane angle (radian), but is not limited thereto.
  • the gaze position data may be obtained as an elevation angle and azimuth angle of the gaze according to the content provision time.
  • the step of correcting the received gaze data and the brainwave data may be further performed.
  • an EEG signal pattern associated with interest having a predetermined preference from pre-stored data and an EEG signal pattern that is not may be corrected to be applied to a specific individual. More specifically, in the step of being corrected, two contents with contrasting emotions are provided to the user, and EEG data for a period including the gaze leap point and the gaze leap point while gazing at each content, that is, a series of EEG patterns Can be detected. In this case, the newly detected EEG data may be mapped to an EEG signal pattern associated with interest having a predetermined preference and a EEG signal pattern that is not. Through this process, preferences for individual users can be predicted more accurately.
  • the region of interest for the content may be determined based on the user's gaze data.
  • the user's gaze on the content may correspond to the user's interest.
  • step S240 of determining the gaze leap point the gaze leap point at which the user's gaze rapidly changes may be determined.
  • the gaze position data is divided into a plurality of unit sections having a predetermined time interval, and based on the gaze velocity data in each of the plurality of unit sections. , Among the plurality of unit sections, a gaze leap section including a gaze leap point may be determined.
  • each of the plurality of unit sections is classified as a gaze leap section or a gaze fixed section based on gaze speed data in each of the plurality of unit sections. And, from among a plurality of classified unit sections, a gaze leap section may be selected.
  • the gaze position data of elevation and azimuth angle according to the content provision time is a plurality of unit times (302a, 302b, 302c, 302d, 302e, 302f 302g, 302i) in seconds. , 302h). Then, based on the gaze speed data in each of the plurality of sections, that is, the gaze movement distance and time, the Saccade section 302b, 302d, 302f, 302h and the gaze fixing section 302a, 302c, 302e , 302g, 302i). That is, with further reference to FIG. 3C, the gaze position data may be labeled and displayed with respect to a section in which gaze leap or gaze fixation has progressed.
  • the classification of the gaze leap section and the gaze fixed section may be performed by assigning a weight to at least one section of a plurality of unit sections based on gaze velocity data. More specifically, for each of the gaze position data divided into a plurality of sections, a weight may be added as the speed of the gaze with respect to a corresponding unit section increases.
  • the speed of the gaze is classified into a first group (V 1 ) of a plurality of unit sections and a second group (V 2 ) having a lower speed than the first group using k-means-clustering.
  • the two groups may be classified by Equation 1 below.
  • the section belonging to the second group (V 2) 0 may be assigned as a weight for.
  • the gaze position data of a plurality of unit sections, classified into two groups is classified into a gaze leap section and a gaze fixed section, and further, a gaze leap section and a gaze fixed section, using the assigned weight value W(t). It can be classified as'unknown' that is not.
  • the specific section when the weight value W(t) allocated to a specific section is greater than or equal to the standard deviation than the average of the weights, the specific section may be classified as a gaze leap section.
  • the phosphorus section may be classified as a fixed gaze section.
  • the length of the blank section is less than or equal to a predetermined level, and the average speed of the gaze position immediately before and after the blank section is respectively
  • step S240 of determining the point of sight leap is not limited to the above-described method, and may be performed in more various ways.
  • EEG data corresponding to the gaze leap section including the gaze leap time may be extracted.
  • the gaze leap section may mean a period corresponding to before (eg, 0.3 seconds before the gaze leap) and/or after (0.3 seconds after the gaze leap) based on the gaze leap point.
  • corresponding EEG data may be extracted before and after a predetermined time based on the gaze leap time point.
  • step S260 of determining the preference whether or not the user prefers the region of interest in the content determined as a result of the step S230 of determining the above-described region of interest may be determined.
  • the preference for the region of interest may be determined according to the characteristic of the EEG data.
  • the EEG data before the leap point (eg, -0.2 seconds) is more than the EEG data of the leap point (for example, 0.0).
  • the EEG data after the leap point (for example, 0.2 seconds) is attenuated from the EEG data of the leap point (for example, 0.0)
  • the preference for the region of interest Can be determined to be absent.
  • the user's interest in the region of interest can be determined.
  • the predictive model is a model configured to classify preferences by using the user's EEG data acquired at the point of gaze leap as training data, and to classify the presence or absence of preference for the region of interest based on the EEG pattern.
  • the prediction model may be a model configured to predict (classify) preferences based on a deep learning algorithm or a classification model.
  • DNN Deep Belief Network
  • DNN Deep Belief Network
  • a prediction model based on at least one of SSD Single Shot Detector
  • a prediction model based on at least one of random forest, Gaussian naive Bayes (GNB), locally weighted naive Bay (LNB), and support vector machine (SVN) is Can be used.
  • a model based on more various algorithms may be applied as long as the preference can be determined based on the EEG data at the point of the leap.
  • the step of displaying and providing a region of interest differently depending on whether or not the image content is preferred may be further performed.
  • the region of the content that the user gazes may be output in a reddish color as an interest degree increases, and a blue color as the interest degree decreases. have.
  • the preference for the region of interest may be distinguished by providing the region of interest by displaying it as O (with preference) or X (without preference) depending on whether or not the region of interest is preferred.
  • a method of displaying interest and preference is not limited thereto.
  • the region of interest in the content may be displayed as a region having a single color or pattern.
  • preference may be distinguished by differentiating and displaying patterns.
  • preferences may be distinguished by differentiating colors and displaying them.
  • preference or not can be distinguished by differentiating and displaying its saturation, contrast, and brightness.
  • a preference for a region of interest in content provided to a user may be determined by a method for determining a preference according to various embodiments of the present disclosure, and may be displayed and provided in the content.
  • 4A to 4E are exemplary views showing a region of interest of a user according to provision of image content through an HMD device and whether a user has a preference determined for the region of interest according to a method for determining a preference according to an embodiment of the present invention.
  • the image content may include one or more objects for which preference is to be checked.
  • the user may check the vehicle advertisement displayed through the output unit of the HMD device 200.
  • the user can gaze at various objects such as a car and a background while the vehicle advertisement is being provided, and by the gaze tracking sensor and the brain wave measurement sensor pre-mounted in the HMD device 200, the gaze data and the gaze data and the EEG data can be obtained.
  • the acquired gaze data and brainwave data may be received by the device 100 for determining a preference of the present invention.
  • the output unit 130 of the device 100 for determining a preference of the present invention is shown.
  • the output unit 130 may display and provide the image content to be distinguished according to the level of interest and preference according to the user's gaze.
  • the output unit 130 may output a red color as an interest level increases, and a blue color color as the interest level decreases with respect to the region gazed by the user.
  • the output unit 130 may provide the region of interest by displaying O (with preference) or X (without preference) depending on whether or not the region of interest is preferred.
  • the O mark appears on the headlight, front wheel, and rear wheel of the vehicle with high interest, and it appears that the user has a high preference for the headlight, front wheel, and rear wheel of the vehicle.
  • an X is displayed on the rear portion of the vehicle with high interest, and the user has a high interest in the rear portion of the vehicle, but the preference is low.
  • This result means that the user has a general interest in the vehicle in the advertisement provided, in particular, has a high preference for the headlight part and the wheel part, and the preference for a design such as the rear part of the vehicle may be low. I can.
  • the device 100 for determining the preference of the present invention the degree of interest and preference according to the user's gaze on the video content may be analyzed and provided, and the analyzed results may be further utilized for advertising marketing.
  • a user is provided with video content for which preference detection is required through the HMD device 200.
  • the image content may include a plurality of objects to check whether or not the image content is preferred.
  • the user may be provided with soup cans a, b, c and d of various designs through the output unit of the HMD device 200. While the soup candle is being provided, the user can gaze at various object areas such as the product name, font, design, and soup image of the soup can. At this time, the gaze data and brain wave data while the soup candle is being provided to the user may be obtained by the gaze tracking sensor and the brain wave measurement sensor previously mounted on the HMD device 200. Next, the gaze data and brainwave data acquired by the HMD device 200 may be received by the device 100 for determining a preference of the present invention.
  • the output unit 130 of the device 100 for determining a preference of the present invention is shown. More specifically, the user appears to have stared at all the soup cans a, b, c and d while the soup can is being presented.
  • the output unit 130 may output a red color for a certain area as the degree of interest increases, and a blue color as the degree of interest decreases. Accordingly, according to the output result, the user It appears that he intensively stared at the soup image shown in.
  • the output unit 130 may display and provide the region of interest as O (with preference) or X (without preference), the output result indicates that the user It appears to have a high preference for the product name, the product name of the soup can of d, and the soup image of the soup can of d. In contrast, users appear to have a high interest in the soup image of the soup cans of a and c, but with low preference.
  • This result may mean that the user has a higher preference for the font of the product name of the soup can of a and b and the soup image of the soup can of d compared to other soup candles. Furthermore, it may mean that they have a low preference for the soup image of the soup cans of a and c.
  • the device 100 for determining a preference according to the present invention may display and provide video content to be differentiated according to an interest level according to a user's gaze and a preference. Meanwhile, the device for determining the preference 100 may output and provide more various information.
  • the device 100 for determining a preference may be further configured to output and provide information on preference based on a user's region of interest determined in the content and whether or not they prefer it. More specifically, in the case of the soup candle for which the region of interest and the preference for it have been determined, as described above in FIGS. 4c and 4d, the soup cans c and d, which have high interest and preference for the product name portion of the soup can, have a preference for letters. It can be output as high. Furthermore, d having high interest and preference for the soup image may be output as having high preference for the soup image.
  • the device 100 for determining the preference of the present invention the degree of interest and preference according to the user's gaze on the video content may be analyzed, and various information on the preference may be provided. At this time, the analyzed results can be further utilized for marketing to determine the name, image, etc. of the product.
  • the output of the preference by the preference determination device 100 of the present invention is not limited to the aforementioned O or X display of the preference for the region of interest.
  • the device 100 for determining a preference may display an ROI in the content as an area having a single color or pattern.
  • the preference determination device 100 may be configured to differentiate and output the preference by differentiating and displaying the pattern, and when the determined region of interest has a single pattern , By differentiating colors and displaying them, preferences may be distinguished and output.
  • preference or not can be distinguished by differentiating and displaying its saturation, contrast, and brightness.
  • the method and device for determining a preference according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination.
  • Program instructions recorded on a computer-readable medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • the above-described medium may be a transmission medium such as an optical or metal wire, a waveguide including a carrier wave that transmits a signal specifying a program command, a data structure, and the like.
  • Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the above-described hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
  • 100 preference determination device, 110: receiver, 120: input, 130: output, 140: storage, 150: processor, 200: HMD device, 1000: preference determination system, 302a, 302b, 302c, 302d, 302e, 302f, 302g, 302h, 302i: multiple unit times

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Power Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 선호도 결정 방법으로서, 영상 컨텐츠를 사용자에게 제공하는 단계, 영상 컨텐츠가 제공되는 동안 측정된 일련의 시선 위치 데이터 또는 시선 속도 데이터를 포함하는 시선 데이터 및 뇌파 데이터를 수신하는 단계, 시선 데이터에 기초하여 콘텐츠에 대한 사용자의 관심 영역을 결정하는 단계, 시선 데이터에 기초하여, 시선 도약 시점 (saccade onset time) 을 결정하는 단계, 뇌파 데이터에 기초하여, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 단계, 뇌파 데이터에 기초하여 관심 영역에 대한 사용자의 선호 여부를 결정하는 단계를 포함하는 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스를 제공한다.

Description

선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스
본 발명은 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스에 관한 것으로, 보다 구체적으로는 생체 신호 데이터에 기초하여 영상 컨텐츠에 대한 사용자의 선호 여부를 결정하여 제공하는, 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스에 관한 것이다.
뉴로 마케팅은, 정보를 전달하는 신경인 뉴런과 마케팅의 합성어로, 소비자의 무의식에서 나오는 감정, 구매 행위를 뇌신경 과학을 통해 분석한 후 마케팅에 적용한 것을 의미할 수 있다. 이러한 뉴로 마케팅은, 소비자의 심리와 감성적 반응을 측정하여 마케팅 효과를 측정하기 위해 다양하게 사용되고 있다. 예를 들어, 뉴로 마케팅은 제품 디자인, 건축, 스포츠, 광고마케팅 등 다양한 학문에서 신경 과학과의 융합 학문으로서 연구되고 있으며, 뉴로 마케팅을 통해, 마케팅에 영향을 미치는 제품, 광고, 브랜드와 같은 연구 대상을 정량적으로 측정하여 소비자의 구매의사 결정에 미치는 영향 정도를 알아볼 수 있다.
한편, 뉴로 마케팅은, 자율신경계 반응과 같은 인간의 생체 데이터를 측정하고 분석하여 그 수치들을 다양한 통계 기법으로 나타내고 마케팅에 영향을 미치는 인간의 행태를 분석할 수 있다. 이때, 생체 데이터의 측정으로는, 기능적 자기공명영상 (fMRI, Functional magnetic resonance imaging) 촬영, 뇌파 (EEG, electroencephalogram) 측정, 시선 추적 (Eye Tracking) 등이 있을 수 있다.
종래의 뉴로 마케팅에서는, 기능적 자기공명영상 촬영, 뇌파 측정, 시선 추정 중 하나의 단일의 생체 데이터를 적용하여 소비자의 심리와 감성적 반응을 분석하고자 하였다. 이러한 단일의 생체 데이터에 기초한 종래의 뉴로 마케팅은, 생체 데이터가 개개인에 따라 다양하게 나타날 수 있어, 분석의 신뢰도가 낮을 수 있다. 특히, 시선 추적의 경우, 시선이 머무는 정도에 기초하여 소비자의 관심 (attention) 을 확인할 수 있다. 그러나, 소비자의 응시가, 실제로 시선만 응시하는 것인지, 선호도 높은 상태에서의 응시인지, 선호도가 낮은 상태에서의 응시인지 등의 구체적인 분석은 어려울 수 있다. 나아가, 종래의 뉴로 마케팅에서 생체 신호 데이터의 분석에 고가의 분석 장비 및 전문 인력이 요구될 수 있어, 번거로움이 수반될 수 있다.
이에, 성공적인 뉴로 마케팅을 위해, 소비자의 선호 또는 비선호와 같은 심리 상태를 더욱 정확하고, 구체적으로 분석할 수 있는 새로운 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
본 발명의 발명자들은, 소비 심리와 연관된 관심도와 관련하여, 선호도가 있는 관심 또는 선호도가 없는 관심의 구별에 주목하였다.
보다 구체적으로, 소비자는, 특정한 제품에 대하여 높은 선호도를 갖고 있음에 따라 관심을 가질 수 있고, 또는 높은 불호를 갖고 있어 해당 제품에 대한 소비를 피하기 위해 관심을 가질 수도 있다.
이에, 본 발명의 발명자들은, 정확한 뉴로 마케팅 분석 결과를 제공하는 것에 있어서, 선호도가 있는 관심 또는 선호도가 없는 관심인지 구별하는 것에 대한 중요성을 인지할 수 있었다.
한편, 본 발명의 발명자들은, 선호도가 있는 관심 또는 선호도가 없는 관심인지 구별하는 것에 있어서, 사용자의 관심에 대응하는 시선 데이터를 포함하는 생체 신호 데이터를 제공하고 다양한 컨텐츠를 제공할 수 있는 HMD (Head Mounted Display) 디바이스에 더욱 주목하였다.
이때, HMD 디바이스는 사용자의 머리에 착용 가능한 구조로 형성되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능할 수 있도록 사용자에게 가상현실 (Virtual Reality, VR), 증강 현실 (Augmented Reality, AR) 및/또는 혼합 현실 (Mixed Reality, MR) 에서 영상을 제공하는 디스플레이 디바이스일 수 있다. 이와 같은 HMD 디바이스는, 사용자의 눈 부위에 착용 가능하도록 고글 (Goggle) 형태로 형성되는 본체와, 본체에 연결되어 본체를 사용자의 머리에 고정시킬 수 있도록 밴드 형태로 형성되는 착용부로 구성될 수 있다. 나아가, HMD 디바이스는 사용자의 시선, 뇌파와 같은 생체 신호 데이터를 획득하는 센서가 구비될 수 있고, 가상 현실, 증강 현실 또는/및 혼합 현실에서 선호도 검출이 요구되는 컨텐츠를 출력하는 컨텐츠 출력부를 더욱 포함할 수 있다.
이에, 본 발명의 발명자들은, HMD 디바이스를 통해 제공된 컨텐츠에 따른 사용자의 생체 신호 데이터, 보다 구체적으로 시선 데이터에 기초하여 사용자의 응시에 대응하는 관심 영역을 추출하고, 이에 대한 선호 여부를 결정할 수 있음을 인지할 수 있었다.
한편, 본 발명의 발명자들은, 관심 영역에 대한 선호도의 결정에 있어서 시선 데이터 및 뇌파 데이터의 생체 신호 데이터가 상관관계 있다는 것에 주목하였다. 특히, 본 발명의 발명자들은 선호 또는 비-선호 관심이 구별될 수 있는 특정한 시점에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은, 시선이 이동이 급격하게 이동하는 시선 도약 (saccade) 시점에서의 뇌파 데이터가 선호도가 있는 관심 또는 선호도가 없는 관심의 구별에 있어서 중요한 특징 값을 갖는 것을 발견할 수 있었다.
결과적으로, 본 발명의 발명자들은, 특정한 영상 컨텐츠가 제공되는 동안 획득된 시선 데이터에 기초하여 시선 도약 시점을 결정하고, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 새로운 선호도 결정 시스템을 개발하기에 이르렀다.
본 발명의 발명자들은, 컨텐츠에 대한 선호 여부에 따른 사용자의 관심을 구별하여 제공하도록 구성된 상기 시스템을 제공할 수 있었고, 종래의 뉴로 마케팅의 한계를 극복할 수 있음을 기대할 수 있었다.
특히, 본 발명의 발명자들은 상기 시스템을 제공함에 따라, 특정 컨텐츠에 대한 사용자의 생체 신호 데이터에 기초하여 사용자의 소비 감정을 보다 민감하고 정확하게 유추할 수 있음을 기대할 수 있었다
이에, 본 발명이 해결하고자 하는 과제는, 영상 컨텐츠의 제공에 따른 사용자의 시선 시선 데이터 및 뇌파 데이터를 수신하고, 시선 데이터에 기초하여 관심 영역 및 시선 도약 시점을 결정하고, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하고, 이를 기초로 영상 컨텐츠의 관심 영역에 대한 선호 여부를 결정하도록 구성된, 선호도 결정 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 선호도 결정 방법을 제공한다. 본 발명의 실시예에 따른 프로세서에 의해서 수행되는 사용자의 생체 신호 데이터를 이용한 선호도 결정 방법은, 영상 컨텐츠를 사용자에게 제공하는 단계, 영상 컨텐츠가 제공되는 동안 측정된 일련의 시선 위치 데이터 또는 시선 속도 데이터를 포함하는 시선 데이터 및 뇌파 데이터를 수신하는 단계, 시선 데이터에 기초하여 콘텐츠에 대한 사용자의 관심 영역을 결정하는 단계, 시선 데이터에 기초하여, 시선 도약 시점 (saccade onset time) 을 결정하는 단계, 뇌파 데이터에 기초하여, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 단계, 기간 동안의 뇌파 데이터에 기초하여, 관심 영역에 대한 사용자의 선호 여부를 결정하는 단계를 포함한다.
본 발명의 특징에 따르면, 시선 도약 시점을 결정하는 단계는, 시선 위치 데이터를, 미리 결정된 시간 간격을 갖는 복수의 단위 구간으로 분할하는 단계, 및 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 중 사용자의 시선이 급변하는 시선 도약 시점을 포함하는 시선 도약 구간을 결정하는 단계를 더 포함할 수 있다. 나아가, 뇌파 데이터를 추출하는 단계는, 시선 도약 구간에 해당하는 뇌파 데이터를 추출하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 시선 도약 구간을 결정하는 단계는, 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 각각을 시선 도약 구간, 또는 시선 고정 (fixation) 구간으로 분류하는 단계, 및 분류된 복수의 단위 구간 중, 시선 도약 구간을 선별하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 시선 도약 구간, 또는 시선 고정 구간으로 분류하는 단계는, 시선 속도 데이터에 기초하여 복수의 단위 구간 중 적어도 하나의 구간에 가중치를 부여하는 단계, 및 가중치에 기초하여, 복수의 단위 구간 각각을 시선 도약 구간, 또는 시선 고정 구간으로 분류하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 가중치를 부여하는 단계는, 시선 속도 데이터에 기초하여, 복수의 단위 구간을 제1 그룹, 또는 제1 그룹에 비하여 시선 속도가 낮은 제2 그룹으로 분류하는 단계, 복수의 단위 구간 중, 제1 그룹에 속한 구간의 개수에 대한 역수를 제1 그룹에 대한 가중치로, 0을 제2 그룹에 대한 가중치로 결정하는 단계, 및 제1 그룹 및 제2 그룹 각각에 대하여 결정된 가중치를, 각각 부여하는 단계를 포함할 수 있다. 또한, 가중치에 기초하여, 복수의 단위 구간 각각을 시선 도약 구간, 또는 시선 고정 구간으로 분류하는 단계는, 제1 그룹에 대한 가중치에 기초하여 제1 그룹으로 분류된 복수의 단위 구간 중 도약 구간을 결정하는 단계, 및 제2 그룹으로 분류된 복수의 단위 구간에 대한 시선 속도 데이터에 기초하여 시선 고정 구간을 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 방법은, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 단계 이후에 수행되는, 0.5 hz 하이 필터 (high filter), 60 hz 스탑 필터 (stop filter), 1 내지 10 hz 밴드 패스 필터 (band pass filter) 중 적어도 하나의 필터에 기초하여 뇌파 데이터를 필터링하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 단계는, 시선 도약 시점을 기준으로, 미리 결정된 시간 전, 및 후에 해당하는 뇌파 데이터를 추출하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 관심 영역에 대한 사용자의 선호 여부를 결정하는 단계는, 도약 시점 전의 뇌파 데이터가 도약 시점의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 있는 것으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 관심 영역에 대한 사용자의 선호 여부를 결정하는 단계는, 도약 시점 이후의 뇌파 데이터가 도약 시점의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 있는 것으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 방법은 시선 데이터, 및 뇌파 데이터를 수신하는 단계 이후에 수행되는, 시선 데이터, 및 뇌파 데이터를 보정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 관심 영역에 대한 사용자의 선호 여부를 결정하는 단계는, 시선 도약 시점에서의 뇌파 데이터에 기초하여, 사용자의 선호도를 예측하도록 구성된 예측 모델을 이용하여, 관심 영역에 대한 사용자의 선호 여부를 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 본 발명의 방법은, 영상 컨텐츠 내에, 관심 영역을 선호 여부에 따라 상이하게 표시하여 제공하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 선호도 결정용 디바이스를 제공한다. 본 발명의 디바이스는 영상 컨텐츠를 사용자에게 제공하도록 구성된 출력부, 영상 컨텐츠가 제공되는 동안 측정된 일련의 시선 위치 데이터 또는 시선 속도 데이터를 포함하는 시선 데이터, 및 뇌파 데이터를 수신하도록 구성된 수신부, 및 수신부 및 출력부와 통신하도록 구성된 프로세서를 포함한다. 이때, 프로세서는, 시선 데이터에 기초하여 콘텐츠에 대한 사용자의 관심 영역을 결정하고, 시선 데이터에 기초하여, 시선 도약 시점 (saccade onset time) 을 결정하고, 뇌파 데이터에 기초하여, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하고, 기간 동안의 뇌파 데이터에 기초하여, 관심 영역에 대한 사용자의 선호 여부를 결정하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 시선 위치 데이터를, 미리 결정된 시간 간격을 갖는 복수의 단위 구간으로 분할하고, 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 중 사용자의 시선이 급변하는 시선 도약 시점을 포함하는 시선 도약 구간을 결정하고, 시선 도약 구간에 해당하는 뇌파 데이터를 추출하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 각각을 시선 도약 구간, 또는 시선 고정 (fixation) 구간으로 분류하고, 분류된 복수의 단위 구간 중, 시선 도약 구간을 선별하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 시선 속도 데이터에 기초하여 복수의 단위 구간 중 적어도 하나의 구간에 가중치를 부여하고, 가중치에 기초하여, 복수의 단위 구간 각각을 시선 도약 구간, 또는 시선 고정 구간으로 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 시선 속도 데이터에 기초하여, 복수의 단위 구간을 제1 그룹, 또는 제1 그룹에 비하여 시선 속도가 낮은 제2 그룹으로 분류하고, 복수의 단위 구간 중, 제1 그룹에 속한 구간의 개수에 대한 역수를 제1 그룹에 대한 가중치로, 0을 제2 그룹에 대한 가중치로 결정하고, 제1 그룹 및 제2 그룹 각각에 대하여 결정된 가중치를 각각 부여하고, 제1 그룹에 대한 가중치에 기초하여 제1 그룹으로 분류된 복수의 단위 구간 중 도약 구간을 결정하고, 제2 그룹으로 분류된 복수의 단위 구간에 대한 시선 속도 데이터에 기초하여 시선 고정 구간을 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 디바이스는, 0.5 hz 하이 필터 (high filter), 60 hz 스탑 필터 (stop filter), 1 내지 10 hz 밴드 패스 필터 (band pass filter) 중 적어도 하나의 필터에 기초하여 뇌파 데이터를 필터링하도록 구성된 필터부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 시선 도약 시점을 기준으로, 미리 결정된 시간 전, 및 후에 해당하는 뇌파 데이터를 추출하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 도약 시점 전의 뇌파 데이터가 도약 시점의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 있는 것으로 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 도약 시점 이후의 뇌파 데이터가 도약 시점의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 있는 것으로 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 시선 데이터, 및 뇌파 데이터를 보정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 시선 도약 시점에서의 뇌파 데이터에 기초하여, 사용자의 선호도를 예측하도록 구성된 예측 모델을 이용하여, 관심 영역에 대한 사용자의 선호 여부를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 출력부는, 영상 컨텐츠 내에, 관심 영역을 선호 여부에 따라 상이하게 표시하여 제공하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 영상 컨텐츠가 제공되는 동안 획득된 시선 데이터에 기초하여 시선 도약 시점을 결정하고, 시선 도약 시점에서의 뇌파 데이터를 추출하는 새로운 선호도 결정 시스템을 제공함에 따라, 소비 심리와 연관된 소비자의 관심도를 구체적으로 분류하여 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은, 소비자가 특정한 제품에 대하여 높은 선호도를 갖고 있는 관심, 또는 높은 불호를 갖고 있어 해당 제품에 대한 소비를 피하기 위한 관심을 구별하여 제공할 수 있는 효과가 있다.
특히, 본 발명은, 특정 컨텐츠에 대한 사용자의 시선 데이터 및 뇌파 데이터와 같은 생체 신호 데이터에 기초하여 사용자의 소비 감정을 보다 민감하고 정확하게 유추할 수 있다. 이에, 본 발명은 정확한 뉴로 마케팅 분석 결과를 제공할 수 있고, 종래의 뉴로 마케팅의 한계를 극복할 수 있다.
나아가, 본 발명은 HMD 디바이스를 통해 획득 가능한 생체 신호 데이터를 이용함에 따라, 고가의 분석 장비 및 전문 인력이 요구되지 않으며, 장소에 관계 없이 사용자에 대한 선호 여부를 결정할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1a는 본 발명의 실시예에 따른 생체 신호 데이터를 이용한 선호도 결정 시스템을 설명하기 위한 개략도이다.
도 1b는 본 발명의 실시예에 따른 선호도 결정용 디바이스를 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 선호도 결정 방법에 따라, 사용자의 생체 신호 데이터에 기반하여 선호 여부를 결정하는 방법을 설명하기 위한 개략적인 순서도이다.
도 3a는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, 영상 컨텐츠 제공에 의해 생성된 사용자의 시선 데이터를 예시적으로 도시한 것이다.
도 3b 및 3c는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, 사용자의 시선이 급격하게 변화하는 시선 도약 시점을 결정하는 단계를 예시적으로 도시한 것이다.
도 3d는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, 사용자의 선호 여부를 결정하는 단계를 예시적으로 도시한 것이다.
도 4a 내지 4e는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, HMD 디바이스를 통한 영상 컨텐츠의 제공에 따른 사용자의 관심 영역 및 관심 영역에 대하여 결정된 선호 여부를 예시적으로 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 발명에서, 선호도 결정 시스템은 제한되지 않고, 사용자의 시선을 획득하고, 사용자의 뇌파 등과 같은 생체 신호 데이터를 획득하도록 구성된 모든 디바이스를 포함할 수 있다. 예를 들어, 선호도 결정 시스템은 HMD 디바이스뿐만 아니라, 헤드셋, 스마트링, 스마트 와치, 이어셋, 이어폰 등과 같이 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 신호 데이터를 획득하는 센서가 포함된 디바이스와, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 선호도 검출이 요구되는 영상 컨텐츠를 출력하는 컨텐츠 출력 디바이스와, 이들을 관리하는 전자 디바이스를 포함할 수 있다. 예를 들어, HMD 디바이스가 출력부를 구비하는 경우 선호도 결정 시스템은 HMD 디바이스 및 전자 디바이스를 포함할 수 있다. 여기서 생체 신호 데이터는 사용자의 시선, 뇌파, 맥박, 혈압, 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1a는 본 발명의 실시예에 따른 생체 신호 데이터를 이용한 선호도 결정 시스템을 설명하기 위한 개략도이다. 도 1b는 본 발명의 실시예에 따른 선호도 결정용 디바이스를 설명하기 위한 개략도이다.
먼저, 도 1a를 참조하면, 선호도 결정 시스템 (1000) 은 선호도 검출이 요구되는 영상 컨텐츠의 제공에 따른 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 신호 데이터를 기초로, 사용자의 관심 영역을 추출하고, 관심 영역에 대한 선호도를 분류하도록 구성된 시스템일 수 있다. 이때, 선호도 결정 시스템 (1000) 은, 생체 신호 데이터에 기초하여 사용자의 선호 여부를 결정하는 선호도 결정용 디바이스 (100) 와 생체 신호 데이터를 획득하기 위한 HMD 디바이스 (200) 로 구성될 수 있다.
이때, 선호도 결정용 디바이스 (100) 는 HMD 디바이스 (200) 와 통신 가능하도록 연결되고, HMD 디바이스 (200) 로 선호도 검출이 요구되는 영상 컨텐츠를 제공하도록 구성될 수 있다. 나아가, 선호도 결정용 디바이스 (100) 는 HMD 디바이스 (200) 를 통해서 획득된 생체 신호 데이터와 선호도 검출이 요구되는 영상 컨텐츠에 선호도를 결정하는 디바이스로서, PC (Personal Computer), 노트북, 워크스테이션 (workstation), 스마트 TV 등을 포함할 수 있다.
보다 구체적으로, 도 1b를 함께 참조하면, 선호도 결정용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함할 수 있다.
이때, 수신부 (110) 선호도 검출이 요구되는 영상 컨텐츠 제공에 따른 사용자의 생체 신호 데이터를 수신하도록 구성될 수 있다. 다양한 실시예에서 수신부 (110) 는 선호도 검출이 요구되는 영상 컨텐츠에 대한 시선 데이터, 나아가 영상 컨텐츠가 제공되는 기간 동안의 뇌파 데이터를 수신하도록 더 구성될 수 있다.
입력부 (120) 는 사용자로부터 선호도 검출용 디바이스 (100) 의 설정을 입력 받을 수 있다. 선호도 검출이 요구되는 영상 컨텐츠 제공에 따른 사용자의 응시를 입력 받을 수도 있다. 한편, 입력부 (120) 는 HMD (Head Mounted Display) 의 입력부일 수도 있으나, 이에 제한되는 것은 아니다.
출력부 (130) 는 선호도 검출이 요구되는 영상 컨텐츠에 대한 사용자의 관심도 및 선호도의 확인을 위한 인터페이스 화면을 제공하도록 구성될 수 있다. 여기서, 인터페이스 화면은 선호도 검출이 요구되는 영상 컨텐츠를 나타내는 표시 공간을 포함할 수 있다. 또한, 출력부 (130) 는 후술할 프로세서 (150) 에 의해 결정된 영상 컨텐츠 내의 관심 영역, 및 관심 영역에 대한 선호 여부를 표시하여 제공하도록 구성될 수 있다.
한편, 선호도 검출이 요구되는 영상 컨텐츠의 제공은 전술할 것에 제한되지 않고, 후술할 HMD 디바이스 (200) 의 출력부를 통해서도 제공될 수 있다.
저장부 (140) 는, 수신부 (110) 에 수신된 다양한 생체 신호 데이터, 입력부 (120) 를 통해 입력된 사용자의 설정 및 출력부 (130) 를 통해 제공되는 선호도 검출이 요구되는 영상 컨텐츠를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 결정된 영상 컨텐츠 내의 관심 영역, 및 관심 영역에 대한 선호 여부 등을 저장하도록 더욱 구성될 수 있다. 그러나, 이에 제한되지 않고, 저장부 (140) 는 프로세서 (150) 가 영상 컨텐츠에 대한 관심도 및 선호도를 결정하는 과정에서 생성되는 모든 데이터들을 저장하도록 구성될 수 있다.
프로세서는 (150) 는 HMD 디바이스 (200) 를 통해서 획득된 시선 데이터 및 뇌파 데이터에 기반하여, 영상 컨텐츠 내의 사용자의 관심 영역과 시선 도약 시점을 결정하고, 시선 도약 시점의 뇌파 데이터를 추출하여 결정된 관심 영역에 대한 선호 여부를 결정하도록 구성될 수 있다.
이때, 시선 도약 시점은, 사용자의 시선이 급변하는 시점으로, 단일 시점일 수도 있고, 미리 결정된 수준 이상으로 시선 속도가 나타나는 일련의 구간일 수도 있다.
한편, 프로세서 (150) 는 시선 위치 데이터를, 미리 결정된 시간 간격을 갖는 복수의 단위 구간으로 분할하고, 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 중 사용자의 시선이 급변하는 시선 도약 시점을 포함하는 시선 도약 구간을 결정하고, 시선 도약 구간에 해당하는 뇌파 데이터를 추출하도록 구성될 수 있다.
또한, 프로세서 (150) 는 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 각각을 시선 도약 구간, 또는 시선 고정 (fixation) 구간으로 분류하고, 분류된 복수의 단위 구간 중, 시선 도약 구간을 선별하도록 더 구성될 수 있다.
다양한 실시예에서 프로세서는 (150) 는, 시선 속도 데이터에 기초하여 복수의 단위 구간 중 적어도 하나의 구간에 가중치를 부여하고, 가중치에 기초하여, 복수의 단위 구간 각각을 시선 도약 구간, 또는 시선 고정 구간으로 분류하도록 더욱 구성될 수 있다.
한편, 프로세서 (150) 는 시선 도약 시점을 기준으로, 미리 결정된 시간 전, 및 후에 해당하는 뇌파 데이터를 추출하도록 구성될 수 있다. 이때, 프로세서 (150) 는 도약 시점 전의 뇌파 데이터가 도약 시점의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 있는 것으로 결정하도록 구성될 수 있다. 나아가, 프로세서 (150) 는 도약 시점 후의 뇌파 데이터가 도약 시점의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 없는 것으로 결정하도록 구성될 수 있다.
본 발명의 다른 실시예에서, 프로세서 (150) 는 시선 데이터, 및 뇌파 데이터를 보정하도록 더 구성될 수 있다.
한편, 본 발명의 또 다른 실시예에 따르면, 프로세서 (150) 는 시선 도약 시점에서의 뇌파 데이터에 기초하여, 사용자의 선호도를 예측하도록 구성된 예측 모델을 이용하여, 관심 영역에 대한 사용자의 선호 여부를 결정하도록 더 구성될 수 있다. 예를 들어, 프로세서 (150) 는 딥 러닝 알고리즘에 기초하여, 뇌파 데이터, 시선 데이터와 같은 다양한 생체 특징 데이터로부터 사용자의 관심 영역에 대한 선호 여부를 결정할 수 있다. 이때, 딥 러닝 알고리즘은 DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 중 적어도 하나일 수 있다. 나아가, 프로세서 (150) 는 분류 모델에 기초하여, 뇌파 데이터, 시선 데이터와 같은 다양한 생체 특징 데이터로부터 사용자의 관심 영역에 대한 선호 여부를 분류할 수 있다. 이때, 분류 모델은 랜덤 포레스트 (random forest), GNB (Gaussian naive Bayes), LNB (locally weighted naive Bay), 및 SVN (support vector machine) 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서 (150) 는 도약 시점의 뇌파 데이터에 기초하여 선호도를 결정할 수 있는 한, 보다 다양한 알고리즘에 기초할 수 있다.
본 발명의 또 다른 실시예에 따르면, 선호도 결정용 디바이스 (100) 는 0.5 hz 하이 필터 (high filter), 60 hz 스탑 필터 (stop filter), 1 내지 10 hz 밴드 패스 필터 (band pass filter) 중 적어도 하나의 필터에 기초하여 뇌파 데이터를 필터링하도록 구성된 필터부 (미도시) 를 더욱 포함할 수 있다.
다시 도 1a를 참조하면, HMD 디바이스 (200) 는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실을 위한 영상 컨텐츠를 제공함과 동시에, 사용자의 생체 신호 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 디바이스일 수 있다. 이때, HMD 디바이스 (200) 를 통해 제공되는 영상 컨텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브 (non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브 (interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽 (Stereoscopic) 영상이 포함될 수 있다.
HMD 디바이스 (200) 는 사용자의 머리에 착용 가능한 구조로 형성되고, 다양한 선호도 검출이 요구되는 영상 컨텐츠를 HMD 디바이스 (200) 내부의 출력부를 통해 처리하는 형태로 구현될 수 있다.
HMD 디바이스 (200) 가 출력부를 구비하는 경우 사용자가 HMD 디바이스 (200) 를 착용할 시 사용자가 영상 컨텐츠를 확인할 수 있도록 출력부의 일면이 사용자의 얼굴에 대향하도록 배치될 수 있다.
HMD 디바이스 (200) 의 일측에는 사용자의 뇌파 및 시선 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 적어도 하나의 센서는 사용자의 뇌파를 측정하는 뇌파 센서 및/또는 사용자의 응시 또는 시선을 추적하는 시선 추적 센서를 포함할 수 있다. 다양한 실시예에서 적어도 하나의 센서는 사용자의 눈 또는 얼굴을 촬영 가능한 위치 또는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 HMD 디바이스 (200) 를 착용할 시 사용자의 눈 또는 얼굴을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 데이터를 획득하거나 사용자의 피부에 접촉되어 사용자의 뇌전도 신호 (electroencephalography, EEG), 근전도 신호(electromyography, EMG) 또는 심전도 신호 (electrocardiogram, ECG) 등과 같은 뇌파 데이터를 획득할 수 있다. 본 명세서에서는 HMD 디바이스 (200) 가 사용자의 뇌파 및 시선 데이터를 획득하는 적어도 하나의 센서를 포함하는 것으로 설명되지만, 이에 제한되지 않고, HMD 디바이스 (200) 와 별도의 모듈을 통해 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서가 HMD 하우징에 장착되는 형식으로 구현될 수도 있다. HMD 디바이스 (200) 라는 표현은 이러한 모듈을 포함하거나 모듈 자체도 상정하도록 의도된다.
HMD 디바이스 (200) 는 선호도 결정용 디바이스 (100) 의 요청에 따라 사용자의 생체 신호 데이터를 획득하고, 획득된 생체 신호 데이터를 출력부 또는 수신부를 통해 선호도 결정용 디바이스 (100) 로 전달할 수 있다.
이와 같은 선호도 결정 시스템 (1000) 에 의해, 영상 컨텐츠에 대한 사용자의 관심도뿐만 아니라, 관심을 갖는 영역에 대한 선호 여부가 결정될 수 있다. 이러한 분석 결과는, 다양한 뉴로 마케팅에 활용될 수 있다.
이하에서는, 도 2, 도 3a 내지 3d를 참조하여, 본 발명의 다양한 실시예에 따른 선호도 결정 방법의 절차를 설명한다.
도 2는 본 발명의 실시예에 따른 선호도 결정 방법에 따라, 사용자의 생체 신호 데이터에 기반하여 선호 여부를 결정하는 방법을 설명하기 위한 개략적인 순서도이다. 도 3a는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, 영상 컨텐츠 제공에 의해 생성된 사용자의 시선 데이터를 예시적으로 도시한 것이다. 도 3b 및 3c는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, 사용자의 시선이 급격하게 변화하는 시선 도약 시점을 결정하는 단계를 예시적으로 도시한 것이다. 도 3d는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, 사용자의 선호 여부를 결정하는 단계를 예시적으로 도시한 것이다.
먼저, 본 발명의 일 실시예에 따른 선호도 결정 방법에 따르면, 영상 컨텐츠가 사용자에게 제공된다 (S210). 그 다음, 영상 컨텐츠가 제공되는 동안 측정된 일련의 시선 위치 데이터 또는 시선 속도 데이터를 포함하는 시선 데이터 및 뇌파 데이터가 수신된다 (S220). 그 다음, 시선 데이터에 기초하여 콘텐츠에 대한 사용자의 관심 영역이 결정되고 (S230), 시선 도약 시점이 결정된다 (S240). 다음으로, 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터가 추출되고 (S250), 마지막으로 관심 영역에 대한 사용자의 선호 여부가 결정된다 (S260).
보다 구체적으로, 영상 컨텐츠가 제공되는 단계 (S210) 에서, 사용자에게 호불호의 감정을 유도하는 선호도 검출이 요구되는 영상 컨텐츠가 제공될 수 있다.
본 발명의 일 실시예에 따르면, 영상 컨텐츠가 제공되는 단계 (S210) 에서, 이미지, 영화, 애니메이션, 광고, 홍보 영상, 게임, 전자 매뉴얼, 전자 백과사전 및 텍스트 중 적어도 하나의 컨텐츠가 제공될 수 있다.
다음으로 시선 데이터 및 뇌파 데이터가 수신되는 단계 (S220) 에서, 영상 컨텐츠의 제공 중에 측정된 일련의 데이터, 즉 일정한 기간 동안 획득된 시계열적 시선 데이터 및 뇌파 데이터가 획득될 수 있다.
이때, 본 발명의 특징에 따르면, 시선 데이터 및 뇌파 데이터가 수신되는 단계 (S220) 에서, 선호도 검출이 요구되는 영상 컨텐츠에 대한 응시를 포함하는 시선 데이터는 시선 위치 데이터, 시선 속도 데이터를 포함할 수 있다. 나아가, 시선데이터는 시선이 응시된 시선 응시 시간, 시선이 컨텐츠의 특정 오브젝트를 추적한 시선 추적 시간 또는 사용자의 눈이 깜박인 눈 깜박임 횟수 등을 더 포함할 수 있다.
예를 들어, 도 3a의 (a) 및 (b)를 함께 참조하면, 시선 데이터 및 뇌파 데이터가 수신되는 단계 (S220) 에서, HMD 디바이스를 통한 영상 컨텐츠 제공 및 사용자의 응시에 따른, 사용자의 시선 위치 데이터가 수신될 수 있다.
이때, 시선 위치 데이터는, 컨텐츠가 제공되는 화면을 기준으로, 변화되는 사용자의 시선의 고각 (elevation) 및 방위각 (azimuth) 에 기초하여 획득될 수 있다. 이때, 획득된 시선의 위치는 평면각 (radian) 단위로 표현 수 있으나, 이에 제한되는 것은 아니다. 한편 시선 위치 데이터는, 컨텐츠 제공 시간에 따른 시선의 고각 및 방위각으로 획득될 수도 있다.
본 발명의 다른 특징에 따르면, 시선 데이터 및 뇌파 데이터가 수신되는 단계 (S220) 이후에, 수신된 시선 데이터 및 뇌파 데이터가 보정되는 단계가 더욱 수행될 수 있다.
예를 들어, 보정되는 단계에서, 기 저장된 데이터로부터 미리 결정된 선호도를 갖는 관심과 연관된 뇌파 신호 패턴과 그렇지 않은 뇌파 신호 패턴이, 특정 개인에게 적용되도록 보정될 수 있다. 보다 구체적으로, 보정되는 단계에서, 사용자에게 감정이 대비되는 두 개의 컨텐츠가 제공되고, 각 컨텐츠를 응시하는 동안의 시선 도약 시점 및 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터, 즉 일련의 뇌파 패턴이 검출될 수 있다. 이때, 새롭게 검출된 뇌파 데이터는 미리 결정된 선호도를 갖는 관심과 연관된 뇌파 신호 패턴과 그렇지 않은 뇌파 신호 패턴과 매핑될 수 있다. 이러한 과정을 통해, 사용자 개개인에 대한 선호도가 보다 정확하게 예측될 수 있다.
다음으로, 콘텐츠에 대한 사용자의 관심 영역이 결정되는 단계 (S230) 에서, 사용자의 시선 데이터에 기초하여 컨텐츠에 대한 관심 영역이 결정될 수 있다. 이때, 컨텐츠에 대한 사용자의 시선은 사용자의 관심에 대응할 수 있다.
다음으로, 시선 도약 시점이 결정되는 단계 (S240) 에서 사용자의 시선이 급격하게 변화하는 시선 도약 시점이 결정될 수 있다.
본 발명의 특징에 따르면, 시선 도약 시점이 결정되는 단계 (S240) 에서, 시선 위치 데이터가 미리 결정된 시간 간격을 갖는 복수의 단위 구간으로 분할되고, 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 중 시선 도약 시점을 포함하는 시선 도약 구간이 결정될 수 있다.
본 발명의 다른 특징에 따르면, 시선 도약 시점이 결정되는 단계 (S240) 에서, 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 복수의 단위 구간 각각이 시선 도약 구간, 또는 시선 고정 구간으로 분류되고, 분류된 복수의 단위 구간 중, 시선 도약 구간이 선별될 수 있다.
예를 들어, 도 3b를 참조하면, 컨텐츠 제공 시간에 따른 고각 및 방위각의 시선 위치 (gaze position) 데이터는, 초 단위의 복수의 단위 시간 (302a, 302b, 302c, 302d, 302e, 302f 302g, 302i, 302h) 으로 분할될 수 있다. 그 다음, 복수의 구간 각각에서의 시선 속도 데이터, 즉 시선 이동 거리 및 시간에 기초하여 시선 도약 (Saccade) 구간 (302b, 302d, 302f, 302h) 및 시선 고정 (Fixation) 구간 (302a, 302c, 302e, 302g, 302i) 으로 분류될 수 있다. 즉, 도 3c를 더욱 참조하면, 시선 위치 데이터는, 시선 도약 또는 시선 고정이 진행된 구간에 대하여 라벨링되어 나타날 수 있다.
이때, 시선 도약 구간 및 시선 고정 구간의 분류는, 시선 속도 데이터에 기초하여 복수의 단위 구간 중 적어도 하나의 구간에 가중치를 부여함으로써 수행될 수 있다. 보다 구체적으로, 복수의 구간으로 분할된 시선 위치 데이터 각각에 대하여 해당 단위 구간에 대한 시선의 속력이 클수록 가중치가 부가될 수 있다.
예를 들어, 시선 도약 구간 및 시선 고정 구간의 분류를 위해, 복수의 단위 구간으로 분할된 시선 위치 데이터 (x(t), y(t)) 각각에 대하여, 시선의 속력
Figure PCTKR2020005071-appb-I000001
그 다음, k-평균-클러스터링 (k-means-clustering) 을 이용하여 복수의 단위 구간 제1 그룹 (V1), 및 제1 그룹보다 속도가 낮은 제2 그룹 (V2) 으로 분류된다. 이때, 두 개의 그룹은 하기 수학식 1에 의해 분류될 수 있다.
[수학식 1]
Figure PCTKR2020005071-appb-I000002
그 다음, 가중치 (ω) 는 제1 그룹 (V1) 에 속한 샘플의 개수의 역수 즉, 구간의 개수의 역수로 설정되고 (ω = 1/|V1|), 제1 그룹(V1) 에 속한 구간인
Figure PCTKR2020005071-appb-I000003
에 가중치 ω가 할당될 수 있다. 이때, 제2 그룹 (V2) 에 속한 구간인
Figure PCTKR2020005071-appb-I000004
에 대하여 0이 가중치로 할당될 수 있다. 다음으로, 두 개의 그룹으로 분류된, 복수의 단위 구간의 시선 위치 데이터는, 할당된 가중치 값 W(t)을 이용하여, 시선 도약 구간 및 시선 고정 구간, 나아가 시선 도약 구간 및 시선 고정 구간으로 분류되지 않은 'unknown'으로 분류될 수 있다. 보다 구체적으로, 특정 구간에 할당된 가중치 값 W(t)이, 가중치의 평균보다 표준편차 이상 큰 경우, 특정 구간은 시선 도약 구간으로 분류될 수 있다. 가중치 값 W(t)이 0인 구간
Figure PCTKR2020005071-appb-I000005
중,
Figure PCTKR2020005071-appb-I000006
인 구간은 시선 고정 구간으로 분류될 수 있다. 이때, 'unknown'의 구간은, 블랭크 (blank) 인 구간의 길이가 미리 결정된 수준 이하이고, 블랭크인 구간의 직전과 직후에 시선 위치의 평균 속력이 각각
Figure PCTKR2020005071-appb-I000007
일때, 블랭크인 구간의 평균 속력
Figure PCTKR2020005071-appb-I000008
가|
Figure PCTKR2020005071-appb-I000009
|＞min [|
Figure PCTKR2020005071-appb-I000010
|, |
Figure PCTKR2020005071-appb-I000011
|]를 만족하는 경우, 두 그룹 중 평균 속력에 가까운 구간에 편입될 수 있다.
한편, 시선 도약 시점이 결정되는 단계 (S240) 는 전술한 방법에 제한되지 않고, 더욱 다양한 방법으로 수행될 수 있다.
다음으로, 뇌파 데이터가 추출되는 단계 (S250) 에서, 시선 도약 시점을 포함하는 시선 도약 구간에 해당하는 뇌파 데이터를 추출될 수 있다.
이때, 시선 도약 구간은, 시선 도약 시점을 기준으로 전 (예를 들어, 시선 도약 0.3초 전) 및/또는 후 (시선 도약 0.3초 후) 에 해당하는 기간을 의미할 수 있다.
본 발명의 다른 특징에 따르면, 뇌파 데이터가 추출되는 단계 (S250) 에서, 시선 도약 시점을 기준으로, 미리 결정된 시간 전, 및 후에 해당하는 뇌파 데이터가 추출될 수도 있다.
마지막으로, 선호 여부가 결정되는 단계 (S260) 에서, 전술한 관심 영역이 결정되는 단계 (S230) 의 결과로 결정된 컨텐츠 내의 관심 영역에 대한 사용자의 선호 여부가 결정될 수 있다.
본 발명의 특징에 따르면, 선호 여부가 결정되는 단계 (S260) 에서, 뇌파 데이터의 특징에 따라 관심 영역에 대한 선호도가 결정될 수 있다.
예를 들어, 도 3d를 참조하면, 선호 여부가 결정되는 단계 (S260) 에서, 도약 시점 전 (예를 들어, -0.2 초) 의 뇌파 데이터가 도약 시점 (예를 들어, 0.0) 의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 있는 것으로 결정될 수 있다. 나아가, 선호 여부가 결정되는 단계 (S260) 에서, 도약 시점 후 (예를 들어, 0.2 초) 의 뇌파 데이터가 도약 시점 (예를 들어, 0.0) 의 뇌파 데이터보다 감쇠할 경우, 관심 영역에 대한 선호가 없는 것으로 결정될 수 있다.
본 발명의 또 다른 특징에 따르면, 선호 여부가 결정되는 단계 (S260) 에서, 시선 도약 시점에서의 뇌파 데이터에 기초하여, 사용자의 선호도를 예측하도록 구성된 예측 모델을 이용하여, 관심 영역에 대한 사용자의 선호 여부가 결정될 수 있다.
이때, 예측 모델은, 시선 도약 시점에서 획득된 사용자의 뇌파 데이터를 학습 데이터로 이용하여 선호도를 분류하도록 구성된 모델로서, 뇌파의 패턴에 기초하여 관심 영역에 대한 선호가 있음 또는 선호가 없음을 분류하도록 구성될 수 있다. 한편, 예측 모델은 딥 러닝 알고리즘 또는 분류 모델에 기초하여 선호도를 예측 (분류) 하도록 구성된 모델일 수 있다. 예를 들어, 선호 여부가 결정되는 단계 (S260) 에서, DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 중 적어도 하나에 기초한 예측 모델이 이용될 수 있다. 나아가, 선호 여부가 결정되는 단계 (S260) 에서, 랜덤 포레스트 (random forest), GNB (Gaussian naive Bayes), LNB (locally weighted naive Bay), 및 SVN (support vector machine) 중 적어도 하나에 기초한 예측 모델이 이용될 수 있다.
그러나, 전술한 것에 제한되지 않고 선호 여부가 결정되는 단계 (S260) 에서, 도약 시점의 뇌파 데이터에 기초하여 선호도를 결정할 수 있는 한, 보다 다양한 알고리즘에 기초한 모델이 적용될 수 있다.
본 발명의 특징에 따르면, 선호 여부가 결정되는 단계 (S260) 의 결과에 기초하여, 영상 컨텐츠 내에, 관심 영역을 선호 여부에 따라 상이하게 표시하여 제공하는 단계가 더욱 수행될 수 있다.
예를 들어, 관심 영역을 선호 여부에 따라 상이하게 표시하여 제공하는 단계에서, 컨텐츠 내에서 사용자가 응시한 영역에 대하여 관심도가 높을수록 붉은색을, 관심도가 낮을수록 푸른색을 띠도록 출력될 수 있다.
이때, 관심 영역에 대한 선호도는, 관심 영역을 선호 여부에 따라 O (선호 있음), 또는 X (선호 없음) 로 표시하여 제공함으로써 구별될 수 있다.
한편, 관심도 및 선호도의 표시 방법은 이에 제한되지 않는다. 예를 들어, 관심 영역을 상기 선호 여부에 따라 상이하게 표시하여 제공하는 단계에서, 컨텐츠 내에서의 관심 영역은 단일의 색상 또는 패턴을 갖는 영역으로 표시될 수 있다. 이때, 결정된 관심 영역이 단일의 색상을 갖는 경우, 패턴을 차별화 하여 표시함으로써 선호 여부가 구별될 수 있다. 나아가, 결정된 관심 영역이 단일의 패턴을 갖는 경우, 색상을 차별화 하여 표시함으로써 선호 여부가 구별될 수 있다. 또한, 관심 영역이 단일의 색상을 갖는 경우, 이의 채도, 대비도, 밝기 등을 차별화 하여 표시함으로써 선호 여부가 구별될 수 있다.
이와 같은 본 발명의 다양한 실시예에 따른 선호도 결정 방법에 의해 사용자에게 제공된 컨텐츠 내의 관심 영역에 대한 선호도가 결정되고 컨텐츠 내에 표시되어 제공될 수 있다.
이하에서는, 도 4a 내지 4e를 참조하여, 본 발명의 다양한 실시예에 따른 선호도 결정 방법에 의해 결정된 관심 영역에 대한 선호도의 결정 절차를 예시적으로 설명한다.
도 4a 내지 4e는 본 발명의 일 실시예에 따른 선호도 결정 방법에 따라, HMD 디바이스를 통한 영상 컨텐츠의 제공에 따른 사용자의 관심 영역 및 관심 영역에 대하여 결정된 선호 여부를 예시적으로 도시한 것이다.
먼저, 도 4a를 참조하면, 사용자는 HMD 디바이스 (200) 를 통해 선호도 검출이 요구되는 영상 컨텐츠를 제공받는다. 이때, 영상 컨텐츠는 선호 여부를 확인하고자 하는 하나 이상의 오브젝트를 포함할 수 있다.
보다 구체적으로, 사용자는 HMD 디바이스 (200) 의 출력부를 통해 나타난 차량 광고를 확인할 수 있다. 사용자는, 차량 광고가 제공되는 동안 차, 배경 등 다양한 오브젝트를 응시할 수 있고, HMD 디바이스 (200) 에 미리 장착된 시선 추적 센서 및 뇌파 측정 센서에 의해, 차량 광고가 사용자에게 제공되는 동안 시선 데이터 및 뇌파 데이터가 획득될 수 있다. 획득된 시선 데이터 및 뇌파 데이터는 본 발명의 선호도 결정용 디바이스 (100) 에 수신될 수 있다.
다음으로, 도 4b를 참조하면, 본 발명의 선호도 결정용 디바이스 (100) 의 출력부 (130) 가 도시된다. 이때, 출력부 (130) 는 영상 컨텐츠에 대한 사용자의 응시에 따른 관심도 및 선호 여부에 따라 구별되게 표시하여 제공할 수 있다.
보다 구체적으로, 사용자는 차량 광고가 제시되는 동안, 차량의 헤드라이트 부분, 앞 바퀴, 뒷 바퀴, 후면부, 배경의 일 부분을 응시한 것으로 나타난다. 즉, 사용자의 응시 영역은 사용자가 상기 차량 광고에 대하여 관심도가 높은 부분을 의미할 수 있다. 이때, 출력부 (130) 는, 사용자가 응시한 영역에 대하여 관심도가 높을수록 붉은색을, 관심도가 낮을수록 푸른색을 띠도록 출력할 수 있다. 이때, 출력부 (130) 는, 관심 영역을, 선호 여부에 따라 O (선호 있음), 또는 X (선호 없음) 로 표시하여 제공할 수 있다. 즉, 출력 결과에 따르면, 관심도가 높은 차량의 헤드라이트 부분, 앞 바퀴, 뒷 바퀴에서 O 표시가 나타나는바, 사용자는 차량의 헤드라이트 부분, 앞 바퀴, 뒷 바퀴에 대하여 높은 선호도를 갖고 있는 것으로 나타난다. 이와 대조적으로, 관심도가 높은 차량의 후면부는 X 표시가 나타나는 바, 사용자는 차량의 후면부에 높은 관심을 갖지만 선호도가 낮은 것으로 나타난다.
이러한 결과는, 사용자가 제공된 광고 속 차량에 대하여 전반적인 관심을 갖고 있고, 특히 헤드라이트 부분 및 바퀴 휠 부분에 높은 선호도를 갖고 있으며, 상기 차량의 후면부와 같은 디자인에 대한 선호도가 낮을 수 있음을 의미할 수 있다.
이와 같이 본 발명의 선호도 결정용 디바이스 (100) 에 의해, 영상 컨텐츠에 대한 사용자의 응시에 따른 관심도 및 선호 여부가 분석되어 제공될 수 있고, 분석된 결과들은 광고 마케팅에 더욱 활용될 수 있다.
도 4c를 참조하면, 본 발명의 다른 실시예에서, 사용자는 HMD 디바이스 (200) 를 통해 선호도 검출이 요구되는 영상 컨텐츠를 제공받는다. 이때, 영상 컨텐츠는 선호 여부를 확인하고자 복수의 오브젝트를 포함할 수 있다. 보다 구체적으로, 사용자는 HMD 디바이스 (200) 의 출력부를 통해 다양한 디자인의 수프 캔 (Soup can) a, b, c 및 d를 제공 받을 수 있다. 사용자는, 수프 캔들이 제공되는 동안, 수프 캔의 제품 명, 폰트, 디자인, 수프 이미지 등의 다양한 오브젝트 영역을 응시할 수 있다. 이때, HMD 디바이스 (200) 에 미리 장착된 시선 추적 센서 및 뇌파 측정 센서에 의해, 수프 캔들이 사용자에게 제공되는 동안의 시선 데이터 및 뇌파 데이터가 획득될 수 있다. 다음으로, HMD 디바이스 (200) 에 의해 획득된 시선 데이터 및 뇌파 데이터는 본 발명의 선호도 결정용 디바이스 (100) 에 수신될 수 있다.
다음으로, 도 4d를 참조하면, 본 발명의 선호도 결정용 디바이스 (100) 의 출력부 (130) 가 도시된다. 보다 구체적으로, 사용자는 수프 캔이 제시되는 동안, a, b, c 및 d의 모든 수프 캔을 응시한 것으로 나타난다. 출력부 (130) 는, 일정 영역에 대하여 관심도가 높을수록 붉은색을, 관심도가 낮을수록 푸른색을 띠도록 출력할 수 있음에 따라, 출력된 결과에 의하면 사용자는 수프 캔의 제품 이름, 그 아래에 도시된 수프 이미지를 집중적으로 응시한 것으로 나타난다. 나아가, 출력부 (130) 는, 관심 영역을 선호 여부에 대한 O (선호 있음), 또는 X (선호 없음) 로 표시하여 제공할 수 있음에 따라, 출력된 결과에 의하면 사용자가 c의 수프 캔의 제품 이름, d의 수프 캔의 제품 이름, 및 d의 수프 캔의 수프 이미지에 대하여 높은 선호도를 갖고 있는 것으로 나타난다. 이와 대조적으로, 사용자는 a 및 c의 수프 캔의 수프 이미지에 대하여 높은 관심을 갖지만 선호도가 낮은 것으로 나타난다.
이러한 결과는, 사용자가 다른 수프 캔들에 비하여 a 및 b의 수프 캔의 제품 이름의 폰트, 및 d의 수프 캔의 수프 이미지에 대하여 높은 선호도를 갖고 있는 것을 의미할 수 있다. 나아가, a 및 c의 수프 캔의 수프 이미지에 대하여 낮은 선호도를 갖고 있는 것을 의미할 수 있다.
즉, 본 발명의 선호도 결정용 디바이스 (100) 는 영상 컨텐츠에 대하여 사용자의 응시에 따른 관심도 및 선호 여부에 따라 구별되게 표시하여 제공할 수 있다. 한편 선호도 결정용 디바이스 (100) 는 더욱 다양한 정보를 출력하여 제공할 수 있다.
도 4e를 함께 참조하면, 선호도 결정용 디바이스 (100) 는, 컨텐츠 내에서 결정된 사용자의 관심 영역 및 이들의 선호 여부에 기초하여, 선호도에 대한 정보들을 출력하여 제공하도록 더욱 구성될 수 있다. 보다 구체적으로, 도 4c 및 4d에서 전술한, 관심 영역 및 이에 대한 선호도가 결정된 수프 캔들의 경우, 수프 캔의 제품 이름 부분에 대하여 관심도 및 선호도가 높았던 c 및 d의 수프 캔이 글자에 대한 선호도가 높은 것으로 출력될 수 있다. 나아가, 수프 이미지에 대하여 관심도 및 선호도가 높았던 d가 수프 이미지에 대하여 선호도가 높은 것으로 출력될 수 있다.
이와 같이 본 발명의 선호도 결정용 디바이스 (100) 에 의해, 영상 컨텐츠에 대한 사용자의 응시에 따른 관심도 및 선호 여부가 분석되고, 선호도에 대한 다양한 정보들이 제공될 수 있다. 이때, 분석된 결과들은 제품의 이름, 이미지 등을 결정하기 위한 마케팅에 더욱 활용될 수 있다.
한편, 본 발명의 선호도 결정용 디바이스 (100) 에 의한 선호도의 출력은, 관심 영역에 대한 선호도를 전술한 O 또는 X 표시에 제한된 것이 아니다. 예를 들어, 선호도 결정용 디바이스 (100) 는, 컨텐츠 내에서의 관심 영역을 단일의 색상 또는 패턴을 갖는 영역으로 표시할 수 있다. 이때, 선호도 결정용 디바이스 (100) 는, 결정된 관심 영역이 단일의 색상을 갖는 경우, 패턴을 차별화 하여 표시함으로써 선호 여부가 구별되어 출력되도록 구성될 수 있고, 결정된 관심 영역이 단일의 패턴을 갖는 경우, 색상을 차별화하여 표시함으로써 선호 여부가 구별되어 출력되도록 구성될 수 있다. 또한, 관심 영역이 단일의 색상을 갖는 경우, 이의 채도, 대비도, 밝기 등을 차별화 하여 표시함으로써 선호 여부가 구별될 수 있다.
본 발명의 실시예에 따른 선호도 결정 방법 및 디바이스는 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 디바이스가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 디바이스는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
100: 선호도 결정용 디바이스, 110: 수신부, 120: 입력부, 130: 출력부, 140: 저장부, 150: 프로세서, 200: HMD 디바이스, 1000: 선호도 결정 시스템, 302a, 302b, 302c, 302d, 302e, 302f, 302g, 302h, 302i: 복수의 단위 시간
[이 발명을 지원한 국가연구개발사업]
과제고유번호: 1711093794, 부처명: 과학기술정보통신부, 연구관리 전문기관: 재단법인 기가코리아사업단, 연구사업명: 범부처 Giga KOREA사업, 연구과제명: 5G 기반 인터렉티브 실감 미디어 기술 개발 및 실증, 기여율: 1/1, 주관기관: 에스케이브로드밴드(주), 연구기간: 20190101 ~ 20191231

Claims (24)

  1. 프로세서에 의해 구현되는 선호도 결정 방법으로서,
    영상 컨텐츠를 사용자에게 제공하는 단계;
    상기 컨텐츠가 제공되는 동안 측정된 일련의 시선 위치 데이터 또는 시선 속도 데이터를 포함하는 시선 데이터 및 뇌파 데이터를 수신하는 단계;
    상기 시선 데이터에 기초하여 상기 콘텐츠에 대한 상기 사용자의 관심 영역을 결정하는 단계;
    상기 시선 데이터에 기초하여, 시선 도약 시점 (saccade onset time) 을 결정하는 단계;
    상기 뇌파 데이터에 기초하여, 상기 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 단계;
    상기 기간 동안의 뇌파 데이터에 기초하여, 상기 관심 영역에 대한 상기 사용자의 선호 여부를 결정하는 단계를 포함하는, 선호도 분류 방법.
  2. 제1항에 있어서,
    상기 시선 데이터는, 상기 시선 위치 데이터 및 상시 시선 속도 데이터를 포함하고,
    상기 시선 도약 시점을 결정하는 단계는,
    상기 시선 위치 데이터를, 미리 결정된 시간 간격을 갖는 복수의 단위 구간으로 분할하는 단계, 및
    상기 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 상기 복수의 단위 구간 중 상기 사용자의 시선이 급변하는 상기 시선 도약 시점을 포함하는 시선 도약 구간을 결정하는 단계를 더 포함하고,
    상기 뇌파 데이터를 추출하는 단계는,
    상기 시선 도약 구간에 해당하는 뇌파 데이터를 추출하는 단계를 포함하는, 선호도 결정 방법.
  3. 제2항에 있어서,
    상기 시선 도약 구간을 결정하는 단계는,
    상기 복수의 단위 구간 각각에서의 상기 시선 속도 데이터에 기초하여, 상기 복수의 단위 구간 각각을 상기 시선 도약 구간, 또는 시선 고정 (fixation) 구간으로 분류하는 단계, 및
    분류된 복수의 단위 구간 중, 상기 시선 도약 구간을 선별하는 단계를 더 포함하는, 선호도 결정 방법.
  4. 제3항에 있어서,
    상기 시선 도약 구간, 또는 시선 고정 구간으로 분류하는 단계는,
    상기 시선 속도 데이터에 기초하여 상기 복수의 단위 구간 중 적어도 하나의 구간에 가중치를 부여하는 단계, 및
    상기 가중치에 기초하여, 상기 복수의 단위 구간 각각을 상기 시선 도약 구간, 또는 시선 고정 구간으로 분류하는 단계를 더 포함하는, 선호도 결정 방법.
  5. 제4항에 있어서,
    상기 가중치를 부여하는 단계는,
    상기 시선 속도 데이터에 기초하여, 상기 복수의 단위 구간을 제1 그룹, 또는 상기 제1 그룹에 비하여 시선 속도가 낮은 제2 그룹으로 분류하는 단계;
    상기 복수의 단위 구간 중, 상기 제1 그룹에 속한 구간의 개수에 대한 역수를 상기 제1 그룹에 대한 가중치로, 0을 상기 제2 그룹에 대한 가중치로 결정하는 단계, 및
    상기 제1 그룹 및 상기 제2 그룹 각각에 대하여 결정된 가중치를, 각각 부여하는 단계를 포함하고,
    상기 가중치에 기초하여, 상기 복수의 단위 구간 각각을 상기 시선 도약 구간, 또는 시선 고정 구간으로 분류하는 단계는,
    상기 제1 그룹에 대한 가중치에 기초하여 제1 그룹으로 분류된 복수의 단위 구간 중 도약 구간을 결정하는 단계, 및
    제2 그룹으로 분류된 복수의 단위 구간에 대한 시선 속도 데이터에 기초하여 시선 고정 구간을 결정하는 단계를 포함하는, 선호도 결정 방법.
  6. 제1항에 있어서,
    상기 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 단계 이후에 수행되는,
    0.5 hz 하이 필터 (high filter), 60 hz 스탑 필터 (stop filter), 1 내지 10 hz 밴드 패스 필터 (band pass filter) 중 적어도 하나의 필터에 기초하여 상기 뇌파 데이터를 필터링하는 단계를 더 포함하는, 선호도 결정 방법.
  7. 제1항에 있어서,
    상기 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하는 단계는,
    상기 시선 도약 시점을 기준으로, 미리 결정된 시간 전, 및 후에 해당하는 뇌파 데이터를 추출하는 단계를 포함하는, 선호도 결정 방법.
  8. 제7항에 있어서,
    상기 관심 영역에 대한 상기 사용자의 선호 여부를 결정하는 단계는,
    상기 도약 시점 전의 뇌파 데이터가 상기 도약 시점의 뇌파 데이터보다 감쇠할 경우, 상기 관심 영역에 대한 선호가 있는 것으로 결정하는 단계를 포함하는, 선호도 결정 방법.
  9. 제7항에 있어서,
    상기 관심 영역에 대한 상기 사용자의 선호 여부를 결정하는 단계는,
    상기 도약 시점 이후의 뇌파 데이터가 상기 도약 시점의 뇌파 데이터보다 감쇠할 경우, 상기 관심 영역에 대한 선호가 있는 것으로 결정하는 단계를 포함하는, 선호도 결정 방법.
  10. 제1항에 있어서,
    상기 시선 데이터, 및 뇌파 데이터를 수신하는 단계 이후에 수행되는,
    상기 시선 데이터, 및 상기 뇌파 데이터를 보정하는 단계를 더 포함하는, 선호도 결정 방법.
  11. 제1항에 있어서,
    상기 관심 영역에 대한 상기 사용자의 선호 여부를 결정하는 단계는,
    상기 시선 도약 시점에서의 뇌파 데이터에 기초하여, 상기 사용자의 선호도를 예측하도록 구성된 예측 모델을 이용하여, 상기 관심 영역에 대한 상기 사용자의 선호 여부를 결정하는 단계를 더 포함하는, 선호도 결정 방법.
  12. 제1항에 있어서,
    상기 컨텐츠 내에, 상기 관심 영역을 상기 선호 여부에 따라 상이하게 표시하여 제공하는 단계를 더 포함하는, 선호도 결정 방법.
  13. 영상 컨텐츠를 사용자에게 제공하도록 구성된 출력부;
    상기 컨텐츠가 제공되는 동안 측정된 일련의 시선 위치 데이터 또는 시선 속도 데이터를 포함하는 시선 데이터, 및 뇌파 데이터를 수신하도록 구성된 수신부, 및
    상기 수신부 및 상기 출력부와 통신하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    상기 시선 데이터에 기초하여 상기 콘텐츠에 대한 상기 사용자의 관심 영역을 결정하고, 상기 시선 데이터에 기초하여, 시선 도약 시점 (saccade onset time) 을 결정하고, 상기 뇌파 데이터에 기초하여, 상기 시선 도약 시점을 포함하는 기간 동안의 뇌파 데이터를 추출하고, 상기 기간 동안의 뇌파 데이터에 기초하여, 상기 관심 영역에 대한 상기 사용자의 선호 여부를 결정하도로 구성된, 선호도 결정용 디바이스.
  14. 제13항에 있어서,
    상기 시선 데이터는, 상기 시선 위치 데이터 및 상시 시선 속도 데이터를 포함하고,
    상기 프로세서는,
    상기 시선 위치 데이터를, 미리 결정된 시간 간격을 갖는 복수의 단위 구간으로 분할하고,
    상기 복수의 단위 구간 각각에서의 시선 속도 데이터에 기초하여, 상기 복수의 단위 구간 중 상기 사용자의 시선이 급변하는 상기 시선 도약 시점을 포함하는 시선 도약 구간을 결정하고, 상기 시선 도약 구간에 해당하는 뇌파 데이터를 추출하도록 더 구성된, 선호도 결정용 디바이스.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 복수의 단위 구간 각각에서의 상기 시선 속도 데이터에 기초하여, 상기 복수의 단위 구간 각각을 상기 시선 도약 구간, 또는 시선 고정 (fixation) 구간으로 분류하고, 분류된 복수의 단위 구간 중, 상기 시선 도약 구간을 선별하도록 더 구성된, 선호도 결정용 디바이스.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 시선 속도 데이터에 기초하여 상기 복수의 단위 구간 중 적어도 하나의 구간에 가중치를 부여하고, 상기 가중치에 기초하여, 상기 복수의 단위 구간 각각을 상기 시선 도약 구간, 또는 시선 고정 구간으로 분류하도록 더 구성된, 선호도 결정용 디바이스.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 시선 속도 데이터에 기초하여, 상기 복수의 단위 구간을 제1 그룹, 또는 상기 제1 그룹에 비하여 시선 속도가 낮은 제2 그룹으로 분류하고, 상기 복수의 단위 구간 중, 상기 제1 그룹에 속한 구간의 개수에 대한 역수를 상기 제1 그룹에 대한 가중치로, 0을 상기 제2 그룹에 대한 가중치로 결정하고, 상기 제1 그룹 및 상기 제2 그룹 각각에 대하여 결정된 가중치를, 각각 부여하고, 상기 제1 그룹에 대한 가중치에 기초하여 제1 그룹으로 분류된 복수의 단위 구간 중 도약 구간을 결정하고, 제2 그룹으로 분류된 복수의 단위 구간에 대한 시선 속도 데이터에 기초하여 시선 고정 구간을 결정하도록 더 구성된, 선호도 결정용 디바이스.
  18. 제13항에 있어서,
    0.5 hz 하이 필터 (high filter), 60 hz 스탑 필터 (stop filter), 1 내지 10 hz 밴드 패스 필터 (band pass filter) 중 적어도 하나의 필터에 기초하여 상기 뇌파 데이터를 필터링하도록 구성된 필터부를 더 포함하는, 선호도 결정용 디바이스.
  19. 제13항에 있어서,
    상기 프로세서는,
    상기 시선 도약 시점을 기준으로, 미리 결정된 시간 전, 및 후에 해당하는 뇌파 데이터를 추출하도록 구성된, 선호도 결정용 디바이스.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 도약 시점 전의 뇌파 데이터가 상기 도약 시점의 뇌파 데이터보다 감쇠할 경우, 상기 관심 영역에 대한 선호가 있는 것으로 결정하도록 구성된, 선호도 결정용 디바이스.
  21. 제19항에 있어서,
    상기 프로세서는,
    상기 도약 시점 이후의 뇌파 데이터가 상기 도약 시점의 뇌파 데이터보다 감쇠할 경우, 상기 관심 영역에 대한 선호가 있는 것으로 결정하도록 구성된, 선호도 결정용 디바이스.
  22. 제13항에 있어서,
    상기 프로세서는,
    상기 시선 데이터, 및 상기 뇌파 데이터를 보정하도록 더 구성된, 선호도 결정용 디바이스.
  23. 제13항에 있어서,
    상기 프로세서는,
    상기 시선 도약 시점에서의 뇌파 데이터에 기초하여, 상기 사용자의 선호도를 예측하도록 구성된 예측 모델을 이용하여, 상기 관심 영역에 대한 상기 사용자의 선호 여부를 결정하도록 더 구성된, 선호도 결정용 디바이스.
  24. 제13항에 있어서,
    상기 출력부는,
    상기 컨텐츠 내에, 상기 관심 영역을 상기 선호 여부에 따라 상이하게 표시하여 제공하도록 더 구성된, 선호도 결정용 디바이스.
PCT/KR2020/005071 2019-08-29 2020-04-16 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스 WO2021040181A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022508802A JP2022545868A (ja) 2019-08-29 2020-04-16 選好度決定方法及びそれを利用した選好度決定用デバイス
US17/638,824 US20220273210A1 (en) 2019-08-29 2020-04-16 Method for determining preference, and device for determining preference using same
US17/971,518 US20230043838A1 (en) 2019-08-29 2022-10-21 Method for determining preference, and device for determining preference using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0106883 2019-08-29
KR1020190106883A KR20210026305A (ko) 2019-08-29 2019-08-29 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/638,824 A-371-Of-International US20220273210A1 (en) 2019-08-29 2020-04-16 Method for determining preference, and device for determining preference using same
US17/971,518 Continuation US20230043838A1 (en) 2019-08-29 2022-10-21 Method for determining preference, and device for determining preference using same

Publications (1)

Publication Number Publication Date
WO2021040181A1 true WO2021040181A1 (ko) 2021-03-04

Family

ID=74683613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005071 WO2021040181A1 (ko) 2019-08-29 2020-04-16 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스

Country Status (4)

Country Link
US (2) US20220273210A1 (ko)
JP (1) JP2022545868A (ko)
KR (1) KR20210026305A (ko)
WO (1) WO2021040181A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576478A (zh) * 2021-04-23 2021-11-02 西安交通大学 一种基于脑电信号的图像情感分类方法及系统及装置
KR20240016815A (ko) 2022-07-29 2024-02-06 주식회사 마블러스 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법
CN115439921A (zh) * 2022-09-22 2022-12-06 徐州华讯科技有限公司 一种基于眼动图推理的图像偏好预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110100271A (ko) * 2008-12-09 2011-09-09 뉴로포커스, 인크. 신경-반응 데이터를 이용한 브레인 패턴 분석기
JP2012085747A (ja) * 2010-10-18 2012-05-10 Panasonic Corp 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20150137307A (ko) * 2014-05-29 2015-12-09 경북대학교 산학협력단 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체
US20190079917A1 (en) * 2017-09-14 2019-03-14 Massachusetts Institute Of Technology Predicting Native Language From Gaze

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5624512B2 (ja) * 2011-05-02 2014-11-12 パナソニック株式会社 コンテンツ評価装置、方法、及びそのプログラム
JP6201520B2 (ja) * 2013-08-21 2017-09-27 大日本印刷株式会社 生理指標を用いる視線分析システムおよび方法
US10769779B2 (en) * 2015-09-24 2020-09-08 Vuno, Inc. Method for increasing reading efficiency in medical image reading process using gaze information of user and apparatus using the same
WO2019114955A1 (en) * 2017-12-13 2019-06-20 Telefonaktiebolaget Lm Ericsson (Publ) Detecting user attention in immersive video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110100271A (ko) * 2008-12-09 2011-09-09 뉴로포커스, 인크. 신경-반응 데이터를 이용한 브레인 패턴 분석기
JP2012085747A (ja) * 2010-10-18 2012-05-10 Panasonic Corp 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20150137307A (ko) * 2014-05-29 2015-12-09 경북대학교 산학협력단 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체
US20190079917A1 (en) * 2017-09-14 2019-03-14 Massachusetts Institute Of Technology Predicting Native Language From Gaze

Also Published As

Publication number Publication date
US20220273210A1 (en) 2022-09-01
US20230043838A1 (en) 2023-02-09
KR20210026305A (ko) 2021-03-10
JP2022545868A (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2021040181A1 (ko) 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스
Abdelrahman et al. Cognitive heat: exploring the usage of thermal imaging to unobtrusively estimate cognitive load
WO2020251135A1 (ko) 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
Kapitaniak et al. Application of eye-tracking in drivers testing: A review of research
Smith et al. Transmitting and decoding facial expressions
Samad et al. A feasibility study of autism behavioral markers in spontaneous facial, visual, and hand movement response data
US20100249538A1 (en) Presentation measure using neurographics
WO2020159093A1 (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
Patel et al. A wearable multi-modal bio-sensing system towards real-world applications
WO2009116043A1 (en) Method and system for determining familiarity with stimuli
JP2004529702A (ja) ポリグラフ検査のための熱画像解析
US20220148728A1 (en) System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein
US11607160B2 (en) System and method for multi modal deception test scored by machine learning
Kotowski et al. Validation of Emotiv EPOC+ for extracting ERP correlates of emotional face processing
US20200042090A1 (en) Information processing device, information processing method, and program
Yamanoi et al. Dominance of recognition of words presented on right or left eye-Comparison of Kanji and Hiragana
Ladouce et al. Capturing cognitive events embedded in the real world using mobile electroencephalography and eye-tracking
WO2020032400A1 (ko) 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
Zhao et al. A passive BCI for monitoring the intentionality of the gaze-based moving object selection
Gheorghe et al. Using eye-tracking technology in Neuromarketing
Ge et al. Improving intention detection in single-trial classification through fusion of EEG and eye-tracker data
Zhang et al. Visual attention and cognitive process in construction hazard recognition: Study of fixation-related potential
WO2016200224A1 (ko) 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020085581A1 (ko) 영상평가시스템 및 영상평가방법
EP4060617A1 (en) Image processing system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858196

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508802

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858196

Country of ref document: EP

Kind code of ref document: A1