WO2019054598A1 - 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 - Google Patents

시선 추적 방법 및 이를 수행하기 위한 사용자 단말 Download PDF

Info

Publication number
WO2019054598A1
WO2019054598A1 PCT/KR2018/004562 KR2018004562W WO2019054598A1 WO 2019054598 A1 WO2019054598 A1 WO 2019054598A1 KR 2018004562 W KR2018004562 W KR 2018004562W WO 2019054598 A1 WO2019054598 A1 WO 2019054598A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
learning data
point
candidate
gaze
Prior art date
Application number
PCT/KR2018/004562
Other languages
English (en)
French (fr)
Inventor
석윤찬
이태희
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170167334A external-priority patent/KR102092931B1/ko
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to US16/646,326 priority Critical patent/US11250242B2/en
Priority to CN201880023479.7A priority patent/CN110476141A/zh
Publication of WO2019054598A1 publication Critical patent/WO2019054598A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to eye tracking technology.
  • Eye Tracking is a technique for tracking the position of the eye by sensing the movement of the user's eye, and may be an image analysis method, a contact lens method, a sensor attaching method, or the like.
  • the image analysis method detects the movement of the pupil through analysis of the real-time camera image and calculates the direction of the eye based on the fixed position reflected on the cornea.
  • the contact lens method uses the reflected light of the built-in contact lens of the mirror or the magnetic field of the contact lens built in the coil, which is less convenient and has higher accuracy.
  • the sensor attachment method detects the movement of the eye using the change of the electric field according to the movement of the eye by attaching the sensor around the eye, and it is possible to detect the movement of the eye even when the eye is closed (sleeping, etc.).
  • Embodiments of the present invention are intended to provide a means for further improving the accuracy of line-of-sight tracking in line-of-sight tracking based on a deep-running model.
  • an image processing apparatus comprising: a photographing apparatus for photographing a face image of a user; Acquiring a vector representing a direction of the face of the user from the face image and a pupil image of the user based on the set rule, and inputting the face image, the vector, and the pupil image into a set deep learning model And a gaze tracking unit for tracking the gaze of the user.
  • the user terminal When receiving an action set by a candidate who takes a set point in a screen, the user terminal collects learning data including a face image of the candidate photographed at the time of receiving the action and positional information of the set point Wherein the gaze tracking unit can learn the learning data to the deep learning model and track the user's gaze using the deep learning model in which the learning data is learned.
  • the learning data collecting unit may collect the learning data at the time when the touch is made when the candidate touches the point.
  • the learning data collecting unit may collect the learning data by operating the photographing apparatus at the time when the candidate touches the point.
  • the learning data collection unit may transmit the learning data collected at the time when the candidate touches the point to the server.
  • the learning data collecting unit collects the learning data at a point in time when the user touches the point in a state in which the photographing apparatus is in operation and before and after a predetermined time from the point at which the touch is made and the point at which the touch is made .
  • the learning data collection unit may change the visual element of the point after the candidate touches the point so that the gaze of the candidate can stay at the point even after the touch.
  • the learning data collection unit may display a phrase set at the point and collect the learning data when the candidate starts uttering the voice.
  • the gaze tracking unit acquires the coordinates of the pupil position and the coordinates of the face of the user from the face image on the basis of the rule and sets the pupil position coordinate and the face position coordinate together with a vector indicating a direction of the face of the user And further input to the deep learning model.
  • the gaze tracking unit determines whether the user is gazing at the advertisement content based on the detected gaze of the user and the position of the advertisement content in the screen
  • the content providing unit may change the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time when the user takes the advertisement content.
  • a photographing apparatus photographing a face image of a user; Obtaining a pupil image of a user and a vector representing a direction of a face of the user from the face image based on a set rule in a gaze tracking unit; And a step of tracing the gaze of the user by inputting the face image, the vector, and the pupil image to a set deep learning model in the gaze tracking section.
  • the visual line tracking method includes the step of, when the learning data collecting unit receives an action set by a candidate who takes a set point on a screen, the face image of the candidate photographed at the time of receiving the action and the position information of the set point Collecting learning data to be generated; And a step of tracing the learning data to the deep learning model in the gaze tracking unit, wherein the step of tracing the user's gaze further comprises the steps of: using the deep learning model in which the learning data is learned, You can track your gaze.
  • the step of collecting the learning data may collect the learning data at the time when the touch is made when the candidate touches the point.
  • the step of collecting the learning data may include collecting the learning data by operating the photographing apparatus when the candidate touches the point.
  • the gaze tracking method may further include transmitting the learning data collected at the time when the candidate touches the point in the learning data collection unit to the server.
  • the step of collecting the learning data further comprises the step of acquiring the learning data at a time point at which the touch is made and a time point at which the touch is made and a predetermined time from when the candidate touches the point in a state in which the photographing apparatus is operating, Respectively.
  • the gaze tracking method may further include changing the visual element of the point after the candidate touches the point so that the gaze of the candidate can stay at the point even after the touch in the learning data collecting unit have.
  • the step of collecting the learning data may display a phrase set at the point and collect the learning data when the candidate starts uttering the voice.
  • the gaze tracking method further includes a step of the gaze tracking unit acquiring the coordinates of the pupil position and the coordinates of the face of the user from the face image based on the rule,
  • the pupil position coordinate and the face position coordinate may be further input to the deep learning model together with a vector indicating a direction of the face of the user.
  • the method includes: displaying advertisement contents on a screen in a content providing step; Determining, by the gaze tracking unit, whether the user is gazing at the advertisement content based on the detected gaze of the user and the position of the advertisement content in the screen; And changing the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time the user took the advertisement content in the content providing unit.
  • the eye tracking based on the deep learning model when the eye tracking based on the deep learning model is used, not only the face image of the user, the eyeball image but also the vector representing the direction of the face of the user is used as the input data of the deep learning model, Can be improved.
  • the face image of the candidate photographed at the time of receiving the action Is used as learning data of a deep learning model for eye tracking, the accuracy and reliability of eye tracking can be further improved.
  • FIG. 1 is a block diagram showing a detailed configuration of an advertisement system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a terminal according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining a process of tracking a user's gaze in a gaze tracking unit according to an embodiment of the present invention
  • FIG. 4 illustrates an example of a face vector according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a process of tracking a user's gaze through a deep learning model according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of a process of collecting learning data input to the deep learning model in the learning data collection unit according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a process of collecting learning data input to a deep learning model in a learning data collection unit according to an embodiment of the present invention.
  • FIG. 8 illustrates an example of a process of changing a visual element of a point when a candidate touches a set point in FIG.
  • FIG. 9 is a flowchart illustrating a process of collecting learning data input to a deep learning model in a learning data collection unit according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of a visual-based beading method according to an embodiment of the present invention.
  • FIG. 11 is a flowchart for explaining a gaze tracking method according to an embodiment of the present invention.
  • Figure 12 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in the exemplary embodiments.
  • an advertisement system 100 includes a user terminal 102, a server 104, an advertiser terminal 106, and a content developer terminal 108.
  • the user terminal 102 may be a mobile device such as a smart phone, a tablet PC, a notebook, or the like.
  • the type of the user terminal 102 is not limited thereto, and various communication devices including a screen for displaying advertisement contents and a photographing device for capturing a user may be installed in the user terminal 102 according to the embodiments of the present invention. .
  • the user terminal 102 may have a screen and display advertisement contents on the screen.
  • the user terminal 102 may include a photographing device such as a camera, a camcorder, etc., and can track the user's gaze from a face image of a user photographed through the photographing device. Accordingly, the user terminal 102 can determine whether the user is gazing at the advertisement content based on the detected user's gaze and the position of the in-screen advertisement content.
  • the user terminal 102 receives the mobile application set from the server 104, and provides the above-mentioned advertisement contents, the line-of-sight tracking function, and the like in cooperation with the screen, Can be performed.
  • the user terminal 102 may track the user's gaze using a set of rule-based algorithms and a deep learning model.
  • the rule-based algorithm is an algorithm used to acquire various data for line-of-sight tracking using a predetermined image processing technique, an image processing technique, a mathematical expression or the like, and for example, a face recognition algorithm (for example, (PCA), Linear Discriminant Analysis (LDA), etc.), facial feature point detection algorithms (e.g. SVM: Supported Vector Machine (SURF) A head-tracking algorithm, a pupil extraction, and a pupil position coordinate calculation algorithm.
  • the deep learning model may also be, for example, a Convolutional Neural Network (CNN) model.
  • CNN Convolutional Neural Network
  • the server 104 relays various data for providing an advertisement service between the user terminal 102 and the advertiser terminal 106.
  • the server 104 may be connected to the terminal 102, the advertiser terminal 106, and the content developer terminal 108, respectively, through a network (not shown).
  • the server 104 may provide a mobile application for providing an advertisement service to the terminal 102 at the request of the terminal 102.
  • the terminal 102 may access the server 104 through the mobile application and provide various advertisement services provided by the server 104 to the user.
  • the server 104 may receive the advertisement content from the content developer terminal 108 in cooperation with the advertiser terminal 106, and may provide the advertisement content to the terminal 102.
  • the server 104 collects various data related to the advertisement effect of the advertisement contents from the terminal 102 (for example, the time / frequency displayed for each advertisement content, the time / frequency of each advertisement content, etc.) And provide it to the advertiser terminal 106.
  • the advertiser terminal 106 can be connected to the server 104 via a network as a terminal possessed by the advertiser.
  • the advertiser terminal 106 may select at least one of a plurality of advertisement contents provided by the content developer terminal 108 and provide the server 104 with information on the selected advertisement content.
  • the advertiser terminal 106 may receive various data related to the advertisement effect of the advertisement contents from the server 104.
  • the content developer terminal 108 can be connected to the server 104 through a network as a terminal possessed by a developer who develops advertisement contents.
  • the content developer terminal 108 can provide the advertisement contents produced / edited by the content developer to the advertiser terminal 106 via the server 104.
  • the server 104 may receive information on the advertisement content selected by the advertiser terminal 106 from the advertiser terminal 106 and provide the advertisement content corresponding to the information to the user terminal 102.
  • the terminal 102 includes a content providing unit 202, a photographing apparatus 204, a gaze tracking unit 206, and a learning data collecting unit 208 do.
  • the content providing unit 202 displays the advertisement content on the screen of the user terminal 102.
  • the content provider 202 may display the advertisement content on the lock screen.
  • the lock screen is a screen that is displayed when a touch for releasing the lock state is input from the user in a state where the user terminal 102 is switched to the locked state.
  • the content providing unit 202 may display advertisement contents in the form of text, image, or moving picture on the lock screen.
  • the content providing unit 202 may display the advertisement contents on the screen according to the execution command when receiving an execution command such as an application, a menu, etc., set by the user.
  • the example of the screen on which the advertisement contents are displayed is not limited thereto, and the advertisement contents can be displayed on various preset screen types.
  • the photographing apparatus 204 is an apparatus for photographing a user who looks at a screen of the user terminal 102, and may be, for example, a camera, a camcorder, or the like.
  • the photographing apparatus 204 may be provided, for example, on the front surface of the user terminal 102.
  • the user terminal 102 can acquire a user's face image through the photographing device 204 and track the user's gaze through the face image.
  • the gaze tracking unit 206 tracks the user's gaze.
  • the gaze tracking unit 206 can track the user's gaze using a set rule-based algorithm and a deep learning model.
  • deep learning is a kind of artificial neural network (ANN) using a human neural network theory. It is composed of a layer structure and has an input layer and an output layer Refers to a set of machine learning models or algorithms that refers to a Deep Neural Network (DNN) having one or more hidden layers between output layers.
  • DNN Deep Neural Network
  • the gaze tracking unit 206 can track the user's gaze using the above-described rule-based algorithm and the deep learning model. As another example, when the face of the user is not detected in the photographing apparatus 204, the gaze tracking unit 206 may operate in the sleep mode to suspend various operations for tracking the gaze.
  • the eye-gaze tracking unit 206 obtains the face image of the user photographed through the photographing apparatus 204, A vector representing a direction of the face of the user and a pupil image of the user.
  • the gaze tracking unit 206 may input the face image, the vector, and the pupil image to the deep learning model 210 to track the user's gaze.
  • the deep learning model has learned in advance a sufficient amount of learning data collected by the learning data collection unit 208.
  • the gaze tracking unit 206 may acquire the coordinates of the pupil position of the user, the coordinates of the face, and the direction vectors of the pupils from the face image based on the rule, and input them into the deep learning model 210 have.
  • the gaze tracking unit 206 inputs various kinds of quantitative data for gaze tracking obtained based on rules as well as the image of the user's face and pupils to the deep learning model 210, thereby improving the accuracy of gaze tracking .
  • the gaze tracking unit 206 may determine whether the user is gazing at the advertisement content based on the detected line of sight of the user and the position of the advertisement content on the screen. As described later, the content providing unit 202 may change the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time when the user takes the advertisement content.
  • FIG. 3 is a diagram for explaining a process of tracking a user's gaze in the gaze tracking unit 206 according to an embodiment of the present invention.
  • FIG. 4 is an illustration of a face vector according to an embodiment of the present invention.
  • 5 is a view illustrating a process of tracking a user's gaze through the deep learning model 210 according to an embodiment of the present invention.
  • the gaze tracking unit 206 applies a rule-based algorithm to a user's face image obtained through the photographing apparatus 204 to generate a vector representing a direction of the face of the user, a pupil image, And so on.
  • the gaze tracking unit 206 uses the vector representing the direction of the face of the user as well as the facial image of the user, as the input data of the deep learning model 210, So that the accuracy can be improved.
  • the gaze tracking unit 206 extracts a feature vector of a face image through a predetermined feature point extraction algorithm, and generates a vector representing a direction of the user's face from the feature vector, that is, a face- Can be obtained.
  • An example of the face vector thus obtained is as shown in FIG.
  • the gaze tracking unit 206 may detect an eye region from the face image through an image processing technique, and obtain an image of the eye region (i.e., a pupil image) and a position coordinate of an iris or a pupil.
  • the gaze tracking unit 206 can detect the face region of the user on the entire screen and obtain the position coordinates of the face region.
  • the gaze tracking unit 206 may input the acquired vector, pupil image / position coordinates, face image / position coordinates, and the like to the deep learning model 210.
  • the deep learning model 210 may include a plurality of layers in a hierarchical structure, and the input data described above may be input to the layer.
  • the deep learning model 210 can track the user's gaze based on previously learned learning data and newly input data.
  • the gaze tracking unit 206 in order for the gaze tracking unit 206 to more accurately track the user's gaze using the deep learning model 210, the learning data of the deep learning model 210, that is, the learning data for gaze tracking, must be highly reliable.
  • the learning data collection unit 208 may collect a large amount of learning data used for learning of the deep learning model 210 based on the gazing action. Specifically, the learning data collection unit 208, when receiving an action set from a candidate who takes a set point in the screen of the user terminal 102, receives the action, And the location information of the set point.
  • the action may be, for example, a touch of a screen of a candidate, a speech utterance of a candidate, and the like.
  • the photographing apparatus 204 operates to photograph the candidate's face at the point in time when the candidate's touch input is first made ⁇ the face image of the photographed candidate (or the face image / A position coordinate, a vector indicating a direction of the face of the candidate, a pupil image / position coordinate of a candidate, and the like) and position information of a point at which the pattern is first touched is collected as learning data
  • the photographing apparatus 204 When the candidate touches (or clicks) an application icon or a menu button set on the screen, the photographing apparatus 204 operates to photograph the candidate's face at the time when the candidate's touch input is made, A vector representing a direction of the face of the candidate, a pupil image / position coordinate of a candidate, and the like) and positional information of a point at which the pattern is first touched are collected as learning data
  • the photographing apparatus 204 operates at the time when the candidate's touch input is made, and the face of the candidate is photographed ⁇ photographed (Or the face image / position coordinate, a vector indicating the direction of the face of the candidate, the pupil's eye image / position coordinate of the candidate, etc.) and the position information of the point at which the pattern is first touched are collected as learning data
  • the collected learning data may be input to the deep learning model 210 and be learned.
  • the gaze tracking unit 206 may learn the learning data to the deep learning model 210 and trace the user's gaze using the deep learning model 210 that has learned the learning data.
  • a method of collecting learning data by the learning data collection unit 208 with reference to FIGS. 6 to 9 will be described in more detail.
  • FIG. 6 is an illustration for explaining a process of collecting learning data input to the deep learning model 210 in the learning data collection unit 208 according to an embodiment of the present invention.
  • the learning data collection unit 208 may display nine points for pattern input on the lock screen. Accordingly, the candidate can touch input a predefined Z-shaped pattern for releasing the lock screen. At this time, the candidate can touch the Z-shaped pattern in the direction of the starting point S ⁇ end point E.
  • the learning data collection unit 208 includes a face image of the candidate photographed through the photographing apparatus 204 and position information of the starting point S at a point in time when the candidate's touch input is first made, Learning data can be collected.
  • FIG. 7 is another example for explaining a process of collecting learning data input to the deep learning model 210 in the learning data collection unit 208 according to an embodiment of the present invention. And changing the visual element of the point when the set point is touched.
  • the learning data collection unit 208 displays a button A (backward button), a button B (forward button), a button C (start button), and a button D (end button) on the screen . If the candidate touches the button A, the learning data collecting unit 208 acquires the face image of the candidate photographed through the photographing apparatus 204 at the time when the candidate's touch input was made, that is, And positional information of the button A can be collected.
  • the learning data collection unit 208 may change the visual elements of the point after the candidate touches the point so that the gaze of the candidate can remain at the touched point after the touch.
  • the visual element is an element necessary for visually recognizing objects to be displayed on the screen.
  • the visual element may be an object displayed on the screen, an area including the object, or a size, shape, color, brightness, texture And so on.
  • the learning data collection unit 208 can display the color of the button A more boldly, so that the gaze of the candidate can stay in the button A even after the touch .
  • the learning data collection unit 208 can collect the learning data by operating the photographing apparatus 204 at a time when the candidate touches the set point. That is, the photographing device 204 maintains the off state at normal times, and can photograph the user by the learning data collection unit 208 when the candidate touches the set point, It is possible to prevent the battery consumption of the user terminal 102 from increasing due to continuous operation.
  • the learning data collection unit 208 stores the face image of the candidate photographed at the time point when the candidate touched the point and the position information of the point (i.e., the learning data collected at the time of touching the point) To server 104, which in turn can collect and analyze it.
  • the server 104 collects the learning data from the user terminal 102 and stores the collected learning data in a database (not shown) and analyzes the analysis process performed by the user terminal 102 (e.g., face vector, pupil image / Face image / position coordinate extraction, etc.).
  • a database not shown
  • analyzes the analysis process performed by the user terminal 102 e.g., face vector, pupil image / Face image / position coordinate extraction, etc.
  • the learning data collecting unit 208 collects the learning data from the point of time at which the touch is made and the forward and backward points of time set from the point in time at which the touch was made when the candidate was touched in a state in which the photographing apparatus 204 is operating For example, one second before the touch is made and one second after the touch is made).
  • the user touches the corresponding point immediately before and immediately after the touch, so that it is determined that the learning data collected at the point immediately before the touch and immediately before the touch are also highly reliable .
  • FIG. 9 is another example for explaining a process of collecting learning data input to the deep learning model 210 in the learning data collection unit 208 according to an embodiment of the present invention.
  • the learning data collection unit 208 displays a phrase set at a specific point, and when the candidate utterances a speech in response to the phrase, The face image of the photographed candidate, and the location information of the point.
  • the learning data collection unit 208 displays the words "say the words below” and “Apple” at the top and center of the screen, respectively, so that the candidate speaks " It is possible to collect the learning data including the face image of the candidate photographed through the photographing apparatus 204 at the time when the utterance is started and the position information of the point at which the " Apple " phrase is displayed.
  • FIG. 10 is an illustration for explaining a line-based beading method according to an embodiment of the present invention.
  • the gaze tracking unit 206 compares the detected line of sight of the user with the position of the advertisement content on the screen to determine whether or not the user is gazing at the advertisement content, It is possible to judge whether or not the user has gazed.
  • the gaze tracking unit 206 may calculate the time and the number of times the user has looked at the advertisement contents for each area and provide the calculated time and number to the server 104.
  • the server 104 may change the bidding of the corresponding advertisement contents in each area in which the advertisement contents are located, in cooperation with the advertiser terminal 106. [
  • the server 104 bids the advertiser terminal 106 (FIG. 10) for $ 1 for advertising content in a region where the user is relatively more likely to take a look, ).
  • the content providing unit 202 may change the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time when the user takes the advertisement content. For example, the content providing unit 202 may be configured to identify an area of the advertisement content that is viewed more than a predetermined number of times or more than a predetermined number of times and display the position of the currently displayed advertisement content at or above the set number of times Can be changed. This can lead the user to look more at the ad content.
  • FIG. 11 is a flowchart illustrating a gaze tracking method according to an embodiment of the present invention.
  • the method is described as being divided into a plurality of steps, but at least some of the steps may be performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, One or more steps may be added and performed.
  • step S102 the content providing unit 202 displays advertisement contents on a screen.
  • step S104 the gaze tracking unit 206 acquires the user's face image through the photographing apparatus 204.
  • step S106 the gaze tracking unit 206 tracks the user's gaze using the set rule-based algorithm and the deep learning model.
  • the method of tracking the user's gaze using the rule-based algorithm and the deep learning model has been described in detail above, and the detailed description thereof will be omitted here.
  • step S108 the gaze tracking unit 206 determines whether the user is gazing at the advertisement content based on the detected user's gaze and the position of the in-screen advertisement content.
  • the gaze tracking unit 206 grasps the location of the in-screen advertisement content, the time and number of the applicant's gaze for the advertisement content, and the like.
  • FIG. 12 is a block diagram illustrating and illustrating a computing environment 10 that includes a computing device suitable for use in the exemplary embodiments.
  • each of the components may have different functions and capabilities than those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12.
  • computing device 12 may be one or more components included in advertising system 100, or user terminal 102.
  • the computing device 12 includes at least one processor 14, a computer readable storage medium 16,
  • the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiment discussed above.
  • processor 14 may execute one or more programs stored on computer readable storage medium 16.
  • the one or more programs may include one or more computer-executable instructions, which when executed by the processor 14 cause the computing device 12 to perform operations in accordance with the illustrative embodiment .
  • the computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and / or other suitable forms of information.
  • the program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14.
  • the computer-readable storage medium 16 may be any type of storage medium such as a memory (volatile memory such as random access memory, non-volatile memory, or any suitable combination thereof), one or more magnetic disk storage devices, Memory devices, or any other form of storage medium that can be accessed by the computing device 12 and store the desired information, or any suitable combination thereof.
  • Communication bus 18 interconnects various other components of computing device 12, including processor 14, computer readable storage medium 16.
  • the computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24.
  • the input / output interface 22 may include the scroll screen 102, the input interface 104, the input screen 105, and the like.
  • the input / output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22.
  • the exemplary input and output device 24 may be any type of device, such as a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or touch screen), a voice or sound input device, An input device, and / or an output device such as a display device, a printer, a speaker, and / or a network card.
  • the exemplary input and output device 24 may be included within the computing device 12 as a component of the computing device 12 and may be coupled to the computing device 102 as a separate device distinct from the computing device 12 It is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

시선 추적 방법 및 이를 수행하기 위한 사용자 단말이 제공된다. 본 발명의 일 실시예에 따른 사용자 단말은, 사용자의 얼굴 이미지를 촬영하는 촬영 장치; 및 설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하며, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 시선 추적부를 포함한다.

Description

시선 추적 방법 및 이를 수행하기 위한 사용자 단말
본 발명은 시선 추적 기술과 관련된다.
시선 추적(Eye Tracking)은 사용자의 안구 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 영상 분석 방식, 콘택트렌즈 방식, 센서 부착 방식 등의 방법이 사용될 수 있다. 영상 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장의 변화를 이용하여 안구의 움직임을 감지하며, 눈을 감고 있는 경우(수면 등)에도 안구 움직임의 검출이 가능하다.
최근, 시선 추적 기술의 적용 대상 기기 및 적용 분야가 점차 확대되고 있으며, 이에 따라 스마트폰 등과 같은 단말에서 광고 서비스를 제공함에 있어 상기 시선 추적 기술을 활용하는 시도가 증가하고 있다. 그러나, 효율적인 광고 서비스의 제공을 위해서는 시선 추적의 정확도가 보다 향상될 필요가 있으며 광고 시청에 따른 비딩(bidding) 방식, 리워드(reward) 방식 등을 효율적으로 구성할 필요가 있다.
[선행기술문헌]
[특허문헌]
한국등록특허공보 제10-1479471호(2015.01.13)
본 발명의 실시예들은 딥러닝 모델 기반의 시선 추적시 시선 추적의 정확도를 보다 향상시키는 수단을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 사용자의 얼굴 이미지를 촬영하는 촬영 장치; 및 설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하며, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 시선 추적부를 포함하는, 사용자 단말이 제공된다.
상기 사용자 단말은, 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 학습 데이터 수집부를 더 포함하며, 상기 시선 추적부는, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키고, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적할 수 있다.
상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집할 수 있다.
상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집할 수 있다.
상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송할 수 있다.
상기 학습 데이터 수집부는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집할 수 있다.
상기 학습 데이터 수집부는, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시킬 수 있다.
상기 학습 데이터 수집부는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집할 수 있다.
상기 시선 추적부는, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하고, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력할 수 있다.
상기 화면에 광고 컨텐츠를 디스플레이하는 컨텐츠 제공부를 더 포함하며, 상기 시선 추적부는, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하고, 상기 컨텐츠 제공부는, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 촬영 장치에서, 사용자의 얼굴 이미지를 촬영하는 단계; 시선 추적부에서, 설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하는 단계; 및 상기 시선 추적부에서, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 단계를 포함하는, 시선 추적 방법이 제공된다.
상기 시선 추적 방법은, 학습 데이터 수집부에서, 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 단계; 및 상기 시선 추적부에서, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키는 단계를 더 포함하며, 상기 사용자의 시선을 추적하는 단계는, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적할 수 있다.
상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집할 수 있다.
상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집할 수 있다.
상기 시선 추적 방법은, 상기 학습 데이터 수집부에서, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송하는 단계를 더 포함할 수 있다.
상기 학습 데이터를 수집하는 단계는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집할 수 있다.
상기 시선 추적 방법은, 상기 학습 데이터 수집부에서, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시키는 단계를 더 포함할 수 있다.
상기 학습 데이터를 수집하는 단계는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집할 수 있다.
상기 시선 추적 방법은, 상기 시선 추적부에서, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하는 단계를 더 포함하며, 상기 사용자의 시선을 추적하는 단계는, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력할 수 있다.
상기 시선 추적 방법은, 컨텐츠 제공부에서, 상기 화면에 광고 컨텐츠를 디스플레이하는 단계; 상기 시선 추적부에서, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하는 단계; 및 상기 컨텐츠 제공부에서, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 딥러닝 모델 기반의 시선 추적시 사용자의 얼굴 이미지, 눈동자 이미지뿐 아니라 사용자의 얼굴이 향하는 방향을 나타내는 벡터를 딥러닝 모델의 입력 데이터로 사용함으로써 시선 추적의 정확도를 보다 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따르면, 화면 내 설정된 지점을 응시하고 있는 응시자로부터 터치, 음성 등과 같은 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 응시자의 얼굴 이미지와 상기 지점의 위치 정보를 시선 추적을 위한 딥러닝 모델의 학습 데이터로 사용함으로써, 시선 추적의 정확도 및 신뢰도를 보다 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 광고 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 단말의 상세 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 시선 추적부에서 사용자의 시선을 추적하는 과정을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 얼굴 벡터의 예시
도 5는 본 발명의 일 실시예에 따른 딥러닝 모델을 통해 사용자의 시선을 추적하는 과정을 나타낸 예시
도 6은 본 발명의 일 실시예에 따른 학습 데이터 수집부에서 딥러닝 모델에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 예시
도 7은 본 발명의 일 실시예에 따른 학습 데이터 수집부에서 딥러닝 모델에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시
도 8은 도 7에서 응시자가 설정된 지점을 터치하는 경우 상기 지점의 시각 요소를 변화시키는 과정을 설명하기 위한 예시
도 9는 본 발명의 일 실시예에 따른 학습 데이터 수집부에서 딥러닝 모델에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시
도 10은 본 발명의 일 실시예에 따른 시선 기반의 비딩 방식을 설명하기 위한 예시
도 11은 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 광고 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 광고 시스템(100)은 사용자 단말(102), 서버(104), 광고주 단말(106) 및 컨텐츠 개발자 단말(108)을 포함한다.
사용자 단말(102)은 사용자가 소지하여 각종 광고 서비스를 제공 받는 기기로서, 예를 들어 스마트폰, 태블릿 PC, 노트북 등과 같은 모바일 기기일 수 있다. 다만, 사용자 단말(102)의 종류가 이에 한정되는 것은 아니며, 광고 컨텐츠의 디스플레이를 위한 화면 및 사용자 촬영을 위한 촬영 장치를 구비하는 다양한 통신 기기가 본 발명의 실시예들에 따른 사용자 단말(102)에 해당할 수 있다.
사용자 단말(102)은 화면을 구비할 수 있으며, 상기 화면을 통해 광고 컨텐츠를 디스플레이할 수 있다. 또한, 사용자 단말(102)은 카메라, 캠코더 등과 같은 촬영 장치를 구비할 수 있으며, 상기 촬영 장치를 통해 촬영한 사용자의 얼굴 이미지로부터 상기 사용자의 시선을 추적할 수 있다. 이에 따라, 사용자 단말(102)은 검출된 사용자의 시선과 상기 화면 내 광고 컨텐츠의 위치에 기초하여 상기 사용자가 광고 컨텐츠를 응시하고 있는지의 여부를 판단할 수 있다. 이때, 사용자 단말(102)은 서버(104)로부터 설정된 모바일 애플리케이션을 제공 받고, 상기 애플리케이션을 통해 사용자 단말(102) 내 상기 화면, 촬영 장치 등과 연동하여 상술한 광고 컨텐츠의 제공, 시선 추적 기능 등을 수행할 수 있다.
또한, 사용자 단말(102)은 설정된 룰 기반(rule-based) 알고리즘 및 딥러닝(deep learning) 모델을 이용하여 사용자의 시선을 추적할 수 있다. 여기서, 룰 기반 알고리즘은 미리 정해진 영상 처리 기법, 이미지 처리 기법, 수학식 등을 이용하여 시선 추적을 위한 각종 데이터를 획득하는 데 사용되는 알고리즘으로서, 예를 들어 얼굴 인식 알고리즘(예를 들어, 주성분 분석(PCA : Principal Component Analysis), 선형판별 분석(LDA : Linear Discriminant Analysis) 등), 얼굴의 특징점 검출 알고리즘(예를 들어, SVM : Support Vector Machine, SURF: Speeded Up Robust Features 등), 이미지 기반의 헤드-추적(head-tracking) 알고리즘, 눈동자 추출 및 눈동자 위치좌표 계산 알고리즘 등이 될 수 있다. 또한, 딥러닝 모델은 예를 들어, 합성곱 신경망(CNN : Convolutional Neural Network) 모델일 수 있다.
서버(104)는 사용자 단말(102)과 광고주 단말(106) 사이에서 광고 서비스 제공을 위한 각종 데이터를 중계한다. 도 1에 도시된 바와 같이, 서버(104)는 네트워크(미도시)를 통해 단말(102), 광고주 단말(106) 및 컨텐츠 개발자 단말(108)과 각각 연결될 수 있다. 서버(104)는 단말(102)의 요청에 따라 광고 서비스 제공을 위한 모바일 애플리케이션을 단말(102)로 제공할 수 있다. 단말(102)은 상기 모바일 애플리케이션을 통해 서버(104)에 접속하여 서버(104)에서 제공하는 각종 광고 서비스를 사용자에게 제공할 수 있다. 또한, 서버(104)는 광고주 단말(106)과 연동하여 컨텐츠 개발자 단말(108)로부터 광고 컨텐츠를 수신하고, 이를 단말(102)로 제공할 수 있다. 이후, 서버(104)는 단말(102)로부터 광고 컨텐츠의 광고 효과와 관련된 각종 데이터(예를 들어, 각 광고 컨텐츠별로 디스플레이된 시간/횟수, 각 광고 컨텐츠 별로 응시된 시간/횟수 등)를 수집하고, 이를 광고주 단말(106)로 제공할 수 있다.
광고주 단말(106)은 광고주가 소지하는 단말로서, 네트워크를 통해 서버(104)와 연결될 수 있다. 광고주 단말(106)은 컨텐츠 개발자 단말(108)이 제공하는 복수 개의 광고 컨텐츠 중 적어도 하나를 광고주로부터 선택 받고, 선택된 광고 컨텐츠에 관한 정보를 서버(104)로 제공할 수 있다. 또한, 광고주 단말(106)은 서버(104)로부터 광고 컨텐츠의 광고 효과와 관련된 각종 데이터를 제공 받을 수 있다.
컨텐츠 개발자 단말(108)은 광고 컨텐츠를 개발하는 개발자가 소지하는 단말로서, 네트워크를 통해 서버(104)와 연결될 수 있다. 컨텐츠 개발자 단말(108)은 컨텐츠 개발자가 제작/편집한 광고 컨텐츠를 서버(104)를 통해 광고주 단말(106)로 제공할 수 있다. 서버(104)는 광고주 단말(106)로부터 광고주가 선택한 광고 컨텐츠에 관한 정보를 수신하고, 상기 정보에 대응되는 광고 컨텐츠를 사용자 단말(102)로 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 단말(102)의 상세 구성을 나타낸 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(102)은 컨텐츠 제공부(202), 촬영 장치(204), 시선 추적부(206) 및 학습 데이터 수집부(208)를 포함한다.
컨텐츠 제공부(202)는 사용자 단말(102)의 화면에 광고 컨텐츠를 디스플레이한다. 일 예시로서, 컨텐츠 제공부(202)는 잠금 화면에 광고 컨텐츠를 디스플레이할 수 있다. 상기 잠금 화면은 사용자 단말(102)이 잠금 상태로 전환된 상태에서 사용자로부터 상기 잠금 상태를 해제하기 위한 터치를 입력 받는 경우 디스플레이되는 화면을 의미한다. 컨텐츠 제공부(202)는 텍스트, 이미지, 또는 동영상 형태의 광고 컨텐츠를 상기 잠금 화면에 디스플레이할 수 있다. 다른 예시로서, 컨텐츠 제공부(202)는 사용자로부터 설정된 애플리케이션, 메뉴 등의 실행 명령을 입력 받는 경우 상기 실행 명령에 따라 화면에 광고 컨텐츠를 디스플레이할 수 있다. 다만, 광고 컨텐츠가 디스플레이되는 화면의 예시가 이에 한정되는 것은 아니며, 상기 광고 컨텐츠는 미리 설정된 다양한 형태의 화면에 디스플레이될 수 있다.
촬영 장치(204)는 사용자 단말(102)의 화면을 응시하는 사용자를 촬영하는 장치로서, 예를 들어 카메라, 캠코더 등이 될 수 있다. 촬영 장치(204)는 예를 들어, 사용자 단말(102)의 전면(前面)에 구비될 수 있다. 사용자 단말(102)은 촬영 장치(204)를 통해 사용자의 얼굴 이미지를 획득하고, 상기 얼굴 이미지를 통해 사용자의 시선을 추적할 수 있다.
시선 추적부(206)는 사용자의 시선을 추적한다. 시선 추적부(206)는 설정된 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적할 수 있다. 본 실시예들에 있어서, 딥러닝은 인간의 신경망(Neural Network) 이론을 이용한 인공신경망(ANN, Artificial Neural Network)의 일종으로서, 계층 구조(Layer Structure)로 구성되어 입력층(Input layer)과 출력층(Output layer) 사이에 하나 이상의 숨겨진 층(Hidden layer)을 갖고 있는 심층 신경망(DNN : Deep Neural Network)을 지칭하는 기계학습(Machine Learning) 모델 또는 알고리즘의 집합을 의미한다. 이때, 시선 추적부(206)는 촬영 장치(204)와 연동하여 사용자의 시선을 추적할 수 있다.
일 예시로서, 촬영 장치(204)에서 사용자의 얼굴이 감지되는 경우, 시선 추적부(206)는 상술한 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적할 수 있다. 다른 예시로서, 촬영 장치(204)에서 사용자의 얼굴이 감지되지 않는 경우, 시선 추적부(206)는 슬립 모드로 동작하여 상기 시선 추적을 위한 각종 동작을 중지할 수 있다.
만약, 촬영 장치(204)에서 사용자의 얼굴이 감지되는 경우, 시선 추적부(206)는 촬영 장치(204)를 통해 촬영된 사용자의 얼굴 이미지를 획득하고, 설정된 룰을 기반으로 상기 얼굴 이미지로부터 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 사용자의 눈동자 이미지를 획득할 수 있다. 이후, 시선 추적부(206)는 딥러닝 모델(210)에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적할 수 있다. 여기서, 상기 딥러닝 모델은 학습 데이터 수집부(208)에서 수집된 충분한 양의 학습 데이터를 미리 학습한 것으로 가정한다. 또한, 시선 추적부(206)는 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표, 얼굴 위치좌표, 눈동자의 방향벡터 등을 획득하고, 이들을 상기 딥러닝 모델(210)에 입력할 수 있다. 이와 같이, 시선 추적부(206)는 사용자의 얼굴 및 눈동자의 이미지뿐 아니라 룰 기반으로 획득된 시선 추적을 위한 각종 정량적인 데이터를 딥러닝 모델(210)에 입력함으로써 시선 추적의 정확도를 보다 향상시킬 수 있다.
또한, 시선 추적부(206)는 검출된 사용자의 시선과 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단할 수 있다. 후술할 바와 같이, 컨텐츠 제공부(202)는 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경할 수 있다.
도 3은 본 발명의 일 실시예에 따른 시선 추적부(206)에서 사용자의 시선을 추적하는 과정을 설명하기 위한 도면이며, 도 4는 본 발명의 일 실시예에 따른 얼굴 벡터의 예시이다. 또한, 도 5는 본 발명의 일 실시예에 따른 딥러닝 모델(210)을 통해 사용자의 시선을 추적하는 과정을 나타낸 예시이다.
도 3을 참조하면, 시선 추적부(206)는 촬영 장치(204)를 통해 획득된 사용자의 얼굴 이미지에 룰 기반 알고리즘을 적용하여 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터, 눈동자 이미지 및 눈동자 위치좌표 등을 획득할 수 있다. 일반적으로, 사용자는 특정 지점을 응시할 때 얼굴을 해당 지점으로 향하고 있으므로 상기 얼굴이 향하는 방향이 사용자의 시선 방향과 일치할 확률이 높다. 이에 따라, 본 발명의 실시예들에서는 시선 추적부(206)가 사용자의 얼굴 이미지, 눈동자 이미지뿐 아니라 사용자의 얼굴이 향하는 방향을 나타내는 벡터를 딥러닝 모델(210)의 입력 데이터로 사용함으로써 시선 추적의 정확도를 보다 향상시킬 수 있도록 하였다. 시선 추적부(206)는 예를 들어, 미리 정해진 특징점 추출 알고리즘을 통해 얼굴 이미지의 특징 벡터를 추출하고, 상기 특징 벡터로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터, 즉 얼굴 벡터(face-vector)를 획득할 수 있다. 이와 같이 획득된 얼굴 벡터의 예시는 도 4에 도시된 바와 같다. 또한, 시선 추적부(206)는 이미지 처리 기법을 통해 상기 얼굴 이미지로부터 눈 영역을 검출하고, 상기 눈 영역의 이미지(즉, 눈동자 이미지)와 홍채 또는 동공의 위치좌표를 획득할 수 있다. 또한, 시선 추적부(206)는 화면 전체에서 사용자의 얼굴 영역을 검출하고, 상기 얼굴 영역의 위치좌표를 획득할 수 있다. 시선 추적부(206)는 이와 같이 획득된 벡터, 눈동자 이미지/위치좌표, 얼굴 이미지/위치좌표 등을 딥러닝 모델(210)에 입력할 수 있다.
도 5를 참조하면, 딥러닝 모델(210)은 계층 구조로 이루어지는 복수 개의 레이어를 구비할 수 있으며, 상기 레이어에 상술한 입력 데이터가 입력될 수 있다. 딥러닝 모델(210)은 미리 학습된 학습 데이터와 새롭게 입력된 입력 데이터를 기반으로 사용자의 시선을 추적할 수 있다.
한편, 시선 추적부(206)가 딥러닝 모델(210)을 이용하여 사용자의 시선을 보다 정확히 추적하기 위해서는 딥러닝 모델(210)의 학습용 데이터, 즉 시선 추적을 위한 학습 데이터의 신뢰도가 높아야 한다.
이를 위해 다시 도 2로 참조하면, 학습 데이터 수집부(208)는 응시 액션에 기반하여 딥러닝 모델(210)의 학습에 사용되는 다량의 학습 데이터를 수집할 수 있다. 구체적으로, 학습 데이터 수집부(208)는 사용자 단말(102)의 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영 장치(204)를 통해 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다. 상기 액션은 예를 들어, 응시자의 화면 터치, 응시자의 음성 발화 등이 될 수 있으며, 상기 학습 데이터 수집의 실시예는 아래와 같다.
<실시예>
● 응시자가 잠금 화면의 해제를 위한 패턴을 터치 입력하는 경우, 응시자의 터치 입력이 최초로 이루어진 시점에서 촬영 장치(204)가 동작하여 응시자의 얼굴을 촬영 → 촬영된 응시자의 얼굴 이미지(또는 상기 얼굴 이미지/위치좌표, 상기 응시자의 얼굴이 향하는 방향을 나타내는 벡터, 응시자의 눈동자 이미지/위치좌표 등)와 상기 패턴을 최초로 터치한 지점의 위치 정보를 학습 데이터로서 수집
● 응시자가 화면 내 설정된 애플리케이션 아이콘 또는 메뉴 버튼을 터치(또는 클릭)하는 경우, 응시자의 터치 입력이 이루어진 시점에서 촬영 장치(204)가 동작하여 응시자의 얼굴을 촬영 → 촬영된 응시자의 얼굴 이미지(또는 상기 얼굴 이미지/위치좌표, 상기 응시자의 얼굴이 향하는 방향을 나타내는 벡터, 응시자의 눈동자 이미지/위치좌표 등)와 상기 패턴을 최초로 터치한 지점의 위치 정보를 학습 데이터로서 수집
● 화면에 하나의 점을 디스플레이하여 응시자로 하여금 이를 터치하도록 유도하고 응시자가 상기 점을 터치하는 경우, 응시자의 터치 입력이 이루어진 시점에서 촬영 장치(204)가 동작하여 응시자의 얼굴을 촬영 → 촬영된 응시자의 얼굴 이미지(또는 상기 얼굴 이미지/위치좌표, 상기 응시자의 얼굴이 향하는 방향을 나타내는 벡터, 응시자의 눈동자 이미지/위치좌표 등)와 상기 패턴을 최초로 터치한 지점의 위치 정보를 학습 데이터로서 수집
이와 같이 수집된 학습 데이터는 딥러닝 모델(210)에 입력되어 학습될 수 있다. 구체적으로, 시선 추적부(206)는 상기 학습 데이터를 딥러닝 모델(210)에 학습시키고, 상기 학습 데이터를 학습한 딥러닝 모델(210)을 이용하여 상기 사용자의 시선을 추적할 수 있다. 이하에서는, 도 6 내지 도 9를 참조하여 학습 데이터 수집부(208)가 학습 데이터를 수집하는 방법을 보다 구체적으로 살펴보기로 한다.
도 6은 본 발명의 일 실시예에 따른 학습 데이터 수집부(208)에서 딥러닝 모델(210)에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 예시이다.
도 6을 참조하면, 학습 데이터 수집부(208)는 잠금 화면 상에 패턴 입력을 위한 9개의 점을 디스플레이할 수 있다. 이에 따라, 응시자는 잠금 화면의 해제를 위해 미리 정의된 Z자 형태의 패턴을 터치 입력할 수 있다. 이때, 응시자는 시작점 S → 끝점 E 방향으로 Z자 형태의 패턴을 터치 입력할 수 있다. 학습 데이터 수집부(208)는 응시자의 터치 입력이 최초로 이루어진 시점, 즉 응시자가 시작점 S를 터치한 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 시작점 S의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다.
도 7은 본 발명의 일 실시예에 따른 학습 데이터 수집부(208)에서 딥러닝 모델(210)에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시이며, 도 8은 도 7에서 응시자가 설정된 지점을 터치하는 경우 상기 지점의 시각 요소를 변화시키는 과정을 설명하기 위한 예시이다.
도 7을 참조하면, 학습 데이터 수집부(208)는 화면 상에 버튼 A(뒤로 가기 버튼), 버튼 B(앞으로 가기 버튼), 버튼 C(시작 버튼) 및 버튼 D(끝 버튼) 등을 디스플레이할 수 있다. 만약, 응시자가 버튼 A를 터치하는 경우, 학습 데이터 수집부(208)는 응시자의 터치 입력이 이루어진 시점, 즉 응시자가 버튼 A를 터치한 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 버튼 A의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다.
또한, 학습 데이터 수집부(208)는 상기 응시자의 시선이 상기 터치 이후에도 상기 터치된 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소(visual elements)를 변화시킬 수 있다. 여기서, 시각 요소는 화면에 출력되는 객체들을 눈으로 인식하는 데 필요한 요소로서, 예를 들어 화면에 출력되는 객체, 상기 객체를 포함하는 영역 또는 상기 객체의 테두리 선의 크기, 형태, 색깔, 밝기, 질감 등이 이에 해당할 수 있다.
도 8을 참조하면, 상기 응시자가 버튼 A를 터치하는 경우, 학습 데이터 수집부(208)는 버튼 A의 색깔을 보다 진하게 표시할 수 있으며 이에 따라 상기 응시자의 시선이 상기 터치 이후에도 버튼 A에 머무를 수 있도록 유도할 수 있다.
한편, 학습 데이터 수집부(208)는 상기 응시자가 설정된 지점을 터치하는 시점에 촬영 장치(204)를 동작시켜 상기 학습 데이터를 수집할 수 있다. 즉, 촬영 장치(204)는 평상시에 오프 상태를 유지하다가 상기 응시자가 설정된 지점을 터치하는 시점에 학습 데이터 수집부(208)에 의해 동작하여 사용자를 촬영할 수 있으며, 이에 따라 촬영 장치(204)의 계속적인 동작으로 인해 사용자 단말(102)의 배터리 소모가 증가하는 것을 방지할 수 있다. 또한, 학습 데이터 수집부(208)는 상기 응시자가 상기 지점을 터치하는 시점에 촬영된 상기 응시자의 얼굴 이미지와 상기 지점의 위치 정보(즉, 상기 지점을 터치하는 시점에 수집된 학습 데이터)를 서버(104)로 전송할 수 있으며, 이에 따라 서버(104)는 이를 수집 및 분석할 수 있다. 서버(104)는 사용자 단말(102)로부터 상기 학습 데이터를 수집하여 데이터베이스(미도시)에 저장하고, 사용자 단말(102)이 수행하는 분석 과정(예를 들어, 얼굴 벡터, 눈동자 이미지/위치좌표, 얼굴 이미지/위치좌표 추출 등)을 수행할 수 있다.
또한, 학습 데이터 수집부(208)는 촬영 장치(204)가 동작하고 있는 상태에서 응시자가 설정된 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점(예를 들어, 터치가 이루어진 시점으로부터 1초 이전 시점, 터치가 이루어진 시점으로부터 1초 이후 시점)에서 상기 학습 데이터를 각각 수집할 수 있다. 일반적으로, 응시자는 특정 지점을 터치하고자 하는 경우 터치 직전과 터치 직후에 해당 지점을 응시하게 되므로, 실제 터치가 이루어진 시점뿐 아니라 터치 직전 및 직후 시점에서 수집된 학습 데이터 또한 그 신뢰도가 높은 것으로 판단할 수 있다. 즉, 본 발명의 실시예들에 따르면, 촬영 장치(204)가 동작하고 있는 상태에서 응시자가 설정된 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 학습 데이터를 각각 수집하도록 함으로써, 신뢰도가 높은 다량의 학습 데이터를 보다 용이하게 수집할 수 있다.
도 9는 본 발명의 일 실시예에 따른 학습 데이터 수집부(208)에서 딥러닝 모델(210)에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시이다.
도 9를 참조하면, 학습 데이터 수집부(208)는 특정 지점에서 설정된 문구를 디스플레이하고, 상기 문구에 응답하여 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 지점의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다. 일 예시로서, 학습 데이터 수집부(208)는 화면의 상단 및 중앙 부분에 “아래 단어를 말하시오” 및 “Apple”이라는 문구를 각각 디스플레이하고, 이에 따라 상기 응시자가 “Apple”을 따라 읽기 위한 음성을 발화화는 경우 상기 발화가 시작되는 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 “Apple” 문구가 디스플레이되는 지점의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 화면 내 설정된 지점을 응시하고 있는 응시자로부터 터치, 음성 등과 같은 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 응시자의 얼굴 이미지와 상기 지점의 위치 정보를 시선 추적을 위한 딥러닝 모델(210)의 학습 데이터로 사용함으로써, 시선 추적의 정확도 및 신뢰도를 보다 향상시킬 수 있다.
도 10은 본 발명의 일 실시예에 따른 시선 기반의 비딩 방식을 설명하기 위한 예시이다. 시선 추적부(206)는 검출된 사용자의 시선과 화면 내 상기 광고 컨텐츠의 위치를 비교하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하고, 이에 따라 어느 위치에서 사용자가 광고 컨텐츠를 많이 응시하였는지의 여부를 판단할 수 있다. 시선 추적부(206)는 각 영역별로 사용자가 광고 컨텐츠를 응시한 시간 및 횟수를 계산하고, 이를 서버(104)로 제공할 수 있다. 이에 따라, 서버(104)는 광고주 단말(106)과 연동하여 광고 컨텐츠가 위치하는 각 영역별로 해당 광고 컨텐츠의 비딩(bidding)을 달리할 수 있다.
도 10을 참조하면, 서버(104)는 사용자가 상대적으로 많이 응시한 영역의 광고 컨텐츠에 대해서는 1달러, 사용자가 상대적으로 조금 응시한 영역의 광고 컨텐츠에 대해서는 0.6 달러로 각각 비딩하여 광고주 단말(106)로 과금할 수 있다.
또한, 컨텐츠 제공부(202)는 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경할 수 있다. 예를 들어, 컨텐츠 제공부(202)는 광고 컨텐츠가 디스플레이된 복수 개의 영역 중 설정된 횟수 또는 시간 이상으로 응시된 영역을 파악하고, 현재 디스플레이되고 있는 광고 컨텐츠의 위치를 상기 설정된 횟수 또는 시간 이상으로 응시된 영역으로 변경할 수 있다. 이에 따라, 사용자로 하여금 상기 광고 콘텐츠를 보다 많이 응시하도록 유도할 수 있다.
도 11은 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
S102 단계에서, 컨텐츠 제공부(202)는 화면에 광고 컨텐츠를 디스플레이한다.
S104 단계에서, 시선 추적부(206)는 촬영 장치(204)를 통해 사용자의 얼굴 이미지를 획득한다.
S106 단계에서, 시선 추적부(206)는 설정된 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적한다. 시선 추적부(206)가 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적하는 방법은 앞에서 자세히 설명하였는바 여기서는 그 자세한 설명을 생략하도록 한다.
S108 단계에서, 시선 추적부(206)는 검출된 사용자의 시선과 상기 화면 내 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단한다.
S110 단계에서, 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는 것으로 판단되는 경우, 시선 추적부(206)는 화면 내 광고 컨텐츠의 위치, 상기 광고 컨텐츠에 대한 응시자의 응시 시간/횟수 등을 파악한다.
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 광고 시스템(100), 또는 사용자 단말(102)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22)는 상술한 스크롤 화면(102), 입력 인터페이스(104), 입력 화면(105) 등을 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 사용자의 얼굴 이미지를 촬영하는 촬영 장치; 및
    설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하며, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 시선 추적부를 포함하는, 사용자 단말.
  2. 청구항 1에 있어서,
    화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 학습 데이터 수집부를 더 포함하며,
    상기 시선 추적부는, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키고, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적하는, 사용자 단말.
  3. 청구항 2에 있어서,
    상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집하는, 사용자 단말.
  4. 청구항 3에 있어서,
    상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집하는, 사용자 단말.
  5. 청구항 3에 있어서,
    상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송하는, 사용자 단말.
  6. 청구항 3에 있어서,
    상기 학습 데이터 수집부는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집하는, 사용자 단말.
  7. 청구항 3에 있어서,
    상기 학습 데이터 수집부는, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시키는, 사용자 단말.
  8. 청구항 2에 있어서,
    상기 학습 데이터 수집부는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집하는, 사용자 단말.
  9. 청구항 1에 있어서,
    상기 시선 추적부는, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하고, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력하는, 사용자 단말.
  10. 청구항 1에 있어서,
    상기 화면에 광고 컨텐츠를 디스플레이하는 컨텐츠 제공부를 더 포함하며,
    상기 시선 추적부는, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하고,
    상기 컨텐츠 제공부는, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경하는, 사용자 단말.
  11. 촬영 장치에서, 사용자의 얼굴 이미지를 촬영하는 단계;
    시선 추적부에서, 설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하는 단계; 및
    상기 시선 추적부에서, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 단계를 포함하는, 시선 추적 방법.
  12. 청구항 11에 있어서,
    학습 데이터 수집부에서, 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 단계; 및
    상기 시선 추적부에서, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키는 단계를 더 포함하며,
    상기 사용자의 시선을 추적하는 단계는, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적하는, 시선 추적 방법.
  13. 청구항 12에 있어서,
    상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집하는, 시선 추적 방법.
  14. 청구항 13에 있어서,
    상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집하는, 시선 추적 방법.
  15. 청구항 13에 있어서,
    상기 학습 데이터 수집부에서, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송하는 단계를 더 포함하는, 시선 추적 방법.
  16. 청구항 13에 있어서,
    상기 학습 데이터를 수집하는 단계는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집하는, 시선 추적 방법.
  17. 청구항 13에 있어서,
    상기 학습 데이터 수집부에서, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시키는 단계를 더 포함하는, 시선 추적 방법.
  18. 청구항 12에 있어서,
    상기 학습 데이터를 수집하는 단계는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집하는, 시선 추적 방법.
  19. 청구항 11에 있어서,
    상기 시선 추적부에서, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하는 단계를 더 포함하며,
    상기 사용자의 시선을 추적하는 단계는, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력하는, 시선 추적 방법.
  20. 청구항 11에 있어서,
    컨텐츠 제공부에서, 상기 화면에 광고 컨텐츠를 디스플레이하는 단계;
    상기 시선 추적부에서, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하는 단계; 및
    상기 컨텐츠 제공부에서, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경하는 단계를 더 포함하는, 시선 추적 방법.
PCT/KR2018/004562 2017-09-13 2018-04-19 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 WO2019054598A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/646,326 US11250242B2 (en) 2017-09-13 2018-04-19 Eye tracking method and user terminal performing same
CN201880023479.7A CN110476141A (zh) 2017-09-13 2018-04-19 视线跟踪方法及用于执行该方法的用户终端

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170117059 2017-09-13
KR10-2017-0117059 2017-09-13
KR10-2017-0167334 2017-12-07
KR1020170167334A KR102092931B1 (ko) 2017-09-13 2017-12-07 시선 추적 방법 및 이를 수행하기 위한 사용자 단말

Publications (1)

Publication Number Publication Date
WO2019054598A1 true WO2019054598A1 (ko) 2019-03-21

Family

ID=65722877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/004562 WO2019054598A1 (ko) 2017-09-13 2018-04-19 시선 추적 방법 및 이를 수행하기 위한 사용자 단말

Country Status (2)

Country Link
US (1) US11250242B2 (ko)
WO (1) WO2019054598A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100325365B1 (ko) * 1999-02-23 2002-03-04 김재희 응시위치 추적시스템
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
KR20130088666A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
KR20150129051A (ko) * 2012-07-20 2015-11-18 페이스북, 인크. 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정
KR20160072015A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 화면 상에 표시된 컨텐트를 배열하는 디바이스 및 그 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479471B1 (ko) 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
US10635167B2 (en) * 2013-05-30 2020-04-28 Umoove Services Ltd. Smooth pursuit gaze tracking
US9684827B2 (en) * 2014-03-26 2017-06-20 Microsoft Technology Licensing, Llc Eye gaze tracking based upon adaptive homography mapping
CN106462242B (zh) * 2014-04-23 2019-06-04 谷歌有限责任公司 使用视线跟踪的用户界面控制
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
KR20190027354A (ko) * 2016-04-08 2019-03-14 비짜리오 인코포레이티드 비전 성능 데이터를 획득, 분석 및 생성하고 비전 성능 데이터에 기반하여 미디어를 수정하기 위한 방법 및 시스템
JP7162020B2 (ja) * 2017-09-20 2022-10-27 マジック リープ， インコーポレイテッド 眼追跡のための個人化されたニューラルネットワーク
US10656706B2 (en) * 2017-12-04 2020-05-19 International Business Machines Corporation Modifying a computer-based interaction based on eye gaze
KR102094953B1 (ko) * 2018-03-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
KR20200144196A (ko) * 2019-06-17 2020-12-29 삼성전자주식회사 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
KR20190082688A (ko) * 2019-06-20 2019-07-10 엘지전자 주식회사 시선 추적을 이용한 디스플레이 제어방법 및 디스플레이 제어장치
US11144754B2 (en) * 2019-08-19 2021-10-12 Nvidia Corporation Gaze detection using one or more neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100325365B1 (ko) * 1999-02-23 2002-03-04 김재희 응시위치 추적시스템
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
KR20130088666A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
KR20150129051A (ko) * 2012-07-20 2015-11-18 페이스북, 인크. 사용자 의도 및/또는 신원에 기반한 모바일 장치 상태의 조정
KR20160072015A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 화면 상에 표시된 컨텐트를 배열하는 디바이스 및 그 방법

Also Published As

Publication number Publication date
US11250242B2 (en) 2022-02-15
US20200272807A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
WO2019013517A1 (en) APPARATUS AND METHOD FOR VOICE CONTROL CONTEXT
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
WO2011081379A2 (en) Display device and control method thereof
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
CN112860169B (zh) 交互方法及装置、计算机可读介质和电子设备
WO2018124633A1 (ko) 전자 장치 및 그의 메시지 전달 방법
WO2012108552A1 (en) Display device and control method thereof
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
CN107066778A (zh) 用于老年保健陪伴的Nounou智能监护系统
CN109189953A (zh) 一种多媒体文件的选择方法及装置
WO2019078507A1 (en) ELECTRONIC DEVICE AND METHOD FOR PROVIDING A STRESS INDEX CORRESPONDING TO THE ACTIVITY OF A USER
WO2014088125A1 (ko) 영상 촬영 장치 및 그 방법
WO2014204022A1 (en) Mobile terminal
WO2023243959A1 (ko) 사용자 자세 인식 기반 신체 부상 위험 예측을 위한 방법 및 이를 위한 장치
US11808941B2 (en) Augmented image generation using virtual content from wearable heads up display
CN112286347A (zh) 视力保护方法、装置、存储介质以及终端
JP6973380B2 (ja) 情報処理装置、および情報処理方法
US10810439B2 (en) Video identification method and device
WO2019156412A1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
CN112764600B (zh) 资源处理方法、装置、存储介质及计算机设备
CN113139491A (zh) 视频会议控制方法、系统、移动终端及存储介质
CN110491384B (zh) 一种语音数据处理方法及装置
CN111554314A (zh) 噪声检测方法、装置、终端及存储介质
WO2019054598A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN114296627B (zh) 内容显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857293

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18857293

Country of ref document: EP

Kind code of ref document: A1