KR20130088645A - Method for providing advertising using eye-gaze - Google Patents

Method for providing advertising using eye-gaze Download PDF

Info

Publication number
KR20130088645A
KR20130088645A KR1020120010018A KR20120010018A KR20130088645A KR 20130088645 A KR20130088645 A KR 20130088645A KR 1020120010018 A KR1020120010018 A KR 1020120010018A KR 20120010018 A KR20120010018 A KR 20120010018A KR 20130088645 A KR20130088645 A KR 20130088645A
Authority
KR
South Korea
Prior art keywords
gaze
user
advertisement
additional information
interesting
Prior art date
Application number
KR1020120010018A
Other languages
Korean (ko)
Other versions
KR101850101B1 (en
Inventor
이인재
이희경
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120010018A priority Critical patent/KR101850101B1/en
Publication of KR20130088645A publication Critical patent/KR20130088645A/en
Application granted granted Critical
Publication of KR101850101B1 publication Critical patent/KR101850101B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Abstract

PURPOSE: A method for providing advertisements by using eye tracking is provided to determine objects in which users are interested by using eye tracking information and to automatically supply the advertisement corresponded to the same or additional information to the user. CONSTITUTION: A user selects a media to spend (S10). An interested object and area are set for a selected media (S20). Eyes of the user are traced (S30) and a gaze duration time and a number of gazing relative to the interested are based on the traced eye information are calculated (S40). It is determined whether or not the user is interested in the object positioned in the interested area by comparing with a reference value (S50). An advertisement relative to the interested object positioned in the interested area or additional information is supplied to the user (S60). It is determined whether or not the user finishes a consumption of the selected media (S70). [Reference numerals] (AA) Start; (S10) Select a media which users consume; (S20) Set interesting objects and interesting areas; (S30) Trace the eye gaze of users; (S40) Calculate a gaze duration time and the number of gazing relative to the interesting area; (S50) (gaze duration time > reference time) or (the number of gazing > reference number); (S60) Supply advertisements and additional information relative to the interesting object positioned in the interesting area; (S70) Selected media consuming end?; (S80) Update object information such as the gaze duration time or the number of gazing relative to the interesting object; (S90) Supply advertisements and additional information relative to interesting objects which an updated gaze duration time or the number of gazing is greater than a predetermined reference value or supply advertisements and additional information relative to interesting objects linked in a high rank based on the updated object information

Description

시선 추적을 이용한 광고 제공 방법{METHOD FOR PROVIDING ADVERTISING USING EYE-GAZE}How to provide ads using eye tracking {METHOD FOR PROVIDING ADVERTISING USING EYE-GAZE}

본 발명은 광고 제공 방법에 관한 것으로, 보다 자세하게는 사용자의 시선 추적을 이용한 광고 제공 방법에 관한 것이다. The present invention relates to an advertisement providing method, and more particularly, to an advertisement providing method using tracking of a gaze of a user.

기존의 광고 서비스는 시청자의 관심도와 상관 없이 일방적으로 광고를 제공해 주는 방식이다. 이에, 시청자의 평소 광고 상품에 대한 관심도나 개인 성향 등에 따라 광고의 효과는 천차만별이다. Existing advertising services unilaterally provide advertisements regardless of viewers' interests. Accordingly, the effect of the advertisement varies greatly depending on the viewer's interest in the usual advertisement product or personal tendency.

그리고, 기존의 맞춤형 광고의 경우, 시청자의 성별, 방송 프로그램 취향 등을 기반으로 개인별 맞춤 광고를 제공한다. 이 광고 방법은 시청자의 성별이나 평소의 패턴(예컨대, 방송 프로그램 시청 패턴, 상품 소비 패턴 등)을 수집하고, 이러한 정보를 기반으로 시청자의 관심도를 추측하여 맞춤형 광고를 제공하므로, 사용자가 실제 미디어 소비 시 느끼는 관심도를 반영해 줄 수 없다. In addition, in the case of the existing customized advertisements, personalized advertisements are provided based on the gender of the viewer and the taste of the broadcasting program. This advertising method collects viewers 'gender or usual patterns (e.g., broadcast program viewing patterns, product consumption patterns, etc.) and infers viewers' interest based on this information, thereby providing customized advertisements, thereby allowing the user to consume actual media. It can't reflect the level of interest.

또한, 사용자의 선택을 통해 관심 있는 상품에 대한 광고를 제공하는 방법이 있으나, 이는 사용자의 행동이 요구되므로 일방적 또는 자동적으로 광고를 제공하는 방법에 비해서 광고의 노출이 낮을 수 밖에 없다. In addition, there is a method of providing an advertisement for a product of interest through the user's selection, but since the user's action is required, the exposure of the advertisement is inevitably lower than that of the method of providing the advertisement unilaterally or automatically.

따라서, 사용자가 미디어를 소비할 때, 사용자의 관심도를 즉각적으로 반영하여 자동으로 광고를 노출하는 방법이 필요하다. Therefore, when the user consumes the media, there is a need for a method of automatically exposing an advertisement by immediately reflecting the interest of the user.

대한민국 공개특허공보 제10-2011-0100987호Republic of Korea Patent Publication No. 10-2011-0100987

본 발명은 사용자의 시선 추적 정보를 이용하여 사용자가 관심을 두는 객체를 판별하고, 그에 해당하는 광고 또는 부가 정보를 자동으로 사용자에게 서비스하는 방법을 제공한다. The present invention provides a method of determining an object of interest by a user using eye gaze tracking information and automatically serving an advertisement or additional information corresponding thereto.

본 발명의 일 실시형태는 시선 추적을 이용한 광고 제공 방법에 관한 것으로, 사용자가 선택한 미디어로부터 관심 객체를 추출하고, 상기 관심 객체에 대한 위치 정보를 기반으로 관심 영역을 설정하는 단계, 상기 미디어 소비에 따른 상기 사용자의 시선을 추적하는 단계, 상기 시선 추적을 기반으로 상기 관심 영역에 시선이 머문 응시 지속 시간 또는 응시 횟수를 계산하는 단계, 상기 응시 지속 시간 또는 상기 응시 횟수가 기설정된 기준값 이상인지 여부를 판단하는 단계 및 상기 기준값 이상이면 상기 관심 영역에 위치하는 관심 객체를 획득하여, 상기 관심 객체와 관련된 광고 또는 부가 정보를 제공하는 단계를 포함한다.An embodiment of the present invention relates to an advertisement providing method using gaze tracking, comprising: extracting an object of interest from media selected by a user, and setting an area of interest based on location information of the object of interest; Tracking the gaze of the user, calculating a gaze duration or the number of gazes stayed in the region of interest based on the gaze tracking, and whether the gaze duration or the number of gazes is equal to or greater than a preset reference value. And determining an object of interest located in the ROI if the reference value is greater than or equal to the reference value and providing advertisement or additional information related to the object of interest.

본 발명에 의하면, 사용자의 시선 추적 정보를 이용하여 사용자가 관심을 두는 객체를 판별할 수 있고, 또한 관심을 두는 객체에 대한 광고 또는 부가 정보를 자동으로 사용자에게 제공함으로써, 보다 높은 광고 효과를 얻을 수 있다.According to the present invention, the gaze tracking information of the user can be used to determine the object of interest to the user, and also automatically provide the user with advertisements or additional information about the object of interest, thereby obtaining a higher advertisement effect. Can be.

도 1은 본 발명의 실시 예에 따른 시선 추적을 이용한 광고 제공 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 시선 추적을 이용한 광고 제공 방법을 설명하기 위한 흐름도이다.1 is a diagram illustrating a configuration of an advertisement providing apparatus using gaze tracking according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating an advertisement providing method using gaze tracking according to an exemplary embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 또한, 본 발명은 이하에서 설명하는 실시 예에 한정되지 않으며, 본 발명의 기술적 사상의 범위 내에서 여러 가지 상이한 형태로 적용될 수 있다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. In addition, the present invention is not limited to the embodiments described below, and may be applied in various different forms within the scope of the technical idea of the present invention.

본 명세서에서 설명하는 구성 요소는 필요에 따라 이하에서 설명할 구성 요소 이외의 것을 포함할 수 있으며, 본 발명에 직접적인 연관이 없는 부분 또는 중복되는 내용에 대해서는 자세한 설명을 생략한다. 또한, 본 명세서에서 설명하는 각 구성 요소의 배치는 필요에 따라서 조정이 가능하며, 하나의 구성 요소가 다른 구성 요소에 포함될 수도 있고 하나의 구성 요소가 둘 이상의 구성 요소로 세분화 될 수도 있다.Components described herein may include other components than those described below as needed, and detailed descriptions of portions or overlapping contents that are not directly related to the present invention will be omitted. In addition, the arrangement of each component described herein can be adjusted as needed, one component may be included in another component or one component may be subdivided into two or more components.

본 발명의 실시 예에 따른 시선 추적을 이용한 광고 제공 장치 및 방법은 미디어를 소비할 수 있는 기기, 예컨대 스마트 TV, IPTV, PC, 노트북, 이동 통신 단말 등에 적용될 수 있다. 여기서, 미디어 소비란, 방송, 인터넷, 웹 등과 같은 미디어를 통해 다양한 콘텐츠를 이용하는 것을 말한다. Advertisement providing apparatus and method using gaze tracking according to an embodiment of the present invention can be applied to devices that can consume media, such as smart TV, IPTV, PC, laptop, mobile communication terminal. Here, media consumption refers to using various contents through media such as broadcasting, the Internet, and the web.

도 1은 본 발명의 실시 예에 따른 시선 추적을 이용한 광고 제공 장치의 구성을 나타낸 도면이다. 1 is a diagram illustrating a configuration of an advertisement providing apparatus using gaze tracking according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 시선 추적을 이용한 광고 제공 장치(1)는 객체 위치 추적부(10), 시선 추적부(20), 시선정보 처리부(30) 및 광고/부가정보 처리부(40)를 포함한다. Referring to FIG. 1, an advertisement providing apparatus 1 using gaze tracking according to an embodiment of the present invention may include an object position tracking unit 10, a gaze tracking unit 20, a gaze information processing unit 30, and an advertisement / addition. An information processing unit 40 is included.

객체 위치 추적부(10)는 사용자의 미디어 소비 시, 해당 미디어를 대상으로 객체를 추출하고, 이들 객체 중 사용자가 관심을 가질만한 관심 객체(예를 들어, 옷, 가방, 화장품 등 상품)를 선별한다. 그리고, 관심 객체에 대한 위치 정보를 획득하고, 획득한 위치 정보를 기반으로 관심 영역을 설정한다. When the user's media consumption, the object position tracking unit 10 extracts objects from the media, and selects objects of interest (eg, clothes, bags, cosmetics, etc.) that the user may be interested in among these objects. do. The controller acquires location information on the object of interest and sets an ROI based on the acquired location information.

이때, 관심 영역을 설정함으로써, 후술할 시선 추적부(20)로부터 도출된 사용자의 시선 정보와 대응시킬 수 있고, 이를 통해 관심 영역에 해당하는 객체를 유추할 수 있게 되므로 사용자의 시선 추적에 따른 관심 객체를 선별해 낼 수 있다.At this time, by setting the region of interest, it is possible to correspond to the gaze information of the user derived from the gaze tracking unit 20 to be described later, and through this it is possible to infer the object corresponding to the region of interest through the interest of the user's eye tracking Can sort objects

시선 추적부(20)는 사용자의 시선을 추적하고, 추적한 시선의 움직임에 따른 시선 정보를 생성한다. The gaze tracking unit 20 tracks the gaze of the user and generates gaze information according to the movement of the tracked gaze.

보다 구체적으로, 시선 추적부(20)는 사용자의 시선을 추적하기 위해, 시선 추적용 카메라(21)를 구비하여 사용자의 눈이나 얼굴 영상을 촬영한다. 이때, 촬영 영상을 기반으로 사용자의 시선 움직임을 추적하여 사용자가 바라보고 있는 최종 시선을 산출하고, 이 최종 시선에 대한 정보, 즉 시선의 응시 위치 및 응시 시간을 계산한다. More specifically, the gaze tracking unit 20 is provided with a gaze tracking camera 21 to track the eyes of the user to photograph the eyes or the face of the user. At this time, the gaze movement of the user is tracked based on the captured image to calculate the final gaze that the user is looking at, and information about the final gaze, that is, the gaze location and gaze time of the gaze, is calculated.

예를 들어, 시선 추적용 카메라(21)가 사용자의 눈 및 그 주변을 포함하는 영상을 촬영하면, 촬영된 영상을 분석하여 사용자의 눈 영역, 특히 동공 영역을 검출한다. 이어서, 동공 영역의 중심점을 검출하고, 시선 추적용 카메라(21) 좌표계와 미디어를 출력하는 화면의 좌표계 사이의 관계에 근거하여 동공의 중심점을 화면상에 대응하는 좌표로 변환할 수 있다. 이러한 화면상에 대응하는 좌표 값을 이용하여 사용자의 시선 움직임에 따른 시선 정보, 즉 시선의 응시 위치를 계산해 낼 수 있다. For example, when the gaze tracking camera 21 captures an image including the eyes and the surroundings of the user, the captured image is analyzed to detect the eye area, particularly the pupil area, of the user. Subsequently, the center point of the pupil area can be detected, and the center point of the pupil can be converted into a corresponding coordinate on the screen based on the relationship between the coordinate system of the eye tracking camera 21 and the coordinate system of the screen on which the media is output. Using the corresponding coordinate values on the screen, the gaze information according to the user's gaze movement, that is, the gaze position of the gaze, may be calculated.

사용자의 시선을 추적하기 위한 일 예로 시선 추적용 카메라(21)를 이용하였으나, 그 외 사용자의 시선을 감지하여 추적할 수 있는 다양한 장치를 사용할 수 있다. As an example for tracking the gaze of a user, the gaze tracking camera 21 may be used, but various devices capable of detecting and tracking the gaze of the user may be used.

시선정보 처리부(30)는 시선 추적부(20)로부터 전달 받은 시선 정보를 기반으로 사용자가 특정 위치를 응시하고 있는지를 판단한다. 보다 구체적으로, 시선 추적부(20)로부터 전달 받은 시간별 시선 정보(예컨대, 응시 위치, 응시 시간 등)를 이용하여 특정 위치에 시선이 머문 지속 시간을 산출하고, 이 지속 시간이 일정 시간 이상이면 해당 특정 위치를 응시하고 있는 것으로 판단한다. The gaze information processor 30 determines whether the user gazes at a specific position based on the gaze information received from the gaze tracker 20. More specifically, using the eye gaze information (for example, gaze position, gaze time, etc.) received from the gaze tracking unit 20, the gaze stayed at a specific location is calculated, and if the duration is longer than a predetermined time, It is judged that staring at a specific position.

특정 위치를 응시하고 있는 것으로 판단한 경우, 시선정보 처리부(30)는 특정 위치에 대응되는 관심 영역을 선별하고, 선별된 관심 영역에 위치하는 관심 객체를 추출한다. 그리고, 관심 객체에 대한 응시 지속 시간, 응시 횟수 등의 객체 정보를 업데이트한다. If it is determined that the user is staring at a specific location, the gaze information processor 30 selects an ROI corresponding to the specific location and extracts an ROI located in the selected ROI. The object information such as the gaze duration and the number of gazes of the object of interest is updated.

광고/부가정보 처리부(40)는 시선정보 처리부(30)로부터 전달 받은 객체 정보를 기반으로 관심 객체와 관련된 광고 또는/및 부가 정보를 제공한다. The advertisement / additional information processing unit 40 provides advertisement or / and additional information related to the object of interest based on the object information received from the gaze information processing unit 30.

보다 구체적으로, 광고/부가정보 처리부(40)는 시선정보 처리부(30)로부터 전달 받은 관심 객체의 응시 지속 시간이 기설정된 기준시간 이상이거나 응시 횟수가 기설정된 기준횟수 이상이면 해당 관심 객체에 관한 광고 또는/및 부가 정보를 사용자에게 제공한다. More specifically, the advertisement / additional information processing unit 40 may be configured to advertise an advertisement about the object of interest when the gaze duration of the object of interest received from the gaze information processing unit 30 is greater than or equal to a predetermined reference time or the number of gazes is greater than or equal to a predetermined reference number. And / or provide additional information to the user.

또는, 사용자가 미디어 소비를 종료하면 광고/부가정보 처리부(40)는 업데이트된 객체 정보, 예컨대 응시 지속 시간 또는 응시 횟수가 상위 순위에 랭크 된 관심 객체를 선별하여 이들에 관한 광고 또는/및 부가 정보를 사용자에게 제공한다.Alternatively, when the user ends the media consumption, the advertisement / additional information processing unit 40 selects updated object information, for example, an object of interest whose ranking of the gaze duration or the number of gazes is ranked at the highest rank, and an advertisement or / and additional information about them. To the user.

이때, 광고 또는 부가 정보는 광고/부가정보 DB(41)로부터 전송 받아 사용자에게 제공된다. 광고/부가정보 DB(41)는 관심 객체들과 관련된 광고 또는 부가 정보를 저장해 놓은 공간으로, 본 발명의 실시 예에 따른 위치 추적을 이용한 광고 제공 장치(1)에 더 포함될 수 있다. 또는, 위치 추적을 이용한 광고 제공 장치(1)와는 별도로 외부에 광고/부가정보 DB(41)가 구축되어 광고/부가정보 처리부(40)와 통신을 통해서 광고 또는 부가 정보를 전송할 수도 있다. At this time, the advertisement or additional information is received from the advertisement / additional information DB 41 and provided to the user. The advertisement / additional information DB 41 is a space in which advertisements or additional information related to the objects of interest are stored and may be further included in the advertisement providing device 1 using location tracking according to an embodiment of the present invention. Alternatively, the advertisement / additional information DB 41 may be constructed outside the advertisement providing device 1 using location tracking to transmit advertisements or additional information through communication with the advertisement / additional information processing unit 40.

본 발명의 실시 예에 따른 위치 추적을 이용한 광고 제공 장치(1)는 광고/부가정보 재생부(50)를 더 포함할 수 있다. The advertisement providing apparatus 1 using location tracking according to an embodiment of the present invention may further include an advertisement / additional information reproducing unit 50.

광고/부가정보 재생부(50)는 광고/부가정보 처리부(40)로부터 광고 또는/및 부가 정보를 전달 받아 이를 재생한다. 즉, 관심 객체에 관한 광고 또는/및 부가 정보를 예컨대, 스마트 TV, IPTV, 노트북 등과 같은 기기 화면 상에 출력되도록 한다. The advertisement / additional information reproducing unit 50 receives the advertisement or / and additional information from the advertisement / additional information processing unit 40 and reproduces it. That is, advertisements and / or additional information about the object of interest may be output on a device screen such as, for example, a smart TV, an IPTV, a laptop, and the like.

도 2는 본 발명의 실시 예에 따른 시선 추적을 이용한 광고 제공 방법을 설명하기 위한 흐름도이다. 이 방법은 도 1의 시선 추적을 이용한 광고 제공 장치(1)에 의해 수행될 수 있다. 2 is a flowchart illustrating an advertisement providing method using gaze tracking according to an exemplary embodiment of the present invention. This method may be performed by the advertisement providing apparatus 1 using the eye tracking of FIG. 1.

도 2를 참조하면, 사용자가 소비할 미디어를 선택한다(S10). 예를 들어, 사용자는 스마트 TV, IPTV, 스마트 폰 등과 같은 기기를 이용하여 소비할 미디어를 선택할 수 있다. 이때, 미디어는 방송, 인터넷, 웹 등을 이용하여 콘텐츠를 소비할 수 있는 매체를 말한다. Referring to FIG. 2, the user selects media to be consumed (S10). For example, a user may select media to consume using a device such as a smart TV, an IPTV, a smart phone, or the like. In this case, the media refers to a medium capable of consuming content by using broadcasting, the Internet, and the web.

다음으로, 선택한 미디어를 대상으로 관심 객체 및 관심 영역을 설정한다(S20). 즉, 선택한 미디어를 대상으로 객체를 추출하고, 이들 객체 중 사용자가 관심을 가질만한 관심 객체(예를 들어, 옷, 가방, 화장품 등 상품)를 선별한다. 선별한 관심 객체에 대한 위치 정보를 획득하고, 이를 기반으로 관심 영역을 설정한다. Next, the ROI and the ROI are set for the selected media (S20). That is, objects are extracted from the selected media, and among these objects, objects of interest (eg, clothes, bags, cosmetics, etc.) that are of interest to the user are selected. Location information about the selected ROI is obtained and an ROI is set based on the location information.

다음으로, 사용자의 시선을 추적한다(S30). 예컨대, 시선 추적용 카메라를 이용하여 사용자의 눈이나 얼굴 영상을 촬영하고, 이 촬영 영상을 분석하여 사용자의 시선 움직임을 추적할 수 있다. 이때, 추적한 시선의 움직임, 즉 시선 궤도에 따른 시선 정보를 획득할 수 있다. 시선 정보는 시선이 머문 응시 위치 및 응시 시간 등에 대한 정보를 포함한다. Next, the user's eyes are tracked (S30). For example, an eye or face image of the user may be photographed using a gaze tracking camera, and the captured image may be analyzed to track the eye movement of the user. At this time, the movement of the tracked gaze, that is, the gaze information according to the gaze trajectory, may be acquired. The gaze information includes information about a gaze location, gaze time, and the like.

다음으로, 추적한 시선 정보를 근거로 관심 영역에 대한 응시 지속 시간 및 응시 횟수를 계산한다(S40). 예를 들어, 시선 정보에 포함된 응시 위치가 관심 영역에 해당하면 그 관심 영역의 응시 횟수를 증가시킬 수 있다. 또한, 응시 위치 및 응시 시간을 이용하여 응시 위치가 관심 영역에 머문 응시 지속 시간을 계산할 수 있다. Next, the gaze duration and the number of gazes of the ROI are calculated based on the tracked gaze information (S40). For example, when the gaze position included in the gaze information corresponds to the ROI, the number of gazes of the ROI may be increased. In addition, the gaze location and the gaze time may be used to calculate a gaze duration in which the gaze position remains in the ROI.

다음으로, 관심 영역에 대한 응시 지속 시간 또는 응시 횟수를 근거로 기설정된 기준값과 비교하여, 사용자가 관심 영역에 위치하는 객체에 대한 관심 유무를 판단한다(S50). Next, the user determines whether the user is interested in an object located in the region of interest by comparing the gaze duration or the number of times of gaze with respect to the region of interest (S50).

만일, 응시 지속 시간이 기설정된 기준시간 이상이거나 응시 횟수가 기설정된 기준횟수 이상이면 사용자가 관심 영역에 위치하는 객체에 대한 관심이 있는 것으로 판단하여, 관심 영역에 위치하는 관심 객체와 관련된 광고 또는/및 부가 정보를 사용자에게 제공한다(S60). 예컨대, 스마트 TV, IPTV, 스마트 폰 등과 같은 화면에 관심 객체와 관련된 상품 광고를 재생시킴으로써, 사용자의 관심이 높은 광고를 자동으로 노출시킬 수 있다. If the gaze duration is greater than or equal to a predetermined reference time or the number of times of gazing is greater than or equal to a predetermined reference frequency, it is determined that the user is interested in an object located in the region of interest, and the advertisement related to the object of interest located in the region of interest or / And provide additional information to the user (S60). For example, by playing a product advertisement related to the object of interest on a screen such as a smart TV, an IPTV, a smart phone, and the like, an advertisement having a high interest of the user can be automatically exposed.

반면, 응시 지속 시간이 기준시간 미만이거나 응시 횟수가 기준횟수 미만이면 사용자가 관심 영역에 위치하는 객체에 관심이 없는 것으로 판단하여, 단계 S30으로 복귀하여 상기 단계들을 다시 수행한다. On the other hand, if the gaze duration is less than the reference time or the number of gazes is less than the reference frequency, it is determined that the user is not interested in the object located in the ROI, and the process returns to step S30 to perform the above steps again.

한편, 사용자가 선택한 미디어 소비를 종료할지 여부를 결정한다(S70).Meanwhile, it is determined whether to end the media consumption selected by the user (S70).

만일, 선택한 미디어 소비를 계속한다면 단계 S30으로 복귀하여 상기 단계들을 다시 수행한다.If the selected media consumption continues, the process returns to step S30 and the above steps are performed again.

반면, 선택한 미디어 소비를 종료한다면 관심 객체에 대한 응시 지속 시간 및 응시 횟수 등의 객체 정보를 업데이트한다(S80). On the other hand, if the selected media consumption is terminated, the object information such as the gaze duration and the number of gazes for the object of interest is updated (S80).

다음으로, 업데이트한 객체 정보를 기반으로 응시 지속 시간 또는 응시 횟수가 일정 기준값 이상인 관심 객체에 대한 광고 또는/및 부가 정보를 다음 미디어가 선택되기 전까지 사용자에게 제공한다. 또는, 업데이트한 객체 정보를 기반으로 상위 순위에 랭크 된 관심 객체를 선별하여 이들에 대한 광고 또는 부가 정보를 사용자에게 제공한다(S90). 예컨대, 스마트 TV, IPTV, 스마트 폰 등과 같은 화면에 관심 객체와 관련된 상품 광고를 재생시킴으로써, 사용자의 관심이 높은 광고를 자동으로 노출시킬 수 있다. Next, based on the updated object information, the user is provided with advertisements and / or additional information about the object of interest having the gaze duration or the number of gazes exceeding a predetermined reference value until the next media is selected. Or, based on the updated object information, the object of interest ranked in the upper rank is selected and the advertisement or additional information about them is provided to the user (S90). For example, by playing a product advertisement related to the object of interest on a screen such as a smart TV, an IPTV, a smart phone, and the like, an advertisement having a high interest of the user can be automatically exposed.

이상에서 설명한 본 발명에 따른 광고 제공 방법은 사용자가 실제 미디어 소비시 관심을 가지는 객체를 판별할 수 있으므로 사용자의 관심도를 즉각적으로 반영할 수 있다. 따라서, 사용자의 관심도가 높은 상품들을 자동으로 노출시킴으로써 보다 높은 광고 효과를 얻을 수 있다. 또한, 기존 사용자의 관심도를 반영한 광고 방법과는 달리, 사용자의 부가적인 행동을 요구하거나 사용자의 정보를 미리 수집하거나 등의 과정이 필요 없다. The advertisement providing method according to the present invention as described above can immediately determine the interest of the user because the user can determine the object of interest when the actual media consumption. Therefore, a higher advertisement effect can be obtained by automatically exposing products of high interest to the user. In addition, unlike the advertising method reflecting the interest of the existing user, there is no need for additional actions of the user or collecting information of the user in advance.

상술한 본 발명에 따른 흐름도의 단계들은 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 흐름도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 흐름도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.The steps of the flowchart according to the present invention described above may occur in a different order or at the same time as the steps different from the above. Furthermore, those skilled in the art will appreciate that the steps shown in the flowcharts are not exclusive and that other steps may be included or one or more steps in the flowcharts may be deleted without affecting the scope of the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10 : 객체 위치 추적부
20 : 시선 추적부
21 : 카메라
30 : 시선 정보 처리부
40 : 광고/부가정보 처리부
41 : 광고/부가정보 DB
50 : 광고/부가정보 재생부10: object position tracking unit
20: eye tracking unit
21: camera
30: gaze information processing unit
40: advertising / additional information processing unit
41: Advertising / additional information DB
50: advertisement / additional information playback unit

Claims (1)

시선 추적을 이용한 광고 제공 방법에 있어서,
사용자가 선택한 미디어로부터 관심 객체를 추출하고, 상기 관심 객체에 대한 위치 정보를 기반으로 관심 영역을 설정하는 단계;
상기 미디어 소비에 따른 상기 사용자의 시선을 추적하는 단계;
상기 시선 추적을 기반으로 상기 관심 영역에 시선이 머문 응시 지속 시간 또는 응시 횟수를 계산하는 단계;
상기 응시 지속 시간 또는 상기 응시 횟수가 기설정된 기준값 이상인지 여부를 판단하는 단계; 및
상기 기준값 이상이면 상기 관심 영역에 위치하는 관심 객체를 획득하여, 상기 관심 객체와 관련된 광고 또는 부가 정보를 제공하는 단계;를 포함하는 시선 추적을 이용한 광고 제공 방법. In the advertisement providing method using eye tracking,
Extracting an object of interest from the media selected by the user and setting a region of interest based on location information of the object of interest;
Tracking the eyes of the user according to the media consumption;
Calculating a gaze duration or the number of gazes that the gaze stays on the ROI based on the gaze tracking;
Determining whether the gaze duration or the number of gazes is equal to or greater than a preset reference value; And
And obtaining an interest object located in the ROI if the reference value is greater than or equal to the reference value, and providing an advertisement or additional information related to the ROI.
KR1020120010018A 2012-01-31 2012-01-31 Method for providing advertising using eye-gaze KR101850101B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120010018A KR101850101B1 (en) 2012-01-31 2012-01-31 Method for providing advertising using eye-gaze

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120010018A KR101850101B1 (en) 2012-01-31 2012-01-31 Method for providing advertising using eye-gaze

Publications (2)

Publication Number Publication Date
KR20130088645A true KR20130088645A (en) 2013-08-08
KR101850101B1 KR101850101B1 (en) 2018-04-19

Family

ID=49214944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120010018A KR101850101B1 (en) 2012-01-31 2012-01-31 Method for providing advertising using eye-gaze

Country Status (1)

Country Link
KR (1) KR101850101B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015027105A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Virtual reality content stitching and awareness
KR20150081172A (en) * 2014-01-03 2015-07-13 이화여자대학교 산학협력단 Method for providing learning guideline, server for providing learning guideline and user device
CN108489507A (en) * 2018-03-20 2018-09-04 京东方科技集团股份有限公司 Navigation device and its working method, computer readable storage medium
CN109062399A (en) * 2018-06-20 2018-12-21 新华网股份有限公司 The evaluating method and system of multimedia messages
CN109085917A (en) * 2018-06-20 2018-12-25 新华网股份有限公司 Prompting message playing method and system
KR20190030542A (en) * 2017-09-14 2019-03-22 주식회사 스무디 Method, system and non-transitory computer-readable recording medium for estimating emotion for advertising contents based on video chat
KR20210021874A (en) * 2019-08-19 2021-03-02 광운대학교 산학협력단 Advertising System and Method to Provide Multi-User Personalized Services
KR20210085270A (en) * 2019-12-30 2021-07-08 한국전자통신연구원 Apparatus and method for detecting interest in gazed objects
KR20220016750A (en) * 2020-08-03 2022-02-10 주식회사 옐로나이프 Method and apparatus for providing ad contents based on bike rider position and gaze
WO2023191259A1 (en) * 2022-03-30 2023-10-05 쉐어잇 주식회사 Device and method for recommending spatial image through gaze tracking

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102039402B1 (en) * 2018-07-19 2019-11-27 주식회사 테크노블러드코리아 Method for providing virtual reality advertisement
KR102085129B1 (en) * 2019-10-25 2020-03-04 주식회사 테크노블러드코리아 Method for providing virtual reality advertisement
KR102618448B1 (en) * 2020-09-15 2023-12-29 주식회사 씨제이이엔엠 Method of providing retargeting advertisement service for PPL therefor

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015027105A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Virtual reality content stitching and awareness
KR20150081172A (en) * 2014-01-03 2015-07-13 이화여자대학교 산학협력단 Method for providing learning guideline, server for providing learning guideline and user device
KR20190030542A (en) * 2017-09-14 2019-03-22 주식회사 스무디 Method, system and non-transitory computer-readable recording medium for estimating emotion for advertising contents based on video chat
KR20190030549A (en) * 2017-09-14 2019-03-22 주식회사 스무디 Method, system and non-transitory computer-readable recording medium for controlling flow of advertising contents based on video chat
CN108489507A (en) * 2018-03-20 2018-09-04 京东方科技集团股份有限公司 Navigation device and its working method, computer readable storage medium
CN109062399A (en) * 2018-06-20 2018-12-21 新华网股份有限公司 The evaluating method and system of multimedia messages
CN109085917A (en) * 2018-06-20 2018-12-25 新华网股份有限公司 Prompting message playing method and system
KR20210021874A (en) * 2019-08-19 2021-03-02 광운대학교 산학협력단 Advertising System and Method to Provide Multi-User Personalized Services
KR20210085270A (en) * 2019-12-30 2021-07-08 한국전자통신연구원 Apparatus and method for detecting interest in gazed objects
KR20220016750A (en) * 2020-08-03 2022-02-10 주식회사 옐로나이프 Method and apparatus for providing ad contents based on bike rider position and gaze
WO2023191259A1 (en) * 2022-03-30 2023-10-05 쉐어잇 주식회사 Device and method for recommending spatial image through gaze tracking

Also Published As

Publication number Publication date
KR101850101B1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
KR20130088645A (en) Method for providing advertising using eye-gaze
US10856044B2 (en) Environment object recognition
US10621488B2 (en) Content management and delivery system
US20170097679A1 (en) System and method for content provision using gaze analysis
US9414115B1 (en) Use of natural user interface realtime feedback to customize user viewable ads presented on broadcast media
US20140195328A1 (en) Adaptive embedded advertisement via contextual analysis and perceptual computing
US9087056B2 (en) System and method for providing augmented content
US20130340006A1 (en) Eye-tracking navigation
US9411414B2 (en) Method and system for providing immersive effects
US20150189377A1 (en) Methods and systems for adjusting user input interaction types based on the level of engagement of a user
US11949943B2 (en) Gaze-responsive advertisement
US20160232561A1 (en) Visual object efficacy measuring device
US20190354172A1 (en) Method to reliably detect correlations between gaze and stimuli
US20130340005A1 (en) Eye-tracking program guides
JP2018530277A (en) Method, system and apparatus for media content control based on attention detection
US10778622B2 (en) Modifying rich media components for an interactive email
US10506284B2 (en) Visual utility analytic method and related eye tracking device and system
CN113015998A (en) Sight line analysis device and sight line analysis system and method using same
JP5489197B2 (en) Electronic advertisement apparatus / method and program
JP2017028402A (en) Video evaluation device and program
KR102222747B1 (en) Method for operating an immersion level and electronic device supporting the same
CA3081269A1 (en) Machine learning-based media content sequencing and placement
CN110262663B (en) Schedule generation method based on eyeball tracking technology and related product
WO2017192130A1 (en) Apparatus and method for eye tracking to determine types of disinterested content for a viewer
CN112115341A (en) Content display method, device, terminal, server, system and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right