WO2015182846A1 - 동공인식을 이용한 광고 제공 장치 및 방법 - Google Patents

동공인식을 이용한 광고 제공 장치 및 방법 Download PDF

Info

Publication number
WO2015182846A1
WO2015182846A1 PCT/KR2015/000017 KR2015000017W WO2015182846A1 WO 2015182846 A1 WO2015182846 A1 WO 2015182846A1 KR 2015000017 W KR2015000017 W KR 2015000017W WO 2015182846 A1 WO2015182846 A1 WO 2015182846A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
user
pupil recognition
display screen
selection position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/000017
Other languages
English (en)
French (fr)
Inventor
나승원
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Planet Co Ltd
Original Assignee
SK Planet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Planet Co Ltd filed Critical SK Planet Co Ltd
Priority to CN201580027362.2A priority Critical patent/CN106462869B/zh
Priority to US15/314,273 priority patent/US10126814B2/en
Publication of WO2015182846A1 publication Critical patent/WO2015182846A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor

Definitions

  • the present invention relates to an apparatus and method for providing advertisement using pupil recognition that can provide promotional contents for an object intentionally watched by a user among various objects included in a display image.
  • a user watches a video using a smart TV equipped with a 2D or higher camera, a smartphone or a tablet including a tablet, and an advertisement solution technology that provides an advertisement connected to a product included in the video content, have.
  • a customer views a product included in a video and requests exposure of the advertisement and detailed information about the product, the related information is provided.
  • Such a service may be connected to an advertisement page of a product provider, a page related to a background sound source, and an SNS communication channel related to a product.
  • the service recognizes a pupil in a face of a person and provides detailed information of a product.
  • unintended results are obtained through unintended pupil recognition, and errors are often exposed to unwanted information. That is, when the user recognizes the pupil, various product information is provided even if the user does not want it, which may result in exposing unnecessary large amounts of information.
  • An object of the present invention is to provide information of a selected object reflecting a user's intention by using a pupil recognition point through pupil recognition and an indication point using an indication object when selecting an object in the display.
  • an object of the present invention is to induce product purchase activities by maximizing the advertising effect by providing the advertisement and detailed information of the product through a simple gaze and gestures to users watching the video.
  • the advertisement providing apparatus using the pupil recognition according to the present invention for achieving the above object, by using a pupil recognition point generated through the pupil recognition for the user and a direction point corresponding to the instruction of the user
  • a selection position designation unit which designates a selection position in the display screen
  • a target object determiner which determines a target object corresponding to the selected position among the objects in the display screen
  • an advertisement providing unit for providing promotional contents corresponding to the target object according to the user's response.
  • the selection position designation unit may designate the selection position using a point where a straight line connecting the pupil recognition point and the instruction point meets the display screen.
  • the selection position designation unit may generate any one of a center point between two pupils and any one of the two pupils recognized as the pupil recognition points according to the number of pupils recognized through the pupil recognition. Can be.
  • the selection position designation unit may generate the end point of the instruction object used by the user to indicate the selection position as the instruction point.
  • the selection position designation unit may designate the selection position using a point where a straight line connecting the pupil recognition point and the instruction point meets the display screen for a predetermined time.
  • the selection position designation unit may indicate a direction in which the straight line deviates through the display when the straight line connecting the pupil recognition point and the indication point deviates from the display screen.
  • the advertisement providing unit may include a user response determination unit for determining the response of the user by using the movement of the indication point.
  • the advertisement providing unit may further include an advertisement database that stores the promotional content corresponding to the objects in the display screen.
  • the advertisement providing method using the pupil recognition by using a pupil recognition point generated through the pupil recognition for the user and a direction point corresponding to the user's instructions (selection location in the display screen) Designating; Determining a target object corresponding to the selected position among the objects in the display screen; And providing promotional content corresponding to the target object according to the user's response.
  • the step of designating the selection position may designate the selection position using a point where a straight line connecting the pupil recognition point and the instruction point meets the display screen.
  • the step of designating a selection position according to the number of pupils recognized through the pupil recognition, any one of the center point between the two pupils and any one of the recognized pupils of the pupil recognition point Can be determined.
  • the step of designating the selection position may generate the end point of the instruction object used by the user to indicate the selection position as the instruction point.
  • the step of designating the selection position may designate the selection position using a point where the branch line connecting the pupil recognition point and the instruction point meets the display screen for a preset time.
  • the step of designating the selection position may indicate a direction in which the straight line deviates through the display when the straight line connecting the pupil recognition point and the indication point is out of the display screen.
  • the providing of the advertisement may include determining a response of the user by using the movement of the indication point.
  • the providing of the advertisement may further include storing the promotional content corresponding to the objects in the display screen.
  • the present invention it is possible to prevent unnecessary exposure of information due to indiscriminate pupil recognition by providing promotional content for an object desired by a user among objects in a display screen.
  • the present invention can be provided with the advertisement or information of the product through a simple gaze and gestures for users watching the video using the display, thereby maximizing the advertising effect of the product can be actively made product purchase activities .
  • FIG. 1 is a block diagram showing an advertisement providing apparatus using pupil recognition according to an embodiment of the present invention.
  • FIG. 2 is a view showing an advertisement providing unit according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an advertisement providing process using pupil recognition according to an embodiment of the present invention.
  • 4 to 7 are diagrams illustrating a method of determining a target object using pupil recognition points and indication points according to pupil recognition according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an advertisement providing method using pupil recognition according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing an advertisement providing apparatus using pupil recognition according to an embodiment of the present invention.
  • the advertisement providing apparatus 100 using the pupil recognition may include a selection position designation unit 110, a target object determination unit 120, and an advertisement providing unit 130. Can be.
  • the selection position designation unit 110 may designate a selection position in the display screen by using a pupil recognition point generated through pupil recognition and a direction point corresponding to the user's instruction.
  • the pupil recognition point of the user may be a center point between two pupils recognized through the pupil recognition of the user.
  • the instruction point may be an object having a sharp end on which the user is holding to indicate an object in the display screen, or may use the user's finger.
  • the selection position may be designated using a point where a straight line connecting the pupil recognition point and the instruction point meets the display screen. For example, if the user looks at an object in the display screen using the pointing object, the user's pupil recognition point, the pointing point and any object in the display screen may be in a straight line. Therefore, the pupil recognition point and the instruction point are connected, and the connection line can be extended to designate a point meeting the display screen as a selection position.
  • one of the center point between the two pupils and any one of the recognized pupils can be generated as the pupil recognition point.
  • the center of one recognized pupil is generated as the pupil recognition point and the indication point is Can connect
  • an end point of the indicating object used by the user to indicate the selection position may be generated as an indication point.
  • a user may use a pointed object such as a user's finger or a pen to indicate an object in the display screen. In this way, the end of the finger or the end of the pen used for the indication can be created as an indication point.
  • the selection position may be designated by using a point where a straight line connecting the pupil recognition point and the instruction point meets the display screen for a preset time. For example, when a user attempts to indicate an object in a display screen using an indication object, the user may pass by looking at another unintended object before indicating the desired object. Therefore, in this case, since the user may be provided with unintentional information, the location may be designated as a selection position only when the user indicates an object to be provided with information for a predetermined time.
  • the direction in which the straight line is deviated through the display may be indicated.
  • the display may indicate a direction in which the straight line deviates from the display so that the user may adjust the position where the straight line meets the display screen.
  • the target object determiner 120 may determine a target object corresponding to a selection position among objects in the display screen. For example, the coordinates of the selected position designated in the display screen may be checked, and an object located at the coordinates may be determined as the target object. At this time, if the object does not exist in the selection position, the user may specify a different selection position through a guide message. In addition, if there is no promotional content for the object located at the selected location, the user may be informed that there is no information related to the target object and may be guided to designate another selected location.
  • the advertisement provider 130 may provide the promotional content corresponding to the target object according to the user's response. For example, if the target object is determined within the display screen, the display screen may be paused and the user may be asked whether to provide advertisements or detailed information about the target object.
  • the response of the user may be determined using the movement of the indication point.
  • a change value may be applied to an instruction point by moving a user's finger or shaking an object such as a pen up or down or left and right.
  • the command corresponding to the change value may be performed.
  • the promotional content corresponding to the objects in the display screen may be stored.
  • related advertisements may be supplied from sellers selling products corresponding to the object.
  • the supplied advertisement may be stored in an advertisement database and then searched and provided when a target object is requested by the user and requested to provide an advertisement. If there is no advertisement of the object determined as the target object from the user, the detailed information of the target object may be searched and provided using an external service through the Internet.
  • the advertisement providing apparatus 100 using the pupil recognition provides promotional content for a product intentionally instructed by the user in the display screen, thereby maximizing the advertisement effect of the product and inducing a user to purchase the product.
  • FIG. 2 is a view showing an advertisement providing unit according to an embodiment of the present invention.
  • the advertisement provider 130 may include a user response determiner 210 and an advertisement database 220.
  • the user response determiner 210 may determine the user's response by using the movement of the indication point. For example, a change value may be applied to an instruction point by moving a user's finger or shaking an object such as a pen up or down or left and right. By inputting a command related to the user's response to each of the change values, when the change value corresponding to the input command is recognized, the command corresponding to the change value may be performed.
  • the advertisement database 220 may store the promotional content corresponding to the objects in the display screen. For example, for various objects included in the displayed image, related advertisements may be supplied from sellers selling products corresponding to the object. The supplied advertisement may be stored in an advertisement database and then searched and provided when a target object is requested by the user and requested to provide an advertisement. If there is no advertisement of the object determined as the target object from the user, the detailed information of the target object may be searched and provided using an external service through the Internet.
  • FIG. 3 is a diagram illustrating an advertisement providing process using pupil recognition according to an embodiment of the present invention.
  • an object that the user wants to receive the promotional content among the objects appearing in the video can be observed using the indicating object.
  • the user's pupil may be recognized by using a camera embedded in the display device.
  • the center point between the two pupils of the recognized user may be determined as the pupil recognition point 310 of the user. If the user looks at the object with only one eye, the pupil of the eye to be used may be determined as the pupil recognition point 310.
  • the indicating object may be an object having a sharp point at one end so that the user can hold the hand and indicate an object in the display screen.
  • the end point of the pointing object may be generated as the pointing point 320 to connect the pupil recognition point 310 and the pointing point 320 to generate the connection line 330.
  • connection line 330 When the connection line 330 is extended, a position where the connection line 330 meets the display screen may be designated as a selection position, and an object corresponding to the selection position may be determined as the target object 340.
  • the video may be stopped and the user may be asked whether to provide advertisements and detailed information about the target object 340.
  • the user can respond to the query by moving the pointing object.
  • a change value may be applied to the instruction point 320 by moving a user's finger or shaking an object such as a pen up or down or left and right.
  • the command corresponding to the change value may be performed.
  • the promotional content of the target object 340 may be provided through the smart TV.
  • the smart TV For example, when a user sees an advertisement of a target object and wants to purchase the target object, information about a shopping mall selling the target object may be provided. Alternatively, the user may be prompted to purchase the target object by providing price information about the target object or late information of people who use the target object.
  • 4 to 7 are diagrams illustrating a method of determining a target object using pupil recognition points and indication points according to pupil recognition according to an embodiment of the present invention.
  • a method of determining a target object by using a pupil recognition point and an indication point according to whether the pupil is recognized is to determine the angle of the pupil or the recognized pupil. You can sort by number.
  • FIG. 4 is a diagram illustrating a method of determining a target object when the user looks directly at the target object on the display screen.
  • a and B of FIG. 4 may represent a user's left pupil and a right pupil, respectively, and C may represent an indication point such as a user's fingertip or a pen tip.
  • a triangle consisting of vertices A, B, and C generated through pupil recognition and motion recognition may be configured.
  • the center point of the side formed by vertices A and B that is, the center point between two user's pupils The recognition point can be determined.
  • a connection line may be generated by connecting a pupil recognition point, which is a center point of a side formed by vertices A and B, and an instruction point, which is a vertex C, and a point where the connection line meets the display screen may be designated as a selection position.
  • an object corresponding to a selection position among various objects in the display screen may be determined as a target object.
  • FIG. 5 is a diagram illustrating a method of determining a target object when the target object is viewed to the left rather than the front thereof
  • FIG. 6 is a diagram illustrating a method of determining the target object when the target object is viewed to the right.
  • FIG. 7 illustrates a method of determining a target object when only one of two pupils of the user is recognized through pupil recognition.
  • A may be a pupil of either the right side or the left side of the user.
  • the pupil recognition point may be the center of the recognized pupil. Therefore, the point where the connection line connecting the pupil recognition point A and the instruction point C meet the display screen can be designated as the selection position, and an object corresponding to the selection position can be determined as the target object.
  • FIG. 8 is a flowchart illustrating an advertisement providing method using pupil recognition according to an embodiment of the present invention.
  • an advertisement providing method using pupil recognition uses a pupil recognition point generated through pupil recognition for a user and a direction point corresponding to the instruction of the user.
  • a selection position may be designated within the display screen.
  • the pupil recognition point of the user may be a center point between two pupils recognized through the pupil recognition of the user.
  • the instruction point may be an object having a sharp end on which the user is holding to indicate an object in the display screen, or may use the user's finger.
  • the selection position may be designated using a point where a straight line connecting the pupil recognition point and the instruction point meets the display screen. For example, if the user looks at an object in the display screen using the pointing object, the user's pupil recognition point, the pointing point and any object in the display screen may be in a straight line. Therefore, the pupil recognition point and the instruction point are connected, and the connection line can be extended to designate a point meeting the display screen as a selection position.
  • one of the center point between the two pupils and any one of the recognized pupils can be generated as the pupil recognition point.
  • the center of one recognized pupil is generated as the pupil recognition point and the indication point is Can connect
  • an end point of the indicating object used by the user to indicate the selection position may be generated as an indication point.
  • a user may use a pointed object such as a user's finger or a pen to indicate an object in the display screen. In this way, the end of the finger or the end of the pen used for the indication can be created as an indication point.
  • the selection position may be designated by using a point where a straight line connecting the pupil recognition point and the instruction point meets the display screen for a preset time. For example, when a user attempts to indicate an object in a display screen using an indication object, the user may pass by looking at another unintended object before indicating the desired object. Therefore, in this case, since the user may be provided with unintentional information, the location may be designated as a selection position only when the user indicates an object to be provided with information for a predetermined time.
  • the direction in which the straight line is deviated through the display may be indicated.
  • the display may indicate a direction in which the straight line deviates from the display so that the user may adjust the position where the straight line meets the display screen.
  • the advertisement providing method using pupil recognition may determine a target object corresponding to a selected position among objects in the display screen (S820). For example, the coordinates of the selected position designated in the display screen may be checked, and an object located at the coordinates may be determined as the target object. At this time, if the object does not exist in the selection position, the user may specify a different selection position through a guide message. In addition, if there is no promotional content for the object located at the selected location, the user may be informed that there is no information related to the target object and may be guided to designate another selected location.
  • the advertisement providing method using pupil recognition may provide the promotional content corresponding to the target object according to the user's response (S830). For example, if the target object is determined within the display screen, the display screen may be paused and the user may be asked whether to provide advertisements or detailed information about the target object.
  • the response of the user may be determined using the movement of the indication point.
  • a change value may be applied to an instruction point by moving a user's finger or shaking an object such as a pen up or down or left and right.
  • the command corresponding to the change value may be performed.
  • the promotional content corresponding to the objects in the display screen may be stored.
  • related advertisements may be supplied from sellers selling products corresponding to the object.
  • the supplied advertisement may be stored in an advertisement database and then searched and provided when a target object is requested by the user and requested to provide an advertisement. If there is no advertisement of the object determined as the target object from the user, the detailed information of the target object may be searched and provided using an external service through the Internet.
  • the advertisement providing method using pupil recognition may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Magneto-optical media and any type of hardware device specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the apparatus and method for providing advertisement using pupil recognition according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments may be modified in various ways. All or some of the embodiments may be optionally combined.
  • a selection position on the display screen is specified, and a target corresponding to the selection position among the objects in the display screen.
  • the object may be determined, and promotional content corresponding to the target object may be provided according to a response of the user.
  • the advertisement and detailed information about the desired product can be provided, thereby maximizing the advertisement effect on the product.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

동공인식을 이용한 광고 제공 장치 및 방법이 개시된다. 동공인식을 이용한 광고 제공 장치는 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 사용자의 지시에 상응하는 지시 포인트를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정하고, 디스플레이 화면 내의 객체들 중 선택 위치에 상응하는 타겟 객체를 결정하고, 사용자의 응답에 따라 타겟 객체에 상응하는 프로모션 컨텐츠를 제공할 수 있다. 디스플레이 화면 내에서 사용자가 원하는 객체에 대한 프로모션 컨텐츠만을 제공함으로써 무분별한 동공인식에 따른 불필요한 정보의 노출을 방지하는 것이 가능하다.

Description

동공인식을 이용한 광고 제공 장치 및 방법
본 발명은 디스플레이 영상에 포함되어 있는 다양한 객체들 중 사용자가 의도적으로 주시하는 객체에 대한 프로모션 컨텐츠를 제공할 수 있는 동공인식을 이용한 광고 제공 장치 및 방법에 관한 것이다.
최근에는 사용자가 2D 이상의 카메라가 탑재된 스마트 TV, 타블렛을 포함한 스마트폰 및 노트북 등을 이용하여 동영상을 감상하고 있을 때, 동영상 내용 중에 포함되어 있는 상품과 연결된 광고를 제공하는 광고 솔루션 기술들이 개발되고 있다. 즉, 동영상에 포함된 제품을 고객이 바라보고, 그 제품에 대한 광고 및 상세한 정보의 노출을 요구할 때 관련 정보를 제공하는 방식이다. 이와 같은 서비스는 제품 공급자의 광고 페이지, 배경 음원과 관련한 페이지 및 제품과 관계되는 SNS 커뮤니케이션 채널 등으로 연결될 수 있다.
상기한 광고 솔루션 기술에서는 사람의 얼굴 중 동공을 인식하여 상품의 상세 정보를 제공하는 형태의 서비스이다. 이와 같은 형태의 광고 서비스는 사용자에 의해 의도되지 않은 동공인식을 통해 부정한 결과가 도출되기도 하고, 원하지 않은 정보들이 자주 노출되는 오류를 범하고 있다. 즉, 사용자의 동공을 인식하게 되면 사용자가 원하지 않는 경우에도 여러 가지 상품 정보가 제공됨으로써 불필요한 대용량의 정보들을 노출시키는 결과를 초래할 수 있다.
본 발명의 목적은, 디스플레이 내의 객체를 선택할 때 동공인식을 통한 동공인식 포인트와 지시용 물체를 이용한 지시 포인트를 함께 이용함으로써 사용자의 의도를 반영하여 선택된 객체의 정보를 제공하는 것이다.
또한, 본 발명의 목적은 동영상을 감상하는 사용자들에게 간단한 주시 및 제스처를 통해 상품의 광고 및 상세 정보를 제공함으로써 광고 효과를 극대화하여 상품 구매활동을 유도하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 동공인식을 이용한 광고 제공 장치는, 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 상기 사용자의 지시에 상응하는 지시 포인트(direction point)를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정하는 선택 위치 지정부; 상기 디스플레이 화면 내의 객체들 중 상기 선택 위치에 상응하는 타겟 객체를 결정하는 타겟 객체 결정부; 및 상기 사용자의 응답에 따라 상기 타겟 객체에 상응하는 프로모션 컨텐츠를 제공하는 광고 제공부를 포함한다.
이 때, 선택 위치 지정부는 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정할 수 있다.
이 때, 선택 위치 지정부는 상기 동공인식을 통하여 인식된 동공의 개수에 따라, 두 개의 동공 사이의 중앙점 및 상기 두 개의 동공 중 인식된 어느 하나의 동공 중 어느 하나를 상기 동공인식 포인트로 생성할 수 있다.
이 때, 선택 위치 지정부는 상기 사용자가 상기 선택 위치를 지시하기 위해 사용하는 지시용 물체의 끝점을 상기 지시 포인트로 생성할 수 있다.
이 때, 선택 위치 지정부는 기설정된 시간동안 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정할 수 있다.
이 때, 선택 위치 지정부는 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면을 벗어나는 경우에 상기 디스플레이를 통해 상기 직선이 벗어난 방향을 나타낼 수 있다.
이 때, 광고 제공부는 상기 지시 포인트의 움직임을 이용하여 상기 사용자의 응답을 판단하는 사용자 응답 판단부를 포함할 수 있다.
이 때, 광고 제공부는 상기 디스플레이 화면 내의 객체들에 상응하는 상기 프로모션 컨텐츠를 저장하는 광고 데이터 베이스를 더 포함할 수 있다.
또한, 본 발명에 따른 동공인식을 이용한 광고 제공 방법은, 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 상기 사용자의 지시에 상응하는 지시 포인트(direction point)를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정하는 단계; 상기 디스플레이 화면 내의 객체들 중 상기 선택 위치에 상응하는 타겟 객체를 결정하는 단계; 및 상기 사용자의 응답에 따라 상기 타겟 객체에 상응하는 프로모션 컨텐츠를 제공하는 단계를 포함한다.
이 때, 선택 위치를 지정하는 단계는 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정할 수 있다.
이 때, 선택 위치를 지정하는 단계는 상기 동공인식을 통하여 인식된 동공의 개수에 따라, 두 개의 동공 사이의 중앙점 및 상기 두 개의 동공 중 인식된 어느 하나의 동공 중 어느 하나를 상기 동공인식 포인트로 결정할 수 있다.
이 때, 선택 위치를 지정하는 단계는 상기 사용자가 상기 선택 위치를 지시하기 위해 사용하는 지시용 물체의 끝점을 상기 지시 포인트로 생성할 수 있다.
이 때, 선택 위치를 지정하는 단계는 기설정된 시간동안 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 지선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정할 수 있다.
이 때, 선택 위치를 지정하는 단계는 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면을 벗어나는 경우에 상기 디스플레이를 통해 상기 직선이 벗어난 방향을 나타낼 수 있다.
이 때, 광고를 제공하는 단계는 상기 지시 포인트의 움직임을 이용하여 상기 사용자의 응답을 판단하는 단계를 포함할 수 있다.
이 때, 광고를 제공하는 단계는 상기 디스플레이 화면 내의 객체들에 상응하는 상기 프로모션 컨텐츠를 저장하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 디스플레이 화면 내의 객체들 중에서 사용자가 원하는 객체에 대한 프로모션 컨텐츠를 제공함으로써 무분별한 동공인식에 따른 불필요한 정보의 노출을 방지할 수 있다.
또한, 본 발명은 디스플레이를 이용하여 동영상을 시청하는 사용자들이 간단한 주시 및 제스처를 통해 상품의 광고나 정보를 제공받을 수 있어, 상품의 광고 효과를 극대화하여 상품 구매활동이 활발하게 이루어지도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 광고 제공부를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 과정을 나타낸 도면이다.
도 4 내지 도 7은 본 발명의 일실시예에 따른 동공인식 여부에 따라 동공인식 포인트 및 지시 포인트를 이용하여 타겟 객체를 결정하는 방법을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 방법을 나타낸 동작 흐름도이다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.
도 1은 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 장치(100)는 선택 위치 지정부(110), 타겟 객체 결정부(120) 및 광고 제공부(130)를 포함할 수 있다.
선택 위치 지정부(110)는 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 사용자의 지시에 상응하는 지시 포인트(direction point)를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정할 수 있다. 예를 들어, 사용자의 동공인식 포인트는 사용자의 동공인식을 통해 인식된 두 개의 동공 사이의 중앙점일 수 있다. 또한, 동공인식을 통해 오른쪽 및 왼쪽 중 어느 한 쪽의 동공만 인식된다면, 인식된 동공을 동공인식 포인트로 생성할 수 있다. 또한, 지시 포인트는 사용자가 디스플레이 화면 내의 객체를 지시하기 위해 들고 있는 한쪽 끝이 뾰족한 물체일 수 있으며, 사용자의 손가락을 사용할 수도 있다.
이 때, 동공인식 포인트 및 지시 포인트를 연결한 직선이 디스플레이 화면과 만나는 점을 이용하여 선택 위치를 지정할 수 있다. 예를 들어, 사용자가 지시용 물체를 이용하여 디스플레이 화면 내의 어떤 객체를 주시한다면, 사용자의 동공인식 포인트, 지시 포인트 및 디스플레이 화면 내의 어떤 객체는 일직선상에 놓일 수 있다. 따라서, 동공인식 포인트 및 지시 포인트를 연결하고, 그 연결선을 연장하여 디스플레이 화면과 만나는 점을 선택 위치로 지정할 수 있다.
이 때, 동공인식을 통하여 인식된 동공의 개수에 따라, 두 개의 동공 사이의 중앙점 및 상기 두 개의 동공 중 인식된 어느 하나의 동공 중 어느 하나를 상기 동공인식 포인트로 생성할 수 있다. 예를 들어, 디스플레이에 내장된 카메라를 이용하여 사용자의 동공을 인식할 때, 오른쪽과 왼쪽 중 어느 한 쪽의 동공만 인식하였다면, 인식된 한 쪽 동공의 중앙을 동공인식 포인트로 생성하여 지시 포인트와 연결할 수 있다.
이 때, 사용자가 선택 위치를 지시하기 위해 사용하는 지시용 물체의 끝점을 지시 포인트로 생성할 수 있다. 예를 들어, 사용자가 디스플레이 화면 내의 객체를 지시하기 위해 사용자의 손가락이나 펜과 같은 한 쪽 끝이 뾰족한 물체를 이용할 수 있다. 이와 같이 지시하기 위해 사용하는 손가락의 끝이나 펜의 끝점을 지시 포인트로 생성할 수 있다.
이 때, 기설정된 시간동안 동공인식 포인트 및 지시 포인트를 연결한 직선이 디스플레이 화면과 만나는 점을 이용하여 선택 위치를 지정할 수 있다. 예를 들어, 사용자가 지시용 물체를 이용하여 디스플레이 화면 내의 어떤 객체를 지시하려고 할 때, 원하는 객체를 지시하기 전에 의도하지 않은 다른 객체를 보면서 지나쳐갈 수 있다. 따라서 이와 같은 경우에는 사용자가 의도하지 않은 정보를 제공받게 될 수 있으므로, 사용자가 정보를 제공받기 원하는 객체를 기설정된 시간동안 지시하는 경우에만 해당 위치를 선택 위치로 지정할 수 있다.
이 때, 동공인식 포인트 및 지시 포인트를 연결한 직선이 디스플레이 화면을 벗어나는 경우에 디스플레이를 통해 직선이 벗어난 방향을 나타낼 수 있다. 예를 들어, 동공인식 포인트는 사용자가 다른 곳을 보고 있더라도 사용자의 동공을 인식하여 선택 위치를 지정하기 때문에 동공인식 포인트와 지시 포인트를 연결한 직선이 만나는 곳이 디스플레이 화면 내에 존재하지 않을 수도 있다. 이와 같은 경우에는 사용자가 디스플레이 화면과 직선이 만나는 위치를 조정할 수 있도록 디스플레이를 통해 직선이 벗어난 방향을 나타낼 수 있다.
타겟 객체 결정부(120)는 디스플레이 화면 내의 객체들 중 선택 위치에 상응하는 타겟 객체를 결정할 수 있다. 예를 들어, 디스플레이 화면 내에 지정된 선택 위치의 좌표를 확인하고, 해당 좌표에 위치하는 객체를 타겟 객체로 결정할 수 있다. 이 때, 선택 위치에 객체가 존재하지 않는다면 안내 메시지를 통해 사용자가 다른 선택 위치를 지정하도록 할 수 있다. 또한, 선택 위치에 위치하는 객체에 대한 프로모션 컨텐츠가 존재하지 않는다면 사용자에게 타겟 객체와 관련한 정보가 없음을 알리고 다른 선택 위치를 지정하도록 안내할 수 있다.
광고 제공부(130)는 사용자의 응답에 따라 타겟 객체에 상응하는 프로모션 컨텐츠를 제공할 수 있다. 예를 들어, 디스플레이 화면 내에서 타겟 객체가 결정되었다면, 디스플레이 화면을 잠시 정지시키고 타겟 객체에 대한 광고나 상세 정보를 제공할지 여부에 대한 질의를 사용자에게 제공할 수 있다.
이 때, 지시 포인트의 움직임을 이용하여 사용자의 응답을 판단할 수 있다. 예를 들어, 사용자의 손가락을 움직이거나, 펜과 같은 물체를 상하 또는 좌우로 흔들어 지시 포인트에 변화 값을 적용할 수 있다. 이와 같은 변화 값 각각에 사용자의 응답과 관련한 명령을 입력하여, 입력한 명령과 상응하는 변화 값이 인식될 때 변화 값에 상응하는 명령을 수행할 수 있다.
이 때, 디스플레이 화면 내의 객체들에 상응하는 프로모션 컨텐츠를 저장할 수 있다. 예를 들어, 디스플레이 되는 영상에 포함된 다양한 객체들에 대해서, 해당 객체에 상응하는 상품을 판매하는 판매자들로부터 관련한 광고를 공급받을 수 있다. 공급받은 광고는 광고 데이터 베이스에 저장해 두었다가 사용자로부터 타겟 객체로 결정되어 광고 제공을 요청 받았을 때, 검색하여 제공할 수 있다. 만약 사용자로부터 타겟 객체로 결정된 객체의 광고가 존재하지 않을 경우에는 인터넷을 통한 외부 서비스를 이용하여 타겟 객체의 상세 정보 등을 검색해서 제공할 수도 있다.
이와 같은 동공인식을 이용한 광고 제공 장치(100)를 통해 디스플레이 화면 내에서 사용자가 의도적으로 지시한 상품에 대한 프로모션 컨텐츠를 제공함으로써, 상품의 광고 효과를 극대화시켜 상품을 구매하도록 유도할 수 있다.
도 2는 본 발명의 일실시예에 따른 광고 제공부를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 광고 제공부(130)는 사용자 응답 판단부(210) 및 광고 데이터 베이스(220)를 포함할 수 있다.
사용자 응답 판단부(210)는 지시 포인트의 움직임을 이용하여 사용자의 응답을 판단할 수 있다. 예를 들어, 사용자의 손가락을 움직이거나, 펜과 같은 물체를 상하 또는 좌우로 흔들어 지시 포인트에 변화 값을 적용할 수 있다. 이와 같은 변화 값 각각에 사용자의 응답과 관련한 명령을 입력하여, 입력한 명령과 상응하는 변화 값이 인식될 때 변화 값에 상응하는 명령을 수행할 수 있다.
광고 데이터 베이스(220)는 디스플레이 화면 내의 객체들에 상응하는 프로모션 컨텐츠를 저장할 수 있다. 예를 들어, 디스플레이 되는 영상에 포함된 다양한 객체들에 대해서, 해당 객체에 상응하는 상품을 판매하는 판매자들로부터 관련한 광고를 공급받을 수 있다. 공급받은 광고는 광고 데이터 베이스에 저장해 두었다가 사용자로부터 타겟 객체로 결정되어 광고 제공을 요청 받았을 때, 검색하여 제공할 수 있다. 만약 사용자로부터 타겟 객체로 결정된 객체의 광고가 존재하지 않을 경우에는 인터넷을 통한 외부 서비스를 이용하여 타겟 객체의 상세 정보 등을 검색해서 제공할 수도 있다.
도 3은 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 과정을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 과정은 사용자가 스마트 TV를 이용하여 동영상을 감상할 때, 동영상에 나오는 객체들 중 사용자가 프로모션 컨텐츠를 제공받기 원하는 객체를 지시용 물체를 이용하여 주시할 수 있다.
사용자가 디스플레이 화면 내의 객체를 두 눈을 통해 주시할 때 디스플레이 디바이스에 내장된 카메라를 이용하여 사용자의 동공을 인식할 수 있다. 인식한 사용자의 두 동공 사이의 중심점을 사용자의 동공인식 포인트(310)로 결정할 수 있다. 만약, 사용자가 어느 한 쪽의 눈으로만 객체를 주시하는 경우, 사용하는 눈의 동공을 동공인식 포인트(310)로 결정할 수도 있다.
지시용 물체는 사용자가 손으로 들고 디스플레이 화면 내의 객체를 지시할 수 있도록 한쪽 끝이 뾰족한 물체일 수 있다. 이 때, 지시용 물체의 끝점을 지시 포인트(320)로 생성하여 동공인식 포인트(310)와 지시 포인트(320)를 연결하여 연결선(330)을 생성할 수 있다.
연결선(330)을 연장하였을 때, 연결선(330)과 디스플레이 화면이 만나는 위치를 선택 위치로 지정할 수 있고, 선택 위치에 상응하는 객체를 타겟 객체(340)로 결정할 수 있다.
타겟 객체(340)가 결정되면 동영상을 정지하고 사용자에게 타겟 객체(340)에 대한 광고 및 상세 정보를 제공할 것인지 여부를 사용자에게 질의할 수 있다. 이 때, 사용자는 지시용 물체를 움직여서 질의에 대한 응답을 할 수 있다. 예를 들어, 사용자의 손가락을 움직이거나, 펜과 같은 물체를 상하 또는 좌우로 흔들어 지시 포인트(320)에 변화 값을 적용할 수 있다. 이와 같은 변화 값 각각에 사용자의 응답과 관련한 명령을 입력하여, 입력한 명령과 상응하는 변화 값이 인식될 때 변화 값에 상응하는 명령을 수행할 수 있다.
사용자의 응답에 따라 스마트 TV를 통해 타겟 객체(340)의 프로모션 컨텐츠를 제공할 수 있다. 예를 들어, 사용자가 타겟 객체의 광고를 보고 타겟 객체를 구매하고 싶은 경우에 타겟 객체를 판매하는 쇼핑몰에 대한 정보를 제공할 수 있다. 또는 타겟 객체에 대한 가격 정보나 타겟 객체를 사용한 사람들의 후기 정보 등을 제공하여 사용자가 타겟 객체를 구입하도록 유도할 수 있다.
도 4 내지 도 7은 본 발명의 일실시예에 따른 동공인식 여부에 따라 동공인식 포인트 및 지시 포인트를 이용하여 타겟 객체를 결정하는 방법을 나타낸 도면이다.
도 4 내지 도 7을 참조하면, 본 발명의 일실시예에 따른 동공인식 여부에 따라 동공인식 포인트 및 지시 포인트를 이용하여 타겟 객체를 결정하는 방법은 사용자의 동공을 인식하는 각도나 인식되는 동공의 개수에 따라 분류할 수 있다.
도 4는 사용자가 디스플레이 화면의 타겟 객체를 정면으로 주시하는 경우에 타겟 객체를 결정하는 방법을 나타낸 도면이다.
이 때, 도 4의 A와 B는 각각 사용자의 좌측 동공 및 우측 동공을 나타낼 수 있고, C는 사용자의 손가락 끝이나 펜 끝과 같은 지시 포인트를 나타낼 수 있다. 이와 같이 동공인식 및 모션인식을 통해 생성한 A, B 및 C를 꼭지점으로 하는 삼각형이 구성될 수 있는데, 이 삼각형에서 꼭지점 A와 B가 이루는 변의 중심점, 즉 사용자의 두 개의 동공 사이의 중심점을 동공인식 포인트로 결정할 수 있다.
또한, 꼭지점 A와 B가 이루는 변의 중심점인 동공인식 포인트와 꼭지점 C인 지시 포인트를 연결하여 연결선을 생성할 수 있고, 연결선과 디스플레이 화면이 만나는 점을 선택 위치로 지정할 수 있다.
또한, 디스플레이 화면 내의 다양한 객체들 중 선택 위치에 상응하는 객체를 타겟 객체로 결정할 수 있다.
도 5는 타겟 객체를 정면이 아닌 좌측으로 주시하는 경우에 타겟 객체를 결정하는 방법을 나타낸 도면이고, 도 6은 타겟 객체를 우측으로 주시하는 경우에 타겟 객체를 결정하는 방법을 나타낸 도면이다.
도 7은 동공인식을 통하여 사용자의 두 개의 동공 중 어느 하나의 동공만 인식한 경우에 타겟 객체를 결정하는 방법을 나타낸 도면이다.
이 때, A는 사용자의 오른쪽 및 왼쪽 중 어느 한 쪽의 동공일 수 있다.
또한, 한 쪽의 동공만 인식되었기 때문에 동공인식 포인트는 인식된 동공의 중앙일 수 있다. 따라서, 동공인식 포인트인 A와 지시 포인트인 C를 연결한 연결선이 디스플레이 화면과 만나는 점을 선택 위치로 지정할 수 있고, 선택 위치에 상응하는 객체를 타겟 객체로 결정할 수 있다.
도 8은 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 방법을 나타낸 동작 흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 방법은 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 사용자의 지시에 상응하는 지시 포인트(direction point)를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정할 수 있다(S810). 예를 들어, 사용자의 동공인식 포인트는 사용자의 동공인식을 통해 인식된 두 개의 동공 사이의 중앙점일 수 있다. 또한, 동공인식을 통해 오른쪽 및 왼쪽 중 어느 한 쪽의 동공만 인식된다면, 인식된 동공을 동공인식 포인트로 생성할 수 있다. 또한, 지시 포인트는 사용자가 디스플레이 화면 내의 객체를 지시하기 위해 들고 있는 한쪽 끝이 뾰족한 물체일 수 있으며, 사용자의 손가락을 사용할 수도 있다.
이 때, 동공인식 포인트 및 지시 포인트를 연결한 직선이 디스플레이 화면과 만나는 점을 이용하여 선택 위치를 지정할 수 있다. 예를 들어, 사용자가 지시용 물체를 이용하여 디스플레이 화면 내의 어떤 객체를 주시한다면, 사용자의 동공인식 포인트, 지시 포인트 및 디스플레이 화면 내의 어떤 객체는 일직선상에 놓일 수 있다. 따라서, 동공인식 포인트 및 지시 포인트를 연결하고, 그 연결선을 연장하여 디스플레이 화면과 만나는 점을 선택 위치로 지정할 수 있다.
이 때, 동공인식을 통하여 인식된 동공의 개수에 따라, 두 개의 동공 사이의 중앙점 및 상기 두 개의 동공 중 인식된 어느 하나의 동공 중 어느 하나를 상기 동공인식 포인트로 생성할 수 있다. 예를 들어, 디스플레이에 내장된 카메라를 이용하여 사용자의 동공을 인식할 때, 오른쪽과 왼쪽 중 어느 한 쪽의 동공만 인식하였다면, 인식된 한 쪽 동공의 중앙을 동공인식 포인트로 생성하여 지시 포인트와 연결할 수 있다.
이 때, 사용자가 선택 위치를 지시하기 위해 사용하는 지시용 물체의 끝점을 지시 포인트로 생성할 수 있다. 예를 들어, 사용자가 디스플레이 화면 내의 객체를 지시하기 위해 사용자의 손가락이나 펜과 같은 한 쪽 끝이 뾰족한 물체를 이용할 수 있다. 이와 같이 지시하기 위해 사용하는 손가락의 끝이나 펜의 끝점을 지시 포인트로 생성할 수 있다.
이 때, 기설정된 시간동안 동공인식 포인트 및 지시 포인트를 연결한 직선이 디스플레이 화면과 만나는 점을 이용하여 선택 위치를 지정할 수 있다. 예를 들어, 사용자가 지시용 물체를 이용하여 디스플레이 화면 내의 어떤 객체를 지시하려고 할 때, 원하는 객체를 지시하기 전에 의도하지 않은 다른 객체를 보면서 지나쳐갈 수 있다. 따라서 이와 같은 경우에는 사용자가 의도하지 않은 정보를 제공받게 될 수 있으므로, 사용자가 정보를 제공받기 원하는 객체를 기설정된 시간동안 지시하는 경우에만 해당 위치를 선택 위치로 지정할 수 있다.
이 때, 동공인식 포인트 및 지시 포인트를 연결한 직선이 디스플레이 화면을 벗어나는 경우에 디스플레이를 통해 직선이 벗어난 방향을 나타낼 수 있다. 예를 들어, 동공인식 포인트는 사용자가 다른 곳을 보고 있더라도 사용자의 동공을 인식하여 선택 위치를 지정하기 때문에 동공인식 포인트와 지시 포인트를 연결한 직선이 만나는 곳이 디스플레이 화면 내에 존재하지 않을 수도 있다. 이와 같은 경우에는 사용자가 디스플레이 화면과 직선이 만나는 위치를 조정할 수 있도록 디스플레이를 통해 직선이 벗어난 방향을 나타낼 수 있다.
또한, 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 방법은 디스플레이 화면 내의 객체들 중 선택 위치에 상응하는 타겟 객체를 결정할 수 있다(S820). 예를 들어, 디스플레이 화면 내에 지정된 선택 위치의 좌표를 확인하고, 해당 좌표에 위치하는 객체를 타겟 객체로 결정할 수 있다. 이 때, 선택 위치에 객체가 존재하지 않는다면 안내 메시지를 통해 사용자가 다른 선택 위치를 지정하도록 할 수 있다. 또한, 선택 위치에 위치하는 객체에 대한 프로모션 컨텐츠가 존재하지 않는다면 사용자에게 타겟 객체와 관련한 정보가 없음을 알리고 다른 선택 위치를 지정하도록 안내할 수 있다.
또한, 본 발명의 일실시예에 따른 동공인식을 이용한 광고 제공 방법은 사용자의 응답에 따라 타겟 객체에 상응하는 프로모션 컨텐츠를 제공할 수 있다(S830). 예를 들어, 디스플레이 화면 내에서 타겟 객체가 결정되었다면, 디스플레이 화면을 잠시 정지시키고 타겟 객체에 대한 광고나 상세 정보를 제공할지 여부에 대한 질의를 사용자에게 제공할 수 있다.
이 때, 지시 포인트의 움직임을 이용하여 사용자의 응답을 판단할 수 있다. 예를 들어, 사용자의 손가락을 움직이거나, 펜과 같은 물체를 상하 또는 좌우로 흔들어 지시 포인트에 변화 값을 적용할 수 있다. 이와 같은 변화 값 각각에 사용자의 응답과 관련한 명령을 입력하여, 입력한 명령과 상응하는 변화 값이 인식될 때 변화 값에 상응하는 명령을 수행할 수 있다.
이 때, 디스플레이 화면 내의 객체들에 상응하는 프로모션 컨텐츠를 저장할 수 있다. 예를 들어, 디스플레이 되는 영상에 포함된 다양한 객체들에 대해서, 해당 객체에 상응하는 상품을 판매하는 판매자들로부터 관련한 광고를 공급받을 수 있다. 공급받은 광고는 광고 데이터 베이스에 저장해 두었다가 사용자로부터 타겟 객체로 결정되어 광고 제공을 요청 받았을 때, 검색하여 제공할 수 있다. 만약 사용자로부터 타겟 객체로 결정된 객체의 광고가 존재하지 않을 경우에는 인터넷을 통한 외부 서비스를 이용하여 타겟 객체의 상세 정보 등을 검색해서 제공할 수도 있다.
이와 같은 동공인식을 이용한 광고 제공 방법을 이용하여 정보를 제공함으로써, 디스플레이 화면 내의 객체들 중에서 사용자가 원하는 객체에 대한 프로모션 컨텐츠를 제공할 수 있어 무분별한 동공인식에 따른 불필요한 정보의 노출을 방지할 수 있다.
본 발명에 따른 동공인식을 이용한 광고 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서와 같이 본 발명에 따른 동공인식을 이용한 광고 제공 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명에 의하면 사용자의 대한 동공인식을 통하여 생성된 동공인식 포인트 및 사용자의 지시에 상응하는 지시 포인트를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정하고, 디스플레이 화면 내의 객체들 중 선택 위치에 상응하는 타겟 객체를 결정하고, 사용자의 응답에 따라 타겟 객체에 상응하는 프로모션 컨텐츠를 제공할 수 있다. 나아가, 스마트 TV나 스마트폰을 이용하여 동영상을 시청하는 사용자들에게 화면을 주시하는 것만으로도 원하는 상품에 대한 광고 및 상세 정보를 제공함으로써, 상품에 대한 광고 효과를 극대화 할 수 있다.

Claims (17)

  1. 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 상기 사용자의 지시에 상응하는 지시 포인트(direction point)를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정하는 선택 위치 지정부;
    상기 디스플레이 화면 내의 객체들 중 상기 선택 위치에 상응하는 타겟 객체를 결정하는 타겟 객체 결정부; 및
    상기 사용자의 응답에 따라 상기 타겟 객체에 상응하는 프로모션 컨텐츠를 제공하는 광고 제공부
    를 포함하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  2. 청구항 1에 있어서,
    상기 선택 위치 지정부는
    상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  3. 청구항 2에 있어서,
    상기 선택 위치 지정부는
    상기 동공인식을 통하여 인식된 동공의 개수에 따라, 두 개의 동공 사이의 중앙점 및 상기 두 개의 동공 중 인식된 어느 하나의 동공 중 어느 하나를 상기 동공인식 포인트로 생성하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  4. 청구항 3에 있어서,
    상기 선택 위치 지정부는
    상기 사용자가 상기 선택 위치를 지시하기 위해 사용하는 지시용 물체의 끝점을 상기 지시 포인트로 생성하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  5. 청구항 4에 있어서,
    상기 선택 위치 지정부는
    기설정된 시간동안 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  6. 청구항 2에 있어서,
    상기 선택 위치 지정부는
    상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면을 벗어나는 경우에 상기 디스플레이를 통해 상기 직선이 벗어난 방향을 나타내는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  7. 청구항 1에 있어서,
    상기 광고 제공부는
    상기 지시 포인트의 움직임을 이용하여 상기 사용자의 응답을 판단하는 사용자 응답 판단부를 포함하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  8. 청구항 7에 있어서,
    상기 광고 제공부는
    상기 디스플레이 화면 내의 객체들에 상응하는 상기 프로모션 컨텐츠를 저장하는 광고 데이터 베이스를 더 포함하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 장치.
  9. 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 상기 사용자의 지시에 상응하는 지시 포인트(direction point)를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정하는 단계;
    상기 디스플레이 화면 내의 객체들 중 상기 선택 위치에 상응하는 타겟 객체를 결정하는 단계; 및
    상기 사용자의 응답에 따라 상기 타겟 객체에 상응하는 프로모션 컨텐츠를 제공하는 단계
    를 포함하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  10. 청구항 9에 있어서,
    상기 선택 위치를 지정하는 단계는
    상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  11. 청구항 10에 있어서,
    상기 선택 위치를 지정하는 단계는
    상기 동공인식을 통하여 인식된 동공의 개수에 따라, 두 개의 동공 사이의 중앙점 및 상기 두 개의 동공 중 인식된 어느 하나의 동공 중 어느 하나를 상기 동공인식 포인트로 결정하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  12. 청구항 11에 있어서,
    상기 선택 위치를 지정하는 단계는
    상기 사용자가 상기 선택 위치를 지시하기 위해 사용하는 지시용 물체의 끝점을 상기 지시 포인트로 생성하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  13. 청구항 12에 있어서,
    상기 선택 위치를 지정하는 단계는
    기설정된 시간동안 상기 동공인식 포인트 및 상기 지시 포인트를 연결한 지선이 상기 디스플레이 화면과 만나는 점을 이용하여 상기 선택 위치를 지정하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  14. 청구항 10에 있어서,
    상기 선택 위치를 지정하는 단계는
    상기 동공인식 포인트 및 상기 지시 포인트를 연결한 직선이 상기 디스플레이 화면을 벗어나는 경우에 상기 디스플레이를 통해 상기 직선이 벗어난 방향을 나타내는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  15. 청구항 9에 있어서,
    상기 광고를 제공하는 단계는
    상기 지시 포인트의 움직임을 이용하여 상기 사용자의 응답을 판단하는 단계를 포함하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  16. 청구항 15에 있어서,
    상기 광고를 제공하는 단계는
    상기 디스플레이 화면 내의 객체들에 상응하는 상기 프로모션 컨텐츠를 저장하는 단계를 더 포함하는 것을 특징으로 하는 동공인식을 이용한 광고 제공 방법.
  17. 사용자에 대한 동공인식을 통하여 생성된 동공인식 포인트 및 상기 사용자의 지시에 상응하는 지시 포인트(direction point)를 함께 이용하여 디스플레이 화면 내의 선택 위치를 지정하는 단계;
    상기 디스플레이 화면 내의 객체들 중 상기 선택 위치에 상응하는 타겟 객체를 결정하는 단계; 및
    상기 사용자의 응답에 따라 상기 타겟 객체에 상응하는 프로모션 컨텐츠를 제공하는 단계를 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독가능한 기록매체.
PCT/KR2015/000017 2014-05-26 2015-01-02 동공인식을 이용한 광고 제공 장치 및 방법 Ceased WO2015182846A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580027362.2A CN106462869B (zh) 2014-05-26 2015-01-02 利用瞳孔跟踪提供广告的设备和方法
US15/314,273 US10126814B2 (en) 2014-05-26 2015-01-02 Apparatus and method for providing advertisement using pupil tracking

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140062989A KR102279681B1 (ko) 2014-05-26 2014-05-26 동공인식을 이용한 광고 제공 장치 및 방법
KR10-2014-0062989 2014-05-26

Publications (1)

Publication Number Publication Date
WO2015182846A1 true WO2015182846A1 (ko) 2015-12-03

Family

ID=54699147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/000017 Ceased WO2015182846A1 (ko) 2014-05-26 2015-01-02 동공인식을 이용한 광고 제공 장치 및 방법

Country Status (4)

Country Link
US (1) US10126814B2 (ko)
KR (1) KR102279681B1 (ko)
CN (1) CN106462869B (ko)
WO (1) WO2015182846A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643485B2 (en) * 2017-03-30 2020-05-05 International Business Machines Corporation Gaze based classroom notes generator
US10910854B2 (en) * 2019-02-11 2021-02-02 Alfi, Inc. Methods and apparatus for a tablet computer system incorporating a battery charging station
KR102133669B1 (ko) * 2019-02-13 2020-07-14 대진대학교 산학협력단 브랜디드 모빌리티로서의 광고매체 노출 카풀 서비스 제공 시스템
CN111127092B (zh) * 2019-12-20 2023-07-14 中富通集团股份有限公司 一种提高智能设备应用广告点击率的方法及存储介质
WO2023132459A1 (ko) 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041949A (ko) * 2007-10-25 2009-04-29 에스케이 텔레콤주식회사 광고 노출 정보를 제공하는 이동 통신 단말기, 그를 이용한모바일 광고 시스템 및 그 방법
US20120162204A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Tightly Coupled Interactive Stereo Display
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
JP2014041259A (ja) * 2012-08-22 2014-03-06 Yahoo Japan Corp 広告配信装置、広告配信方法および広告配信プログラム
KR20140040318A (ko) * 2012-09-24 2014-04-03 네이버비즈니스플랫폼 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100960269B1 (ko) * 2008-10-07 2010-06-07 한국과학기술원 눈동자 시선 추정 장치 및 추정 방법
US9237844B2 (en) * 2010-03-22 2016-01-19 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
WO2012054063A1 (en) * 2010-10-22 2012-04-26 Hewlett-Packard Development Company L.P. An augmented reality display system and method of display
US20120098761A1 (en) * 2010-10-22 2012-04-26 April Slayden Mitchell Display system and method of display for supporting multiple display modes
KR101206371B1 (ko) * 2010-11-30 2012-11-29 임창주 디스플레이 화면 상의 객체 제어 방법, 제어 장치 및 컴퓨터 판독 가능한 기록 매체
CN102830793B (zh) * 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
US20130054377A1 (en) * 2011-08-30 2013-02-28 Nils Oliver Krahnstoever Person tracking and interactive advertising
KR101299695B1 (ko) 2011-12-14 2013-08-26 전자부품연구원 시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
EP2790456B1 (en) 2013-04-10 2015-10-21 Fujitsu Limited D2D communication in wireless networks
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array
US20160301539A1 (en) 2014-10-10 2016-10-13 Telefonaktiebolaget L M Ericsson (Publ) Broadcast in meshed networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041949A (ko) * 2007-10-25 2009-04-29 에스케이 텔레콤주식회사 광고 노출 정보를 제공하는 이동 통신 단말기, 그를 이용한모바일 광고 시스템 및 그 방법
US20120162204A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Tightly Coupled Interactive Stereo Display
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
JP2014041259A (ja) * 2012-08-22 2014-03-06 Yahoo Japan Corp 広告配信装置、広告配信方法および広告配信プログラム
KR20140040318A (ko) * 2012-09-24 2014-04-03 네이버비즈니스플랫폼 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템

Also Published As

Publication number Publication date
KR102279681B1 (ko) 2021-07-20
CN106462869B (zh) 2020-11-27
KR20150136181A (ko) 2015-12-07
US10126814B2 (en) 2018-11-13
US20170192501A1 (en) 2017-07-06
CN106462869A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN116203731B (zh) 内容到空间3d环境的匹配
US20170286383A1 (en) Augmented imaging assistance for visual impairment
WO2022022028A1 (zh) 虚拟对象控制方法及装置、设备、计算机可读存储介质
CN109923462A (zh) 感测眼镜
WO2015182846A1 (ko) 동공인식을 이용한 광고 제공 장치 및 방법
US11808941B2 (en) Augmented image generation using virtual content from wearable heads up display
Chen et al. SEMarbeta: mobile sketch-gesture-video remote support for car drivers
WO2019004754A1 (en) ADVERTISEMENTS WITH INCREASED REALITY ON OBJECTS
US20160284127A1 (en) Individualized content in augmented reality systems
CN113655933A (zh) 文本标注方法及装置、存储介质及电子设备
JP2018005663A (ja) 情報処理装置、表示システム、プログラム
WO2018182063A1 (ko) 영상 통화 제공 장치, 방법, 및 컴퓨터 프로그램
Chatzopoulos et al. Hyperion: A wearable augmented reality system for text extraction and manipulation in the air
US20240078071A1 (en) Interaction method between display device and terminal device, storage medium and electronic device
KR102175519B1 (ko) 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법
US20180341654A1 (en) Visual data associated with a query
TW201913297A (zh) 基於手勢之文字輸入系統及方法
CN109857244B (zh) 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
CN108874141A (zh) 一种体感浏览方法和装置
CN112231023A (zh) 一种信息显示方法、装置、设备及存储介质
US20230161539A1 (en) Assisted collaborative navigation in screen share environments
US11417070B2 (en) Augmented and virtual reality object creation
CN112733575B (zh) 图像处理方法、装置、电子设备及存储介质
WO2018056653A1 (ko) 번역문과 함께 이미지를 제공하는 방법, 장치 및 컴퓨터 프로그램
Patra et al. Adoption of augmented reality mobile apps: Analysis of popularity

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15799516

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15314273

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15799516

Country of ref document: EP

Kind code of ref document: A1