KR20110125460A - A product information provider system using eye tracing and a method thereof - Google Patents

A product information provider system using eye tracing and a method thereof Download PDF

Info

Publication number
KR20110125460A
KR20110125460A KR1020100045003A KR20100045003A KR20110125460A KR 20110125460 A KR20110125460 A KR 20110125460A KR 1020100045003 A KR1020100045003 A KR 1020100045003A KR 20100045003 A KR20100045003 A KR 20100045003A KR 20110125460 A KR20110125460 A KR 20110125460A
Authority
KR
South Korea
Prior art keywords
customer
information
product
eye
database
Prior art date
Application number
KR1020100045003A
Other languages
Korean (ko)
Inventor
김석수
송재구
정성모
임지훈
김동현
이지연
Original Assignee
김석수
이지연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김석수, 이지연 filed Critical 김석수
Priority to KR1020100045003A priority Critical patent/KR20110125460A/en
Publication of KR20110125460A publication Critical patent/KR20110125460A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00—Other aspects
    • G06K2207/1012—Special detection of object

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PURPOSE: A system for providing product information using an eye sight tracing is provided to supply the information of a necessary product to a client in real time. CONSTITUTION: An IR(Infrared Ray) camera(300) traces the eye sight of a client(200). The infrared ray camera extracts an object of a product facing the eye sight. A server(600) calculates the interest about the product of the client through the client information of a client information database(500) and the transmitted information of the infrared ray camera. The server transmits the information of an interest product to a client from the product information database(400). A smart phone(700) displays the transmitted product information to the client.

Description

시선추적을 이용한 제품 정보 제공 시스템 및 방법{A Product Information Provider System using Eye Tracing and A Method thereof}A product information provider system using eye tracing and a method

본 발명은 고객의 시선을 추적하여 고객에게 필요로 하는 제품의 정보를 스마트폰으로 제공하는 시스템으로 고객의 시선 추적, 안면인식을 이용한 고객 정보 확인, 고객의 제폼 선호도를 이용하여 고객의 시선이 집중되고 있는 제품의 정보를 고객에게 제공하여 제품의 구매를 도와주는 시선추적(Eye tracing)을 이용한 제품 정보 제공 시스템 및 방법에 관한 것이다.The present invention is a system that tracks the eyes of the customer to provide the information of the product required by the customer on the smartphone to the customer's eye tracking, customer information using facial recognition, customer's gaze concentration using the customer's preferences The present invention relates to a system and method for providing product information using eye tracing, which provides information on a product to a customer to help purchase a product.

제품을 구매하는 구매자들은 보다 효율적으로 제품을 구매하기 위하여 제품의 정보를 신속하고 편리하게 제공받기를 원하고 있기 때문에 제품을 판매하는 업체들은 소비자들에게 제품 정보를 제공해야할 필요성이 있다.The buyers of the product need to provide the product information to consumers because the buyers of the product want to receive the information of the product quickly and conveniently in order to purchase the product more efficiently.

하지만 현재 제품을 판매하는 업체 대부분은 판매자들이 정보를 소비자에게 제공하고 있기 때문에 구매자들에게 신속하게 정보를 제공하는데 한계성이 있었다.However, most of the companies currently selling products have limitations in providing information quickly to buyers because sellers provide information to consumers.

한편, 이와 관련하여 특허출원번호 제1999-39720호에서는 전자상거래 시스템을 위한 Agent의 실시간 정보 제공 및 확인을 특징으로 하는 장치에 있어서, 소비자(Consumer)의 구매의사 정보를 로컬 서버에 저장함에 있어서 정보입력을 위한 정보입력 수단과 그것을 저장하기 위한 의사표현DB를 특징으로 하는 장치; 관리자(또는 운영자)에 대한 정보전송에 있어 구매의사 확인을 위한 로컬 서버의 신규정보 획득을 위한 DB 분석과 그것을 특징으로 하는 장치; 위 항에 있어 관리자에 대한 확인된 정보전송에서 사운드 시스템을 이용한 동기화 전송 및 그것을 특징으로 하는 수단과 장치; 위 항에 있어 관리자에 대한 확인된 정보전송에서 관리자의 환경설정에 의한 프린터로의 정보출력 및 그것을 특징으로 하는 수단과 장치; 정보확인을 통해 호출 또는 구매 의사를 표현한 자에게 대화를 할 수 있는 장치 제공 방법 및 그것을 특징으로 하는 수단과 장치를 게시하였으나, 매번 소비자가 직접적으로 구매 의사를 표현해야만 한다는 번거로움과 한계점이 있었다. On the other hand, Patent Application No. 1999-39720 relates to the provision of the real-time information of the agent for the e-commerce system, characterized in that the information on storing the purchase intention information of the consumer (Consumer) in the local server An apparatus comprising information input means for input and a pseudo-expression DB for storing it; DB analysis for acquiring new information of a local server for confirmation of purchase intention in transmitting information to an administrator (or an operator) and an apparatus characterized by the same; Means and apparatus for synchronizing transmission using a sound system in the identified information transmission to the administrator and characterized by the above; The information output to the printer according to the administrator's preferences in the confirmed transmission of information to the administrator, and means and apparatus characterized therein; Although a method of providing a device and a device and a device that can communicate with a person who expresses a call or purchase intention through information verification have been posted, there has been a hassle and limitation that a consumer must express a purchase intention directly.

따라서 본 발명은 상기 한계점을 해결하기 위하여 안출된 것으로서, 고객에게 실시간으로 제품 정보를 제공함에 있어서, 고객의 시선을 추적하여 고객의 시선이 집중되고 있는 제품을 정확하게 찾아내 제품의 정보를 구매자의 스마트폰을 통해 실시간으로 정확한 제품 정보를 제공 하는 Eye tracing을 이용한 제품 정보 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.Therefore, the present invention has been made to solve the above limitations, in providing product information to customers in real time, by tracking the eyes of the customer to accurately find the product that the customer's eyes are focused on the product information of the buyer smart It aims to provide a product information providing system and method using Eye tracing that provides accurate product information in real time through the phone.

본 발명에 따른 시선추적(Eye tracing)을 이용한 제품 정보 제공 시스템 및 방법은 서비스 제공 업체의 서버와 연결되어 있는 적외선 카메라에서 고객의 얼굴을 인식하여 고객의 시선을 추적한다. 시선을 추적하게 되면 고객의 시선 집중점이 있는 제품의 객체를 검출하여 제품정보 데이터베이스의 정보를 이용하여 제품을 확인한다.The product information providing system and method using eye tracing according to the present invention tracks the eyes of the customer by recognizing the face of the customer in an infrared camera connected to the server of the service provider. When the eye is tracked, the product is detected using the information in the product information database by detecting the object of the product with the customer's eye focus.

적외선 카메라에서 고객의 얼굴을 인식하면 서버에서는 고객정보 데이터베이스에 저장되어 있는 얼굴 인식정보를 이용하여 고객 인증을 한 후 고객의 구매 정보와 고객 시선 집중점에 있는 제품을 이용하여 고객의 제품 선호도를 계산한다. When the infrared camera recognizes the customer's face, the server authenticates the customer using the face recognition information stored in the customer information database, and then calculates the customer's product preference using the customer's purchase information and the product at the customer's point of view. do.

고객이 제품이 필요하다고 판단되면 서버는 제품 정보데이터베이스에 저장되어 있는 제품의 정보를 고객의 스마트폰으로 전송을 하여 고객에게 필요한 제품의 정보를 제공하는 제품 정보 제공 시스템 및 방법이다.
If the customer determines that the product is necessary, the server is a product information providing system and method for providing the information of the product required to the customer by transmitting the product information stored in the product information database to the customer's smartphone.

본 발명에 의한 시선추적(Eye tracing)을 이용한 제품 정보 제공 시스템 및 방법으로 제품을 제공하는 업체들은 이전까지의 판매자들이 직접 고객에게 제품에 대한 정보를 제공하거나 고객이 직접 정보를 얻는 방식에서 고객이 필요한 제품의 정보를 실시간으로 제공하기 때문에 인력의 소모를 줄일 수 있으며 고객은 실시간으로 제품 정보를 제공 받기 때문에 자신이 원하는 제품을 효과적으로 구매 할 수 있으며 정확한 제품정보를 얻음으로 과소비를 줄일 수 있다.
Companies providing products using the system and method for providing product information using eye tracing according to the present invention are those in which the sellers before provide the information on the products to the customers or obtain the information directly from the customers. It provides real-time information on necessary products to reduce the consumption of manpower. Customers are provided with real-time product information, so they can effectively purchase their desired products and reduce over-consumption by obtaining accurate product information.

도 1은 본 발명의 일실시예에 의한 시선추적을 이용한 제품 정보 제공 시스템 구성도
도 2는 본 발명의 일실시예에 의한 고객 시선 추적부 작동 순서도
도 3은 본 발명의 일실시예에 의한 제품 정보를 제공방법 순서도1 is a block diagram of a product information providing system using eye tracking according to an embodiment of the present invention
2 is a flowchart of an operation of a customer gaze tracking unit according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a method for providing product information according to an embodiment of the present invention.

본 발명에 의한 시선추적(Eye tracing)을 이용한 제품 정보 제공 시스템은 제품을 판매하는 업체의 서버와 연결되어 있는 적외선 카메라, 카메라를 통해 전송된 시선 추적 정보, 얼굴 인식 정보, 제품 객체 정보를 전송 받는 서버, 고객의 선호도, 방문시간, 수요 물품과 같은 고객 정보를 저장하고 있는 고객정보 데이터베이스, 매장 내에 있는 모든 제품의 정보를 저장하고 있는 제품정보 데이터베이스를 특징으로 한다.
The product information providing system using eye tracing according to the present invention receives an infrared camera connected to a server of a company selling a product, eye tracking information transmitted through a camera, face recognition information, and product object information. It features a server, a customer information database that stores customer information such as customer preferences, visit times, demand items, and a product information database that stores information about all products in the store.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하기로 한다.
Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 본 발명의 일실시예에 의한 시선추적을 이용한 제품 정보 제공 시스템 구성도이다. 도1에 도시한 바와 같이, 본 발명에 의한 시선추적을 이용한 제품 정보 제공 시스템은 제품(100)을 구매하는 고객(200)의 시선을 추적하고 고객의 시선이 머무는 제품의 객체를 추출하여 정보를 전송하는 적외선 카메라(300), 고객에게 제공되는 제품의 정보를 저장하고 있는 제품정보 데이터베이스(400), 고객의 인식정보 및 제품 구매정보를 저장하고 있는 고객정보 데이터베이스(500), 상기 적외선 카메라(300)로부터 전송된 정보와 고객정보 데이터베이스(500)에 저장되어 있는 고객정보를 이용하여 고객의 제품 호감도를 계산하여 고객이 관심 있는 제품의 정보를 제품정보 데이터베이스(400)로부터 고객에게 전송하는 서버(600), 상기 서버(600)로부터 전송된 제품정보를 고객에게 보여주는 스마트 폰(700)을 포함하여 이루어진다.1 is a block diagram of a system for providing product information using eye tracking according to an embodiment of the present invention. As shown in FIG. 1, the product information providing system using eye tracking according to the present invention tracks the eyes of the customer 200 who purchases the product 100, extracts the object of the product where the customer's eyes stay, and obtains information. Infrared camera 300 for transmitting, product information database 400 for storing product information provided to the customer, customer information database 500 for storing customer recognition information and product purchase information, the infrared camera 300 Server 600 that transmits the information of the product of interest to the customer from the product information database 400 by calculating the product attractiveness of the customer by using the information transmitted from the information and the customer information stored in the customer information database 500 ), Comprising a smart phone 700 showing the product information sent from the server 600 to the customer.

상기 적외선 카메라(300)는 고객의 얼굴 추적을 통해 눈동자 영역을 검출하여 고객의 시선 위치를 추적하여 고객의 시선이 머물고 있는 객체를 검출하여 얻은 정보를 서버(600)로 전송한다.The infrared camera 300 detects an eye region through tracking the face of the customer, tracks the position of the gaze of the customer, and transmits information obtained by detecting an object in which the gaze of the customer stays, to the server 600.

상기 서버(600)는 전송된 객체 정보, 고객정보 데이터베이스에 있는 고객정보를 비교하여 나온 결과값과 고객의 시선이 머문 시간을 이용해 고객의 호감도를 측정하여 고객이 제품을 구매를 판단해 구매를 원하는 경우 해당 제품의 정보를 스마트폰(700)으로 전송한다.The server 600 measures the likelihood of the customer by using the result obtained by comparing the transmitted object information and the customer information in the customer information database and the time the customer's eyes stayed, and the customer decides to purchase the product and decides to purchase the product. If the information of the product transmits to the smartphone (700).

상기 고객정보 데이터베이스(500)는 매장을 이용하는 고객의 얼굴 인식 정보와 고객의 구매정보 및 제품 선호도를 저장하고 있다.The customer information database 500 stores face recognition information of a customer who uses a store, customer purchase information, and product preference.

상기 제품정보 데이터베이스(400)는 고객에게 제공하는 모든 제품들의 정보를 저장하고 있다.The product information database 400 stores information of all products provided to the customer.

상기 스마트폰(700)은 서버로부터 전송된 제품 정보를 고객에게 제공한다.
The smartphone 700 provides the customer with the product information transmitted from the server.

한편, 상기 서버(600)는 적외선 카메라(300)로부터 전송된 영상에서 Haar Wavelet을 이용하여 고객의 얼굴을 인식하고; 들로네 삼각화를 이용하여 얼굴 영역 중에 눈동자 영역을 검출하고; 검출된 눈동자 영역으로부터 Eye tracing을 이용하여 고객의 시선을 추적하고; 고객의 시선이 집중되는 시간을 측정하고; 고객의 시선 집중점을 확인하고; 시선 집중점에 있는 제품의 객체를 검출하고; 객체 검출 정보를 이용하여 제품을 확인하는 고객 시선 추적부를 포함하여 이루어진다.
On the other hand, the server 600 recognizes the face of the customer using the Haar Wavelet in the image transmitted from the infrared camera 300; Detecting a pupil area in the face area using Delaunay triangulation; Track eye of the customer using Eye tracing from the detected pupil area; Measure the time at which the customer's attention is focused; Identify the customer's eye focus; Detect an object of a product at a gaze focus point; It includes a customer gaze tracking unit for identifying a product using the object detection information.

참고로, 도 2는 본 발명의 일실시예에 의한 고객 시선 추적부 작동 순서도이다. 도2에 도시한 바와 같이, 본 발명에 의한 고객 시선 추적부의 작동 순서는,For reference, Figure 2 is a customer eye tracking unit operation flowchart according to an embodiment of the present invention. As shown in Figure 2, the operation sequence of the customer gaze tracking unit according to the present invention,

Haar Wavelet을 이용하여 얼굴 인식(411) 후, 들로네 삼각화를 이용하여 얼굴 영역안의 눈동자 영역을 검출(412)한 후 Eye tracking 알고리즘을 이용하여 시선을 추적한다.(413) 고객의 시선을 추적하게 되면 고객의 시선이 집중되는 시간을 측정(414)하고 고객의 시선 집중점을 확인(415)하여 제품의 객체를 검출한다(416) 검출된 객체 검출 정보를 이용하여 제품정보 데이터베이스(400)에 저장되어 있는 제품 정보와 비교하여 제품을 확인한다.
After face recognition using the Haar Wavelet (411), the eye region in the face region is detected using Delaunay triangulation (412) and eye gaze is tracked using the Eye tracking algorithm (413). When the customer's eyes are focused, the measurement time is measured (414) and the customer's eye focus point is identified (415) to detect the object of the product (416) is stored in the product information database 400 using the detected object detection information. Check the product against the product information.

도 3은 본 발명의 일실시예에 의한 제품 정보를 제공방법 순서도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 의한 제품 정보를 제공방법은, 본 발명에 의한 제품정보 제공시스템을 이용하는 방법에 있어서, 상기 적외선 카메라(300)로부터 확인된 얼굴 인식 정보를 수신받는 단계(421); 수신된 얼굴인식 정보를 통해 고객정보 데이터베이스(500)에 저장되어있는 고객 정보와 비교하여 고객 인증을 하는 고객 인증 단계(422); 상기 고객정보 데이터베이스(500)에 저장되어 있는 고객 구매정보를 이용하여 고객의 제품 구매정보를 확인하는 단계(423); 상기 고객정보 데이터베이스(500)에 등록되어 있지 않은 고객의 얼굴인식정보를 새로 저장하는 단계(424); 고객이 시선을 집중하고 있는 제품의 정보를 확인하는 단계(425); 고객의 제품 호감도를 계산하는 단계(426); 고객의 제품 호감도를 확인하는 단계(427); 고객이 필요로 하는 제품의 정보를 스마트폰(700)으로 전송하는 단계(428); 고객의 제품 호감도가 낮을 경우 고객의 시선을 재추적하는 단계(429)를 포함하여 이루어진다.
3 is a flowchart illustrating a method of providing product information according to an embodiment of the present invention. As shown in FIG. 2, in the method for providing product information according to an embodiment of the present invention, in the method of using the product information providing system according to the present invention, face recognition information confirmed from the infrared camera 300 may be used. Receiving step 421; A customer authentication step 422 of performing customer authentication by comparing with the customer information stored in the customer information database 500 through the received face recognition information; Confirming (423) product purchase information of a customer by using customer purchase information stored in the customer information database 500; Storing new face identification information of a customer who is not registered in the customer information database 500 (424); Confirming information of a product that the customer is focusing on (425); Calculating a customer's product appeal (426); Confirming (427) the product favorability of the customer; Transmitting (428) information of a product that the customer needs to the smartphone 700; Re-tracking the customer's line of sight if the customer's product preference is low (429).

즉, 본 발명에 의한 방법은 적외선 카메라(300)로부터 얼굴 인식 정보를 수신(421) 받아 고객정보 데이터베이스(500)에 고객의 얼굴 인식정보를 통하여 고객 인증(422)을 하여 고객이 등록 되어 있지 않을 경우 신규 고객를 등록(424)하고 고객이 등록되어 있다면 고객의 구매 정보를 확인(423)하고 고객의 시선이 집중된 제품 정보를 확인(423)하여 고객의 제품 호감도 계산한다(426).That is, the method according to the present invention receives the face recognition information from the infrared camera 300 (421) and the customer authentication 422 through the customer's face recognition information in the customer information database 500, the customer is not registered If the new customer is registered (424) and if the customer is registered customer information (423) to check the customer's attention focused product information (423) to calculate the customer's product favorability (426).

고객이 제품 호감도 낮을 경우 고객의 시선을 재추적(429)하고 고객의 제품 호감도가 높을 경우 고객의 스마트폰(700)으로 전송한다(428).
When the customer has a low likeability of the product, the customer's eyes are retraced (429), and when the customer has high interest in the product, the customer's smartphone 700 is transmitted (428).

상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.The configuration and operation as described above are not limited to the claims of the present invention as an embodiment, and various changes and modifications are possible within the scope of not changing the technical spirit of the present invention. It is obvious to those who are engaged.

100 : 제품 200 : 고객
300 : 적외선 카메라 400 : 제품정보 데이터베이스
500 : 고객정보 데이터베이스 600 : 서버
700 : 스마트 폰100: product 200: customer
300: Infrared Camera 400: Product Information Database
500: Customer Information Database 600: Server
700: smartphone

Claims (3)

제품정보 제공시스템에 있어서,
제품(100)을 구매하는 고객(200)의 시선을 추적하고 고객의 시선이 머무는 제품의 객체를 추출하여 정보를 전송하는 적외선 카메라(300),
고객에게 제공되는 제품의 정보를 저장하고 있는 제품정보 데이터베이스(400),
고객의 인식정보 및 제품 구매정보를 저장하고 있는 고객정보 데이터베이스(500),
상기 적외선 카메라(300)로부터 전송된 정보와 고객정보 데이터베이스(500)에 저장되어 있는 고객정보를 이용하여 고객의 제품 호감도를 계산하여 고객이 관심 있는 제품의 정보를 제품정보 데이터베이스(400)로부터 고객에게 전송하는 서버(600),
상기 서버(600)로부터 전송된 제품정보를 고객에게 보여주는 스마트 폰(700)을 포함하여 이루어지는 것을 특징으로 하는 시선추적을 이용한 제품정보 제공시스템In the product information providing system,
An infrared camera 300 which tracks the eyes of the customer 200 purchasing the product 100 and extracts an object of the product where the eyes of the customer stay and transmits information;
Product information database 400, which stores the information of products provided to customers,
Customer information database (500) that stores customer identification information and product purchase information,
By using the information transmitted from the infrared camera 300 and the customer information stored in the customer information database 500 to calculate the customer's product favorability from the product information database 400 to the customer information of the product of interest Transmitting server 600,
Product information providing system using eye tracking, characterized in that it comprises a smart phone 700 showing the product information transmitted from the server 600 to the customer 제 1항에 있어서,
상기 서버(600)는 적외선 카메라(300)로부터 전송된 영상에서 Haar Wavelet을 이용하여 고객의 얼굴을 인식하고; 들로네 삼각화를 이용하여 얼굴 영역 중에 눈동자 영역을 검출하고; 검출된 눈동자 영역으로부터 Eye tracing을 이용하여 고객의 시선을 추적하고; 고객의 시선이 집중되는 시간을 측정하고; 고객의 시선 집중점을 확인하고; 시선 집중점에 있는 제품의 객체를 검출하고; 객체 검출 정보를 이용하여 제품을 확인하는 고객 시선 추적부를 포함하여 이루어지는 것을 특징으로 하는 시선추적을 이용한 제품정보 제공시스템The method of claim 1,
The server 600 recognizes the face of the customer using the Haar Wavelet in the image transmitted from the infrared camera 300; Detecting a pupil area in the face area using Delaunay triangulation; Track eye of the customer using Eye tracing from the detected pupil area; Measure the time at which the customer's attention is focused; Identify the customer's eye focus; Detect an object of a product at a gaze focus point; Product information providing system using eye tracking, characterized in that it comprises a customer gaze tracking unit for identifying a product using the object detection information 제품(100)을 구매하는 고객(200)의 시선을 추적하고 고객의 시선이 머무는 제품의 객체를 추출하여 정보를 전송하는 적외선 카메라(300), 고객에게 제공되는 제품의 정보를 저장하고 있는 제품정보 데이터베이스(400), 고객의 인식정보 및 제품 구매정보를 저장하고 있는 고객정보 데이터베이스(500), 상기 적외선 카메라(300)로부터 전송된 정보와 고객정보 데이터베이스(500)에 저장되어 있는 고객정보를 이용하여 고객의 제품 호감도를 계산하여 고객이 관심 있는 제품의 정보를 제품정보 데이터베이스로부터 고객에게 전송하는 서버(600), 상기 서버(600)로부터 전송된 제품정보를 고객에게 보여주는 스마트 폰(700)을 포함하는 제품정보 제공시스템을 이용하는 방법에 있어서,
상기 적외선 카메라(300)로부터 확인된 얼굴 인식 정보를 수신받는 단계(421);
수신된 얼굴인식 정보를 통해 고객정보 데이터베이스(500)에 저장되어있는 고객 정보와 비교하여 고객 인증을 하는 고객 인증 단계(422);
상기 고객정보 데이터베이스(500)에 저장되어 있는 고객 구매정보를 이용하여 고객의 제품 구매정보를 확인하는 단계(423);
상기 고객정보 데이터베이스(500)에 등록되어 있지 않은 고객의 얼굴인식정보를 새로 저장하는 단계(424);
고객이 시선을 집중하고 있는 제품의 정보를 확인하는 단계(425); 고객의 제품 호감도를 계산하는 단계(426);
고객의 제품 호감도를 확인하는 단계(427);
고객이 필요로 하는 제품의 정보를 스마트폰(700)으로 전송하는 단계(428);
고객의 제품 호감도가 낮을 경우 고객의 시선을 재추적하는 단계(429)를 포함하여 이루어지는 것을 특징으로 하는 시선추적을 이용한 제품정보 제공방법Infrared camera 300 that tracks the eye of the customer 200 purchasing the product 100 and extracts the object of the product where the customer's eye stays and transmits the information, and product information that stores the product information provided to the customer Database 400, the customer information database 500 that stores customer identification information and product purchase information, using the information transmitted from the infrared camera 300 and the customer information stored in the customer information database 500 It includes a server 600 for calculating the customer's product favorability of the customer to transmit the information of the product of interest to the customer from the product information database, the smartphone 700 showing the product information transmitted from the server 600 to the customer In the method using a product information providing system,
Receiving (421) received face recognition information from the infrared camera (300);
A customer authentication step 422 of performing customer authentication by comparing with the customer information stored in the customer information database 500 through the received face recognition information;
Confirming (423) product purchase information of a customer by using customer purchase information stored in the customer information database 500;
Storing new face identification information of a customer who is not registered in the customer information database 500 (424);
Confirming information of a product that the customer is focusing on (425); Calculating a customer's product appeal (426);
Confirming (427) the product favorability of the customer;
Transmitting (428) information of a product that the customer needs to the smartphone 700;
The method of providing product information using eye tracking, characterized in that it comprises a step (429) of re-tracking the customer's eyes when the customer's product favorability is low.
KR1020100045003A 2010-05-13 2010-05-13 A product information provider system using eye tracing and a method thereof KR20110125460A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100045003A KR20110125460A (en) 2010-05-13 2010-05-13 A product information provider system using eye tracing and a method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100045003A KR20110125460A (en) 2010-05-13 2010-05-13 A product information provider system using eye tracing and a method thereof

Publications (1)

Publication Number Publication Date
KR20110125460A true KR20110125460A (en) 2011-11-21

Family

ID=45394903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100045003A KR20110125460A (en) 2010-05-13 2010-05-13 A product information provider system using eye tracing and a method thereof

Country Status (1)

Country Link
KR (1) KR20110125460A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172124A1 (en) * 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2020184855A1 (en) * 2019-03-08 2020-09-17 삼성전자 주식회사 Electronic device for providing response method, and operating method thereof
WO2021080067A1 (en) * 2019-10-23 2021-04-29 주식회사 비주얼캠프 Gaze analysis apparatus, and gaze analysis system and method using same
KR20220036168A (en) * 2020-09-15 2022-03-22 주식회사 씨제이이엔엠 Method of providing retargeting advertisement service for PPL therefor
CN118246987A (en) * 2024-05-29 2024-06-25 泉州市丰泽区三旭网络科技有限公司 Advertisement delivery position management system based on delivery effect analysis

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172124A1 (en) * 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
AU2015255652B2 (en) * 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2020184855A1 (en) * 2019-03-08 2020-09-17 삼성전자 주식회사 Electronic device for providing response method, and operating method thereof
WO2021080067A1 (en) * 2019-10-23 2021-04-29 주식회사 비주얼캠프 Gaze analysis apparatus, and gaze analysis system and method using same
KR20220036168A (en) * 2020-09-15 2022-03-22 주식회사 씨제이이엔엠 Method of providing retargeting advertisement service for PPL therefor
CN118246987A (en) * 2024-05-29 2024-06-25 泉州市丰泽区三旭网络科技有限公司 Advertisement delivery position management system based on delivery effect analysis
CN118246987B (en) * 2024-05-29 2024-08-02 泉州市丰泽区三旭网络科技有限公司 Advertisement delivery position management system based on delivery effect analysis

Similar Documents

Publication Publication Date Title
US11238654B2 (en) Offline shopping guide method and apparatus
US9842255B2 (en) Calculation device and calculation method
US9262739B2 (en) Method, medium, and system for session based shopping
CN103279871B (en) A kind of after sale service application method and system thereof
US20170213268A1 (en) Method for facilitating a transaction using a humanoid robot
KR20110125460A (en) A product information provider system using eye tracing and a method thereof
WO2015033577A1 (en) Customer behavior analysis system, customer behavior analysis method, non-temporary computer-readable medium, and shelf system
US20180040046A1 (en) Sales management device, sales management system, and sales management method
WO2016176517A8 (en) Identifying consumers in a transaction via facial recognition
JP2012208854A (en) Action history management system and action history management method
US20130243332A1 (en) Method and System for Estimating an Object of Interest
US20180374099A1 (en) Biometric analysis of users to determine user locations
JP2017117384A (en) Information processing apparatus
JP2016076109A (en) Device and method for predicting customers's purchase decision
US20140175162A1 (en) Identifying Products As A Consumer Moves Within A Retail Store
JP2016024599A (en) Information management server, information management method, and information management program
US20170358135A1 (en) Augmenting the Half-Mirror to Display Additional Information in Retail Environments
KR102030131B1 (en) Continuous skin condition estimating method using infrared image
US20140089079A1 (en) Method and system for determining a correlation between an advertisement and a person who interacted with a merchant
US20210182542A1 (en) Determining sentiments of customers and employees
US12100206B2 (en) Real-time risk tracking
JP2015228992A (en) Visual axis analysis system and visual axis analysis device
US20150112832A1 (en) Employing a portable computerized device to estimate a total expenditure in a retail environment
US10956745B2 (en) System and method for linking sales associates to customer
CN110415059B (en) Patent transaction network platform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application