KR20220060402A - System and method for providing a customized advertising based on interest advertisement - Google Patents

System and method for providing a customized advertising based on interest advertisement Download PDF

Info

Publication number
KR20220060402A
KR20220060402A KR1020200146359A KR20200146359A KR20220060402A KR 20220060402 A KR20220060402 A KR 20220060402A KR 1020200146359 A KR1020200146359 A KR 1020200146359A KR 20200146359 A KR20200146359 A KR 20200146359A KR 20220060402 A KR20220060402 A KR 20220060402A
Authority
KR
South Korea
Prior art keywords
advertisement
customer
image
interest
display unit
Prior art date
Application number
KR1020200146359A
Other languages
Korean (ko)
Inventor
박찬식
윤성진
박상천
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020200146359A priority Critical patent/KR20220060402A/en
Publication of KR20220060402A publication Critical patent/KR20220060402A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

Disclosed are a system and method for providing a customized advertisement based on interests in advertisements, which analyzes an image of a customer, who watches an advertisement, captured through a camera or sensor when outputting the advertisement to determine whether the customer views the advertisement or provides the previously interested advertisement, an advertisement in a similar category to the previously interested advertisement, and a follow-up advertisement set by an advertiser when the customer who has shown interest in a particular advertisement reappears after disappearing from the camera. According to the present invention, the system comprises: an advertisement transmitter transmitting at least one advertisement to a display unit; a photographing unit photographing a customer watching the transmitted advertisement to acquire a customer image; and a control unit recognizing the customer's face on the basis of the central alignment value of the eye, nose, and mouth regions or the position of the pupil region in the captured customer image to determine whether the customer views an advertisement, learn the face of the customer watching the advertisement and information of the advertisement sent at that time, or provide the previously interested advertisement, an advertisement of a category similar to the previously interested advertisement, and a follow-up advertisement set by an advertiser when recognizing the customer's re-appearance.

Description

광고 관심도 기반 맞춤형 광고 송출 시스템 및 방법{System and method for providing a customized advertising based on interest advertisement}System and method for providing a customized advertising based on interest advertisement

본 발명은 광고 관심도 기반 맞춤형 광고 송출 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 광고를 출력할 때 광고를 주시하는 고객을 카메라 또는 센서 등을 통해 촬영한 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하거나, 광고를 시청하는 고객의 얼굴과 그 때 출력되던 광고 정보를 학습할 수 있도록 하거나, 특정 광고에 관심을 보인 고객의 재등장 시 이전에 관심을 보인 광고, 이전에 관심을 보인 광고와 유사한 카테고리의 광고, 그리고 광고주가 설정한 후속 광고를 출력할 수 있도록 하는, 광고 관심도 기반 맞춤형 광고 송출 시스템 및 방법에 관한 것이다.The present invention relates to an advertisement interest-based customized advertisement transmission system and method, and more particularly, to a customer image captured by a camera or a sensor of a customer watching the advertisement when outputting the advertisement, the center of the eye, nose, and mouth regions By recognizing the customer's face based on the alignment value or the position of the pupil area, it is possible to determine whether or not to watch the advertisement, to learn the face of the customer watching the advertisement and the advertisement information displayed at that time, or to show interest in a specific advertisement. The present invention relates to a system and method for sending advertisements customized based on interest in advertisements, which enables the output of advertisements previously shown of interest by customers, advertisements in a category similar to the advertisements shown previously interest, and subsequent advertisements set by advertisers upon re-appearance .

디지털 사이니지(digital signage)는 디스플레이 장치를 이용한 옥외 광고판으로써 공공장소에서 광고 및 정보 전달의 기능을 수행하는 역할을 해오고 있다. 디지털 사이니지는 광고판을 대체하기 위해 만들어진 개념으로, 종이나 필름형 광고판은 광고 교체를 위해 갈아 끼우고, 기존의 것을 버려야 한다는 단점이 존재해 낭비를 줄이고 즉시 교체가 가능하다는 장점에 최근 지하철 역 등 인도어 및 버스 정류장의 아웃도어 디지털 광고판 형태로 그 수가 급격히 증가하는 추세이다. 디지털 사이니지는 꾸준히 성장해 왔으며 앞으로도 지속적인 경제 파급효과를 불러올 수 있는 분야이다. BACKGROUND Digital signage is an outdoor billboard using a display device, and has been serving to serve as an advertisement and information transfer function in a public place. Digital signage is a concept created to replace billboards, and paper or film-type billboards have the disadvantage of having to replace and discard the old ones to replace advertisements. The number is rapidly increasing in the form of indoor and outdoor digital billboards at bus stops. Digital signage has been growing steadily and is a field that can bring about a lasting economic ripple effect.

4차 산업혁명의 주제 중 하나인 AI(Artificial Intelligence)를 산업에 접목하는 것이 사회, 기업 전반에 걸쳐 중요한 주제가 되고 있으며 광고 분야도 예외는 아니다. 특히 거리에서 마케팅 및 광고에 활용되는 전자 정보 표시 도구인 디지털 사이니지(signage)는 포스터를 대체하기 위해 등장하였으며, 얼굴 인식 등이 일부 적용 및 상용화되며 새로운 미디어로써 주목받고 있다. The application of AI (Artificial Intelligence), one of the themes of the 4th industrial revolution, to industry is becoming an important topic throughout society and companies, and the field of advertising is no exception. In particular, digital signage, an electronic information display tool used for marketing and advertising on the street, has emerged to replace posters, and facial recognition has been partially applied and commercialized, attracting attention as a new medium.

하지만 대부분의 디지털 사이니지는 디스플레이와 연산이 가능한 하드웨어를 지녔지만 예정된 순서대로 포스터와 영상을 송출하는데 그쳐왔다. 거리에서 쉽게 볼 수 있는 디지털 사이니지는 중앙관제센터의 PC로부터 광고 교체 명령을 받고 순차적으로 변경된다. 즉 쌍방향 소통과는 거리가 먼 방식이라 할 수 있다. However, most digital signage has hardware capable of display and operation, but has only been able to transmit posters and images in a predetermined order. Digital signage, which can be easily seen on the street, is sequentially changed after receiving an advertisement replacement command from the PC of the central control center. In other words, it can be said that it is a method far from two-way communication.

일본 등록특허공보 제6144715호(등록일 : 2017.05.19)Japanese Patent Publication No. 6144715 (Registration Date: 2017.05.19)

전술한 종래의 방식을 탈피하기 위한 본 발명의 목적은, 고객 인식 카메라와 제안하는 소프트웨어를 기존의 디지털 광고판에 설치하거나, 내장된 제품을 통해 사용자와 상호작용이 가능한 반응형 광고판으로 전환이 가능하고, 소비자의 관심도 및 관심의 척도로 삼을 수 있는 표정의 변화 등에 의해 다시 보여줄 광고를 선정하거나, 데이터로써 활용하여 다음에 보여줄 광고를 선정할 수 있으며, 지속적으로 보여지는 관심 제품의 광고를 통해 구매 촉진 및 홍보의 효과를 가지게 하는, 광고 관심도 기반 맞춤형 광고 송출 시스템 및 방법을 제공함에 있다.The purpose of the present invention to break away from the above-mentioned conventional method is to install the customer recognition camera and the proposed software on the existing digital billboard, or convert it to a responsive billboard that can interact with the user through the built-in product. , you can select advertisements to show again by changing facial expressions, which can be used as a measure of consumer interest and interest, or select advertisements to show next by using data as data. An object of the present invention is to provide a system and method for sending customized advertisements based on interest in advertisements, which have the effect of promotion and publicity.

또한, 본 발명은, 광고를 송출할 때 광고를 주시하는 고객을 카메라 또는 센서 등을 통해 촬영한 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하거나, 광고를 시청하는 고객의 얼굴과 그 때 출력되던 광고 정보를 학습할 수 있도록 하거나, 특정 광고에 관심을 보인 고객의 재등장 시 이전에 관심을 보인 광고, 이전에 관심을 보인 광고와 유사한 카테고리의 광고, 및 광고주가 설정한 후속 광고를 출력할 수 있도록 하는, 광고 관심도 기반 맞춤형 광고 송출 시스템 및 방법을 제공함에 있다.In addition, the present invention provides a customer's face based on the central alignment value of the eye, nose, and mouth regions or the position of the pupil region with respect to the customer image captured by the camera or sensor of the customer watching the advertisement when sending the advertisement. to determine whether or not to watch the advertisement, to learn the face of the customer watching the advertisement and the advertisement information that was displayed at that time, An object of the present invention is to provide an advertisement interest-based customized advertisement transmission system and method for outputting advertisements in a category similar to the advertisements showing interest in and subsequent advertisements set by the advertiser.

전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템은, 디스플레이부; 상기 디스플레이부로 적어도 하나 이상의 광고를 송출하는 광고 송출기; 상기 디스플레이부의 근처에 배치되어, 상기 송출되는 적어도 하나 이상의 광고를 주시하는 고객을 촬영하여 고객 영상을 획득하는 촬영부; 상기 적어도 하나 이상의 광고를 데이터로 저장하고 있으며, 상기 고객을 촬영하여 획득된 고객 영상을 상기 송출된 광고에 대응시켜 저장하는 데이터베이스; 및 상기 촬영한 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하거나, 광고를 시청하는 고객의 얼굴과 그 때 송출되던 광고 정보를 학습하거나, 상기 고객의 재등장에 따른 상기 촬영부를 통해 고객의 재인식 시 이전에 관심을 보인 광고, 이전에 관심을 보인 광고와 유사한 카테고리의 광고, 및 광고주가 설정한 후속 광고를 송출하도록 제어하는 제어부를 포함할 수 있다.According to an embodiment of the present invention for achieving the above object, there is provided a system for transmitting a customized advertisement based on an advertisement interest level, comprising: a display unit; an advertisement transmitter for transmitting at least one advertisement to the display unit; a photographing unit disposed near the display unit to obtain an image of a customer by photographing a customer who watches at least one advertisement being transmitted; a database storing the at least one advertisement as data, and storing a customer image obtained by photographing the customer in correspondence with the transmitted advertisement; and by recognizing the customer's face based on the central alignment value of the eye, nose, and mouth regions or the position of the pupil region with respect to the photographed customer image, to determine whether to view the advertisement, or to transmit the customer's face and the time when viewing the advertisement When the customer is re-recognized through the photographing unit according to the customer's re-appearance, the advertisement that the customer has shown interest in before, the advertisement in the category similar to the advertisement shown previously, and the follow-up advertisement set by the advertiser are transmitted It may include a control unit to control to do so.

또한, 상기 제어부는, 상기 고객이 일정 시간 이상 광고를 주시하고 있거나, 상기 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지하고 있거나, 광고 출력시 고객의 표정이 해당 광고에 의도된 표정을 하고 있는 경우에 해당 광고에 관심이 있는 것으로 판단할 수 있다. In addition, the control unit, if the customer is watching the advertisement for a certain period of time or more, or the customer's eyes, nose, and mouth are maintained without departing from the central alignment value, or the customer's expression when outputting the advertisement is the expression intended for the advertisement It can be determined that you are interested in the advertisement if you are doing it.

또한, 상기 제어부는, 상기 해당 광고에 관심이 있는 것으로 판단된 경우에, 상기 촬영부를 통해 촬영된 상기 고객 영상에, 상기 광고 송출기로부터 상기 디스플레이부에 송출되는 해당 광고 영상에 대한 정보를 대응시켜 상기 데이터베이스에 저장 할 수 있다.In addition, when it is determined that there is an interest in the corresponding advertisement, the control unit associates information on the advertisement image transmitted from the advertisement transmitter to the display unit with the customer image photographed through the photographing unit, It can be stored in the database.

또한, 상기 촬영부를 통해 촬영된 상기 고객 영상이 사라지고 일정 시간이 지난 후 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 다시 나타나는 경우에, 상기 데이터베이스로부터 상기 고객 영상에 대응되어 있는 해당 광고 영상에 대한 정보에 근거하여 상기 광고 송출기로부터 상기 고객 영상에 대응된 상기 해당 광고 영상이 상기 디스플레이부로 다시 송출되도록 제어 할 수 있다.In addition, when the customer image captured by the photographing unit disappears and the customer image reappears in the image acquired through the photographing unit after a certain period of time has elapsed, the advertisement image corresponding to the customer image from the database Based on the information, it is possible to control the advertisement image corresponding to the customer image from the advertisement transmitter to be transmitted back to the display unit.

또한, 상기 제어부는, 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 다시 나타나는 경우에, 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 사라지기까지 상기 광고 송출기로부터 상기 고객 영상에 대응된 상기 해당 광고 영상이 상기 디스플레이부로 계속 송출되도록 제어하고, 상기 고객 영상에 대응된 상기 해당 광고 영상 이외에도 상기 해당 광고 영상과 유사한 광고 영상 또는 유사한 카테고리의 광고 영상이 상기 디스플레이부로 송출되도록 제어 할 수 있다.In addition, the control unit, when the customer image reappears in the image acquired through the photographing unit, the corresponding customer image corresponding to the customer image from the advertisement transmitter until the customer image disappears in the image acquired through the photographing unit An advertisement image may be controlled to be continuously transmitted to the display unit, and an advertisement image similar to the corresponding advertisement image or an advertisement image of a similar category may be transmitted to the display unit in addition to the corresponding advertisement image corresponding to the customer image.

또한, 상기 카테고리는, 상기 디스플레이부로 송출되는 광고 영상의 타겟 성별, 연령 또는 광고의 분위기, 색감, 내용, 키워드를 포함하여 정의될 수 있다.In addition, the category may be defined including target gender, age, or atmosphere, color, content, and keywords of the advertisement image transmitted to the display unit.

한편, 전술한 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 방법은, (a) 광고 송출기에서 적어도 하나 이상의 광고를 디스플레이부로 송출하는 단계; (b) 상기 디스플레이부에서 상기 적어도 하나 이상의 광고를 디스플레이하는 단계; (c) 촬영부가 상기 디스플레이부에서 디스플레이되는 적어도 하나 이상의 광고를 주시하는 고객을 촬영하여 고객 영상을 획득하는 단계; (d) 제어부가 상기 촬영된 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하는 단계; (e) 상기 제어부가 상기 고객이 일정 시간 이상 광고를 주시하고 있거나, 상기 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지하고 있는 경우에 현재 출력되는 해당 광고에 관심이 있는 것으로 결정하는 단계; 및 (f) 상기 제어부가 상기 고객 영상에 근거해 고객이 사라지기까지 상기 현재 출력되는 광고 영상이 계속 송출되도록 제어하거나, 일정 시간 이후 유사한 카테고리의 광고 또는 후속 시리즈 광고가 송출되도록 제어하는 단계를 포함 할 수 있다.On the other hand, according to another embodiment of the present invention for achieving the above object, there is provided a method for transmitting a customized advertisement based on an advertisement interest, comprising the steps of: (a) transmitting at least one advertisement from an advertisement transmitter to a display unit; (b) displaying the at least one advertisement on the display unit; (c) acquiring, by a photographing unit, a customer image by photographing a customer watching at least one advertisement displayed on the display unit; (d) determining, by the controller, whether to view the advertisement by recognizing the customer's face based on the central alignment value of the eyes, nose, and mouth regions or the position of the pupil region with respect to the photographed customer image; (e) the control unit determines that the customer is interested in the currently output advertisement when the customer watches the advertisement for a certain period of time or more or the customer's eyes, nose, and mouth do not deviate from the central alignment value step; and (f) controlling, by the control unit, so that the currently output advertisement image is continuously transmitted until the customer disappears based on the customer image, or an advertisement of a similar category or a subsequent series advertisement is transmitted after a predetermined time. can do.

또한, 상기 (e) 단계에서 상기 제어부는, 상기 고객이 일정 시간 이상 광고를 주시하고 있거나, 상기 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지되고 있거나, 광고 출력시 고객의 표정이 해당 광고에 의도된 표정을 하고 있는 경우에 해당 광고에 관심이 있는 것으로 결정하고, 상기 촬영부를 통해 촬영된 상기 고객 영상에, 상기 광고 송출기로부터 상기 디스플레이부에 송출되는 해당 광고 영상에 대한 정보를 대응시켜 데이터베이스에 저장 할 수 있다.In addition, in step (e), the control unit, if the customer is watching the advertisement for a certain period of time or more, the customer's eyes, nose, and mouth are maintained without departing from the central alignment value, or the customer's expression when outputting the advertisement In the case of making an intended expression in the advertisement, it is determined that you are interested in the advertisement, and information on the advertisement image transmitted from the advertisement transmitter to the display unit is matched to the customer image photographed through the photographing unit. can be saved to the database.

또한, 상기 (f) 단계에서 상기 제어부는, 상기 촬영부를 통해 촬영된 상기 고객 영상이 사라지고 일정 시간이 지난 후 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 다시 나타나는 경우에, 상기 데이터베이스로부터 상기 고객 영상에 대응되어 있는 해당 광고 영상에 대한 정보에 근거하여 상기 광고 송출기로부터 상기 고객 영상에 대응된 상기 해당 광고 영상이 상기 디스플레이부로 다시 송출되도록 제어 할 수 있다.In addition, in step (f), when the customer image captured by the photographing unit disappears and the customer image reappears in the image acquired through the photographing unit after a certain period of time has elapsed, the control unit is configured to retrieve the customer image from the database. Based on the information on the advertisement image corresponding to the image, the advertisement transmitter may control the advertisement image corresponding to the customer image to be transmitted back to the display unit.

또한, 상기 (f) 단계에서 상기 제어부는, 상기 고객 영상에 대응된 상기 해당 광고 영상 이외에도 상기 해당 광고 영상과 유사한 광고 영상 또는 유사한 카테고리의 광고 영상이 상기 디스플레이부로 송출되도록 제어 할 수 있다.In addition, in step (f), the control unit may control an advertisement image similar to the corresponding advertisement image or an advertisement image of a similar category to be transmitted to the display unit in addition to the corresponding advertisement image corresponding to the customer image.

본 발명에 의하면, 디지털 사이니지의 성능이 높아짐에 따라 그 컴퓨팅 파워 및 하드웨어를 적극적으로 활용하여 광고 효과를 극대화 할 수 있다. According to the present invention, as the performance of digital signage increases, it is possible to maximize the advertising effect by actively utilizing its computing power and hardware.

또한, 맞춤형 광고의 형태로, 광고에 집중하고 관심을 불러일으키거나 구매를 촉진하는 효과를 기대할 수 있다.In addition, in the form of a customized advertisement, the effect of focusing on the advertisement and arousing interest or facilitating purchase can be expected.

또한, 구매 가능성이 있는 소비자에게 집중적으로 광고함으로써 구매를 촉진하는 효과를 기대할 수 있다.In addition, by intensively advertising to consumers who are likely to purchase, the effect of facilitating purchase can be expected.

또한, 불특정 다수에게 동일한 광고를 송출함으로써 발생하던 광고 시간 및 비용을 효율적으로 관리할 수 있는 효과가 있다.In addition, there is an effect that can efficiently manage the advertisement time and cost that have occurred by sending the same advertisement to an unspecified number of people.

또한, 광고주가 광고를 함에 있어 특정 기획을 첨가할 수 있는 광고 옵션을 제공하는 효과가 있다.In addition, there is an effect of providing an advertisement option to which the advertiser can add a specific plan in the advertisement.

또한, 기존의 디지털 사이니지가 단순히 저장된 순서대로 포스터와 영상을 송출하는데 그쳤음에 따라 불특정 다수에게 광고를 송출함으로써 광고 시간이 낭비되던 문제를 개선할 수 있다. In addition, since the existing digital signage simply transmits posters and images in the order in which they are stored, it is possible to improve the problem of wasting advertisement time by transmitting advertisements to an unspecified number of people.

또한, 광고에 관심을 보인 구매 가능성이 있는 소비자에게 집중적으로 광고함으로써 구매를 촉진하는 효과를 기대할 수 있다. In addition, it is possible to expect the effect of facilitating purchase by intensively advertising to consumers who are likely to purchase who have shown interest in the advertisement.

또한, 이를 데이터화 하여 광고주에게 제공하여 2차 이익을 획득할 수도 있다.In addition, it is possible to obtain secondary profit by converting it into data and providing it to advertisers.

또한, 디지털 사이니지의 하드웨어적 활용 가능성을 극대화 하는 것으로서, 고객 인식 카메라와 제안하는 소프트웨어를 기존의 광고판에 설치함으로써 쉽게 기능의 추가가 가능하다. In addition, as it maximizes the hardware utilization potential of digital signage, functions can be easily added by installing the customer recognition camera and the proposed software on the existing billboard.

그리고, 제품 자체에 필요한 요소를 내장하여 사업화 또한 가능하며, 기존의 광고판과 동일한 면적과 디자인을 갖도록 설계가 가능하여 이미 설치된 것과 이질감이 들지 않는 배치를 할 수 있다.In addition, it is possible to commercialize the product by embedding the necessary elements in the product itself, and it can be designed to have the same area and design as the existing billboard, so that it can be arranged so that it does not feel different from the already installed one.

도 1a는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템의 외관 형상을 개략적으로 나타낸 도면이다.
도 1b는 본 발명의 실시 예에 따른 촬영부가 별도로 다른 위치에 설치된 예를 나타낸 도면이다.
도 1c는 본 발명의 실시 예에 따른 촬영부가 디스플레이부의 근처에 설치된 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템에서 고객의 재등장에 따른 관심 광고 재송출 과정을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템에서 광고를 주시하는 고객의 얼굴을 검출하여 중앙 정렬 여부를 확인하는 예들을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템에서 대상의 위치에 따른 정렬 오차 허용 범위와 이를 통한 관심도 판단을 나타낸 도면이다.
도 6 및 도 7은 본 발명의 다른 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 8은 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.1A is a diagram schematically illustrating an external shape of a system for transmitting customized advertisements based on advertisement interest according to an embodiment of the present invention.
1B is a diagram illustrating an example in which a photographing unit is separately installed at another location according to an embodiment of the present invention.
1C is a diagram illustrating an example in which a photographing unit is installed near a display unit according to an embodiment of the present invention.
2 is a configuration diagram schematically showing the internal configuration of a system for transmitting customized advertisements based on advertisement interest according to an embodiment of the present invention.
3 is a diagram illustrating a process of retransmitting an interest advertisement according to a re-appearance of a customer in the advertisement interest-based customized advertisement transmission system according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating examples of checking whether a customer's face is detected and centrally aligned in the advertisement interest-based customized advertisement transmission system according to an embodiment of the present invention.
5 is a diagram illustrating an allowable range of alignment errors according to the location of a target and determination of interest through this in the system for transmitting customized advertisements based on advertisement interest according to an embodiment of the present invention.
6 and 7 are block diagrams schematically showing the configuration of a system for transmitting a customized advertisement based on an advertisement interest according to another embodiment of the present invention.
8 is a flowchart illustrating a method for transmitting a customized advertisement based on an advertisement interest according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be implemented in several different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly explain the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.When a part is referred to as being “above” another part, it may be directly on the other part, or the other part may be involved in between. In contrast, when a part refers to being "directly above" another part, no other part is involved in between.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.The terms first, second and third etc. are used to describe, but are not limited to, various parts, components, regions, layers and/or sections. These terms are used only to distinguish one part, component, region, layer or section from another part, component, region, layer or section. Accordingly, a first part, component, region, layer or section described below may be referred to as a second part, component, region, layer or section without departing from the scope of the present invention.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is for the purpose of referring to specific embodiments only, and is not intended to limit the present invention. As used herein, the singular forms also include the plural forms unless the phrases clearly indicate the opposite. The meaning of "comprising," as used herein, specifies a particular characteristic, region, integer, step, operation, element and/or component, and includes the presence or absence of another characteristic, region, integer, step, operation, element and/or component. It does not exclude additions.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating a relative space such as “below” and “above” may be used to more easily describe the relationship of one part shown in the drawing to another part. These terms, along with their intended meanings in the drawings, are intended to include other meanings or operations of the device in use. For example, if the device in the drawings is turned over, some parts described as being "below" other parts are described as being "above" other parts. Thus, the exemplary term “down” includes both the up and down directions. The device may be rotated 90 degrees or at other angles, and terms denoting relative space are to be interpreted accordingly.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined otherwise, all terms including technical and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Commonly used terms defined in the dictionary are additionally interpreted as having a meaning consistent with the related technical literature and the presently disclosed content, and unless defined, are not interpreted in an ideal or very formal meaning.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be implemented in several different forms and is not limited to the embodiments described herein.

도 1a는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템의 외관 형상을 개략적으로 나타낸 도면이고, 도 1b는 본 발명의 실시 예에 따른 촬영부가 별도로 다른 위치에 설치된 예를 나타낸 도면이고, 도 1c는 본 발명의 실시 예에 따른 촬영부가 디스플레이부의 근처에 설치된 예를 나타낸 도면이고, 도 2는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템의 내부 구성을 개략적으로 나타낸 구성도이다.1A is a diagram schematically showing the external shape of a system for sending customized advertisements based on advertisement interest according to an embodiment of the present invention, and FIG. 1B is a diagram showing an example in which a photographing unit according to an embodiment of the present invention is separately installed at another location, 1c is a diagram showing an example in which a photographing unit is installed near a display unit according to an embodiment of the present invention, and FIG. 2 is a configuration diagram schematically showing the internal configuration of a system for transmitting customized advertisements based on interest in advertisements according to an embodiment of the present invention .

도 1a를 참조하면, 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 키오스크 형태의 광고 송출기(120)의 전면에 배치되는 디스플레이부(110)와, 광고 송출기(120)의 어느 일부분에 배치되는 촬영부(130)를 포함할 수 있다.Referring to FIG. 1A , the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention includes a display unit 110 disposed in front of a kiosk-type advertisement transmitter 120 , and an advertisement transmitter 120 . It may include a photographing unit 130 disposed in any part of the.

본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은 디지털 사이니지 시스템으로 구현할 수 있음에 따라, 본 발명의 실시 예에서는 디지털 사이니지 시스템(100)으로 혼용하여 칭할 수 있다.Since the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention can be implemented as a digital signage system, in the embodiment of the present invention, it may be referred to as a digital signage system 100 interchangeably.

디스플레이부(110)는 적어도 하나 이상의 광고 영상을 디스플레이하는 표시부와, 사용자 또는 고객으로부터 손가락 터치 등 데이터를 입력받는 입력부를 포함하고, 표시부와 입력부가 하나로 구현되는 터치 스크린 형태일 수 있다.The display unit 110 may include a display unit that displays at least one or more advertisement images, and an input unit that receives data such as a finger touch from a user or customer, and may be in the form of a touch screen in which the display unit and the input unit are implemented as one.

광고 송출기(120)는 디스플레이부(110)로 적어도 하나 이상의 광고를 송출한다. 여기서, 광고 송출기(120)는 키오스크 형태로 구현할 수 있음에 따라 본 발명의 실시 예에서는 키오스크(120)라고 겸하여 칭할 수 있다.The advertisement transmitter 120 transmits at least one advertisement to the display unit 110 . Here, since the advertisement transmitter 120 can be implemented in the form of a kiosk, it can also be referred to as a kiosk 120 in the embodiment of the present invention.

촬영부(130)는 광고 송출기(120)에서 송출되는 적어도 하나 이상의 광고를 주시하는 고객을 촬영하여 고객 영상을 획득한다. 이때, 촬영부(130)는 적어도 하나 이상의 카메라를 포함할 수 있다. 즉, 촬영부(130)는 적어도 하나 이상의 카메라가 디스플레이부(110)의 근처 영역에 배치될 수 있다.The photographing unit 130 acquires a customer image by photographing a customer watching at least one advertisement transmitted from the advertisement transmitter 120 . In this case, the photographing unit 130 may include at least one or more cameras. That is, in the photographing unit 130 , at least one camera may be disposed in a region near the display unit 110 .

본 발명의 실시 예에 따른 촬영부(130)는, 도 1a에 도시된 바와 같이, 디지털 사이니지 시스템(100)의 하우징 상단에 디스플레이부(110)와 가깝게 위치한 형태로 내장될 수 있다. 즉, 촬영부(130)는 디스플레이부(110)를 바라보는 고객의 눈높이 보다 약간 위쪽에 위치하는 베젤부에 설치될 수 있다.As shown in FIG. 1A , the photographing unit 130 according to an embodiment of the present invention may be embedded in the upper portion of the housing of the digital signage system 100 in a form located close to the display unit 110 . That is, the photographing unit 130 may be installed in the bezel portion located slightly above the eye level of the customer looking at the display unit 110 .

또한, 촬영부(130)는 도 1b에 도시된 바와 같이, 카메라가 디지털 사이니지 시스템(100)으로부터 일정 간격으로 이격된 위치에, 예를 들어, 디스플레이부(110)로부터 떨어져 있는 상측 방향의 천장 등 고객을 촬영할 수 있는 별도의 다른 위치에 설치될 수 있다.In addition, as shown in FIG. 1B , the photographing unit 130 is located at a position where the camera is spaced apart from the digital signage system 100 at a predetermined interval, for example, an upward ceiling away from the display unit 110 . It may be installed in a separate other location where customers can be photographed, such as.

그리고, 촬영부(130)는 도 1c에 도시된 바와 같이, 카메라가 디지털 사이니지 시스템(100)으로부터 상측 방향으로 일정 간격으로 떨어져 있는 위치에, 예를 들어, 디스플레이부(110)를 바라보는 고객의 눈높이 보다 위쪽으로 디지털 사이니지 시스템(100)으로부터 약간 이격된 위치에 고객을 촬영할 수 있도록 설치될 수 있다.And, as shown in FIG. 1c , the photographing unit 130 is located at a location where the camera is spaced apart from the digital signage system 100 upward at regular intervals, for example, a customer looking at the display unit 110 . It may be installed so as to photograph the customer at a position slightly spaced apart from the digital signage system 100 above the eye level of the.

본 발명의 실시 예에 따른 촬영부(130)는, 카메라 모듈과 같은 카메라 센서일 수 있으나, 다양한 방식으로 영상 신호를 획득할 수 있는 장치라면 어떠한 형식에 구애되는 것이 아니다.The photographing unit 130 according to an embodiment of the present invention may be a camera sensor such as a camera module, but it is not limited to any type as long as it is a device capable of acquiring an image signal in various ways.

본 발명의 실시 예에서, 디스플레이부(110)의 상부의 일 영역에 설치된 촬영부(120)는 하나의 카메라가 배치되는 것을 예를 들어 설명하고 있으나, 이는 예시적인 것으로서, 복수의 카메라부가 배치될 수 있으며, 또한 카메라가 배치되는 영역 역시 다양한 위치일 수 있을 것임은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다 할 것이다.In an embodiment of the present invention, the photographing unit 120 installed in an area of the upper portion of the display unit 110 is described as an example in which one camera is disposed, but this is an example, and a plurality of camera units may be disposed. In addition, it will be apparent to those of ordinary skill in the art that the area in which the camera is disposed may also be in various positions.

본 발명의 실시 예에 따른 디지털 사이니지 시스템(100)에서, 사용자가 광고 송출기(120)에 가까이 접근하는 경우, 많은 양의 이용 가능한 컨텐츠 중에서 사용자의 흥미에 맞는 광고 컨텐츠를 제공할 수 있다.In the digital signage system 100 according to an embodiment of the present invention, when the user approaches the advertisement transmitter 120 close to the user, it is possible to provide advertisement contents suitable for the user's interest from among a large amount of available contents.

도 2를 참조하면, 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 상술한 바와 같이 디스플레이부(110), 광고 송출기(120) 및 촬영부(130) 이외에도 데이터베이스(140) 및 제어부(150)를 포함할 수 있다.Referring to FIG. 2 , the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention includes a database 140 in addition to the display unit 110 , the advertisement transmitter 120 , and the photographing unit 130 as described above. ) and a control unit 150 .

데이터베이스(140)는 적어도 하나 이상의 광고를 데이터로 저장하고 있으며, 고객을 촬영하여 획득된 고객 영상을 광고 송출기(120)로부터 송출된 광고에 대응시켜 저장한다.The database 140 stores at least one advertisement as data, and stores the customer image obtained by photographing the customer in correspondence with the advertisement transmitted from the advertisement transmitter 120 .

제어부(150)는 촬영부(130)에서 촬영한 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하거나, 광고를 시청하는 고객의 얼굴과 그 때 송출되던 광고 정보를 학습하거나, 고객의 재등장에 따른 촬영부(130)를 통해 고객의 재인식 시 이전에 관심을 보인 광고와 유사한 카테고리의 광고 또는 광고주가 설정한 후속 광고를 송출하도록 제어할 수 있다.The control unit 150 recognizes the customer's face based on the central alignment value of the eyes, nose, and mouth regions or the position of the pupil region with respect to the customer image captured by the photographing unit 130 to determine whether to view the advertisement, or to display the advertisement. It learns the face of the customer watching and the advertisement information that was sent at that time, or when the customer is re-recognized through the photographing unit 130 according to the customer's reappearance You can control to send advertisements.

또한, 제어부(150)는, 고객이 일정 시간 이상 광고를 주시하고 있거나, 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지하고 있거나, 광고 출력시 고객의 표정이 해당 광고에 의도된 표정을 하고 있는 경우에 해당 광고에 관심이 있는 것으로 판단할 수 있다.In addition, the control unit 150, the customer is watching the advertisement for a certain period of time or more, or the customer's eyes, nose, and mouth are maintained without departing from the central alignment value, or the customer's expression is the expression intended for the advertisement when outputting the advertisement. It can be determined that you are interested in the advertisement if you are doing it.

또한, 제어부(150)는, 해당 광고에 관심이 있는 것으로 판단된 경우에, 촬영부(130)를 통해 촬영된 고객 영상에, 광고 송출기(120)로부터 디스플레이부(110)에 송출되는 해당 광고 영상에 대한 정보를 대응시켜 데이터베이스(140)에 저장 할 수 있다.In addition, when it is determined that the controller 150 is interested in the corresponding advertisement, the corresponding advertisement image is transmitted from the advertisement transmitter 120 to the display unit 110 in the customer image photographed through the photographing unit 130 . It can be stored in the database 140 by matching the information on.

또한, 제어부(150)는 촬영부(130)를 통해 촬영된 고객 영상이 사라지고 일정 시간이 지난 후 촬영부(130)를 통해 획득되는 영상에 고객 영상이 다시 나타나는 경우에, 데이터베이스(140)로부터 고객 영상에 대응되어 있는 해당 광고 영상에 대한 정보에 근거하여 광고 송출기(120)로부터 고객 영상에 대응된 해당 광고 영상이 디스플레이부(110)로 다시 송출되도록 제어 할 수 있다.In addition, when the customer image captured by the photographing unit 130 disappears and the customer image reappears in the image acquired through the photographing unit 130 after a certain period of time has elapsed, the control unit 150 controls the customer from the database 140 . Based on the information on the advertisement image corresponding to the image, the advertisement transmitter 120 may control the advertisement image corresponding to the customer image to be transmitted back to the display unit 110 .

또한, 제어부(150)는, 촬영부(130)를 통해 획득되는 영상에 고객 영상이 다시 나타나는 경우에, 촬영부(130)를 통해 획득되는 영상에 고객 영상이 사라지기까지 광고 송출기(120)로부터 고객 영상에 대응된 해당 광고 영상이 디스플레이부(110)로 계속 송출되도록 제어하고, 고객 영상에 대응된 해당 광고 영상 이외에도 해당 광고 영상과 유사한 광고 영상 또는 유사한 카테고리의 광고 영상이 디스플레이부(110)로 송출되도록 제어 할 수 있다.In addition, the control unit 150, when the customer image reappears in the image acquired through the photographing unit 130, from the advertisement transmitter 120 until the customer image disappears from the image acquired through the photographing unit 130 The corresponding advertisement image corresponding to the customer image is controlled to be continuously transmitted to the display unit 110 , and in addition to the corresponding advertisement image corresponding to the customer image, an advertisement image similar to the corresponding advertisement image or an advertisement image of a similar category is transmitted to the display unit 110 . It can be controlled to be transmitted.

그리고, 카테고리는, 디스플레이부(110)로 송출되는 광고 영상의 타겟 성별, 연령 또는 광고의 분위기, 색감, 내용, 키워드를 포함하여 정의될 수 있다.In addition, the category may be defined including target gender, age, or atmosphere, color, content, and keyword of the advertisement image transmitted to the display unit 110 .

도 3은 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템에서 고객의 재등장에 따른 관심 광고 재송출 과정을 나타낸 도면이다.3 is a diagram illustrating a process of retransmitting an interest advertisement according to a re-appearance of a customer in the advertisement interest-based customized advertisement transmission system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 광고 송출기(120)에서 적어도 하나 이상의 광고 영상이 디스플레이부(110)에 디스플레이되는 중에, (a)에 도시된 바와 같이, 촬영부(130)를 통해 광고에 관심을 가진 고객(소비자)에 대한 고객 영상을 획득한다.Referring to FIG. 3 , in the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention, while at least one advertisement image is displayed on the display unit 110 in the advertisement transmitter 120, (a) As shown in , a customer image of a customer (consumer) interested in advertisement is acquired through the photographing unit 130 .

제어부(150)는 획득된 고객 영상을 분석하여, (b)에 도시된 바와 같이, 고객이 일정 시간 이상 광고를 주시하고 있거나, 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지하고 있거나, 광고 출력시 고객의 표정이 해당 광고에 의도된 표정을 하고 있는 경우에 해당 광고에 관심이 있는 것으로 판단한다.The control unit 150 analyzes the obtained customer image, and as shown in (b), the customer watches the advertisement for a certain period of time or more, or the customer's eyes, nose, and mouth do not deviate from the central alignment value, or , it is determined that the customer is interested in the advertisement when the expression of the customer is the expression intended for the advertisement when outputting the advertisement.

제어부(150)는 해당 광고에 관심이 있는 것으로 판단한 경우, (b)에 도시된 바와 같이, 촬영부(130)를 통해 획득되는 영상에 고객 영상이 사라지기까지 광고 송출기(120)로부터 현재 출력되는 해당 광고 영상이 디스플레이부(110)로 계속 송출되도록 제어한다.When the control unit 150 determines that there is interest in the advertisement, as shown in (b), the current output from the advertisement transmitter 120 until the customer image disappears from the image acquired through the photographing unit 130 Control is performed so that the corresponding advertisement image is continuously transmitted to the display unit 110 .

이때, 제어부(150)는 촬영부(130)를 통해 촬영된 고객 영상에, 광고 송출기(120)로부터 디스플레이부(110)에 송출되는 해당 광고 영상에 대한 정보를 대응시켜 데이터베이스(140)에 저장 할 수 있다.At this time, the control unit 150 stores in the database 140 by matching information about the corresponding advertisement image transmitted from the advertisement transmitter 120 to the display unit 110 to the customer image captured by the photographing unit 130 . can

제어부(150)는 (c)에 도시된 바와 같이, 촬영부(130)를 통해 획득되는 영상에 고객 영상이 사라지는 경우에, 고객이 계속 주시하던 해당 광고 영상의 출력을 중지하고, 원래 프로그래밍 되어 있는 광고 출력 리스트에 따른 다음 광고 영상이 출력되도록 제어할 수 있다.As shown in (c), when the customer image disappears from the image acquired through the photographing unit 130, the control unit 150 stops the output of the corresponding advertisement image that the customer continues to watch, and It is possible to control to output the next advertisement image according to the advertisement output list.

이후, 제어부(150)는 (d)에 도시된 바와 같이, 광고 송출기(120)로부터 디스플레이부(110)에 디스플레이되는 광고 영상에 관심을 보인 고객(소비자)이 촬영부(130)를 통해 촬영된 고객 영상에 다시 나타나는 경우에, 데이터베이스(140)로부터 해당 고객 영상에 대응되어 있는 광고 영상에 대한 정보에 근거하여 광고 송출기(120)로부터 해당 고객 영상에 대응된 광고 영상이 디스플레이부(110)로 다시 송출되도록 제어한다.Thereafter, as shown in (d), the control unit 150 captures the customer (consumer) showing interest in the advertisement image displayed on the display unit 110 from the advertisement transmitter 120 through the photographing unit 130 . In the case of reappearing in the customer image, the advertisement image corresponding to the customer image from the advertisement transmitter 120 is returned to the display unit 110 based on the information about the advertisement image corresponding to the customer image from the database 140 . control to be transmitted.

도 4는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템에서 광고를 주시하는 고객의 얼굴을 검출하여 중앙 정렬 여부를 확인하는 예들을 나타낸 도면이다.4 is a diagram illustrating examples of detecting a face of a customer who is watching an advertisement in the advertisement interest-based customized advertisement transmission system according to an embodiment of the present invention and checking whether the center is aligned.

도 4를 참조하면, 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 고객(소비자)이 광고를 바라보는 경우(a), 촬영부(130)를 통하여 획득된 고객 영상에서 얼굴 영역을 검출하고(b), 검출된 얼굴 영역에서 눈, 코, 입 등이 중앙 정렬인지를 확인한다(c).Referring to FIG. 4 , in the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention, when a customer (consumer) looks at an advertisement (a), a customer image acquired through the photographing unit 130 Detects a face region in (b), and checks whether the eyes, nose, mouth, etc. are aligned in the center in the detected face region (c).

또한, 제어부(150)는 고객(소비자)이 광고를 보지 않는 경우(d)에도, 촬영부(130)를 통하여 획득된 고객 영상에서 얼굴 영역을 검출하고(d), 검출된 얼굴 영역에서 눈, 코, 입 등이 중앙 정렬에서 어긋남을 확인한다(e).In addition, even when the customer (consumer) does not see the advertisement (d), the controller 150 detects a face region from the customer image acquired through the photographing unit 130 (d), and in the detected face region, the eyes, Check the deviation of the nose and mouth from the center alignment (e).

또한, 제어부(150)는 촬영부(130)를 통하여 획득된 고객 영상에서, (g)에 도시된 바와 같이, 눈동자 영역 인식을 통한 광고 시청 여부를 확인할 수 있다. 즉, 제어부(150)는 촬영부(130)를 통하여 획득된 고객 영상에서, 얼굴 및 눈 영역에서 눈동자 영역을 검출하고(h), 눈동자의 눈 영역이 중앙 정렬인지를 판단하여(i), 현재 디스플레이부(110)에 디스플레이되는 광고 영상을 시청하고 있는지를 확인하는 것이다.Also, as shown in (g), in the customer image acquired through the photographing unit 130 , the controller 150 may check whether the advertisement is viewed through the pupil region recognition. That is, the controller 150 detects the pupil region from the face and eye regions in the customer image acquired through the photographing unit 130 (h), determines whether the eye region of the pupil is centrally aligned (i), and It is checked whether the advertisement image displayed on the display unit 110 is being viewed.

도 5는 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템에서 대상의 위치에 따른 정렬 오차 허용 범위와 이를 통한 관심도 판단을 나타낸 도면이다.5 is a diagram illustrating an allowable range of alignment errors according to the location of a target and determination of interest through this in the system for transmitting customized advertisements based on advertisement interest according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 촬영부(130)를 통하여 획득된 카메라 화면에서, 대상의 위치에 따른 정렬 오차 허용 범위로서 눈 영역과 눈동자 영역을 이용할 수 있다.Referring to FIG. 5 , in the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention, in the camera screen acquired through the photographing unit 130 , the eye region as an alignment error tolerance according to the position of the target. and pupil area are available.

본 발명에 따른 디지털 사이니지 시스템(100)은, 대상을 인식하기 위하여 카메라를 통한 인공지능 영상처리 기법을 사용하며, 정확한 인식을 위하여 카메라 외에도 ToF, LiDAR, 두 개의 카메라를 이용한 스테레오 비전기법, 적외선 센서, 인체감지센서 등 센서의 도움을 받을 수 있다. The digital signage system 100 according to the present invention uses an artificial intelligence image processing technique through a camera to recognize an object, and ToF, LiDAR, stereo vision method using two cameras, infrared rays in addition to a camera for accurate recognition You can get help from sensors such as sensors and human body detection sensors.

제어부(150)는 촬영부(130)의 카메라를 통하여 얼굴로 인식된 사람 중 눈, 코, 입 영역의 중앙 정렬된 여부 혹은 눈동자의 위치로 디지털 사이니지를 바라본 여부를 판단하거나, 또는 얼굴이 인식된 사람 중 광고주가 의도한 표정이 인식된 경우에도 관심이 있는 것으로 판단할 수 있다.The controller 150 determines whether the center of the eyes, nose, and mouth regions are aligned among the people recognized as faces through the camera of the photographing unit 130 or whether the digital signage is viewed with the position of the pupils, or whether the face is recognized Even if the facial expression intended by the advertiser is recognized among those who have become interested, it can be determined that they are interested.

제어부(150)는 얼굴의 눈, 코, 입이 오차 내의 중앙 정렬값을 가진다면 디지털 사이니지를 정면으로 바라보고 있다고 판단하여 인식된 시간을 기록한다. 기록된 시간이 광고 제공자가 설정한 특정 시간을 초과한다면 차후 재 등장시 인식할 수 있도록 해당 인물의 얼굴 사진을 여러 장 촬영하여 저장한다. 수집된 데이터를 통하여 학습을 진행한다. 얼굴 사진의 기록 시에 송출되던 광고와 카테고리 및 내용 등을 함께 기록한다.If the eyes, nose, and mouth of the face have a central alignment value within the error, the controller 150 determines that the digital signage is facing the front and records the recognized time. If the recorded time exceeds the specific time set by the advertisement provider, several face pictures of the person are taken and stored so that they can be recognized when they reappear in the future. Learning is carried out through the collected data. When recording a face photo, the advertisement that was sent out, as well as the category and content, are recorded together.

도 6 및 도 7은 본 발명의 다른 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템의 구성을 개략적으로 나타낸 구성도이다.6 and 7 are diagrams schematically illustrating the configuration of a system for transmitting a customized advertisement based on an advertisement interest according to another embodiment of the present invention.

도 6 및 도 7은 본 발명의 다른 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 디지털 사이니지로서 단독으로 해당 기능을 수행할 수도 있으며, 원격지에 있는 서버를 통해 데이터를 공유함으로써 다른 지역에 특정 광고에 관심을 보인 인원이 등장하면 해당 광고를 송출하는 등의 기능을 수행할 수도 있다.6 and 7 show that the advertisement interest-based customized advertisement transmission system 100 according to another embodiment of the present invention may perform a corresponding function alone as a digital signage, and by sharing data through a server in a remote location When a person showing interest in a specific advertisement appears in another area, it can also perform functions such as transmitting the advertisement.

이를 위해, 본 발명에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 원격지에 있는 서버와 통신하기 위한 통신부(160)를 더 포함할 수 있다.To this end, the advertisement interest-based customized advertisement transmission system 100 according to the present invention may further include a communication unit 160 for communicating with a server located at a remote location.

통신부(160)는 원격지에 있는 서버와 통신하기 위해 네트워크와 유선 또는 무선으로 연결될 수 있다.The communication unit 160 may be connected to a network by wire or wirelessly in order to communicate with a server located at a remote location.

따라서, 본 발명에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 서버와의 데이터 공유를 통한 타 지역에서 고객(소비자)에게 동일한 경험을 제공할 수 있다.Accordingly, the advertisement interest-based customized advertisement transmission system 100 according to the present invention can provide the same experience to customers (consumers) in other regions through data sharing with a server.

본 발명에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)에서, 광고의 관심도에 기반한 맞춤형 광고는 특정 광고에 관심을 가진 타겟(고객)이 자리를 벗어난 이후 재등장 했을 때, 이전에 관심을 가진 특정 광고에 다시 관심을 보이지 않는다면 다른 광고 또는 이전에 관심을 가진 특정 광고와 유사한 광고 혹은 유사 카테고리의 광고를 송출하는 기능을 가진다. 또한, 광고주가 후속 광고로 설정한 다른 연관 광고를 송출하는 기능을 가진다.In the advertisement interest-based customized advertisement transmission system 100 according to the present invention, the customized advertisement based on the level of interest in the advertisement re-appears after the target (customer) interested in the specific advertisement leaves the seat, If there is no interest in the advertisement again, it has a function of transmitting another advertisement or an advertisement similar to a specific advertisement previously interested in or an advertisement of a similar category. In addition, it has a function of transmitting other related advertisements set as follow-up advertisements by the advertiser.

도 8은 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.8 is a flowchart illustrating a method for transmitting a customized advertisement based on an advertisement interest according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 광고 송출기(120)에서 적어도 하나 이상의 광고를 디스플레이부(110)로 송출한다(S810).Referring to FIG. 8 , in the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention, at least one advertisement is transmitted from the advertisement transmitter 120 to the display unit 110 ( S810 ).

이때, 광고 송출기(120)는 원래 프로그래밍 되어 있는 광고 출력 리스트에 따라 순차적으로 해당 광고 영상을 디스플레이부(110)로 송출할 수 있다.In this case, the advertisement transmitter 120 may sequentially transmit the corresponding advertisement image to the display unit 110 according to the originally programmed advertisement output list.

이에, 디스플레이부(110)는 광고 송출기(120)로부터 전달받은 적어도 하나 이상의 광고를 순차적으로 디스플레이한다(S820).Accordingly, the display unit 110 sequentially displays one or more advertisements received from the advertisement transmitter 120 (S820).

이어, 촬영부(130)는 디스플레이부(110)에서 디스플레이되는 광고를 주시하는 고객을 촬영하여 고객 영상을 획득한다(S830).Next, the photographing unit 130 acquires an image of the customer by photographing the customer watching the advertisement displayed on the display unit 110 (S830).

이때, 촬영부(130)는 고객 영상에 대하여, 눈, 코, 입 영역의 얼굴 위주로 촬영한 고객 영상을 획득하거나, 또는 고객이 입고 있는 의상 등도 식별할 수 있도록 얼굴을 포함해 신체 상반신에 해당하는 고객 영상을 획득할 수 있다.At this time, the photographing unit 130 acquires a customer image photographed mainly of the face in the eyes, nose, and mouth regions for the customer image, or corresponds to the upper body including the face so that the customer can identify the clothes they are wearing. Customer images can be obtained.

이어, 제어부(150)는 촬영된 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단한다(S840).Next, the controller 150 determines whether to view the advertisement by recognizing the customer's face based on the central alignment value of the eye, nose, and mouth regions or the position of the pupil region with respect to the photographed customer image ( S840 ).

즉, 제어부(150)는 고객 영상을 분석하여, 예를 들어, 눈동자 영역의 위치가 일정 시간 이상으로 좌우로 변동되지 않고 계속 유지되고 있는지, 또는 입이나 코 등이 좌우로 움직이지 않고 일정 시간 이상으로 일정한 위치 범위 내에서 유지되고 있는지 등을 통하여 현재 출력되는 광고 시청 여부를 판단할 수 있다.That is, the controller 150 analyzes the customer image, and for example, whether the position of the pupil region is maintained without changing left and right for more than a certain period of time, or whether the mouth or nose does not move left and right for more than a certain period of time It is possible to determine whether to view the currently output advertisement by checking whether it is maintained within a certain location range.

이어, 제어부(150)는 고객이 일정 시간 이상 광고를 주시하고 있거나, 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지하고 있는 경우에 현재 출력되는 광고에 관심이 있는 것으로 결정한다(S850).Next, the controller 150 determines that the customer is interested in the currently output advertisement when the customer watches the advertisement for a certain period of time or more or the customer's eyes, nose, and mouth do not deviate from the central alignment value (S850). ).

이때, 제어부(150)는, 고객이 일정 시간 이상 광고를 주시하고 있거나, 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지하고 있거나, 광고 출력시 고객의 표정이 해당 광고에 의도된 표정을 하고 있는 경우에 해당 광고에 관심이 있는 것으로 결정하고, 촬영부(130)를 통해 촬영된 고객 영상에, 광고 송출기(120)로부터 디스플레이부(110)에 송출되는 해당 광고 영상에 대한 정보를 대응시켜 데이터베이스(140)에 저장 할 수 있다.At this time, the control unit 150, when the customer is watching the advertisement for more than a certain time, or the customer's eyes, nose, and mouth do not deviate from the central alignment value, or when the advertisement is output, the customer's expression is the expression intended for the advertisement In the case of doing this, it is determined that you are interested in the advertisement, and information on the advertisement image transmitted from the advertisement transmitter 120 to the display unit 110 to the customer image photographed through the photographing unit 130 is corresponded. to be stored in the database 140 .

또한, 제어부(150)는, 고객이 광고를 주시하는 시간, 즉 컨텐츠별 주목시간이 컨텐츠의 선호도와 비례한다고 가정하고, 컨텐츠 주목 시간을 선호도 레벨로 매핑할 수 있다. 따라서, 제어부(150)는 데이터베이스(140)에 저장된 이러한 정보에 근거하여 각 컨텐츠에 대한 상황 정보별 민감도(coefficient)를 추정하여 회귀모델을 구축할 수 있을 것이다.Also, the controller 150 may assume that the time the customer watches the advertisement, that is, the attention time for each content is proportional to the preference of the content, and map the content attention time to the preference level. Accordingly, the controller 150 may build a regression model by estimating a coefficient for each contextual information for each content based on such information stored in the database 140 .

이어, 제어부(150)는 촬영부(130)를 통해 획득되는 고객 영상에서 고객이 사라지기까지 광고 송출기(120)로부터 현재 출력되는 해당 광고 영상이 디스플레이부(110)로 계속 송출되도록 제어한다(S860).Next, the control unit 150 controls so that the corresponding advertisement image currently output from the advertisement transmitter 120 is continuously transmitted to the display unit 110 until the customer disappears from the customer image obtained through the photographing unit 130 (S860) ).

이때, 제어부(150)는, 촬영부(130)를 통해 획득되는 고객 영상에서 고객이 일정 시간 이상 고객이 사라지지 않고 계속 인식되는 경우에(S870-아니오), 현재 출력되는 광고와 유사한 카테고리 광고가 출력되도록 제어하거나 또는 후속 시리즈 광고가 광고 송출기(120)로부터 출력되도록 제어할 수 있다(S880).At this time, the control unit 150, when the customer continues to be recognized without disappearing for a certain period of time from the customer image obtained through the photographing unit 130 (S870 - No), a category advertisement similar to the currently output advertisement It may be controlled to be output or a subsequent series advertisement may be controlled to be output from the advertisement transmitter 120 (S880).

그러나, 촬영부(130)를 통해 획득되는 고객 영상에서 고객이 사라지는 경우(S870-예), 제어부(150)는 광고 송출기(120)로부터 원래 프로그래밍 되어 있는 순서에 따라 다음 광고가 출력되도록 제어할 수 있다(S890).However, when the customer disappears from the customer image obtained through the photographing unit 130 (S870 - Yes), the control unit 150 can control the next advertisement to be output according to the order originally programmed from the advertisement transmitter 120. There is (S890).

또한, 제어부(150)는 고객이 사라지는 경우에, 현재 고객이 주시하던 광고의 출력을 중지하고, 원래 프로그래밍 되어 있는 광고 중에 현재 시간에 대응되어 있는 광고가 디스플레이부(110)로 출력되도록 제어할 수 있다.In addition, when the customer disappears, the control unit 150 stops the output of the advertisement currently watched by the customer, and controls the advertisement corresponding to the current time among the originally programmed advertisements to be output to the display unit 110 . there is.

한편, 제어부(150)는 촬영부(130)를 통해 촬영된 고객 영상에서 고객이 사라지고 일정 시간이 지난 후, 촬영부(130)를 통해 획득되는 영상에서 이전의 고객 영상이 다시 나타나는 경우에, 데이터베이스(140)로부터 해당 고객 영상에 대응되어 있는 광고 영상에 대한 정보에 근거하여 광고 송출기(120)로부터 고객 영상에 대응된 해당 광고 영상이 디스플레이부(110)로 다시 송출되도록 제어 할 수 있다.On the other hand, the control unit 150, when the customer disappears from the customer image photographed through the photographing unit 130 and a predetermined time elapses, the previous customer image reappears in the image acquired through the photographing unit 130, the database Based on the information on the advertisement image corresponding to the customer image from 140 , the advertisement transmitter 120 may control the advertisement image corresponding to the customer image to be transmitted back to the display unit 110 .

그리고, 제어부(150)는, 고객 영상에 대응된 해당 광고 영상 이외에도 해당 광고 영상과 유사한 광고 영상 또는 유사한 카테고리의 광고 영상이 디스플레이부(110)로 송출되도록 제어 할 수 있다.In addition, the control unit 150 may control an advertisement image similar to the corresponding advertisement image or an advertisement image of a similar category to be transmitted to the display unit 110 in addition to the corresponding advertisement image corresponding to the customer image.

본 발명에 따른 디지털 사이니지 시스템(100)에서 재생 가능한 컨텐츠의 수가 비약적으로 증가함에 따라, 디지털 사이니지 시스템의 디스플레이부(110)에 어떠한 컨텐츠를 보여줄 것인가에 대한 문제가 제기될 수 있다. As the number of reproducible contents in the digital signage system 100 according to the present invention increases dramatically, the problem of which contents to display on the display unit 110 of the digital signage system may be raised.

본 발명의 일 실시 예에 의하면, 제어부(150)는 개별적인 영상 컨텐츠에 대한 현재 사용자의 선호도 정보를 예측하여, 특정 컨텐츠를 추천할 수 있다. 즉, 본 발명의 일 실시 예의 상황 인지형 디지털 사이니지 시스템(100)은, 사용자의 컨텐츠별 선호도를 수집하여, 현재 상황에서의 모든 컨텐츠에 대한 선호도를 추정할 수 있다.According to an embodiment of the present invention, the controller 150 may recommend a specific content by predicting the current user's preference information for individual image content. That is, the context-aware digital signage system 100 according to an embodiment of the present invention may collect a user's preferences for each content and estimate preferences for all content in the current situation.

디지털 사이니지 환경의 특성상 컨텐츠의 전환 속도가 빠르고 제공 가능한 컨텐츠의 수가 다양하므로, 어떤 컨텐츠에 대한 선호 정보를 확실하게 알 수 있는 방법은 없다. 또한 공개된 장소에서 키오스크(120)가 설치되어 익명의 다수의 사용자에게 제공하는 서비스이므로, 사용자의 과거 이력 정보나 얻을 수 있는 사용자의 특성이 제한적이다. Due to the nature of the digital signage environment, the conversion speed of content is fast and the number of content that can be provided is diverse, so there is no way to reliably know the preference information for a certain content. In addition, since the kiosk 120 is installed in a public place and is a service provided to a large number of anonymous users, the user's past history information or the characteristics of the user that can be obtained are limited.

본 발명의 일 실시 예에 따른 디지털 사이니지 시스템(100)은, 이러한 단점을 해결하기 위해, 컨텐츠에 대한 사용자의 선호 정보를 단순화하여, 사용자의 흥미를 느낄만한 컨텐츠를 제공하는 방향으로 선호도를 정의할 수 있다.The digital signage system 100 according to an embodiment of the present invention simplifies the user's preference information about the content to solve this disadvantage, and defines the preference in a direction to provide the user's interesting content. can do.

또한, 본 발명의 일 실시 예에 따른 상황 인지형 디지털 사이니지 시스템(100)은, 촬영부(130)를 이용하여 사용자의 주목 여부를 확인할 수 있으므로, 해당 컨텐츠를 주목하는 시간을 현재 사용자의 선호도로 사용할 수 있다. 사용자가 디스플레이부(110)의 화면을 쳐다보고 있는 상황이라면, 현재 디스플레이부(110)에 디스플레이 되고 있는 컨텐츠에 대한 사용자의 반응이 긍정적일 가능성이 크고, 긍정적이지 않은 상황일 경우에도 현재 컨텐츠에 대해 사용자가 어느 정도 관심을 가지고 있다는 것을 알 수 있다.In addition, since the context-aware digital signage system 100 according to an embodiment of the present invention can check whether the user is paying attention by using the photographing unit 130, the time to pay attention to the corresponding content is determined by the current user's preference. can be used as If the user is looking at the screen of the display unit 110, there is a high possibility that the user's reaction to the content currently displayed on the display unit 110 is positive, and even if the situation is not positive, the user may respond to the current content. It can be seen that there is some interest in

한편, 제어부(150)는 사용자의 고객 영상을 픽셀 단위로 분류하고, 분류된 픽셀 단위로부터 사용자의 얼굴 부위에 해당하는 범위를 추출한다. 즉, 제어부(150)는 사용자의 고객 영상에 사용자의 일부 또는 전부의 형태가 촬영된 경우, 기 설정된 분류 범위에 따라 영상 정보에 포함된 데이터를 분류하고, 이를 다시 픽셀 단위로 분류하여 사용자의 얼굴 부위를 포함한 특정 데이터를 추출한다.Meanwhile, the controller 150 classifies the user's customer image in pixel units, and extracts a range corresponding to the user's face part from the classified pixel units. That is, when a part or all of the user's shape is captured in the user's customer image, the controller 150 classifies the data included in the image information according to a preset classification range, and classifies it in pixel units again to make the user's face Extract specific data including parts.

또한, 제어부(150)는 사용자의 얼굴 부위에 대한 데이터를 추출한 경우, 머리카락을 제외한 이마부터 목 부위의 픽셀로부터 사용자의 눈에 대한 정보를 추가적으로 추출하고, 사용자의 양 눈이 서로 수평 위치에 존재하지 않는 경우, 사용자의 양 눈의 위치를 조절하여 수평이 되도록 보정한다. 이때, 제어부(150)는 사용자의 눈이 수평이라고 판단하는 경우, 사용자의 얼굴이 정면에 위치하도록 보정되었다고 판단한다.In addition, when data on the user's face is extracted, the controller 150 additionally extracts information about the user's eyes from pixels from the forehead to the neck except for the hair, and the user's eyes are not in a horizontal position with each other. If not, adjust the positions of both eyes of the user to make them horizontal. At this time, when it is determined that the user's eyes are horizontal, the controller 150 determines that the user's face is corrected to be located in the front.

또한, 제어부(150)는 추출 및 보정된 특정 데이터를 기반으로 사용자의 식별정보를 판단한다. 즉, 또한, 제어부(150)는 보정된 특정 데이터를 기반으로 사용자의 양 눈이 서로 수평 위치에 존재하여 사용자의 얼굴이 정면에 위치하고 있다고 판단하는 경우, 특정 데이터와 기 저장된 판별정보를 이용하여 사용자의 성별, 연령 및 인종 등의 식별정보를 판단한다.In addition, the control unit 150 determines the user's identification information based on the extracted and corrected specific data. That is, when determining that the user's face is located in the front because both eyes of the user are in a horizontal position with each other based on the corrected specific data, the controller 150 uses the specific data and pre-stored determination information to determine the user Identification information such as gender, age and race is determined.

또한, 제어부(150)는 데이터베이스(140) 내 기 저장되어 있는 다수의 사용자에 대한 성별, 연령 및 인종별 등의 판별 영상정보와 사용자의 특정 데이터를 패턴 매칭 알고리즘을 통하여 패턴 매칭하고, 이를 통해 사용자의 성별, 연령 및 인종을 판단한다. 즉, 데이터베이스(140)에는 다수의 사용자에 대한 특정 데이터와 실제 파악된 다수의 사용자에 대한 성별, 연령 및 인종에 대한 영상 판별정보가 저장되어 있으며, 제어부(150)는 새로운 사용자의 영상에 대한 특정 데이터를 획득하는 경우, 기 저장된 판별정보와 새로운 사용자에 대한 특정 데이터를 패턴 매칭하여 가장 확률이 높은 사용자의 식별정보를 추출한다.In addition, the controller 150 pattern-matches the user's specific data and the discrimination image information such as gender, age and race for a plurality of users previously stored in the database 140 through a pattern matching algorithm, and through this, the user determine the gender, age and race of That is, the database 140 stores specific data on a plurality of users and image identification information on gender, age, and race for a plurality of users that are actually identified, and the controller 150 controls the specific data for a new user's image. When data is acquired, the identification information of the user with the highest probability is extracted by pattern matching the previously stored identification information and specific data for the new user.

그리고, 제어부(150)는 촬영부(130)를 통하여 획득된 고객 영상을 분석하여 사용자의 시선을 인식함으로써 사용자의 관심 영역을 선별하고 응시 시간 등의 관심 시간에 따라 광고의 위치나 형태 사이즈를 변경하거나 추가 광고를 제공하는 등, 사용자의 관심에 따라 컨텐츠를 변경해 제공하도록 제어할 수 있다.Then, the control unit 150 analyzes the customer image obtained through the photographing unit 130, recognizes the user's gaze, selects the user's area of interest, and changes the position or shape size of the advertisement according to the time of interest such as the gaze time. Or, you can control to change the content according to the user's interest, such as providing additional advertisements.

본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 일반 대중들이 많이 모이는 장소나 이용하는 장소, 공공 시설, 다중 이용 시설, 공원, 기차역, 전철역, 버스 정류장, 지하철이나 거리 외에도 유동 인구가 사전에 특정되는 콘서트장, 발표장, 세미나 장소 등에 설치되어 활용될 수 있다.The advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention is a place where the general public gathers or uses a lot, a public facility, a multi-use facility, a park, a train station, a subway station, a bus stop, a subway or a street other than a street It can be installed and used in concert halls, presentation halls, seminar places, etc. whose population is specified in advance.

또한, 본 발명의 실시 예에 따른 광고 관심도 기반 맞춤형 광고 송출 시스템(100)은, 촬영부(130)를 통하여 개인을 촬영하여 고객 영상을 취득하게 됨에 따라, 사전에 개인으로부터 개인정보 활용 동의서를 받아서 컨텐츠 제공에 활용할 수 있다.In addition, as the advertisement interest-based customized advertisement transmission system 100 according to an embodiment of the present invention acquires a customer image by photographing an individual through the photographing unit 130, it receives a personal information use agreement from the individual in advance It can be used to provide content.

전술한 바와 같이 본 발명에 의하면, 광고를 출력할 때 광고를 주시하는 고객을 카메라 또는 센서 등을 통해 촬영한 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하거나, 광고를 시청하는 고객의 얼굴과 그 때 출력되던 광고 정보를 학습할 수 있도록 하거나, 특정 광고에 관심을 보인 고객의 재등장 시 이전에 관심을 보인 광고, 이전에 관심을 보인 광고와 유사한 카테고리의 광고, 그리고 광고주가 설정한 후속 광고를 출력할 수 있도록 하는, 광고 관심도 기반 맞춤형 광고 송출 시스템 및 방법을 실현할 수 있다.As described above, according to the present invention, when outputting an advertisement, based on the central alignment value of the eye, nose, and mouth regions or the position of the pupil region with respect to a customer image captured by a camera or a sensor of a customer watching the advertisement, Recognizes a customer's face to determine whether or not to watch an advertisement, learns the customer's face and the advertisement information that was displayed at that time, or shows interest in a customer who has shown interest in a specific advertisement It is possible to realize an advertisement interest-based customized advertisement transmission system and method to output advertisements, advertisements in a category similar to advertisements previously shown interest in, and subsequent advertisements set by the advertiser.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허 청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains should understand that the present invention can be embodied in other specific forms without changing the technical spirit or essential characteristics thereof, so the embodiments described above are illustrative in all respects and not restrictive. only do The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .

100 : 광고 관심도 기반 맞춤형 광고 송출 시스템
110 : 디스플레이부 120 : 광고 송출기
130 : 촬영부 140 : 데이터베이스
150 : 제어부 160 : 통신부100: Customized advertisement transmission system based on advertisement interest
110: display unit 120: advertisement transmitter
130: photographing unit 140: database
150: control unit 160: communication unit

Claims (8)

디스플레이부;
상기 디스플레이부로 적어도 하나 이상의 광고를 송출하는 광고 송출기;
상기 디스플레이부의 근처에 배치되어, 상기 송출되는 적어도 하나 이상의 광고를 주시하는 고객을 촬영하여 고객 영상을 획득하는 촬영부;
상기 적어도 하나 이상의 광고를 데이터로 저장하고 있으며, 상기 고객을 촬영하여 획득된 고객 영상을 상기 송출된 광고에 대응시켜 저장하는 데이터베이스; 및
상기 촬영한 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하거나, 광고를 시청하는 고객의 얼굴과 그 때 송출되던 광고 정보를 학습하거나, 상기 고객의 재등장에 따른 상기 촬영부를 통해 고객의 재인식 시 이전에 관심을 보인 광고, 이전에 관심을 보인 광고와 유사한 카테고리의 광고, 및 광고주가 설정한 후속 광고를 송출하도록 제어하는 제어부;
를 포함하는 광고 관심도 기반 맞춤형 광고 송출 시스템.
display unit;
an advertisement transmitter for transmitting at least one advertisement to the display unit;
a photographing unit disposed near the display unit to obtain an image of a customer by photographing a customer who watches at least one advertisement being transmitted;
a database storing the at least one advertisement as data, and storing a customer image obtained by photographing the customer in correspondence with the transmitted advertisement; and
Based on the central alignment value of the eyes, nose, and mouth regions or the position of the pupil region for the photographed customer image, the customer's face is recognized to determine whether to view the advertisement, or the customer's face watching the advertisement and the In order to learn advertisement information or to transmit advertisements previously shown interest in, advertisements in a category similar to the advertisements shown previously interest, and subsequent advertisements set by the advertiser when the customer is re-recognized through the photographing unit according to the re-appearance of the customer a control unit to control;
Advertisement interest-based customized advertisement transmission system that includes.
 제 1 항에 있어서,
상기 제어부는, 상기 고객이 일정 시간 이상 광고를 주시하고 있거나, 상기 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지하고 있거나, 광고 출력시 고객의 표정이 해당 광고에 의도된 표정을 하고 있는 경우에 해당 광고에 관심이 있는 것으로 판단하고,
상기 제어부는, 상기 해당 광고에 관심이 있는 것으로 판단된 경우에, 상기 촬영부를 통해 촬영된 상기 고객 영상에, 상기 광고 송출기로부터 상기 디스플레이부에 송출되는 해당 광고 영상에 대한 정보를 대응시켜 상기 데이터베이스에 저장하는, 광고 관심도 기반 맞춤형 광고 송출 시스템.
The method of claim 1,
The control unit, if the customer watches the advertisement for more than a certain period of time, or the customer's eyes, nose, and mouth do not deviate from the central alignment value, or when the advertisement is output, the customer's expression is the intended expression for the advertisement, If there is, it is determined that you are interested in the advertisement,
When it is determined that there is an interest in the advertisement, the control unit stores the information on the advertisement image transmitted from the advertisement transmitter to the display unit in correspondence with the customer image photographed through the photographing unit in the database. A customized advertisement transmission system based on advertisement interest.
 제 2 항에 있어서,
상기 제어부는, 상기 촬영부를 통해 촬영된 상기 고객 영상이 사라지고 일정 시간이 지난 후 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 다시 나타나는 경우에, 상기 데이터베이스로부터 상기 고객 영상에 대응되어 있는 해당 광고 영상에 대한 정보에 근거하여 상기 광고 송출기로부터 상기 고객 영상에 대응된 상기 해당 광고 영상이 상기 디스플레이부로 다시 송출되도록 제어하는, 광고 관심도 기반 맞춤형 광고 송출 시스템.
3. The method of claim 2,
The control unit, when the customer image captured by the photographing unit disappears and the customer image reappears in the image acquired through the photographing unit after a certain period of time has elapsed, the corresponding advertisement image corresponding to the customer image from the database An advertisement interest-based customized advertisement transmission system for controlling the advertisement image corresponding to the customer image from the advertisement transmitter to be transmitted back to the display unit based on the information on
 제 3 항에 있어서,
상기 제어부는, 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 다시 나타나는 경우에, 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 사라지기까지 상기 광고 송출기로부터 상기 고객 영상에 대응된 상기 해당 광고 영상이 상기 디스플레이부로 계속 송출되도록 제어하고, 상기 고객 영상에 대응된 상기 해당 광고 영상 이외에도 상기 해당 광고 영상과 유사한 광고 영상 또는 유사한 카테고리의 광고 영상이 상기 디스플레이부로 송출되도록 제어하고,
상기 카테고리는, 상기 디스플레이부로 송출되는 광고 영상의 타겟 성별, 연령 또는 광고의 분위기, 색감, 내용, 키워드를 포함하여 정의되는, 광고 관심도 기반 맞춤형 광고 송출 시스템.
4. The method of claim 3,
The control unit, when the customer image reappears in the image acquired through the photographing unit, the advertisement image corresponding to the customer image from the advertisement transmitter until the customer image disappears from the image acquired through the photographing unit control to be continuously transmitted to the display unit, and control so that an advertisement image similar to the corresponding advertisement image or an advertisement image of a similar category in addition to the corresponding advertisement image corresponding to the customer image is transmitted to the display unit,
Wherein the category is defined including target gender, age, or atmosphere, color, content, and keywords of an advertisement image transmitted to the display unit, an advertisement interest-based customized advertisement transmission system.
 (a) 광고 송출기에서 적어도 하나 이상의 광고를 디스플레이부로 송출하는 단계;
(b) 상기 디스플레이부에서 상기 적어도 하나 이상의 광고를 디스플레이하는 단계;
(c) 촬영부가 상기 디스플레이되는 광고를 주시하는 고객을 촬영하여 고객 영상을 획득하는 단계;
(d) 제어부가 상기 촬영된 고객 영상에 대하여 눈, 코, 입 영역의 중앙 정렬값 또는 눈동자 영역의 위치를 기준으로 고객의 얼굴을 인식하여 광고 시청 여부를 판단하는 단계;
(e) 상기 제어부가 상기 고객이 일정 시간 이상 광고를 주시하고 있거나, 상기 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지되고 있는 경우에 상기 현재 출력되는 광고에 관심이 있는 것으로 결정하는 단계; 및
(f) 상기 제어부가 상기 고객 영상에 근거해 고객이 사라지기까지 상기 현재 출력되는 광고 영상이 계속 송출되도록 제어하거나, 일정 시간 이후 유사한 카테고리의 광고 또는 후속 시리즈 광고가 송출되도록 제어하는 단계;
를 포함하는 광고 관심도 기반 맞춤형 광고 송출 방법.
(a) transmitting at least one advertisement from the advertisement transmitter to the display unit;
(b) displaying the at least one advertisement on the display unit;
(c) obtaining, by a photographing unit, a customer image by photographing a customer watching the displayed advertisement;
(d) determining, by the controller, whether to view the advertisement by recognizing the customer's face based on the central alignment value of the eyes, nose, and mouth regions or the position of the pupil region with respect to the photographed customer image;
(e) the control unit determines that the customer is interested in the currently output advertisement when the customer watches the advertisement for a certain period of time or more, or when the customer's eyes, nose, and mouth are maintained without departing from the central alignment value step; and
(f) controlling, by the control unit, so that the currently output advertisement image is continuously transmitted until the customer disappears based on the customer image, or an advertisement of a similar category or a subsequent series advertisement is transmitted after a predetermined time;
A method for sending customized advertisements based on advertisement interest, including a.
 제 5 항에 있어서,
상기 (e) 단계에서 상기 제어부는, 상기 고객이 일정 시간 이상 광고를 주시하고 있거나, 상기 고객의 눈, 코, 입이 중앙 정렬값에서 벗어나지 않고 유지되고 있거나, 광고 출력시 고객의 표정이 해당 광고에 의도된 표정을 하고 있는 경우에 해당 광고에 관심이 있는 것으로 결정하고, 상기 촬영부를 통해 촬영된 상기 고객 영상에, 상기 광고 송출기로부터 상기 디스플레이부에 송출되는 해당 광고 영상에 대한 정보를 대응시켜 데이터베이스에 저장하는, 광고 관심도 기반 맞춤형 광고 송출 방법.
6. The method of claim 5,
In step (e), the control unit is configured such that the customer is watching the advertisement for a certain period of time or more, the customer's eyes, nose, and mouth are maintained without departing from the central alignment value, or the customer's expression is displayed when the advertisement is output. In the case of making an intended expression, it is determined that you are interested in the advertisement, and information on the advertisement image transmitted from the advertisement transmitter to the display unit is matched to the customer image photographed through the photographing unit. A method of sending customized advertisements based on interest in advertisements.
 제 6 항에 있어서,
상기 (f) 단계에서 상기 제어부는, 상기 촬영부를 통해 촬영된 상기 고객 영상이 사라지고 일정 시간이 지난 후 상기 촬영부를 통해 획득되는 영상에 상기 고객 영상이 다시 나타나는 경우에, 상기 데이터베이스로부터 상기 고객 영상에 대응되어 있는 해당 광고 영상에 대한 정보에 근거하여 상기 광고 송출기로부터 상기 고객 영상에 대응된 상기 해당 광고 영상이 상기 디스플레이부로 다시 송출되도록 제어하는, 광고 관심도 기반 맞춤형 광고 송출 방법.
7. The method of claim 6,
In step (f), the control unit, when the customer image captured by the photographing unit disappears and the customer image reappears in the image acquired through the photographing unit after a certain period of time has elapsed, from the database to the customer image. An advertisement interest-based customized advertisement transmission method for controlling the advertisement image corresponding to the customer image to be transmitted back to the display unit from the advertisement transmitter based on information on the corresponding advertisement image.
 제 7 항에 있어서,
상기 (f) 단계에서 상기 제어부는, 상기 고객 영상에 대응된 상기 해당 광고 영상 이외에도 상기 해당 광고 영상과 유사한 광고 영상 또는 유사한 카테고리의 광고 영상이 상기 디스플레이부로 송출되도록 제어하는, 광고 관심도 기반 맞춤형 광고 송출 방법.
8. The method of claim 7,
In step (f), the control unit, in addition to the corresponding advertisement image corresponding to the customer image, controls to transmit an advertisement image similar to the corresponding advertisement image or an advertisement image of a similar category to the display unit, advertisement interest-based customized advertisement transmission Way.
KR1020200146359A 2020-11-04 2020-11-04 System and method for providing a customized advertising based on interest advertisement KR20220060402A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200146359A KR20220060402A (en) 2020-11-04 2020-11-04 System and method for providing a customized advertising based on interest advertisement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200146359A KR20220060402A (en) 2020-11-04 2020-11-04 System and method for providing a customized advertising based on interest advertisement

Publications (1)

Publication Number Publication Date
KR20220060402A true KR20220060402A (en) 2022-05-11

Family

ID=81606915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200146359A KR20220060402A (en) 2020-11-04 2020-11-04 System and method for providing a customized advertising based on interest advertisement

Country Status (1)

Country Link
KR (1) KR20220060402A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102622649B1 (en) * 2023-06-23 2024-01-10 김용일 Food ordering system and method having advertisement function

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6144715B2 (en) 1982-04-19 1986-10-03 Matsuda Kk

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6144715B2 (en) 1982-04-19 1986-10-03 Matsuda Kk

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102622649B1 (en) * 2023-06-23 2024-01-10 김용일 Food ordering system and method having advertisement function

Similar Documents

Publication Publication Date Title
US20140130076A1 (en) System and Method of Media Content Selection Using Adaptive Recommendation Engine
WO2018012924A1 (en) Augmented reality device and operation thereof
US10382804B2 (en) Systems and methods for identifying exposure to a recognizable item
US10019653B2 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
US10367985B2 (en) Wearable apparatus and method for processing images including product descriptors
US8812419B1 (en) Feedback system
CN103493068B (en) Personalized advertisement selects system and method
US8577087B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US20100060713A1 (en) System and Method for Enhancing Noverbal Aspects of Communication
US20100253778A1 (en) Media displaying system and method
KR101559313B1 (en) System for providing personalized advertisement service using digital sinage
US20190147228A1 (en) System and method for human emotion and identity detection
KR20080008528A (en) Serving robot having function serving customer
US11580648B2 (en) System and method for visually tracking persons and imputing demographic and sentiment data
KR101744940B1 (en) Context-aware content reccommending apparatus in digital signage system
KR20220060402A (en) System and method for providing a customized advertising based on interest advertisement
KR102341060B1 (en) System for providing advertising service using kiosk
JP2020038336A (en) Information processing device, information processing method, and information processing program
CN114746882A (en) Systems and methods for interaction awareness and content presentation
JP2020038562A (en) Information processing device, information processing method, and information processing program
WO2022023831A1 (en) Smart display application with potential to exhibit collected outdoor information content using iot and ai platforms
KR102282407B1 (en) Method and system for providing hologram advertisement
JP6716137B2 (en) Information display system
CN110597379A (en) Elevator advertisement putting system capable of automatically matching passengers
JP2020013523A (en) Information processing apparatus, information processing method, and information processing program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment