KR102646814B1 - 키오스크 광고 방법 - Google Patents

Abstract

키오스크 광고 방법을 개시한다. 방법은, 키오스크는 어플리케이션 클라이언트 화면에 출력하고, 사용자가 상기 키오스크의 어플리케이션 버튼 클릭 시 상기 키오스크에 연결된 카메라로 상기 사용자의 얼굴을 캡처하고, 상기 캡처된 얼굴을 엣지 클라우드로 전송하고, 상기 엣지 클라우드에서 상기 캡처된 얼굴을 인식하여 상기 얼굴의 정보를 추측하여 반환하고, 상기 엣지 클라우드에서 상기 추측된 얼굴의 정보에 맞는 광고를 선정하며, 상기 선정된 광고를 상기 키오스크에 전달하여 광고 영상을 출력하는 것을 포함한다.

Description

키오스크 광고 방법{ADVERTISEMENT METHOD IN KIOSK}

본 발명은 키오스크 광고 방법에 관한 것으로, 더욱 상세하게, 키오스크 사용자 맞춤형 광고 방법에 관한 것이다.

최근, IoT, 클라우드, AI와 같은 기술의 발달로 비디오 스트리밍 분석, 증강 현실(AR), 사물 인터넷(IoT), 차량 인터넷(IoV, Internet of Vehicles), 자율 주행 등 방대한 데이터를 생성하면서 지연에 민감한 어플리케이션들이 등장하고 있다.

이를 지원하기 위해 클라우드 컴퓨팅은 모바일 사용자를 위한 다양한 서비스와 데이터 집약적인 분석을 제공하지만 급격하게 증가하는 데이터는 WAN 트래픽 용량을 관리함에 있어 이슈가 되고 있으며, 클라우드 컴퓨팅 작업이 중앙 집중적이고 원격으로 동작하기 때문에 상황에 맞는 서비스를 실시간으로 지원하기 힘들다는 단점이 있다.

이러한 문제점을 해결하기 위해 사용자들과 가까운 위치에 서버를 설치하고 분산된 리소스를 활용하여 상황에 맞는 서비스를 제공하는 엣지 클라우드가 대두되고 있다.

한편, 최저임금 인상 및 노동 인력 부족 등의 원인으로 패스트푸드와 음식료 프랜차이즈 사업장 등은 빠르게 대표적인 무인 서비스인 키오스크를 도입하여 운영한 결과 인건비 절감 효과를 거두고 있다.

키오스크가 설치된 곳이라면 어디든지 활용 가능한 무인화 사업이 증가함에 따라 사업화 가치가 점점 높아질 것으로 생각되며, 키오스크 독립적으로 서비스가 가능하여 맞춤형 광고가 필요한 어느 곳에서나 활용이 가능하므로, 다방면으로 사업화 적용이 가능하다.

본원 발명이 해결하고자 하는 과제는 엣지 클라우드를 기반으로 하는 키오스크 사용자 맞춤형 광고 방법에 관한 것이다.

해결하고자 하는 과제를 달성하기 위하여 본 발명의 실시 예들에 따른 키오크스 광고 방법은, 키오스크는 어플리케이션 클라이언트 화면에 출력하는 단계, 사용자가 상기 키오스크의 어플리케이션 버튼 클릭 시 상기 키오스크에 연결된 카메라로 상기 사용자의 얼굴을 캡처하는 단계, 상기 캡처된 얼굴을 엣지 클라우드로 전송하는 단계, 상기 엣지 클라우드에서 상기 캡처된 얼굴을 인식하여 상기 얼굴의 정보를 추측하여 반환하는 단계, 상기 엣지 클라우드에서 상기 추측된 얼굴의 정보에 맞는 광고를 선정하는 단계, 및 상기 선정된 광고를 상기 키오스크에 전달하여 광고 영상을 출력하는 단계를 포함한다.

해결하고자 하는 과제를 달성하기 위하여 본 발명의 실시 예들에 따른 키오크스 광고 방법은, 키오스크는 어플리케이션 클라이언트를 화면에 출력하는 단계, 사용자의 얼굴을 딥렌즈를 이용하여 주기적으로 인식하는 단계, 상기 인식된 얼굴을 학습한 얼굴 인식 모델을 사용하여 추측하여 정보를 도출하는 단계, 상기 추측된 정보를 엣지 클라우드로 전송하는 단계, 상기 엣지 클라우드는 추측한 정보를 바탕으로 맞춤형 광고를 선정하는 단계, 상기 선정된 광고를 브로커를 통해 상기 키오스크로 전달하는 단계, 및 상기 키오스크 어플리케이션은 광고를 화면에 출력하는 단계를 포함한다.

해결하고자 하는 과제를 달성하기 위하여 본 발명의 실시 예들에 따른 키오크스 광고 방법은, 키오스크는 어플리케이션 클라이언트를 화면에 출력하는 단계, 사용자의 얼굴을 딥렌즈를 이용하여 주기적으로 인식하는 단계, 상기 사용자의 얼굴인 인식되는 제1 시간을 기록하는 단계; 상기 인식된 얼굴을 학습된 얼굴 인식 모델을 사용하여 추측을 통해 정보를 도출하는 단계, 상기 추측한 정보를 API를 사용하여 엣지 클라우드로 전송하는 단계, 상기 엣지 클라우드는 추출한 정보를 바탕으로 맞춤형 광고를 선정하는 단계 ,상기 선정된 광고를 브로커를 통해 상기 키오스크로 전달하는 단계, 및 상기 키오스크 어플리케이션은 상기 광고를 화면에 출력하는 단계를 포함하되, 상기 광고를 화면에 출력하는 단계에서, 상기 인식한 얼굴이 사라진 후, 다시 얼굴이 인식되는 경우, 상기 다시 얼굴이 인식된 제2 시간을 기록하는 단계, 상기 제1 시간 및 제2 시간 사이의 차이를 계산하는 단계, 및 상기 계산된 차이가 설정된 시간보다 작으면, 상기 광고 출력을 유지하고, 상기 계산된 차이가 설정된 시간보다 크면 상기 광고 출력을 중지하는 단계를 포함한다.

기존 키오스크는 한정된 여러 개의 광고를 계속 송출하였으나, 본 발명의 일 실시예에 따르면, 엣지 클라우드를 기반으로, 고객 맞춤형 광고 서비스를 제공할 수 있다.

딥렌즈와 엣지 클라우드를 활용하여 별도의 제어 없이도 얼굴을 인식하여 맞춤형 광고를 제공하는 서비스를 구현한다. 또한, deeplens-face-detection 모델을 이용하여 서비스 작동 시간을 단축하고 실시간 서비스를 구현할 수 있다.

얼굴 인식 후 최소한의 시간 동안 광고 송출을 보장함으로써, 불필요한 광고에 대한 시간적 비용적 낭비를 막을 수 있다.

도 1은 본 발명의 일 실시예에 따른 키오스크 광고 방법을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 키오스크 광고 방법에서 사용되는 엣지 클라우드의 아키텍처를 보여준다.
도 3은 본 발명의 다른 실시예에 따른 키오스크 광고 방법을 설명하기 위한 블록도이다.
도 4는 딥렌즈에서 얼굴을 인식하기 위해 사용한 방법에 따른 얼굴 인식 소요시간을 보여준다.
도 5는 본 발명의 또 다른 실시예에 따른 키오스크 광고 방법을 설명하는 블록도이다.

본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예들을 설명한다. 그러나 본 발명은, 이하에서 개시되는 실시 예들에 한정되는 것이 아니라, 여러 가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다.

또한, 본 발명의 실시 예들에서 사용되는 용어들은 다르게 정의되지 않는 한, 해당 기술 분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.

이하에서는, 본 발명의 실시예들에 따른 키오스크 광고 방법을 도면을 참조하며 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 키오스크 광고 방법을 설명하기 위한 블록도이다.

도 1을 참조하면, 키오스크는 어플리케이션 클라이언트 화면에 출력한다. 사용자가 키오스크의 어플리케이션 버튼 클릭 시 키오스크에 연결된 카메라로 상기 사용자의 얼굴을 캡처한다. 캡처된 얼굴을 엣지 클라우드로 전송한다.

도 2는 본 발명의 일 실시예에 따른 키오스크 광고 방법에서 사용되는 엣지 클라우드의 아키텍처를 보여준다.

도 2를 참조하면, 엣지 클라우드는, 데이터 패킷을 분별하여 상기 엣지 클라우드에서 처리할 패킷을 상기 엣지 클라우드로 라우팅을 변경하는 어플리케이션(예컨대, SAM), 어플리케이션에서 상기 라우팅된 패킷이 필요한 마이크로 서비스로 요청을 전달하기 위한 리버스 프록시(예컨대, NginX), 키오스크로부터 제공되는 얼굴 이미지를 상기 머신 러닝 모델을 활용하여 성별과 나이대를 추측하는 제1 서버(예컨대, ML_WEB), 광고 영상을 관리하고 키오스크로 추측된 나이대 및 성별에 맞는 맞춤형 광고를 선정하여 광고 데이터를 전달하는 제2 서버(예컨대, AD_WEB), 엣지 클라우드와 키오스크의 웹 클라이언트와 통신을 위한 데이터 브로커, 스트리밍에 필요한 광고 소스들을 분산하여 저장하는 스토리지 서버(예컨대, Minio) 및 얼굴 인식 추측 결과와 상기 광고 매핑을 위한 Key-Value 데이터를 저장하는 캐시 서버(예컨대, Redis)를 포함한다.

다시 도 1을 참조하면, 엣지 클라우드에서 캡처된 얼굴을 인식하여 상기 얼굴의 정보를 추측하여 반환한다.

본 발명의 일 실시예에 따르면, 사용자의 얼굴에 대한 정보를 추측하는 것은 하기와 같다. 캡처된 이미지에서 얼굴을 인식하고, 인식된 얼굴 내에서 기 설정된 특징 값을 추출한다. 그 후, 추출된 값을 머신 러닝 모델을 사용하여 상기 사용자의 나이대 및 성별에 대한 정보를 획득할 수 있다.

머신 러닝 모델에서 사용하는 학습 데이터로는 LFW 데이터, AFAD 데이터, 및 K-FACE를 사용할 수 있다. LFW 데이터는 전 세계 유명인들로 구성되며 약 15,000장 정도이다. LFW 데이터 셋은 특정 연령에 대한 구분이 어려워 Baby, Child, Youth, Middle Age, Senior 로 라벨링한다.

AFAD 데이터는 아시아인으로 구성되며 약 16만장이다.. 또한, K-FACE는 국내 aihub 에서 제공하는 한국인 안면 이미지이며, 약 432만장이다. 이때, 성별과 나이가 구분되어 제공된 AFAD 데이터 셋과 K-FACE 데이터 셋은 20 대, 30 대, 40 대, 50 대로 라벨링을 한다.

400명을 대상으로 30단계의 조도, 20개의 각도, 3개의 표정, 6 종류의 가림 방법을 통해 구성한 K-FACE 데이터 셋은 표 1과 같이 연령별 데이터가 편향되어 제공되는 한계가 있다.

구분	남	여	계
20대	5	8	13
30대	67	76	173
40대	86	56	142
50대	56	46	102
계	214	186	400

이러한 경우, 20대 데이터를 좌우 반전과 ±5° 및 ±10°씩 회전하는 작업을 거쳐 기존 데이터의 양의 10배로 늘리고, 다른 연령대의 데이터 양과 균일하게 학습을 진행할 수 있다.이어서, 엣지 클라우드에서 추측된 얼굴의 정보에 맞는 광고를 선정하고, 선정된 광고를 키오스크에 전달하여 광고 영상을 출력할 수 있다.

기존 키오스크는 한정된 여러 개의 광고를 계속 송출하였으나, 본 발명의 일 실시예에 따르면, 엣지 클라우드를 기반으로, 고객 맞춤형 광고 서비스를 제공할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 키오스크 광고 방법을 설명하기 위한 블록도이다.

도 3을 참조하면, 키오스크는 어플리케이션 클라이언트를 화면에 출력한다.

사용자의 얼굴을 딥렌즈(DeepLens)를 이용하여 주기적으로 인식한다. AWS DeepLens는 딥러닝이 지원되는 개발자용 비디오카메라이다. AWS DeepLens를 사용하여 실시간으로 사람의 행동이나 얼굴, 객체 등을 딥러닝 모델을 통해 인식할 수 있다. 이와 관련하여, 얼굴 인식에 deeplens-face-detection 모델을 사용한다.

도 4는 딥렌즈에서 얼굴을 인식하기 위해 사용한 방법에 따른 얼굴 인식 소요시간을 보여준다. Python의 face_recognition 모듈에서 제공하는 함수를 이용한 경우에는 10~11초, Opencv 모듈에서 제공하는 함수를 이용한 경우에는 13~14초, Dlib 모듈에서 제공하는 함수를 이용한 경우에는 4~5초가 소요된다. 반면, deeplens-face-detection 모델을 이용한 얼굴 인식에는 0.2~0.3초가 소요된다. 매 실행마다 소요 시간에 대한 약간의 오차는 있었지만 deeplens-face-detection 모델을 사용한 얼굴 인식이 월등히 빠르다.

다시, 인식된 얼굴을 학습한 얼굴 인식 모델을 사용하여 추측하여 정보를 도출하고, 추측된 정보를 엣지 클라우드로 전송할 수 있다. 본 실시예에서 사용되는 엣지 클라우드는 도 2에서 설명된 것과 실질적으로 동일하여 그 상세한 설명을 생략하기로 한다.

엣지 클라우드는 추측한 정보를 바탕으로 맞춤형 광고를 선정한다.

선정된 광고를 브로커를 통해 상기 키오스크로 전달한다. 이때, 엣지 클라우드에서 데이터로 지정된 토픽으로 발행(publish)하면, 키오스크는 구독(Subscribe)하고 있던 토픽으로 데이터를 수신한다.

이어서, 키오스크 어플리케이션은 광고를 화면에 출력하는 단계를 포함한다.

이와 같이, AWS DeepLens와 엣지 클라우드를 활용하여 별도의 제어 없이도 얼굴을 인식하여 맞춤형 광고를 제공하는 서비스를 구현한다. 또한, deeplens-face-detection 모델을 이용하여 서비스 작동 시간을 단축하고 실시간 서비스를 구현할 수 있다.

한편, 본 발명의 일 실시예에 따르면, 딥렌즈에서 얼굴 인식을 잠깐 놓치는 경우, 다시 얼굴을 인식하면서 광고를 처음부터 송출하게 되어 불필요한 광고 변경을 할 수 있다. 따라서, 이를 해결하기 위해 얼굴 인식 후 하기의 방법으로 최소한의 시간 동안 광고 송출을 보장한다.

이 경우, 사용자의 얼굴인 인식되는 제1 시간을 기록하고, 인식한 얼굴이 사라진 후, 다시 얼굴이 인식되는 경우, 다시 얼굴이 인식된 제2 시간을 기록한다.

제1 시간 및 제2 시간 사이의 차이를 계산한다. 계산된 차이가 설정된 시간보다 작으면, 광고 출력을 유지하고, 계산된 차이가 설정된 시간보다 크면 광고 출력을 중지한다.

도 5는 본 발명의 또 다른 실시예에 따른 키오스크 광고 방법을 설명하는 블록도이다.

도 5에서, 는 API 호출 가능 여부를 나타낸다. 즉, 1이면 API 호출 가능하며, 0이면 API 호출 불가능하다. 는 얼굴 인식 여부를 나타낸다. 즉, 1이면 인식된 얼굴이 있고, 0이면 얼굴 인식 중이다. 은 광고가 최소한 유지될 시간(s)이다. 는 광고가 추가로 유지될 시간(s)이다. 는 값이 1일 때 얼굴이 인식된 시간이고, 값이 0일 때 얼굴이 인식된 시간이다.

최초 얼굴이 인식되면 를 1로 변경하며, 에 현재 시간을 기록한다. 가 1이면 API 호출 후 값을 0으로 변경한다. 인 상태에서 인식한 얼굴이 사라진 후(), 다시 얼굴이 인식()되면 에 현재 시간을 기록한다. 첫 번째 사람의 얼굴이 인식된 시간()과 첫 번째 사람이 사라진 후 두 번째 사람의 얼굴이 인식된 시간()의 차인 을 하기의 수학식 1을 통해 계산한다.

[수학식 1]

계산된 값이 인 경우 광고를 유지하며, 인 경우 새로운 광고 요청을 위해 로 바꾸고 측정 후 다시, API값을 확인한다.

이와 같이, 얼굴 인식 후 최소한의 시간 동안 광고 송출을 보장함으로써, 불필요한 광고에 대한 시간적 비용적 낭비를 막을 수 있다.

이상, 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (15)

1. 키오스크는 어플리케이션 클라이언트 화면에 출력하는 단계;
   사용자가 상기 키오스크의 어플리케이션 버튼 클릭 시 상기 키오스크에 연결된 카메라로 상기 사용자의 얼굴을 캡처하는 단계;
   상기 캡처된 얼굴을 엣지 클라우드로 전송하는 단계;
   상기 엣지 클라우드에서 상기 캡처된 얼굴을 인식하여 상기 얼굴의 정보를 추측하여 반환하는 단계;
   상기 엣지 클라우드에서 상기 추측된 얼굴의 정보에 맞는 광고를 선정하는 단계; 및
   상기 선정된 광고를 상기 키오스크에 전달하여 광고 영상을 출력하는 단계를 포함하고,
   상기 엣지 클라우드는,
   데이터 패킷을 분별하여 상기 엣지 클라우드에서 처리할 패킷을 상기 엣지 클라우드로 라우팅을 변경하는 어플리케이션;
   상기 어플리케이션에서 상기 라우팅된 패킷이 필요한 마이크로 서비스로 요청을 전달하기 위한 리버스 프록시;
   상기 키오스크로부터 제공되는 얼굴 이미지를 머신 러닝 모델을 활용하여 성별과 나이대를 추측하는 제1 서버;
   상기 광고 영상을 관리하고 상기 키오스크로 추측된 나이대 및 성별에 맞는 맞춤형 광고를 선정하여 광고 데이터를 전달하는 제2 서버;
   상기 엣지 클라우드와 상기 키오스크의 웹 클라이언트와 통신을 위한 데이터 브로커;
   스트리밍에 필요한 광고 소스들을 분산하여 저장하는 스토리지 서버; 및
   얼굴 인식 추측 결과와 광고 매핑을 위한 Key-Value 데이터를 저장하는 캐시 서버를 포함하고,
   상기 키오스크에 연결된 카메라는 딥렌즈(DeepLens)를 포함하며,
   상기 딥렌즈는 주기적으로 상기 사용자의 얼굴을 인식하고,
   상기 딥렌즈에서 얼굴을 인식한 후, 상기 얼굴이 실시간 인식되지 않더라도, 상기 광고가 출력되면 기 설정된 시간 동안 상기 광고가 유지하되,
   [수학식 1]
   
   (여기서, 는 광고가 추가로 유지될 시간, Time_ad는 광고가 최소한 유지될 시간, Time_(face,api=0)은 얼굴이 사라진후 다시 인식된 시간, Time_(face,api=1)는 최초 얼굴이 인식된 시간)
   상기 수학식 1에 의해 계산된 값이 인 경우 광고를 유지하며, 인 경우 새로운 광고 요청을 위해 로 바꾸고 측정 후 다시, API값을 확인하는 키오스크 광고 방법.
2. 제1항에 있어서,
   상기 사용자의 얼굴에 대한 정보를 추측하는 것은,
   상기 캡처된 이미지에서 얼굴을 인식하는 단계;
   상기 인식된 얼굴 내에서 기 설정된 특징 값을 추출하는 단계; 및
   상기 추출된 값을 머신 러닝 모델을 사용하여 상기 사용자의 나이대 및 성별에 대한 정보를 획득하는 단계를 포함하는 키오스크 광고 방법.
3. 제2항에 있어서,
   상기 머신 러닝 모델에서 사용하는 학습 데이터로는 LFW 데이터, AFAD 데이터, 및 K-FACE를 사용하는 키오스크 광고 방법.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제