KR20230044382A - 안면 인식 및 IoT 기반 애드큐레이션 사이니지 시스템 - Google Patents

Abstract

본 발명은 안면 인식 및 사물인터넷 기술을 이용하여 소비자에게 보다 적합하고 효과적인 정보를 제공할 수 있는 애드 큐레이션 사이니지 시스템에 관한 것이다. 본 발명은 안면 인식 및 사물인터넷 기술을 이용한 애드큐레이션 사이니지 시스템에 있어서, 상기 시스템은 안면인식을 위한 카메라, 정보를 보여주는 디스플레이부, 고객과 상호작용을 위한 인터페이스 보드, 결제시스템, 영수증 출력을 위한 프린터부를 포함하는, 하드웨어 구성부; 고객의 안면검출을 수행하는 안면검출부와 안면인식의 기능을 수행하는 안면인식부, 안면 인식 정보를 저장하는 이미지 데이터 저장부를 포함하는 안면인식 엔진부; 및 안면인식 엔진부의 안면 정보를 큐레이선 매칭 정보와 매칭시키는 큐레이션 엔진부;를 포함하고, 큐레이션 엔진부의 매칭 정보를 하드웨어 구성부의 디스플레이부에 출력하는 것을 특징으로 하는 시스템이다.

Description

안면 인식 및 IoT 기반 애드큐레이션 사이니지 시스템{Advertising curation system using face recognition and IoT technology}

본 발명은 안면 인식 및 사물인터넷 기술을 이용하여 소비자에게 보다 적합하고 효과적인 정보를 제공할 수 있는 애드 큐레이션 사이니지 시스템에 관한 것이다.

통상적으로 TV, 라디오, 신문, 잡지 등 4대 매체의 광고 효과 감소로 인하여 광고주들이 광고 효과가 큰 다른 광고 매체를 찾고 있다. 디지털 간판이라 불리우는 디지털 사이니지가 정보통신 기술의 발달과 디스플레이 가격의 지속적 하락으로 기존의 아날로그 간판이나 포스터를 대체하는 광고 매체로 자리매김하고 있다.

특히, 대형 디스플레이 기술의 발전, 터치패드 기술, 초고속 인터넷 기술이 크게 발전함과 아울러 IoT 관련 기술의 활용이 확산되고 있어 디지털 사이니지 분야의 활용가능성이 더욱 주목받고 있는 실정이다.

디지털 사이니지란 디지털 정보 디스플레이를 이용한 옥외의 광고로 관제센터에서 통신망을 통해 광고 내용을 제어할 수있는 광고판을 말한다. 지하철 역사, 버스정류장, 아파트 엘리베이터, 은행 등 유동인구가 많은 곳에서 흔히 볼 수 있다. 현재는 단순히 동영상 형태에 소리를 곁들인 광고를 시간대별로 번갈아 노출하는 형식이 대부분이지만, 향후에는 모션인식이나 NFC(근거리무선통신) 등을 이용해 사용자와 쌍방향으로 통신하는 형식으로 점차 옮겨갈 전망이다. TV, 인터넷, 모바일에 이어 제 4의 미디어로 주목받고 있다.

현재 가장 흔한 디지털 사이니지의 유형 중 하나는 건물 외벽이나 전광판에 설치된 아웃도어 디지털 사이니지다. 방수처리된 대형 LCD TV에서 TV CF와 비슷한 동영상 광고나 실시간 뉴스를 다룬다. 보통 중앙관제센터의 PC와 인터넷으로 연결되어 있으며, 이 PC에서 광고 교체 명령을 내리게 된다. 쌍방향 소통과는 거리가 먼 원시적인 형태지만, 일반 옥외광고처럼 사람이 광고를 일일이 교체할 필요가 없고 보는 재미가 있다는 점에서 의의가 있다.

입간판 형태로 만든 작은 디지털 사이니지도 있다. 단순히 아웃도어 디지털 사이니지의 크기만 줄인 미니 버전인 경우가 많지만, 터치스크린 방식의 키오스크(kiosk)를 채용해 사용자와의 적극적인 의사소통을 노리는 경우도 있다. 예를 들어 레스토랑 앞에 설치된 제휴카드 할인쿠폰 발급기나, 지하철 관련정보는 물론이고 인터넷전화까지 쓸 수 있는 지하철 디지털뷰가 여기에 해당한다. 최근에는 디지털 사이니지를 적용한 버스정류장도 늘어나는 추세다.

또한 영화 마이너리티 리포트의 광고판처럼 얼굴을 인식하는 디지털 사이니지도 등장했다. 행인의 얼굴을 카메라로 인식해 성별 및 나이대에 맞는 광고를 보여주는 디지털 사이니지가 상용화 단계에 놓여 있다. 글로벌 IT업체 인텔도 행인의 나이, 성별을 측정하는 디지털 사이니지 기술을 개발하고 있다. 최근 이와 관련한 특허 출원등이 최근 많이 이루어지고 있다.

한편, 인너텟 쇼핑몰이나 백화점, 대형서점 등의 유통 서비스업계에서는 기본적인 고객 정보를 획득한 상태에서 팔린 상품에 대한 정보를 판매시점에서 즉시 기록하고 관리하며 가공하는 POS 시스템(point of sales system)을 활용하여 고객관리를 보다 효율적으로 하고 있다. 각종 판매 정보를 체계적으로 관리할 수 있어 상품 회전율을 높이고 적정 재고량을 유지할 수 있는 등의 이점이 있다. 나아가 수집된 POS 데이타에 의해 신제품 및 기타 상품들의 판매 경향, 인기상품 및 무매출 사멸품으 동향, 유사품 및 경합품과의 판매경향, 구입 고객별 분석, 시간대별 분석, 판매가격과 판매량의 상관 분석, 그 밖에 진열상태, 대중매체 광고 효과 등을 파악하여, 생산계획 판매계획 광고계획을 세울 수 있다.

디지털 사이니지 장치가 단순히 선택된 콘텐츠를 재생하거나, 미리 정해진 스케줄에 따라 콘텐츠를 출력하는 정도거나 초기 단계의 양방향 커뮤니케이션 정도를 쉽게 벗어나지 못하고 있다. 그 이유는 상기 POS 시스템과는 달리 고객에 대한 기본 정보가 없으므로, 각종 데이타를 분류하고 적당히 배포하는 것에 대한 효율이 떨어지기 때문이다. 다만, 최근에는 얼굴인식을 통해 나이, 성별을 인식하고, 기존의 나이, 성별 등에 따라 특정하게 적용될 수 있는 여러 가지 통계 데이타 정보를 매칭하여 목적에 따라 특정 형태의 정보를 배포하는 방식을 사용하는 기술들이 일부 선을 보이고 있다.

그러나, 기본적인 아이디어 수준에 머물러 있으며, 구체적인 상황에 맞는 접합화된 형태는 아직 제시하고 있지 못하다. 또한, 일반적인 통계 데이타를 활용하기 때문에 구체적 상황에 맞는 매칭을 하기 매우 어려운 문제들이 있다. 본 발명의 연구자들은 기존의 빅데이터와 더불어 업종별 노하우 컨텐츠의 활용 및 데이타 학습과 검증의 머신러닝 방식을 도입하여 정확도를 보다 향상시켜 실질적인 활용도를 높일 수 있는 안면 인식 및 IoT 기반 애드큐레이션 사이니지 시스템을 개발하였다.

US 2015/0006243 A1 KR 10-1559313 B1 KR 10-2016-0095464 A1

강신각 외 3인, 한국통신학회, '디지털 사이니지 표준화 동향', 정보와 통신, 30권 8호, 2013 정효택 외 2인, 한국전자통신연구원, '고해상도를 지원하는 디지터 사이니지 기술 및 산업동향', 전자통신동향 분석, 29권 1호, 2014

본 발명은 기존의 빅데이터와 더불어 업종별 노하우 컨텐츠의 활용 및 데이타 학습과 검증의 머신러닝 방식을 도입하여 정확도를 보다 향상시켜 실질적인 활용도를 높일 수 있는 안면 인식 및 IoT 기반 애드큐레이션 사이니지 시스템을 제공하고자 한다.

본 발명은 안면 인식 및 사물인터넷 기술을 이용한 애드큐레이션 사이니지 시스템에 있어서, 상기 시스템은 안면인식을 위한 카메라, 정보를 보여주는 디스플레이부, 고객과 상호작용을 위한 인터페이스 보드, 결제시스템, 영수증 출력을 위한 프린터부를 포함하는, 하드웨어 구성부; 고객의 안면검출을 수행하는 안면검출부와 안면인식의 기능을 수행하는 안면인식부, 안면 인식 정보를 저장하는 이미지 데이터 저장부를 포함하는 안면인식 엔진부; 및 안면인식 엔진부의 안면 정보를 큐레이선 매칭 정보와 매칭시키는 큐레이션 엔진부;를 포함하고, 큐레이션 엔진부의 매칭 정보를 하드웨어 구성부의 디스플레이부에 출력하는 것을 특징으로 하는 시스템이다.

상기 하드웨어 구성부의 카메라는 2 이상의 카메라를 사용하여 적어도 하나는 고객의 수와 키를 파악하여 어린이와 성인을 구분하고, 고객의 접근을 파악할 수 있는 것이 바람직하며, 고객이 접근하는 경우 환경정보와 연동하여 관련된 동영상을 하이웨어 구성부의 디스플레이부에 제공하는 것이 보다 바람직하다. 또한, 상기 환경정보는 사물인터넷에 기반한 주변환경 정보와 인터넷을 통해 제공받을 수 있는 웹상 환경 정보 및 업종별 노하우 컨텐츠를 포함하는 것이 바람직하다.

한편, 상기 안면인식 엔진부는 취득한 안면정보를 통해, 성별, 나이, 외국인 여부, 시선 정보 및 표정분석을 시행하고, 이를 통해 고객을 특정하는 과정을 거칠 수 있고, 상기 큐레이션 엔진부는 주변환경 정보와 인터넷을 통해 제공되는 웹상정보 및 업종별 노하우 컨텐츠를 포함하는 큐레이션 매칭 정보를 활용하여 특정된 고객에게 제공할 매칭 정보를 생성하고 이를 하드웨어 구성부의 디스플레이부에 출력하는 것을 특징으로 한다.

그리고, 상기 출력된 디스플레이부의 메뉴 항목에 대하여 일정시간 선택하지 않는 경우 안면인식 맞춤 추천 메뉴를 제공할 수 있다. 또한, 상기 출력된 디스플레이부의 메뉴 항목은 선택적 메뉴 항목이며, 선택적 메뉴 항목 중 고객이 선택할 수 있게 구성할 수도 있다.

그리고, 상기 메뉴 항목은 전문의 건강 메뉴 추천 항목과 다이어트 메뉴 추천 항목을 포함할 수 있으며, 상기 전문의 건강 메뉴 추천 항목은 고객이 주의해야 할 질환을 체크할 수 있도록 되어 있는 것이 바람직하다. 또한, 상기 전문의 건강 메뉴 추천 항목은 큐레이션 엔진의 매칭 정보를 활용하여 제공되는 것이 바람직하다.

그리고, 상기 다이어트 메뉴 추천 항목에서는 고객의 체지방을 측정하는 과정이 포함되는 것을 특징으로 하는 시스템으로도 구성할 수 있다.

나아가, 고객의 결제가 이루어진 경우, 큐레이션 엔진부의 매칭 결과와 대비하여 이를 머신러닝 데이터로 활용하는 것이 보다 바람직하다.

본 발명은 기존의 빅데이터와 더불어 업종별 노하우 컨텐츠의 활용, 그리고 검증 과정을 통해 점층적으로 향상된 애드큐레이션 사이니지 시스템을 제공할 수 있다.

도 1은 본 발명의 구성요소의 개요도이다.
도 2는 본 발명의 일실시예로서 시스템 개요도이다.
도 3, 4 발명의 일실시예로서 서비스 개요도이다.
도 5 내지 도 10은 안면인식과 맞춤메뉴 추천과정의 디스플레이 형태의 개요도이다.

이하 첨부된 도면과 함께 본 발명의 바람직한 실시예를 살펴보면 다음과 같다. 다만, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이며, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있으므로, 그 정의는 본 발명인 안면 인식 및 사물인터넷 기술을 이용한 애드큐레이션 사이니지 시스템을 설명하는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 따른 디지털 사이니지를 이용한 맞춤형 광고서비스 제공시스템을 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 안면 인식 및 사물인터넷 기술을 이용한 애드큐레이션 사이니지 시스템의 구성요소의 개요도이다. 본 발명의 시스템은 크게 하드웨어 구성부(100), 안면인식 엔진부(200) 및 큐레이션 엔진부(300)로 이루어진다. 하드웨어 구성부(100)는 사물인터넷 장비로서 안면인식을 위한 카메라, 여러 정보를 보여주는 LCD 디스플레이, 상호작용을 위한 인터페이스 보드, 결제관련 부분, 영수증을 출력하기 위한 프린터 부분을 최소한 구비하고 있게 된다. 즉, 디지털 사이니지 본체가 이에 해당한다. 안면인식 엔진부(200)는 안면의 인식을 위한 다양한 방식과 이에 의한 정보를 저장하며, 안면 인식의 여러 정보중에서 특정한 필요정보를 검출하고 이를 저장하게 된다. 큐레이션 엔진부(300)는 안면인식 엔진부에 저장된 특정한 안면정보를 가지고, 큐레이션 매칭을 위한 과정을 거치는 부분으로 이 부분에서 기존의 빅데이터 뿐만 아니라 업종별 노하우 컨텐츠의 추가적 활용 및 검증 과정을 통한 데이타의 가중치의 설정을 통한 보다 정확도 있는 추천을 향상시키는 부분이다. 매칭을 위해 기본적 날씨정보 등과 업종별 구체적인 컨텐츠가 활용될 수 있다.

도 2는 본 발명의 일실시예로서 시스템 개요도로서, 도 1의 일반 구성을 보다 구체화한 실시형태와 정보의 연산 흐름을 보여준다. 안면인식 엔진부과 큐레이션 엔진부간의 연산을 위한 선호도 데이타 베이스를 구비할 수 있다. 실질적으로는 디지털 사이니지 장치의 본체에 해당하는 IoT장비내의 하드웨어가 탐지한 정보를 연산하는 소프트웨어적인 성격의 안면인식 엔진과 큐레이션 엔진이 IoT 장비내에 구축되어 있으나 이를 기능적 측면에서 분리하여 표시한 것이다.

IoT 장비의 카메라는 장비를 지나가는 고객을 감지하여 촬영을 할 수 있다. 이 과정에서 카메라가 2 이상 사용되는 경우, 하나는 고객의 수와 키를 파악하여 어린이와 성인을 구분하는 용도로 활용될 수도 있다. 기본적인 안면검출의 방식은 다양한 툴이 개발되어 있는데, ETRI에서 상당히 정확도가 높은 툴이 개발되어 있다. 안면인식엔진의 작동 과정은 다음의 내용을 포함한다. 매장을 방문한 고객의 얼굴을 인식하는 안면인식단계와, 상기 안면인식단계에서 추출된 신체정보와 일치되는 정보를 갖는 기존 자료(빅데이터)와 대비, 또는 해당 신체정보를 통해 이미 알려진 안면 정보와 대비하여 해당 고객의 특성을 파악하게 된다. 얼굴의 여러가지 특성을 통해 성별, 나이, 인종 등을 구분할 수 있는데, 이에 대하여는 지속적으로 관련 기술이 개발되고 있다. 현재는 시선방향, 다양한 표정(행복, 놀람, 보통, 화남, 짜증 등)을 파악하는 기술들이 개발되고 있으며, 이러한 개발 툴을 활용할 수 있다. 이와 관련된 다양한 오픈 API들이 제공되고 있다. 안면인식부는 감지 카메라와 연동되고, 카메라를 통한 인식tool로 구성되며, 이들의 정보를 저장할 수 있다. 개개인들의 얼굴 특징을 측정하여 3차원 얼굴형을 구조화하여 고객의 성별 및 연령대, 인종, 등을 구분한 정보를 전송하는 기능을 갖는다. 여기서, 상기 안면인식부를 통해 특히 다차원의 다중인식을 통한 사용자의 그룹핑까지 확대하여 불특정 다수인이 사용하는 디지털 사이니지 특성에 맞출 수 있고, 각기 다른 광고영상이 나타남으로 비접촉 인식에 의한 새로운 상호작용이 일어남으로 관심을 끌기 좋다. 또한, 상기 안면인식부에서 인식하는 정보 항목은 성별 및 연령대, 인종, 감정(느낌)이 있는데, 상기 고객의 성별은 남성과 여성으로 구분하고, 연령대는 유아, 중년, 노년으로 구분하며, 인종은 현지인과 외국인으로 구분하고, 감정(느낌)은 웃는 얼굴과 그렇지 않은 얼굴로 구분하는 것이다.

얼굴인식(Face Recognition) 기술이란 생체인식(Boimetrics) 분야 중의 하나로 사람마다 얼굴에 담겨있는 고유한 특징 정보를 이용하여 기계가 자동으로 사람을 식별하고 인증하는 기술이다 각종 영상매체로부터 비교적 쉽고 자연스럽게 입력 받을 수 있는 얼굴이미지는 복잡한 배경으로부터 얼굴을 분리한 다음 눈, 코, 입 등의 위치들을 찾아서 정렬 및 사이즈 정규화를 하고, 인식에 필요한 특징 정보를 추출하여 수학적 계산과 통계적인 방법등으로 템플릿을 만들어 데이터베이스로 저장함으로써, 얼굴의 등록, 인식 및 인증에 사용한다. 본 발명에서도 안면 인식을 통해 얻은 벡터 이미지를 저장하고 나아가 이를 통해 특정인을 특화시키는 과정 또한 진행되는 특징이 있다. 이러한 기술들은 최근 정확도가 높아지고 있다. 이러한 안면인식 기술은 영상처리기법을 이용하여 기 저장된 기준영상과 비교하여 패턴을 인식하는 기술이 보편적으로 사용되고 있다. 이러한 패턴인식을 수행하기 위하여 종래의 카메라로 영상을 촬영할 때 영상이 카메라 위치에 따라 원근에 기인한 기하학적 왜곡 영상이 촬영되어 패턴의 검출 및 인식이 원활히 이루어지지 않게 하는 요인으로 작용한다. 상기 원근에 기인한 기하학적 왜곡 영상을 보정하기 위해서 보정 물체를 이용한 왜곡계수 산출 기법, 다방향 패턴 영상 사용 기법, 선 또는 소실점의 기하학적 특징 이용 기법 등이 제안된 바 있다. 또한 색정보를 통해 영상정보를 획득하는 방식은 색 영상에 영향을 미치는 환경 하에서는 취약하다는 문제점이 있다. 카메라를 이용한 영상촬영의 경우, 동영상 부호화 표준으로 최근에 HEVC 표준이 완성되었다. 동영상 부호화에서 움직임 추정 및 보상 방법은 시간방향의 중복성을 제거하기 위해 필수적으로 사용된다. H264, HEVC 등에서는 움직임 추정을 위해서 현재 화면 내의 공간방향으로 이웃한 화소들의 묶음인 블록과 시간방향으로 이웃한 참조화면 내에서 가장 가까운 블록을 찾는 블록정합 방법을 사용하고 있다 블록정합 움직임 추정 과정에는 블록을 찾는 평가척도, 참조 화면내 탐색영역의 크기, 현재 블록의 크기 등이 고려되어야 한다 움직임 추정은 동영상부호화에서 구현 복잡도의 70% 이상을 차지하고 있으므로, 동영상 부호화 초창기부터 복잡도를 줄이는 고속 움직임 추정방법에 대한 연구가 진행되어 왔다 이러한 블록정합 움직임 추정은 카메라의 좌우 이동 및 영상 속 객체의 공간 이동 등에는 추정의 정확도가 높지만, 영상 신축에는 정확도가 떨어질 수밖에 없다 영상의 신축움직임은 현재 화면이 참조 화면에서 확대 또는 축소되는 것을 의미하며, 확대 및 축소에 해당되는 신축 비율을 정확하게 추출하기 위해서는 가능한 모든 신축비율을 적용할 수밖에 없다. 또한, 가능한 신축비율의 수가 너무 많기 때문에 모든 경우를 적용하기에는 불가능하다. 따라서, 구현의 복잡도를 줄이기 위한 방법에 대한 기술 개발이 진행되어 왔다. 신축 움직임 추정에서 첫 번째 단계에는 선택된 몇 개의 화소들에 대하여 간략하게 움직임을 추정하고, 두 번째 단계에서 모든 화소에 대하여 정확도를 높이는 방법, 계산 효율, 정확도 등을 고려한 반복적 최소-자승 추정에 대한 다양한 개선방법, 보간된 참조 화면을 이용하는 방법, 3-D 다이어몬드 탐색 패턴을 사용하여 움직임 추정을 단순화하는 방법 등이 제안된 바 있다.

안면인식의 과정에서 저장되는 이미지 정보들은 신체부위의 특징들(얼굴형, 얼굴의 좌우거리, 눈과 코사이의 거리, 눈과 귀사이의 거리, 양측 귀사이의 거리, 얼굴의 수평 및 수직거리중 적어도 하나 이상)를 연산하는 이미지데이타를 생성하여 저장할 수 있다. 최근에는 안면인식에 있어 깊이 정보를 동시에 파악하여 그 정확도를 높이는 기술도 개발되고 있다. 본 발명에서는 추가적으로 안면인식과정을 통해 표정분석 내지 감정 분석을 시행하여 이를 반영할 수 있다. 이미지데이터 내지 벡터 이미지등을 통해 이를 분석하여 집중도, 몰입도, 기타 감정 등의 생체 감성 정보를 생성할 수 있으며, 상황 정보를 수집하고, 생체 감성 정보 및 상황 정보를 큐레이션 엔진의 매칭과정에 활용할 수도 있다. 생체 감성 정보는 여섯 가지 기본 감성에 해당하는 기쁨, 슬픔, 놀람, 공포, 화남, 혐오의 표정에 대한 감성 판단을 위한 얼굴 요소(예컨대, 이마, 눈썹, 눈, 코, 입) 별 변화 빈도를 백분율로 나타낸 수치이다. 생체 감성 정보를 판단할 때, 입과 눈이 감성 판단 시 가장 큰 영향력을 미칠 수 있고, 그 외 눈썹, 이마, 코 순으로 나타나며, 감성 별 판단 시 영향을 주는 얼굴 요소로 분노는 이마, 슬픔과 분노는 눈썹, 혐오는 눈과 코 그리고 슬픔은 입을 주로 확인할 수 있다. 따라서, 얼굴 표정을 통한 감성 판단 시 한 가지 얼굴 영역만 참고하는 것은 판단 오류를 일으킬 수 있으며, 표정의 인식률을 높이기 위해서는 시선 추적 및 집중도 등을 사용하여 보다 객관적인 결과를 얻을 수 있다. 집중도 인식 모듈은, 데이터베이스에 저장된 생체 감성 정보 데이터 및 상황 정보 데이터를 이용하여 사용자의 집중도를 측정한다 상기 집중도의 판단은 동공 크기, 눈 깜박임, 응시 시간 및 PPG(Photo PlethysmoGram, 맥파), GSR(Galvanic Skin Response, 피부전기반응) 및 SKT(Skin Temperature, 피부 온도) 등의 자율 신경계 반응으로 판단할 수 있다. 동공의 크기가 확장하거나 수축하는 것은 무의식적인 반응으로서 인지적인 방법으로 통제할 수 없으며, 사용자가 거부감을 느끼는 경우 동공의 크기(동공의 평균 크기 및 단위 시간당 동공의 기울기 변화량)가 줄어들고, 호감을 느끼는 경우 동공의 크기는 확장하게 된다 눈 깜박임은 사용자가 지루함을 느낄 때 눈 깜박임 속도가 느려지며, 흥미로움을 느낄 때 속도가 증가한다 따라서, 사용자가 동공의 크기가 확장되고 눈 깜박임 속도가 느려질 때를 집중 상태로 판단할 수 있다. 본 발명에서는 기존의 이러한 인식 툴을 사용하여 안면인식을 시행한다는 것으로 추가적인 상세 설명은 생략한다.

본 발명은 일반적인 안면 인식 및 큐레이션 방식의 모식도와 기본적 구성에 있어서 유사점이 있다. 그러나 소상공인 마케팅 노하우 DB로서 딥러닝 방식에 의하여 자동적으로 관련 자료가 축적되고 이를 활용하여 보다 현실적이고 고객선호도가 높은 애듀큐레이션을 제공한다는 점에 차이점이 존재한다. 종래의 고객 관련 시스템의 경우 회원 가입을 통해 정보를 획득하고 관련 회원의 구매 정보를 연계하여 분석하는 시스템이나 이를 적용하기 어려운 분야가 많이 있다. 또한 식당 등에서는 관리자가 직접 관련 정보를 입력하여야 하든지 소비자가 관련 설문 등에 직접 참여하여야 하므로 이를 현실적으로 지속적으로 실행하기는 쉽지 않다. 따라서 자동적으로 딥러닝 방식으로 정보를 수집하는 것이 바람직하며 보다 효과적인 딥러닝 방식을 제공할 수 있어야 한다.

본 발명에서는 기본적으로 안면인식 엔진으로 표현하였으나, 소프트웨어적 보완을 통해 보다 다양한 정보를 취득할 수도 있다. 다수의 카메라를 통해 고객의 수를 파악할 수 있으며 고객의 대략적인 키를 파악하여 어른과 어린이 등을 구분할 수 있다. 다수의 고객이 하나의 팀으로 오는 경우 해당 팀의 고객 모두의 안면인식이 행하여지기는 쉽지 않다. 또한 표정 분석 등이 시행되는 고객의 경우 사이니지 디스플레이상에서 디스플레이를 보고 시선 변화를 감지항 판단하는 과정을 거치기 때문에 모두를 대상으로 표정분석이 이루어질 수 없음은 물론이다. 최근의 기술은 동시에 4명까지 분석할 수 있는데 한편, 본 발명에서는 안면의 표정 인식 뿐만 아니라 고객의 동장 및 음성정보의 분석을 통해 추가적인 판단자료를 제공할 수도 있다. 나아가 안면인식 추출외에 스커트, 바지, 원피스, 와이셔츠, 정장 등의 의상 특성도 어느 정도 분석가능하고 이를 반영하여 큐레이션 시스템을 구현할 수도 있다.

다음으로 안면 인식 단계를 거쳐 거쳐 획득된 정보를 큐레이션 엔진을 통해 큐레이션 매칭 정보와 비교하여 큐레이션을 준비하는 단계를 거친다. 실질적인 연산과정이 이루어지는 것으로 큐레이션 엔진이라 표현된 부분이다. 다양한 알고리즘을 통해 최적의 큐레이션 내용을 제공할 수 있도록 준비되는 단계이다. 본 발명의 특징의 하나는 머신러닝 방식을 채택하여 보다 최적화된 큐레이션 시스템을 제공한다는 것으로서, 시스템이 가동되면 될수록 정확도와 매칭의 효용성이 높아질 수 있다는 점이다. 큐레이션 매칭 정보 데이타 베이스의 가중치는 시기에 따라, 고객 종류에 따라, 여러가지 환경에 따라 다양하게 프로그램화 될 수 있다.

매칭을 위한 정보로 우선 환경정보가 포함될 수 있다. 환경정보라 함은 사물인터넷에 기반한 주변 환경정보와 인터넷을 통해 제공받을 수 있는 각종 웹상 환경정보가 모두 포함될 수 있다. 여러가지 환경 정보와 고객의 주문 내지 구매 성향이 관련성이 있을 수 있다는 판단에 근거한 것이다. 물론, 안면 인식을 통해 파악된 고객의 특성에 대한 정보와 상품의 구매 내지 환경 정보와의 관련성에 대한 많은 통계 자료들이 있으며, 관련 자료를 각 회사들이나 각종 단체들이 수집하고 이를 마케팅에 활용하고 있는 사실이 있다. 그러나 이들 정보가 전반적인 경향성을 보여주고 어느 정도 전체적인 관점에서 타당성이 있는 자료이기는 하나, 구체적인 상황에는 비현실적인 경우가 많다. 본 발명에서는 종래의 자료도 이용하지만 실제의 자료가 많이 쌓이는 경우 이에 보다 가중치를 두어 판단 자료를 제공할 수 있는 장점이 있다. IoT에 기반한 주변 환경정보는 주변온도, 주변습도, 주변 조도, 이산화탄소 농도, 미세먼지 농도 등 다양한 것들이 될 수 있다. 환경 정보는 환경 센서를 하나 이상 구비하여 고객이 위치한 공간에서의 환경 데이터를 획득하는 기능을 수행할 수 있으며, 온도, 습도, 조도, 소음 등과 같이 해당 공간을 특징으로 하는 환경 정보를 획득할 수 있는 센서가 적용될 수 있다. 주변 온도와, 주변 습도와, 주변 조도와. GPS와, 미세먼지 및 이산화탄소 농도를 감지한 정보와, 주변 상황을 인식하여 활용될 수도 있다. 주변 온도는 온도센서로 감지하고, 주변 습도는 습도센서로 감지하며, 주변 조도는 조도센서로 감지하고, GPS는 GPS센서로 위치를 파악하며, 미세먼지는 미세먼지센서로 감지하고, 대기 중의 이산화탄소 농도는 대기가스 측정센서로 감지 가능하다.

한편, 이들 정보가 고객의 심리에 미치는 영향이 추상적으로 추론될 뿐 명확한 근거와 합리적 추론이 이루어지기는 어려운 것들이나, 현실적으로 실제 이들의 상관관계가 있다면 이를 적당한 가중치를 통해 반영할 수 있을 것이다. 상기 정보들은 각종 센서를 통해 획득한 정보를 사물인터넷을 통해 이를 전송하고 큐레이션 매칭 정보 데이타베이스에 저장될 수 있다. 이러한 과정은 센싱과 통신의 과정을 거쳐 수행된다. 도 2에서는 날씨정보, 다양한 번역, 음성 정보가 제공될 수 있고, 점주, 점포의 성격에 따른 개별 정보들도 제공될 수 있다. 또한 다양한 컨텐츠 정보(건강, 다이어트 식단 정보 등)가 활용될 수 있는데 이에 관하여는 구체적 실시 형태에서 살펴보도록 한다.

큐레이션 엔진에서 매칭 정보를 획득한 후, 추천 결과를 IoT장비에 디스플레이하게 된다. 디스플레이의 방식과 순서 또한 구체적 실시형태에서 살펴보도록 한다. 고객이 메뉴를 선택하고 결제하는 과정을 거치면, 이에 대한 정보도 큐레이션 엔진의 매칭 과정의 한 요인으로 축적되게 된다. 신규결제인지여부와 이미 이용한 고객인지여부를 판단하는 과정과 추천된 정보와 실제 결과를 대비하여 매칭의 정확도를 머신러닝 방식을 통해 축적하게 된다.

도 3과 도 4는 본 발명의 일실시예로서 음식추천 서비스의 개요도를 보여주고 있는데, 다른 분야 업종에서의 작동 흐름도 이와 유사한 흐름으로 진행된다. 도 4는 도 3의 형태를 보다 직관하기 좋게 표현하였다. 우선, 도 3을 살펴보면, 고객이 어느 정도 근접하고 있는지를 파악하여 근접시 메뉴를 선택할 수 있게 한다. 고객이 일정 시간 반응이 없는 안면인식을 통해 메뉴를 추천하는 과정을 거칠 수 있다. 또는 화면에 메뉴 추천 방식을 선택하게 할 수도 있다.

일정 시간 무반응시 자동으로 메뉴를 추천하는 과정을 보면, 우선 안면 인식을 시작하고 Vertex를 추출한다. 그리고, 종래의 빅데이터와 함께 축적된 로컬데이타가 활용될 수도 있다. 미리 구성된 안면 인식 빅데이터 중 연동된 정보에 가장 가까운 연령, 성별, 장소 등 맞춤 메뉴 데이터를 추출하고 추출된 정보는 매장에 설치된 IoT 인터페이스 보드로 연동된다. 본 발명에서는 업종별 노하우 컨텐츠를 이용하는 방식을 채택할 수도 있다. 예를 들면 소상공인이 직접 생성한 형태의 정보를 제공하여 사전에 입력되지 않은 다양한 산업분야와 환경에도 적용될 수 있게 구성할 수도 있다.

매칭된 정보를 통해 메뉴를 추천하게 되는데, 앞서 언급한 다양한 정보들이 활용될 수 있다. 메뉴가 선택되고 결제가 이루어지면 그 결과를 전체 시스템을 주관하는 본 출원인의 'INNO'서버에 저장되어 이를 다시 큐레이션 엔진의 정보로 활용할 수 있다. 즉 선호도를 지속적으로 업데이트하게 된다.

고객이 접근하였을 때, 처음부터 메뉴 선택방식을 디스플레이하여 선택하게 할 수 있다. 도 3은 예를 들어 음식메뉴를 선택하는 과정의 서비스를 보여주고 있는데 화면에 처음부터 인공지능 맞춤메뉴, 직접 선택하는 방식, 전문의가 추천한 메뉴를 고르는 방식, 다이어트 추천 메뉴를 선택하는 방식 등을 고려할 수 있다. 인공지능 맞춤메뉴를 선택하는 경우, 앞서 일정시간 무반응의 경우의 흐름과 마찬가지로 안면인식의 과정을 거쳐 메뉴를 추천하는 방식의 흐름을 따라가게 한다. 직접 메뉴를 선택하는 방식을 고르는 경우, 부분별 카테고리에 따라 전체 메뉴를 보여주어 직접 선택하게 할 수 있다. 한편, 메뉴를 단순히 보여주는 방식을 벗어나, 메뉴의 다양한 정보를 확인하고자 하는 경우 이의 정보를 제공하는 과정을 포함할 수도 있다. 본 과정은 안면인식 엔진부나 큐레이션 엔진부의 DB가 아닌 자체적 정보를 활용할 수도 있을 것이다. 전문의 추천메뉴를 선택하는 경우, 주의해야할 질환의 예시를 보여주고 이를 선택하게 할 수 있다. 각종 건강정보 데이타 베이스와 식재료 정보, 비만도 등등을 고려하여 메뉴를 추천하게 되는데 특정하게 알고리즘화된 방식을 채택하거나 인공지능 방식등이 다양하게 채택될 수 있다. 다이어트 메뉴를 추천을 선택하는 경우, IoT장비에 체지방 측정 하드웨어와 소프트웨어를 갖춘 측정기기를 구비시켜 체지방을 측정하고 이를 다시 건강정보 DB등과 연동하여 메뉴를 추천하는 방식도 가능하다. 기타 다양한 방식으로, 다양한 업종에 적용이 가능할 것이다.

작동 과정을 살펴보도록 한다.

우선 대기모드상태가 진행된다. 고객이 인식되는 경우 1차적인 정보를 통해 사용자에게 맞춤 동영상을 제공하는 방식으로 고객을 유인할 수도 있다. 근접한 고객의 경우, 안면인식을 통한 정보와 외부 환경 정보를 고려하여 보다 적절한 형태의 동영상을 노출 시킬 수도 있다. 성인 남성이 고객이고, 상당한 더운 날씨인 경우, 시원한 생맥주의 영상을 보여준다거나 하는 방식이 가능하다.

상당히 접근하여 안면인식을 제대로 할 수 있는 경우, 안면인식을 위한 모드가 진행된다. 도 5는 이를 표현한 것으로 다양한 배경이 존재할 수 있으며, 스피커를 통해 말을 거는 방식도 가능하다.

안면인식을 통해 바로 추천메뉴로 넘어갈 수도 있고 도 6과 같이 메뉴를 선택하게 할 수도 있다. 메뉴를 선택하게 하는 경우에도 안면인식 정보를 활용하고 저장한다.

도 7은 안면인식에 따른 정보와 함께 메뉴를 제시하는 화면을 보여준다. 스키커를 통해 고객님과 비슷한 나이의 고객이 선택한 메뉴라는 언급을 할 수도 있으며, 우선순위의 배열 강조 등 다양한 방식으로 디스플레이 가능하다.

메뉴 선택이후에는 메뉴의 구체적 내용을 디스플레이 할 수 있다. 도 8에 개략적 형태를 나타내었는데, 화면의 클릭에 따라 세부 정보를 더 제공할 수도 있으며, 기타 관련정보를 제공할 수도 있다.

이후 메뉴를 선택하고, 장바구니에 담거나 결제하는 과정을 거치는데 통상적 시스템과 동일한 과정이다.

본 발명은 매장을 방문한 고객의 얼굴을 인식하여 해당 고객의 이전 방문시에 주문한 메뉴 또는 구매한 상품을 확인할 수 있다. 방문횟수가 많은 고객일 수 록 누적된 구매정보가 많아지고, 매장측에서는 누적된 고객의 구매정보를 통하여 고객의 성향을 추측할 수 있어 보다 질 좋은 서비스를 제공할 수 있다.

100 : 하드웨어 구성부
200 : 안면인식 엔진부
300 : 큐레이션 엔진부

Claims (2)

1. 안면 인식 및 사물인터넷 기술을 이용한 애드큐레이션 사이니지 시스템에 있어서,
   상기 시스템은 안면인식을 위한 카메라, 정보를 보여주는 디스플레이부, 고객과 상호작용을 위한 인터페이스 보드, 결제시스템, 영수증 출력을 위한 프린터부를 포함하는, 하드웨어 구성부;
   고객의 안면검출을 수행하는 안면검출부와 안면인식의 기능을 수행하는 안면 인식부, 안면 인식 정보를 저장하는 이미지 데이터 저장부를 포함하는 안면인식 엔진부; 및
   안면인식 엔진부의 안면 정보를 큐레이션 매칭 정보와 매칭시키는 큐레이션 엔진부;를 포함하고,
   큐레이션 엔진부의 매칭 정보를 하드웨어 구성부의 디스플레이부에 출력하되,
   상기 하드웨어 구성부의 카메라는 2 이상의 카메라를 사용하여 적어도 하나는 고객의 수와 키를 파악하여 어린이와 성인을 구분하고, 또한 의상 특성을 파악하며, 상기 파악된 고객이 접근하는 경우 환경정보와 연동하여 고객의 관심을 끌기 위한 동영상을 하드웨어 구성부의 디스플레이부에 제공하되, 상기 환경정보는 사물 인터넷에 기반한 주변환경 정보와 인터넷을 통해 제공받을 수 있는 웹상 환경 정보 및 업종별 노하우 컨텐츠를 포함하는 것을 특징으로 하며,
   상기 안면인식 엔진부는 취득한 안면정보를 통해, 성별, 나이, 외국인 여부, 시선 정보 및 표정분석을 시행하고, 이를 주변환경 정보와 인터넷을 통해 제공되는 웹상정보 및 업종별 노하우 컨텐츠를 포함하는 큐레이션 매칭 정보와 연계하여 고객을 특정하는 과정을 거쳐 특정된 고객에게 제공할 매칭 정보를 생성하여 제공할 메뉴 항목을 하드웨어 구성부의 디스플레이부에 출력하고,
   상기 출력된 디스플레이부의 메뉴 항목에 대하여 일정시간 선택하지 않는 경우, 상기 디스플레이부에는 전문의 건강 메뉴 추천 항목과 다이어트 메뉴 추천 항목을 선택할 수 있도로 하되, 전문의 건강 메뉴 추천 항목을 선택하는 경우 고객이 주의해야 할 질환을 체크할 수 있도록 하며, 다이어트 메뉴 추천 항목을 선택하는 경우, 고객의 체지방을 측정하는 과정이 포함되도록 하고 해당 관련 정보를 큐레이션 엔진부의 큐레이션 매칭 정보와 연동하여 추천 메뉴를 하드웨어 구성부의 디스플레이부에 출력하는 것을 특징으로 하는 시스템.
   
2. 제 1항에 있어서,
   상기 고객의 결제가 이루어진 경우, 상기 고객의 선택과 큐레이션 엔진부의 매칭 결과와 대비하여 이를 머신러닝 데이터로 활용하는 것을 특징으로 하는 시스템.

Images