KR102251783B1

KR102251783B1 - 인공지능 디지털 사이니지 시스템

Info

Publication number: KR102251783B1
Application number: KR1020200065899A
Authority: KR
Inventors: 김영수; 김지희
Original assignee: 주식회사 칸트
Priority date: 2019-10-28
Filing date: 2020-06-01
Publication date: 2021-05-13
Also published as: KR20210050426A

Abstract

본 발명은 인공지능 디지털 사이니지 시스템에 관한 것으로, 해결하고자 하는 과제는 기존의 일 방향 정보전달기능에서 탈피하여 양방향 정보의 전달이 가능한 매체로서 개인의 건강뿐만 아니라 국민의 건강 관리 및 모니터링 등 시대의 변화에 맞게 긴급 알림, 공간/장소기반 맞춤형 정보, 상황인지 기능을 제공하는데 있다.
일례로, 적어도 두 개의 디스플레이가 폴딩 가능하게 구성되고, 열화상 카메라를 통해 사용자의 체온을 측정하고, 측정체온이 미리 설정된 기준체온을 초과하면, 카메라를 통해 해당 사용자의 얼굴을 촬영하고, 촬영 영상 내 사용자의 안면을 인식하여 안면인식 결과데이터를 외부로 전송하는 디지털 사이니지 장치부; 및 상기 디지털 사이니지 장치부로 공공미디어 데이터 및 광고 데이터를 제공하고, 상기 디지털 사이니지 장치부로부터 안면인식 결과데이터를 수신하고, 상기 안면인식 결과데이터에 기초하여 데이터베이스로부터 보호자 또는 관리자 연락처정보를 추출하고, 해당 보호자 또는 관리자에게 긴급알림메시지를 전송하는 클라우드 서버부를 포함하는 인공지능 디지털 사이니지 시스템을 개시한다.

Description

인공지능 디지털 사이니지 시스템{ARTIFICIAL INTELLIGENCE DIGITAL SIGNAGE SYSTEM}

본 발명의 실시예는 인공지능 디지털 사이니지 시스템에 관한 것이다.

디지털 사이니지(digital signage)란 공공장소, 상업시설 등에 설치되어 정보, 엔터테인먼트, 광고 등을 제공하는 디지털 미디어로서, 최근에는 정보통신 기술의 발전 및 디지털 디스플레이의 보급에 따라 그 활용범위가 확대되고 있으며, TV, 인터넷, 모바일에 이은 제4의 미디어로 주목 받고 있다.

기존에는 디지털 사이니지를 운영하는 기술에 대한 특별한 표준이 없어, 사용자가 필요에 따라 개별적으로 운영 프로그램을 개발하는 형태로 제어, 관리되어 왔다.

예를 들어, 종래에는 일반적으로 디지털 사이니지마다 PC를 설치하고 고정 IP로 연결하여 운영, 관리되었는데, 이와 같은 디지털 사이니지 시스템에서는 개별적인 시스템 구축 비용이 많이 소요되는 문제가 있다. 뿐만 아니라, 디지털 사이니지 시스템마다 특정된 한 가지 기능만을 수행하도록 설정되어 유연성이 부족하고, 다른 기능을 추가하기 위하여는 새로운 시스템을 개발해야 하므로 확 장성이 떨어진다는 문제가 있다.

또한, 기존에는 디지털 사이니지가 옥외의 일정한 장소에 한하여 대규모로 운영, 관리되던 것에 비하여 최근에는 빌딩, 쇼핑몰 등은 물론 버스, 택시, 지하철 등의 대중교통 수단에 이르기까지 대중이 이용하는 모든 곳으로 그 사용 영역이 광범위해지고 있으며, 사용자의 입장에서는 스마트폰, 패드와 같은 모바일 디바이스의 사용이 보편화되고 있는 등 제반 환경이 많이 변화하고 있는 실정이다.

따라서, 디지털 사이니지 시스템과 그 제어 방식도 이러한 환경의 변화에 맞춘 개선과 더불어 개인의 건강뿐만 아니라 국민의 건강 관리 및 모니터링 등 시대의 변화에 맞는 개선 또한 요구된다.

등록특허공보 제10-1707549호(등록일자: 2017년02월10일) 공개특허공보 제10-2013-0048619호(공개일자: 2013년05월10일) 공개특허공보 제10-2014-0029877호(공개일자: 2014년03월11일)

본 발명의 실시예는, 기존의 일 방향 정보전달기능에서 탈피하여 양방향 정보의 전달이 가능한 매체로서 개인의 건강뿐만 아니라 국민의 건강 관리 및 모니터링 등 시대의 변화에 맞게 긴급 알림, 공간/장소기반 맞춤형 정보, 상황인지 기능이 부가된 인공지능 디지털 사이니지 시스템을 제공한다.

본 발명의 실시예에 따른 인공지능 디지털 사이니지 시스템은, 적어도 두 개의 디스플레이가 폴딩 가능하게 구성되고, 열화상 카메라를 통해 사용자의 체온을 측정하고, 측정체온이 미리 설정된 기준체온을 초과하면, 카메라를 통해 해당 사용자의 얼굴을 촬영하고, 촬영 영상 내 사용자의 안면을 인식하여 안면인식 결과데이터를 외부로 전송하는 디지털 사이니지 장치부; 및 상기 디지털 사이니지 장치부로 공공미디어 데이터 및 광고 데이터를 제공하고, 상기 디지털 사이니지 장치부로부터 안면인식 결과데이터를 수신하고, 상기 안면인식 결과데이터에 기초하여 데이터베이스로부터 보호자 또는 관리자 연락처정보를 추출하고, 해당 보호자 또는 관리자에게 긴급알림메시지를 전송하는 클라우드 서버부를 포함한다.

또한, 상기 디지털 사이니지 장치부는, 적어도 두 개의 멀티 디스플레이부; 상기 멀티 디스플레이부의 각 디스플레이 간을 연결하고, 상기 멀티 디스플레이부가 적어도 하나의 각도로 폴딩 및 언폴딩되도록 동작하는 폴딩 장치부; 사용자로부터 방출되는 열복사를 감지하여 시각화하는 열화상 카메라부; 상기 열화상 카메라를 통해 측정된 사용자의 측정체온과 미리 설정된 기준체온을 비교하여 측정체온이 기준체온을 초과하는 경우 열화상에서 발열 대상의 사용자를 특정한 발열대상 특정데이터 및 발열감지신호를 출력하는 발열 감지부; 상기 열화상 카메라부와 동일 영역을 동시 촬영하는 CCD 카메라부; 상기 발열 감지부로부터 상기 발열대상 특정데이터와 상기 발열감지신호를 수신하고, 상기 CCD 카메라부를 통해 촬영된 영상데이터를 수신하고, 상기 발열대상 특정데이터에 기초하여 상기 영상데이터 내 해당 사용자를 추출하고, 추출된 사용자 영상 내 사용자의 안면을 인공지능 알고리즘을 통해 인식하여 안면인식 결과데이터를 출력하는 안면 인식부; 및 상기 안면 인식부를 통해 출력된 안면인식 결과데이터를 상기 클라우드 서버부로 전송하는 장치 통신부를 포함할 수 있다.

또한, 상기 디지털 사이니지 장치부는, 상기 발열 감지부로부터 발열감지신호를 수신하면 미리 저장된 알림 음향 데이터를 스피커로 전달하여 외부로 출력되도록 하고, 상기 발열 감지부로부터 발열감지신호를 수신하면 미리 저장된 알림 영상 데이터를 상기 멀티 디스플레이부로 전달하여 외부로 출력되도록 하는 알림 서비스부를 더 포함할 수 있다.

또한, 상기 디지털 사이니지 장치부는, 스피커를 통해 시각장애인을 위한 음성 안내 서비스를 제공하는 음성 안내 서비스부를 더 포함할 수 있다.

또한, 상기 안면 인식부는, 상기 발열 감지부로부터 상기 발열대상 특정데이터와 상기 발열감지신호를 수신하고, 상기 CCD 카메라부를 통해 촬영된 영상데이터를 입력 받는 데이터 입력부; 상기 발열대상 특정데이터에 기초하여 상기 영상데이터 내 해당 사용자의 얼굴 영역을 분할 및 검출하고, 검출된 얼굴 영역에서 눈 영역을 검출하는 얼굴 검출부; 및 상기 얼굴 검출부를 통해 검출된 눈 영역에 대한 특징을 추출하고, 추출된 특징에 기초하여 템플릿을 생성하고, 생성된 템플릿을 얼굴 데이터베이스에 미리 저장된 템플릿과 비교하여 일치하는 템플릿을 검출하고, 일치하는 템플릿과 매칭된 사용자 정보를 추출하여 안면인식 결과데이터로서 출력하는 얼굴인식 처리부를 포함할 수 있다.

또한, 상기 클라우드 서버부는, 공공미디어 데이터 및 광고 데이터가 저장된 컨텐츠 데이터베이스부; 보호자 또는 관리자 연락처정보가 저장된 연락처 데이터베이스부; 미리 설정된 스케줄이나 수동 명령 신호의 입력에 따라 상기 컨텐츠 데이터베이스부에 저장된 공공미디어 데이터 및 광고 데이터 중 적어도 하나를 추출하여 제공하는 컨텐츠 관리부; 상기 디지털 사이니지 장치부로부터 수신되는 안면인식 결과데이터에 기초하여 상기 연락처 데이터베이스부에 저장된 연락처정보를 추출하여 제공하는 연락처 관리부; 상기 연락처 관리부를 통해 추출된 연락처정보에 기초하여 해당 연락처의 보호자 또는 관리자에게 긴급알림메시지를 생성하는 긴급알림서비스 제공부; 및 상기 디지털 사이니지 장치부와의 통신을 위한 서버 통신부를 포함할 수 있다.

또한, 상기 멀티 디스플레이부는, 상기 안면 인식부와 연결되고, 상기 영상데이터로부터 추출된 사용자 영상 부분을 캡쳐하고, 캡쳐 영상을 확대하여 경고 그래픽과 함께 화면 상에 플로팅되도록 출력하되, 캡쳐 영상이 미리 설정된 시간 이내에 미리 설정된 개수 이상이 생성되는 경우, 각 캡쳐 영상을 나열하는 방식으로 출력할 수 있다.

본 발명에 따르면, 기존의 일 방향 정보전달기능에서 탈피하여 양방향 정보의 전달이 가능한 매체로서 개인의 건강뿐만 아니라 국민의 건강 관리 및 모니터링 등 시대의 변화에 맞게 긴급 알림, 공간/장소기반 맞춤형 정보, 상황인지 기능이 부가된 인공지능 디지털 사이니지 시스템을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 인공지능 디지털 사이니지 시스템의 전체 구성을 나타낸 개요도이다.
도 2는 본 발명의 실시예에 따른 디지털 사이니지 장치부의 세부 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 안면 인식부의 세부 구성을 나타낸 블록도이다.
도 4는 도 3에 도시된 안면 인식부의 동작 프로세스를 설명하기 위해 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른 안면 인식 등록과 안면 인식 확인 과정을 설명하기 위해 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른 인공지능 디지털 사이니지 시스템의 열화상 감지와 안면 인식에 대한 전체적인 프로세스를 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른 클라우드 서버부의 세부 구성을 나타낸 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 실시예에 따른 인공지능 디지털 사이니지 시스템의 전체 구성을 나타낸 개요도이고, 도 2는 본 발명의 실시예에 따른 디지털 사이니지 장치부의 세부 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 안면 인식부의 세부 구성을 나타낸 블록도이고, 도 4는 도 3에 도시된 안면 인식부의 동작 프로세스를 설명하기 위해 나타낸 흐름도이고, 도 5는 본 발명의 실시예에 따른 안면 인식 등록과 안면 인식 확인 과정을 설명하기 위해 나타낸 흐름도이고, 도 6은 본 발명의 실시예에 따른 인공지능 디지털 사이니지 시스템의 열화상 감지와 안면 인식에 대한 전체적인 프로세스를 나타낸 흐름도이며, 도 7은 본 발명의 실시예에 따른 클라우드 서버부의 세부 구성을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 디지털 사이니지 시스템(1000)은 디지털 사이니지 장치부(100)와 클라우드 서버부(200)를 포함한다.

상기 디지털 사이니지 장치부(100)는, 적어도 두 개의 디스플레이가 폴딩 가능하게 구성되고, 열화상 카메라를 통해 사용자의 체온을 측정하고, 측정체온이 미리 설정된 기준체온을 초과하면, 카메라를 통해 해당 사용자의 얼굴을 촬영하고, 촬영 영상 내 사용자의 안면을 인식하여 안면인식 결과데이터를 클라우드 서버부(200)로 전송할 수 있다.

이를 위해 디지털 사이니지 장치부(100)는 도 2에 도시된 바와 같이, 멀티 디스플레이부(110), 폴딩 장치부(120), 열화상 카메라부(130), 발열 감지부(140), CCD 카메라부(150), 안면 인식부(160), 장치 통신부(170), 알림 서비스부(180) 및 음성 안내 서비스부(190) 중 적어도 하나를 포함할 수 있다.

상기 멀티 디스플레이부(110)는 적어도 두 개의 디스플레이를 포함(양면형 디스플레이)할 수 있다. 이러한 멀티 디스플레이부(110)는 베젤이 없고 고해상도의 반사형 비디오 월(video wall) 형태로 구현될수 있으나, 본 실시예에서는 멀티 디스플레이부(110)의 사양(Spec)에 대하여 한정하는 것은 아니며, 다양한 디스플레이의 적용이 가능하다.

상기 폴딩 장치부(120)는, 멀티 디스플레이부(110)에 구성된 각각의 디스플레이 간을 연결하고, 멀티 디스플레이부(110)가 적어도 하나의 각도로 폴딩(folding) 및 언폴딩(unfolding)되도록 동작할 수 있다.

예를 들어, 폴딩 장치부(120)은 도 1의 (a)에 도시된 바와 같이 두 개의 디스플레이를 완전히 폴딩시킬 수 있고, (b)에 도시된 바와 같이 90도의 각도로 폴딩시킬 수 있으며, (c)에 도시된 바와 같이 180도로 완전히 언폴딩시킬 수 있다. 이와 같은 폴딩 장치부(120)는 회전축을 기준으로 양측에 디스플레이가 각각 연결되어 접었다 펴질 수 있으며, 다양한 각도로 접고 접힌 각도가 유지되도록 하여 설치 장소의 구조적인 제약 없이 다양한 각도의 뷰를 형성함으로써 효과적인 정보 전달 및 촬영이 가능하도록 한다.

상기 열화상 카메라부(130)는, 사용자로부터 방출되는 열복사를 감지하고, 감지 결과를 다양한 색상의 그래픽으로 시각화할 수 있다. 좀 더 구체적으로, 열화상 카메라부(130)는 열(온도) 분포를 측정하는 카메라로 온도 차에 의한 이미지를 생성할 뿐만 아니라 이러한 온도 차를 정확하게 측정할 수 있으며, 절대온도 0K 이상의 모든 물체는 적외선을 자체적으로 발생하기 때문에 열화상 카메라를 이용하여 별도의 조명 없이도 주·야간에 상관없이 영상을 획득할 수 있다.

상기 발열 감지부(140)는, 열화상 카메라(130)를 통해 측정된 사용자의 측정체온과 미리 설정된 기준체온을 비교하여 측정체온이 기준체온을 초과하는 경우 열화상에서 발열 대상의 사용자를 특정한 발열대상 특정데이터 및 발열감지신호를 출력할 수 있다.

예를 들어, 서로 나란히 걷고 있는 3명의 보행자를 촬영한 경우 이중 중앙에 위치한 사람의 측정체온이 기준체온보다 1도 높은 것으로 확인되는 경우, 해당 대상자의 위치 즉, 촬영영역 상에서 대상자의 위치좌표, 실루엣, 캡쳐이미지 등 해당 대상자를 촬영데이터 내에서 특정할 수 있는 정보를 생성하여 발열대상 특정데이터를 제공할 수 있으며, 이러한 데이터는 발열감지신호와 함께 CCD 카메라부(150), 안면 인식부(160), 장치 통신부(170) 및 알림 서비스부(180)로 각각 출력될 수 있다.

상기 CCD 카메라부(150)는, 열화상 카메라부(130)와 동일 영역을 동시 촬영할 수 있다. 다만, CCD 카메라부(150)는 열화상 카메라부(130)와 같이 지속적으로 동작하지 않고, 발열 감지부(140)를 통해 발열감지신호가 수신되면 활성화되어 촬영동작을 수행할 수 있으며, 이때 발열대상 특정데이터를 참고하여 촬영영역 내 대상자 영역을 구분할 수 있다. 즉, 상기한 예와 같이 3명 중 중앙에 있는 사람이 발열 대상자임을 특정하여 해당 대상자가 촬영되어 나온 영역을 별도로 인식함으로써, 후술하는 얼굴 인식에 불필요한 부분 즉, 노이즈에 해당하는 부분을 최대한 제거할 수 있으며, 필터링된 최종 영상데이터는 안면 인식부(160)로 해당 대상자의 얼굴을 인식하기 위해 전달될 수 있다.

상기 안면 인식부(160)는, 발열 감지부(140)로부터 발열대상 특정데이터와 발열감지신호를 수신하고, CCD 카메라부(150)를 통해 촬영된 영상데이터를 수신하고, 발열대상 특정데이터에 기초하여 영상데이터 내 해당 사용자를 추출하고, 추출된 사용자 영상 내 사용자의 안면을 인공지능 알고리즘을 통해 인식하여 안면인식 결과데이터를 출력할 수 있다.

이를 위해 안면 인식부(160)는 도 3에 도시된 바와 같이 데이터 입력부(161), 얼굴 검출부(162) 및 얼굴인식 처리부(163) 중 적어도 하나를 포함할 수 있다.

상기 데이터 입력부(161)는, 발열 감지부(140)로부터 발열대상 특정데이터와 발열감지신호를 수신하고, CCD 카메라부(150)를 통해 촬영된 영상데이터를 입력 받을 수 있다.

상기 얼굴 검출부(162)는, 도 4를 참조하면 데이터 입력부(161)를 통해 입력된 발열대상 특정데이터에 기초하여 해당 영상데이터 내 해당 사용자의 얼굴 영역을 분할(필터링)한 후 다단계로 얼굴 영역을 검출하며, 검출된 다수의 얼굴 영역에서 눈 영역을 특정하여 검출할 수 있다.

상기 얼굴인식 처리부(163)는, 도 4를 참조하면 얼굴 검출부(162)를 통해 수신된 눈 영역에 대한 영상을 보정한 후, 보정된 눈 영역에 대한 영상 속 특징을 추출하고, 추출된 특징 데이터에 기초하여 템플릿을 생성할 수 있다. 그리고, 생성된 템플릿을 얼굴 데이터베이스에 미리 저장된 템플릿과 비교하여 일치하는 템플릿을 검출하고, 일치하는 템플릿과 매칭되어 있는 사용자 정보(발열 대상자의 개인 정보)를 추출하여 안면인식 결과데이터로서 출력할 수 있다.

상기 장치 통신부(170)는, 안면 인식부(160)를 통해 출력된 안면인식 결과데이터를 클라우드 서버부(200)로 전송할 수 있다. 이때, 전달되는 데이터에는 발열 대상자가 누구인지에 대한 기본적인 개인 정보를 포함할 수 있으나, 본 실시예에서는 안면인식 결과데이터를 상기와 같이 한정하는 것은 아니며, 필요에 따라 더 많고 다양한 정보를 포함시킬 수 있다.

상기 알림 서비스부(180)는, 발열 감지부(140)로부터 발열감지신호를 수신하면 미리 저장된 알림 음향 데이터를 스피커로 전달하여 외부로 출력되도록 하고, 발열 감지부(140)로부터 발열감지신호를 수신하면 미리 저장된 알림 영상 데이터를 멀티 디스플레이부(110)로 전달하여 외부로 출력되도록 할 수 있다. 즉, 알림 서비스부(180)는 사용자의 발열감지 시 소리와 이미지를 이용하여 각각 발열감지상황에 대한 알림을 실시할 수 있으며, 알림을 위한 소리와 이미지에 대한 그 구체적인 예에 대해서는 한정하지 않는다.

한편, 멀티 디스플레이부(110)는, 안면 인식부(160)와 연결되고, CCD 카메라부(150)에서 촬영된 영상데이터로부터 추출되는 사용자 영상 부분을 캡쳐하고, 해당 캡쳐 영상을 확대하여 경고 그래픽과 함께 화면 상에 플로팅(floating)되도록 출력하되, 해당 캡쳐 영상이 미리 설정된 시간 이내에 미리 설정된 개수 이상이 생성되는 경우, 각 캡쳐 영상을 나열하는 방식으로 출력할 수 있다. 이와 같이, 알림 서비스부(180)를 통한 알림 정보 전달 시 대상자의 특정이 불분명하거나, 다수의 대상자가 존재하는 경우 이를 확인하기 위하여, 멀티 디스플레이부(110)는 검출된 발열 대상자에 대한 영상을 디스플레이 상에 플로팅시켜 명확히 전달할 수 있으며, 대상자가 여러 명일 경우 각각의 대상자를 캡쳐한 영상 또는 이미지를 화면 상에서 나열할 수 있다. 또한, 해당 캡쳐 영상을 선택(터치)하면 해당 대상자의 보호자에게 별도의 알림 메시지를 작성할 수 있는 인터페이스를 제공하며, 해당 인터페이스를 통해 작성된 메시지가 해당 발열 대상자의 보호자 또는 관리자에게 전달될 수 있다.

상기 음성 안내 서비스부(190)는, 스피커를 통해 시각장애인을 위한 음성 안내 서비스를 제공할 수 있으며, 이를 위해, 인공지능 기술이 적용되어 음성 인식을 기반으로 한 대화를 통해 시각장애인에게 필요한 정보를 제공하거나 안내할 수 있다.

도 5를 참조하여 안면 인식 정보를 등록하고, 확인하는 과정을 정리하여 설명하면, ① CCD 카메라부(150)로부터 영상을 획득하여 저장하는 영상 획득 단계, ② 획득된 영상의 노이즈를 제거한 후 영상 처리 및 분할을 수행하는 전처리 단계, ③ 전처리 과정이 수행된 영상으로부터 얼굴영역을 검출하는 얼굴 검출 단계, ④ 얼굴 영역 내 특징 추출, 밝기 및 기하학적 표준화 과정을 수행하는 얼굴 표준화 단계, 및 ⑤ 검출된 영상과 데이터베이스 영상 간 비교를 통해 얼굴을 인식하는 얼굴 인식 단계로 이루어질 수 있다.

도 6을 참조하여 열화상 감지 및 안면 인식 프로세스를 설명하면, 우선 열화상 카메라부(130)가 얼굴의 온도를 체크하여 기준체온 이상인 경우(대략 1도 이상 초과하는 경우) 'Fever'로 판단하되, 그렇지 않은 경우 'No Fever'로 판단할 수 있으며, 'Fever'인경우 AI 안면인식 알고리즘으로 안면을 스캔하고, 안면 특징 수집 및 분석이 이루어지며, 미리 저장되어 있는 데이터와 안면의 특징을 비교하고, 그 식별 결과를 도출하여 일치하는 정보가 있는 경우, 긴급알람메시지를 전달함으로써, 전염확산방지조치를 시행할 수 있다.

상기 클라우드 서버부(200)는, 디지털 사이니지 장치부(100)로 공공미디어 데이터 및 광고 데이터를 제공하고, 디지털 사이니지 장치부(100)로부터 안면인식 결과데이터를 수신하고, 안면인식 결과데이터(발열 대상자의 기본적인 개인 정보)에 기초하여 미리 구축되어 있는 사용자 데이터베이스로부터 해당 대상자의 보호자 또는 관리자 연락처정보를 추출하고, 해당 보호자 또는 관리자에게 긴급알림메시지를 전송할 수 있다.

이를 위해 클라우드 서버부(200)는 도 3에 도시된 바와 같이, 컨텐츠 데이터베이스부(210), 연락처 데이터베이스부(220), 컨텐츠 관리부(230), 연락처 관리부(240), 긴급알림서비스 제공부(250) 및 서버 통신부(260) 중 적어도 하나를 포함할 수 있다.

상기 컨텐츠 데이터베이스부(210)는, 공공미디어 데이터 및 광고 데이터가 저장되어, 미리 설정된 스케줄에 따른 공공정보를 포함하는 공공미디어 데이터 또는 광고 데이터를 추출하여 서버 통신부(260)를 통해 디지털 사이니지 장치부(100)로 제공할 수 있다.

상기 연락처 데이터베이스부(220)는, 보호자 또는 관리자 연락처정보가 저장될 수 있으며, 디지털 사이니지 장치부(100)로부터 수신되는 안면인식 결과데이터에 따른 정보를 제공할 수 있다.

상기 컨텐츠 관리부(230)는, 미리 설정된 스케줄이나 수동 명령 신호의 입력에 따라 컨텐츠 데이터베이스부(210)에 저장된 공공미디어 데이터 및 광고 데이터 중 적어도 하나를 추출하여 서버 통신부(260)를 통해 디지털 사이니지 장치부(100)로 제공하여 디지털 사이니지 장치부(100)를 통해 다양한 정보를 제공할 수 있다.

상기 연락처 관리부(240)는, 디지털 사이니지 장치부(100)로부터 수신되는 안면인식 결과데이터(발열 대상자의 기본적인 개인정보)에 따른 보호자 또는 관리자의 연락처 정보를 연락처 데이터베이스부(220)로부터 추출할 수 있다.

상기 긴급알림서비스 제공부(250)는, 연락처 관리부(240)를 통해 추출된 연락처정보에 기초하여 해당 연락처의 보호자 또는 관리자에게 긴급알림메시지를 생성할 수 있다.

상기 서버 통신부(260)는 디지털 사이니지 장치부(100)와의 통신하여 필요한 데이터와 다양한 정보를 주고 받을 수 있으며, TCP/IP(transmission control protocol/internet protocol)을 이용한 통신 방식이 적용될 수 있으나, 본 실시예에서는 이와 같은 통신 방식을 한정하는 것은 아니며, 다양한 통신 방식이 적용될 수 있다. 예를 들어, 네트워크를 통해 디지털 사이니지 장치부(100)와 연결될 수 있으며, 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

본 실시예에 따른 인공지능 디지털 사이니지 시스템(1000)은 상기한 기능뿐만 아니라 AI 안면인식 알고리즘 적용으로 성별, 나이, 위치 등의 추정은 물론 데이터베이스와 연계하여 각종 데이터를 실시간으로 모니터링하고 동기화함으로써, 안면 인식된 사용자에 대한 다양한 데이터 수집과 분석이 가능하다.

이상에서 설명한 것은 본 발명에 의한 인공지능 디지털 사이니지 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

1000: 인공지능 디지털 사이니지 시스템
100: 디지털 사이니지 장치부
110: 멀티 디스플레이부
120: 폴딩 장치부
130: 열화상 카메라부
140: 발열 감지부
150: CCD 카메라부
160: 안면 인식부
161: 데이터 입력부
162: 얼굴 검출부
163: 얼굴인식 처리부
170: 장치 통신부
180: 알림 서비스부
190: 음성 안내 서비스부
200: 클라우드 서버부
210: 컨텐츠 데이터베이스부
220: 연락처 데이터베이스부
230: 컨텐츠 관리부
240: 연락처 관리부
250: 긴급알림서비스 제공부
260: 서버 통신부

Claims

적어도 두 개의 디스플레이가 폴딩 가능하게 구성되고, 열화상 카메라를 통해 사용자의 체온을 측정하고, 측정체온이 미리 설정된 기준체온을 초과하면, 카메라를 통해 해당 사용자의 얼굴을 촬영하고, 촬영 영상 내 사용자의 안면을 인식하여 안면인식 결과데이터를 외부로 전송하는 디지털 사이니지 장치부; 및
상기 디지털 사이니지 장치부로 공공미디어 데이터 및 광고 데이터를 제공하고, 상기 디지털 사이니지 장치부로부터 안면인식 결과데이터를 수신하고, 상기 안면인식 결과데이터에 기초하여 데이터베이스로부터 보호자 또는 관리자 연락처정보를 추출하고, 해당 보호자 또는 관리자에게 긴급알림메시지를 전송하는 클라우드 서버부를 포함하고,
상기 디지털 사이니지 장치부는,
적어도 두 개의 멀티 디스플레이부;
상기 멀티 디스플레이부의 각 디스플레이 간을 연결하고, 상기 멀티 디스플레이부가 적어도 하나의 각도로 폴딩 및 언폴딩되도록 동작하는 폴딩 장치부;
사용자로부터 방출되는 열복사를 감지하여 시각화하는 열화상 카메라부;
상기 열화상 카메라를 통해 측정된 사용자의 측정체온과 미리 설정된 기준체온을 비교하여 측정체온이 기준체온을 초과하는 경우 열화상에서 발열 대상의 사용자를 특정한 발열대상 특정데이터 및 발열감지신호를 출력하는 발열 감지부;
상기 열화상 카메라부와 동일 영역을 동시 촬영하는 CCD 카메라부;
상기 발열 감지부로부터 상기 발열대상 특정데이터와 상기 발열감지신호를 수신하고, 상기 CCD 카메라부를 통해 촬영된 영상데이터를 수신하고, 상기 발열대상 특정데이터에 기초하여 상기 영상데이터 내 해당 사용자를 추출하고, 추출된 사용자 영상 내 사용자의 안면을 인공지능 알고리즘을 통해 인식하여 안면인식 결과데이터를 출력하는 안면 인식부; 및
상기 안면 인식부를 통해 출력된 안면인식 결과데이터를 상기 클라우드 서버부로 전송하는 장치 통신부를 포함하고,
상기 멀티 디스플레이부는,
상기 안면 인식부와 연결되고, 상기 영상데이터로부터 추출된 사용자 영상 부분을 캡쳐하고, 캡쳐 영상을 확대하여 경고 그래픽과 함께 화면 상에 플로팅되도록 출력하되, 캡쳐 영상이 미리 설정된 시간 이내에 미리 설정된 개수 이상이 생성되는 경우, 각 캡쳐 영상을 나열하는 방식으로 출력하고, 해당 캡쳐 영상이 선택되면, 선택된 캡쳐 영상에 해당하는 발열 대상자의 보호자에게 알림 메시지를 작성할 수 있는 알림 메시지 작성 인터페이스를 제공하며, 제공되는 알림 메시지 작성 인터페이스를 통해 작성된 알림 메시지를 해당 발열 대상자의 보호자 또는 관리자에게 전송하는 것을 특징으로 하는 인공지능 디지털 사이니지 시스템.
삭제
제1 항에 있어서,
상기 디지털 사이니지 장치부는,
상기 발열 감지부로부터 발열감지신호를 수신하면 미리 저장된 알림 음향 데이터를 스피커로 전달하여 외부로 출력되도록 하고, 상기 발열 감지부로부터 발열감지신호를 수신하면 미리 저장된 알림 영상 데이터를 상기 멀티 디스플레이부로 전달하여 외부로 출력되도록 하는 알림 서비스부를 더 포함하는 것을 특징으로 하는 인공지능 디지털 사이니지 시스템.
제1 항에 있어서,
상기 디지털 사이니지 장치부는,
스피커를 통해 시각장애인을 위한 음성 안내 서비스를 제공하는 음성 안내 서비스부를 더 포함하는 것을 특징으로 하는 인공지능 디지털 사이니지 시스템.
제1 항에 있어서,
상기 안면 인식부는,
상기 발열 감지부로부터 상기 발열대상 특정데이터와 상기 발열감지신호를 수신하고, 상기 CCD 카메라부를 통해 촬영된 영상데이터를 입력 받는 데이터 입력부;
상기 발열대상 특정데이터에 기초하여 상기 영상데이터 내 해당 사용자의 얼굴 영역을 분할 및 검출하고, 검출된 얼굴 영역에서 눈 영역을 검출하는 얼굴 검출부; 및
상기 얼굴 검출부를 통해 검출된 눈 영역에 대한 특징을 추출하고, 추출된 특징에 기초하여 템플릿을 생성하고, 생성된 템플릿을 얼굴 데이터베이스에 미리 저장된 템플릿과 비교하여 일치하는 템플릿을 검출하고, 일치하는 템플릿과 매칭된 사용자 정보를 추출하여 안면인식 결과데이터로서 출력하는 얼굴인식 처리부를 포함하는 것을 특징으로 하는 인공지능 디지털 사이니지 시스템.
제1 항에 있어서,
상기 클라우드 서버부는,
공공미디어 데이터 및 광고 데이터가 저장된 컨텐츠 데이터베이스부;
보호자 또는 관리자 연락처정보가 저장된 연락처 데이터베이스부;
미리 설정된 스케줄이나 수동 명령 신호의 입력에 따라 상기 컨텐츠 데이터베이스부에 저장된 공공미디어 데이터 및 광고 데이터 중 적어도 하나를 추출하여 제공하는 컨텐츠 관리부;
상기 디지털 사이니지 장치부로부터 수신되는 안면인식 결과데이터에 기초하여 상기 연락처 데이터베이스부에 저장된 연락처정보를 추출하여 제공하는 연락처 관리부;
상기 연락처 관리부를 통해 추출된 연락처정보에 기초하여 해당 연락처의 보호자 또는 관리자에게 긴급알림메시지를 생성하는 긴급알림서비스 제공부; 및
상기 디지털 사이니지 장치부와의 통신을 위한 서버 통신부를 포함하는 것을 특징으로 하는 인공지능 디지털 사이니지 시스템.
삭제