KR20180083784A

KR20180083784A - 식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법

Info

Publication number: KR20180083784A
Application number: KR1020170122602A
Authority: KR
Inventors: 안순현
Original assignee: 렉스젠(주); 안순현
Priority date: 2017-09-22
Filing date: 2017-09-22
Publication date: 2018-07-23

Abstract

본 발명은 식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 식탁 영역을 촬영한 영상을 획득하는 영상 획득부와, 상기 영상을 분석하여 상기 식탁 영역 내 사용자에 대한 동작 정보와 식탁에 구비된 사물에 대한 사물 정보 중 적어도 하나를 추출하는 영상 처리부와, 상기 추출한 동작 정보와 상기 사물 정보 중 적어도 하나를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성하는 정보 생성부, 및 상기 생성한 주문 정보 또는 요구 정보를 제공하는 제어부를 포함하는 영상 처리를 이용한 정보 제공 장치를 제공한다.
본 발명에 의하면, 식탁 영역의 영상으로부터 추출한 사용자의 동작 정보와 사물 정보를 기초로 사용자의 주문 및 요구 사항을 빠르게 관리자에게 제공함에 따라, 종업원이 일일이 식탁으로 가지 않고도 고객의 주문이나 요구 사항 등을 빠르고 정확하게 직관적으로 인식하고 처리할 수 있는 효과가 있다.

Description

식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법{APPARATUS FOR PROVIDING INFORMATION USING IMAGE PROCESSING OF TABLE REGION AND METHOD THEREOF}

본 발명은 식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 식탁(Table) 영역의 영상으로부터 추출한 사용자의 동작 정보와 사물 정보를 기초로 사용자의 주문 및 요구 사항을 관리자에게 빠르게 제공할 수 있는 식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법에 관한 것이다.

최근 사회 구조적인 변화로 인하여 사람들이 외식을 즐기는 빈도가 날로 증가하는 추세에 있다.

다양한 요리들이 개발되면서 요리를 만드는 식당들이 대형화되고 있고, 요리사들의 텔레비전 출연이 증가하면서 유명해지는 식당이 지속적으로 늘고 있다.

일반적으로 식당에서는 고객이 착석하면 종업원이 주문을 받고, 소정 시간 이후 주문한 음식을 제공한다. 식당의 종업원들은 음식을 제공한 이후에도, 고객으로부터 주문, 요구 사항들을 빈번하게 요청받고, 그에 따른 서비스를 제공한다.

이를 위해, 종업원들은 식탁(Table)에서 고객의 호출(소리, 손짓, 벨 등)을 받으면, 해당 식탁으로 이동하여 고객의 주문이나 요구 사항을 듣고, 고객의 주문이나 요구 사항에 따른 서비스를 실행한다.

규모가 작은 식당의 경우에, 고객의 주문이나 요구 사항을 종업원이 수월하게 처리할 수 있으나, 혼잡한 시간이나 규모가 큰 식당, 유명한 식당의 경우에는 종업원들이 고객의 주문이나 요구 사항에 일일이 대응하기가 사실상 불가능하다.

이러한, 문제점을 해결하기 위하여 사람이 직접 주문 받는 것이 아니라 전자 기기를 이용하여 주문할 수 있는 다양한 종래 기술들이 개시되어 있다.

특히, 전자 기기를 통해 메뉴를 제공하고, 해당 메뉴를 터치펜(Touch Pen)이나 손가락을 접촉(Touch)하여 주문을 할 수 있는 기술은 이미 몇몇 식당 등에서 상용화되어 있다.

하지만, 종래 전자 기기를 통해 고객의 주문을 받는 기술은 고가의 터치 패널을 식당 테이블 전체에 설치해야 하거나, 메뉴 제공을 위해 고가의 전자 기기를 구비하여야만 하였다. 더욱이, 잦은 터치 오류로 인하여 주문을 제대로 할 수 없는 경우가 자주 발생하였다.

또한, 종래에는 식탁 내 음식, 식기류, 고객 수 등의 정보 등을 전혀 파악할 수 없어 종업원들이 능동적인 서비스를 제공하기가 사실상 불가능하였다.

따라서, 이를 개선하여 더욱 효과적으로 고객의 주문을 접수하여 서비스할 수 있는 새로운 시스템이 절실히 필요하다.

본 발명의 배경이 되는 기술은 한국공개특허 제2014-0125612호(2014.10.29. 공개)에 개시되어 있다.

본 발명은 식탁(Table) 영역의 영상으로부터 추출한 사용자의 동작 정보와 사물 정보를 기초로 사용자의 주문 및 요구 사항을 빠르게 관리자에게 제공할 수 있는 식탁 영역의 영상 처리를 이용한 정보 제공 장치 및 그 방법을 제공하는데 목적이 있다.

본 발명은 식탁 영역을 촬영한 영상을 획득하는 영상 획득부와, 상기 영상을 분석하여 상기 식탁 영역 내 사용자에 대한 동작 정보를 추출하는 영상 처리부와, 상기 추출한 동작 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성하는 정보 생성부, 및 상기 생성한 주문 정보 또는 요구 정보를 제공하는 제어부를 포함하며, 상기 동작 정보는, 상기 식탁 위 소정 사물을 지시하는 동작, 소정 위치에서 소정 시간 멈추는 동작, 소정 행위를 반복하는 동작, 기 등록된 행위에 매칭되는 동작 중 적어도 하나를 포함하는 영상 처리를 이용한 정보 제공 장치를 제공한다.

또한, 상기 정보 제공 장치는, 상기 영상 내 사용자의 신체 영역의 일부 또는 전체를 검출하여 마스킹(Masking) 처리하는 마스킹 처리부를 더 포함할 수 있다.

또한, 상기 정보 제공 장치는, 상기 주문 정보 또는 상기 요구 정보, 상기 식탁 영역의 영상, 상기 마스킹 처리한 영상 및 상기 동작 정보 중 적어도 하나를 저장하는 저장부를 더 포함할 수 있다.

또한, 상기 제어부는, 상기 마스킹 처리한 영상, 상기 주문 정보 및 상기 요구 정보 중 적어도 하나를 소정 출력 수단을 통해 출력할 수 있다.

또한, 상기 영상 처리부는, 상기 식탁 내 사물이 기 설정된 수만큼 배치된 기준 시점의 영상으로부터 기준 정보를 획득하고, 상기 기준 정보를 기초로 현재 시점의 영상을 비교하여 상기 사물에 대한 사물 정보를 추출할 수 있다.

또한, 상기 기준 정보는, 상기 기준 시점의 영상, 상기 기준 시점의 영상에서 추출한 사물 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 정보 생성부는, 상기 사물 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성할 수 있다.

또한, 상기 제어부는, 상기 식탁 영역에 대한 상기 주문 정보 또는 상기 요구 정보를 소정 통신 수단을 통해 무선으로 종업원 단말기로 제공할 수 있다.

또한, 상기 제어부는, 소정 시간 동안 상기 사용자를 검출하지 못하면, 상기 식탁이 비어있음을 알리는 소정 알림을 제공할 수 있다.

또한, 상기 정보 제공 장치는, 상기 주문 정보 및 상기 요구 정보에 대응하는 피드백(Feedback) 정보를 상기 종업원 단말기로부터 수신하여 사용자에게 알리는 알림 수단을 더 포함할 수 있다.

또한, 상기 영상 처리부는, 상기 영상 내 사물의 위치를 분석하고, 상기 사물 각각에 담긴 음식이나 음료에 대한 양, 상기 사물의 종류, 모양, 색상 중 적어도 하나의 특징을 추출하며, 상기 제어부는, 상기 영상과 상기 사물의 특징을 제공할 수 있다.

그리고, 본 발명은, 영상 처리를 이용한 정보 제공 장치의 정보 제공 방법에 있어서, 식탁 영역을 촬영한 영상을 획득하는 단계와, 상기 영상을 분석하여 상기 식탁 영역 내 사용자에 대한 동작 정보를 추출하는 단계와, 상기 추출한 동작 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성하는 단계, 및 상기 생성한 주문 정보 또는 요구 정보를 제공하는 단계를 포함하며, 상기 동작 정보는, 상기 식탁 위 소정 사물을 지시하는 동작, 소정 위치에서 소정 시간 멈추는 동작, 소정 행위를 반복하는 동작, 기 등록된 행위에 매칭되는 동작 중 적어도 하나를 포함하는 영상 처리를 이용한 정보 제공 방법을 제공한다.

또한, 상기 정보 제공 방법은, 상기 영상 내 사용자의 신체 영역의 일부 또는 전체를 검출하여 마스킹(Masking) 처리하는 단계를 더 포함할 수 있다.

또한, 상기 정보 제공 방법은, 상기 주문 정보 또는 상기 요구 정보, 상기 식탁 영역의 영상, 상기 마스킹 처리한 영상 및 상기 동작 정보 중 적어도 하나를 저장하는 단계를 더 포함할 수 있다.

또한, 상기 제공하는 단계는, 상기 마스킹 처리한 영상, 상기 주문 정보 및 상기 요구 정보 중 적어도 하나를 소정 출력 수단을 통해 출력할 수 있다.

또한, 상기 추출하는 단계는, 상기 식탁 내 사물이 기 설정된 수만큼 배치된 기준 시점의 영상으로부터 기준 정보를 획득하고, 상기 기준 정보를 기초로 현재 시점의 영상을 비교하여 상기 사물에 대한 사물 정보를 추출할 수 있다.

또한, 상기 생성하는 단계는, 상기 사물 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성할 수 있다.

또한, 상기 제공하는 단계는, 상기 식탁 영역에 대한 상기 주문 정보 또는 상기 요구 정보를 소정 통신 수단을 통해 무선으로 종업원 단말기로 제공할 수 있다.

또한, 상기 제공하는 단계는, 소정 시간 동안 상기 사용자를 검출하지 못하면, 상기 식탁이 비어있음을 알리는 소정 알림을 제공할 수 있다.

또한, 상기 정보 제공 방법은, 상기 주문 정보 및 상기 요구 정보에 대응하는 피드백(Feedback) 정보를 상기 종업원 단말기로부터 수신하여 사용자에게 알리는 단계를 더 포함할 수 있다.

또한, 상기 추출하는 단계는, 상기 영상 내 사물의 위치를 분석하고, 상기 사물 각각에 담긴 음식이나 음료에 대한 양, 상기 사물의 종류, 모양, 색상 중 적어도 하나의 특징을 추출하며, 상기 제공하는 단계는, 상기 영상과 상기 사물의 특징을 제공할 수 있다.

본 발명에 따르면, 식탁 영역의 영상으로부터 추출한 사용자의 동작 정보와 사물 정보를 기초로 사용자의 주문 및 요구 사항을 빠르게 관리자에게 제공함에 따라, 종업원이 일일이 식탁으로 가지 않고도 고객의 주문이나 요구 사항 등을 빠르고 정확하게 직관적으로 인식하고 처리할 수 있는 효과가 있다.

또한, 식탁 영상에 대한 실시간 모니터링을 통하여 고객의 주문이나 요구가 있기 전에 미리 관리자 또는 종업원이 자발적/능동적으로 고객에게 다양한 서비스를 제공할 수 있도록 하는 효과가 있다.

더욱이, 관리자 등에게 식탁 영상 내 사용자 신체 일부 또는 전부를 마스킹 처리하여 제공함으로써, 고객의 프라이버시를 효과적으로 보호할 수 있다.

도 1은 본 발명의 실시 예에 따른 정보 제공 장치가 적용된 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 정보 제공 장치를 상세히 도시한 도면이다.
도 3은 도 2의 정보 제공 장치를 이용한 정보 제공 방법을 설명하기 위한 도면이다.
도 4는 도 2의 정보 제공 장치가 제공하는 정보를 설명하기 위한 도면이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 정보 제공 장치가 적용된 시스템을 설명하기 위한 도면이다.

도 1에 나타낸 바와 같이, 본 발명의 실시 예에 따른 시스템은 촬영 장치(100), 정보 제공 장치(200) 및 종업원 단말기(300)를 포함한다.

촬영 장치(100)는 식탁의 위쪽(예를 들어, 천정 등)에 설치되어 영상을 촬영할 수 있는 카메라를 포함하며, 적어도 하나의 식탁 영역을 촬영하여 영상을 획득한다. 여기서, 식탁 영역이란, 식탁을 기준으로 소정 반경을 갖는 영역으로 정의할 수 있으며, 관리자에 의해 영역의 크기가 설정될 수 있다.

이때, 식탁 영역의 영상(이하, '식탁 영상'이라고도 함)은 "식탁"과, 식탁에 배치된 음식, 음료, 식기, 숟가락 등의 "사물", 그리고 "사용자"(고객)를 포함한 영상을 의미할 수 있다.

한편, 촬영 장치(100)는 조명의 간섭이나 주변 환경 등을 고려하여 식탁의 좌우 측면이나 모서리 등에 설치할 수도 있으며, 식탁별 영상을 구분하기 위해 고유 식별 번호를 할당할 수 있다.

정보 제공 장치(200)는 촬영 장치를 통해 획득한 영상을 영상 처리하여 식탁 영역 내 사용자의 동작 정보 및 식탁에 구비된 사물들에 대한 사물 정보를 추출하고, 추출한 동작 정보 및 사물 정보를 기초로 식탁 영역에 대응하는 주문 정보 및 요구 정보를 생성하여 제공한다.

예를 들어, 정보 제공 장치(200)는 사용자의 동작 정보를 추출하고, 추출한 동작 정보를 기초로 해당 동작 정보에 대응하는 사용자의 주문 정보 또는 요구 정보를 생성하여 관리자 또는 종업원에게 제공할 수 있다. 또한, 식탁 위의 사물 정보를 추출하여, 추출한 사물 정보를 기초로 사용자의 주문 정보 또는 요구 정보를 생성하여 제공할 수 있다.

여기서, 주문 정보는 음식, 음료, 식기 중 적어도 하나를 주문하기 위한 주문 정보(예를 들어, 음식, 음료수, 반찬, 숟가락 등을 주문하기 위한 정보)이고, 요구 정보는 관리자의 도움을 요청하는 요구 정보(예를 들어, 고기를 자르거나 식기를 치워달라는 등을 요구하기 위한 정보)를 포함한다. 이때, 주문 정보는 해당 음식, 음료, 식기에 대응하여 추출한 추출 영상을 포함할 수 있다.

정보 제공 장치(200)는 해당 주문 정보와 요구 정보를 소정 출력 수단을 통해 관리자에게 디스플레이(Display)할 수 있다. 물론, 정보 제공 장치(200)는 해당 주문 정보와 요구 정보를 소정 통신 수단을 통해 무선으로 종업원 단말기(300)로 제공할 수도 있다.

또한, 정보 제공 장치(200)는 주문 정보 및 요구 정보에 대응하는 피드백(Feedback) 정보를 관리자 또는 종업원 단말기(300)로부터 수신하여 사용자에게 제공할 수 있다.

이를 위해, 정보 제공 장치(200)는 각 식탁에 알림 수단(생략)을 구비하며, 각 알림 수단(생략)은 피드백 정보(주문 또는 요구 내역, 수신 확인, 안내 멘트 등)를 종업원 단말기(300)로부터 수신하고, 수신한 피드백 정보를 시각(빛 등), 청각(소리 등), 문자 중 적어도 하나의 형식으로 사용자에게 제공할 수 있다.종업원 단말기(300)는 무선으로 정보 제공 장치(200)와 통신하며, 정보 제공 장치(200)로부터 수신한 주문 정보 및 요구 정보를 종업원에게 제공한다. 이때, 종업원 단말기(300)는 해당 정보를 시각, 청각 및 문자 등의 형식으로 출력할 수 있다.

이러한, 종업원 단말기(300)는 태플릿(Tablet), 탭(Tab), 스마트 기기(Smart Device) 등과 같이, 무선으로 소정 정보(식탁 영역의 영상, 주문 정보, 요구 정보 등)를 수신하여 제공할 수 있는 다양한 기기를 포함한다.

도 2는 본 발명의 실시 예에 따른 정보 제공 장치를 상세히 도시한 도면이다.

도 2를 참조하면, 본 발명에 따른 정보 제공 장치(200)는 영상 획득부(210), 영상 처리부(220), 정보 생성부(230), 마스킹 처리부(240), 제어부(250) 및 저장부(260)를 포함한다.

영상 획득부(210)는 촬영 장치(100)로부터 영상을 수신하여 영상 처리부(220)로 제공한다.

한편, 본 발명의 실시 예에서는, 별도 촬영 장치(100)를 구성하여 영상 획득부(210)가 영상을 수신하도록 구현하였지만, 영상 획득부(210)가 직접 식탁 영역의 영상을 획득할 수 있도록 촬영 장치(100)를 포함할 수 있다.

영상 처리부(220)는 영상 획득부(210)로부터 수신한 영상을 분석하고, 해당 영상에서 사용자의 동작 정보를 추출한다. 여기서, 동작 정보는 사용자의 신체 부위(ex, 손)가 식탁 내 소정 사물(식기, 숟가락 등)을 지시하는 동작, 신체 부위가 소정 위치에서 소정 시간 멈추는 동작, 신체 부위가 소정 행위를 반복하는 동작, 그 밖의 기 등록된 행위에 매칭되는 동작 등을 포함할 수 있다.

여기서 기 등록된 행위란, 소정 사물을 지시하는 행위, 소정 위치에서 소정 시간 멈추는 행위, 반복적인 행위, 그 밖의 나열하지 않은 다양한 행위 등에 대한 행동 패턴을 포괄하는 의미를 가질 수 있다.

또한, 이러한 행동 패턴들은 사전에 등록되고 약속된 것에 해당할 수 있는데 매우 다양한 예제가 존재할 수 있고 각각의 행동 패턴은 소정의 주문 또는 요구 사항을 의미할 수 있다.

이처럼, 동작 정보는 사용자가 제스처(행위)에 의해 가능한 주문 또는 요구 사항에 대응하여 미리 약속된 동작들에 해당될 수 있다. 물론 이를 위해 주문이나 요구 사항 별로 그에 대응하는 행위(행위 패턴)에 대한 예제 설명을 이미지, 텍스트, 소리 중 적어도 하나로 표현한 매뉴얼(책자, 기기 등)을 식탁 주변에 비치하여 사용자에게 제공할 수도 있다.영상 처리부(220)는 사용자의 동작 외에도, 식기(그릇, 잔, 병 등)의 특징, 식기 및 숟가락(또는 젓가락, 포크, 칼 등)의 위치, 숟가락(젓가락, 포크, 칼 등) 유무 등의 사물 정보를 추출할 수 있다. 여기서, 식기의 특징은, 식기에 담긴 음식이나 음료에 대한 양, 식기의 종류, 식기의 모양(사각 또는 원형), 식기에 새겨진 문장, 식기의 색상 등의 상태를 포함할 수 있다.

또한, 영상 처리부(220)는 영상 처리를 통해 식탁에 구비된 식기들 각각에 포함된 음식양 또는 음료량을 추정하고, 추정한 수치 정보를 사물 정보에 포함하여 제어부(250)로 제공할 수 있다. 또한, 영상 처리부(220)는 영상 내 사람과 사물의 위치를 분석하고, 분석한 위치 정보를 제어부(250)로 전달할 수 있다.

이러한, 영상 처리부(220)는 식탁 내 사물(식기, 숟가락 등)이 설정된 수만큼 배치된 기준 시점(셋팅 시점)의 영상으로부터 사물에 대한 기준 정보를 획득하고, 획득한 기준 정보를 기초로 셋팅 시점 이후의 현재 시점의 영상을 비교하여 현재 시점의 영상에 대한 사물 정보를 추출한다. 이때, 기준 정보는 셋팅 시점의 영상, 셋팅 시점의 영상에서 추출한 사물 정보 등을 포함하며, 영상 처리부(220)는 해당 기준 정보를 정보 생성부(230) 및 저장부(260)로 제공한다. 여기서, 기준 정보는 관리자에 의해 설정될 수도 있다.

이와 같이, 과거의 기준 시점의 영상을 기준으로 현재 시점의 영상을 비교하면 과거로부터 변경된 사물 정보(사물의 개수, 종류, 위치, 사물에 담긴 음식/음료의 양 등의 변화(특징 변화))도 추출할 수 있다. 따라서, 이처럼 기준 정보를 사용하여 획득한 현재 영상의 사물 정보는 현재 시점에서 단순 포착된 사물 정보(사물의 개수, 종류, 위치, 음식/음료의 양)뿐만 아니라, 과거의 기준 시점과 대비하여 변경된 사물 정보(특징의 변화, 변화량, 변위 등)를 포함하는 개념을 의미할 수 있다.한편, 영상 처리부(220)는 딥러닝(Deep-learning)을 통해, 촬영된 영상의 객체(사람, 사물 등)를 학습하고, 학습한 정보와 현재 영상을 비교하여 동작 정보와 사물 정보를 추출할 수 있다. 또한, 영상 처리부(220)는 시간 흐름에 따라 획득되는 복수의 영상 프레임들을 이용하여 사용자의 동작 정보나 사물 정보를 실시간 검출하고 시간에 따른 변화를 추적할 수 있다. 물론 기 공지된 학습 기반의 분류기(classifier) 기술, 동작 인식 또는 분류 기술 등을 사용하면 주문 또는 요구 사항과 관련성 높은 의미 있는 동작 정보(약속된 동작 정보)를 용이하게 추출할 수 있다.이러한, 기준 영상을 이용하거나 딥러닝을 통해 동작 정보 및 사물 정보를 추출하는 기술, 영상으로부터 동작을 검출하거나 분류하는 기술 등은 기존에 공지된 기술들에 해당하므로, 이에 관한 보다 상세한 설명은 생략하기로 한다.

그 밖에도, 영상 처리부(220)는 소정 시간 동안 사용자를 검출하지 못하면, 식탁에 사용자가 없음을 제어부(250)로 알릴 수 있다.

정보 생성부(230)는 영상 처리부(220)로부터 추출된 동작 정보와 사물 정보를 저장 및 분석하고, 동작 정보와 사물 정보 중 적어도 하나에 대응하는 주문 정보 및 요구 정보를 생성하여 제어부(250)로 제공한다.

정보 생성부(230)는 영상 처리부(220)로부터 추출된 동작 정보 또는 사물 정보와 매칭되는 주문 정보 또는 요구 정보를, 기 저장된 정보 테이블로부터 검색(추출)하는 방식을 통해 해당 정보를 생성할 수도 있다. 정보 테이블은 각각의 동작 정보와 매칭되는 주문 정보 혹은 요구 정보, 그리고 각각의 사물 정보와 매칭되는 주문 정보 또는 요구 정보를 포함할 수 있다.

예를 들어, 식탁 위의 기 약속된 위치 상에 손가락 한 개를 펼친 상태를 설정 시간 유지한 동작이 검출된 경우, 정보 테이블로부터 해당 동작(손가락 한 개 펼침)에 대응하는 주문 정보인 "사이다 주문"을 검색하여 제공하고, 손가락 두 개를 동시에 펼친 상태를 설정 시간 유지한 동작이 검출된 경우 그에 대응하는 주문 정보인 "콜라 주문"을 검색하여 제어부(250)로 제공할 수 있다.

그 밖에도, 사물 정보의 추출 결과로부터 컵 내부 음료의 양이 기준 시점보다 절반 이하로 감소한 경우에 정보 테이블로부터 그에 대응하는 "음료 추가"의 주문 정보를 검색하여 제공할 수 있다.

마스킹 처리부(240)는 영상 획득부(210)로부터 수신한 식탁 영상에, 사용자의 신체 영역의 일부 또는 전부에 대하여 마스킹(Masking) 처리한 마스킹 영상을 저장부(260)에 저장한다. 이때, 마스킹 처리부(240)는 사용자의 사생활을 보호하기 위해 손 또는 팔 등의 동작 정보를 인식할 수 있는 부분을 제외한 모든 신체 영역에 대해 마스킹 처리를 할 수 있다.

제어부(250)는 정보 생성부(230)에 의해 생성된 주문 정보 및 요구 정보를 수신하고, 출력 수단(생략)을 통해 기 저장된 식탁 식별자(Table ID)에 매칭하여 해당 정보를 출력한다. 이때, 제어부(250)는 식당 내 식탁들의 배치에 대한 식탁 식별자를 기 저장하고 있으며, 식별자는 각 식탁 마다 할당된 고유 아이디(ID; Identification)를 포함한다.

여기서, 제어부(250)는 출력 수단(생략)을 통해 식탁별 주문 정보 및 요구 정보를 디스플레이(Display)하며, 해당 마스킹 영상을 함께 제공할 수 있다. 물론, 제어부(250)는 관리자가 원본을 요청하는 경우, 원본 영상 대신 마스킹 처리된 영상을 제공할 수도 있다.

또한, 제어부(250)는 식탁별 영상을 소정 출력 수단(생략) 또는 종업원 단말기(300)로 제공할 수 있으며, 관리자 또는 종업원의 이해를 돕기 위해 식탁별 영상에 주문 정보 및 요구 정보를 표시할 수 있다. 이때, 식탁의 식기 위치를 기초로 식기들 각각에 담긴 음식이나 음료에 대한 양, 종류, 모양, 색상 등도 함께 표시할 수 있다.

또한, 기준 정보를 기초로 시간 변화에 따라 변화하는 해당 음식량 및 음료량도 함께 표시할 수 있으며, 시간에 따른 변화를 기초로 식사 시작 시간 및 식사 종료 시간, 식사 경과 시간 등을 추정할 수 있다.

이에 따라, 제어부(250)는 음식(식기)별 호감도, 평균 섭취 시간은 물론, 사용자가 기 등록되어 있다고 가정하면, 사용자 별 음식/음료 취향 등의 통계도 산출하여 제공할 수 있다.

또한, 식탁 내 식기들 중 빈 그릇에 대한 정보를 제공하여 종업원 또는 관리자가 능동적으로 반찬을 제공하도록 할 수 있다.

한편, 제어부(250)는 시각(빛 등), 청각(소리 등), 문자 중 적어도 하나의 형식으로 출력할 수 있는 출력 수단(생략)을 통해 식탁별 주문 정보 및 요구 정보를 관리자에 제공하며, 통신 수단(생략)을 통해 해당 정보를 종업원 단말기(300)로 제공할 수 있다.

이때, 제어부(250)는 식탁 별로 기 배정된 종업원 단말기(300)에 대한 배정 정보를 기초로 해당 정보를 종업원 단말기(300)에 제공할 수 있다.

또한, 제어부(250)는 입력 수단(생략)을 통해 관리자로부터 입력되는 정보를 기초로 촬영 장치(100)가 촬영할 영역을 설정할 수 있다.

또한, 제어부(250)는 식사 종료 시점으로부터 설정된 시간 이내 영상 처리부(220)로부터 사용자 없음을 수신하는 경우에, 해당 식탁에 대한 비용 계산을 위해 관리자에게 해당 정보(사용자 없음)를 알릴 수 있다.

저장부(260)는 마스킹 영상과 주문 정보 및 요구 정보를 저장하며, 선택적으로 원본 식탁 영상을 보안 처리(암호 등)하여 함께 저장할 수 있다. 또한, 저장부(260)는 식탁 영상, 마스킹 처리 영상, 사물 정보, 동작 정보, 주문 정보, 요구 정보 중 선택된 적어도 두 개의 정보를 상호 매칭하여 저장할 수 있다.또한, 저장부(260)는 영상 처리부(220)로부터 기준 정보를 수신하여 저장한다.

이러한, 본 발명에 따른 영상 처리를 이용한 정보 제공 장치는 식탁별로 영상을 획득하고, 식탁 영상 내 사용자(고객)의 동작 정보와 사물 정보를 기초로 주문 정보와 요구 정보를 관리자에게 제공함으로써, 종업원이 일일이 식탁으로 가지 않고도 고객의 주문이나 요구 사항 등을 빠르고 정확하게 처리할 수 있는 장점이 있다.

더욱이, 식탁 영상에 대한 실시간 모니터링이 가능하기 때문에, 고객의 주문이나 요구가 들어오기 전에 미리 관리자 또는 종업원이 능동적으로 다양한 서비스를 제공할 수 있는 큰 이점이 있다.

또한, 식탁 영상 내 사용자 신체의 일부 또는 전부를 마스킹하여 제공함으로써, 고객의 프라이버시(Privacy)를 보다 적극적으로 보호할 수 있는 이점이 있다.

도 3은 도 2의 정보 제공 장치를 이용한 정보 제공 방법을 설명하기 위한 도면이고, 도 4는 도 2의 정보 제공 장치의 제공하는 정보를 설명하기 위한 도면이다.

도 3에 나타낸 바와 같이, 본 발명의 실시 예에 따른 정보 제공 장치(200)의 영상 획득부(210)는 식탁 영역의 영상을 획득하고(S100), 영상 처리부(220)는 획득한 영상에 대한 영상 처리를 수행하여 사용자의 동작 정보와 사물 정보를 추출한다(S102). 여기서, 영상 처리부(220)는 사용자 동작이 검출되지 않으면, 식탁 영역에 사람이 없음에 대한 정보를 제어부(250)로 제공할 수 있다.

정보 생성부(230)는 추출한 동작 정보와 사물 정보를 기초로, 주문 정보와 요구 정보를 생성한다(S104). 이때, 정보 생성부(230)는 동작 정보와 사물 정보에 대응하여 기 등록된 기준 정보를 기초로 해당 주문 정보와 요구 정보를 생성할 수 있다.

예를 들어, 정보 생성부(230)는 사용자가 그릇을 일정 시간 동안 손가락으로 지시하는 행위에 대한 동작 정보나, 젓가락(또는 숟가락) 등을 그릇 위에 일정 시간 동안 올려놓는 상태에 대한 사물 정보를 수신하는 경우에, 수신한 동작 정보 또는 사물 정보에 대응하여 설정된 "반찬 추가 요청"의 주문 정보를 생성한다.

또한, 정보 생성부(230)는 일정 시간 동안 손을 식탁 위에 펴 보이는 행위에 대한 동작 정보를 수신하는 경우에, 해당 동작 정보에 대응하는 "종업원 호출"의 요구 정보를 생성한다. 또한, 정보 생성부(230)는 사물(술병 등)을 들었다 놓았다 반복하는 동작 또는 일정 시간 동안 사물(술병 등)의 라벨을 보이도록 눕히는 동작 등에 대한 동작 정보를 수신하는 경우, 해당 동작 정보에 대응하는 "술 추가 요청"의 주문 정보를 생성한다.

한편, 마스킹 처리부(240)는 영상 획득부(210)로부터 수신한 영상에서, 사용자의 신체 영역 일부 혹은 전부에 대하여 마스킹(Masking) 처리한 마스킹 영상을 제어부(250)에 제공한다.

제어부(250)는 마스킹 영상과 주문 정보 및 요구 정보를 저장부(260)에 저장한다(S106). 이때, 제어부(250)는 원본 식탁 영상을 보안 처리하여 함께 저장할 수 있다.

또한, 제어부(250)는 통신 수단(생략)을 포함하여 종업원 단말기(300)로 식탁별 주문 정보 및 요구 정보를 전달한다(S108). 이때, 제어부는 기 할당된 식별 번호를 기초로 식탁별 주문 정보, 요구 정보를 관리자 및 종업원 단말기(250)로 제공할 수 있다.

또한, 제어부(250)는 영상 처리부(220)로부터 사용자 검출을 기초로 누적한 이용 시간을 수신하고, 수신한 이용 시간을 주문 정보 및 요구 정보와 함께 제공할 수 있다.

도 4를 참조하면, 본 발명에 실시 예에 따른 정보 제공 장치(200)는 출력 수단을 통해 식탁별 식탁 영상, 주문 정보 및 요구 정보를 출력한다. 이때, 정보 제공 장치(200)는 해당 영상과 정보들을 종업원 단말기(300)로 전송할 수 있다. 종업원 단말기(300)는 해당 영상과 정보를 디스플레이 하거나, 시각 정보(빛 등), 청각 정보(소리 등), 문자 정보 등을 출력할 수 있다.

물론, 제어부(250)는 종업원 단말기(300)외 자체 출력 수단(생략)을 통해 해당 영상과 정보들을 디스플레이 할 수 있다. 이때, 제어부(250)는 마스킹 처리부(240)에 의해 마스킹된 영상을 제공한다.

이처럼, 제어부(250)는 식탁별 영상을 소정 출력수단(생략) 또는 종업원 단말기(300)로 제공할 수 있으며, 관리자 또는 종업원의 이해를 돕기 위해 식탁별 영상에 주문 정보 및 요구 정보를 제공할 수 있다. 이때, 식탁의 식기 위치를 기초로 식기들 각각에 담긴 음식이나 음료에 대한 양, 종류, 모양, 색상 등의 특징도 함께 제공할 수 있다.

이를 통해 관리자는 빠르고 정확하게, 식탁의 상태를 확인할 수 있으며, 사용자의 주문/요구에 대한 동작, 사물 정보 등을 확인할 수 있다.

이러한, 본 발명에 따르면, 종업원이 일일이 식탁을 가지 않고도 고객의 주문이나 요구 사항 등을 빠르고 정확하게 처리할 수 있고, 실시간 모니터링을 통해 고객의 주문이나 요구 이전에 능동적으로 다양한 서비스를 제공할 수 있는 이점이 있다.

또한, 획득한 식탁 영상에 대해 마스킹 처리를 하여 제공함으로써, 고객의 프라이버시를 효과적으로 보호할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100: 촬영 장치 200: 정보 제공 장치
210: 영상 획득부 220: 영상 처리부
230: 정보 생성부 240: 마스킹 처리부
250: 제어부 260: 저장부
300: 종업원 단말기

Claims

식탁 영역을 촬영한 영상을 획득하는 영상 획득부;
상기 영상을 분석하여 상기 식탁 영역 내 사용자에 대한 동작 정보를 추출하는 영상 처리부;
상기 추출한 동작 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성하는 정보 생성부; 및
상기 생성한 주문 정보 또는 요구 정보를 제공하는 제어부를 포함하며,
상기 동작 정보는,
상기 식탁 위 소정 사물을 지시하는 동작, 소정 위치에서 소정 시간 멈추는 동작, 소정 행위를 반복하는 동작, 기 등록된 행위에 매칭되는 동작 중 적어도 하나를 포함하는 영상 처리를 이용한 정보 제공 장치.
청구항 1에 있어서,
상기 영상 내 사용자의 신체 영역의 일부 또는 전체를 검출하여 마스킹(Masking) 처리하는 마스킹 처리부를 더 포함하는 영상 처리를 이용한 정보 제공 장치.
청구항 2에 있어서,
상기 주문 정보 또는 상기 요구 정보, 상기 식탁 영역의 영상, 상기 마스킹 처리한 영상 및 상기 동작 정보 중 적어도 하나를 저장하는 저장부를 더 포함하는 영상 처리를 이용한 정보 제공 장치.
청구항 2에 있어서,
상기 제어부는,
상기 마스킹 처리한 영상, 상기 주문 정보 및 상기 요구 정보 중 적어도 하나를 소정 출력 수단을 통해 출력하는 영상 처리를 이용한 정보 제공 장치.
청구항 1에 있어서,
상기 영상 처리부는,
상기 식탁 내 사물이 기 설정된 수만큼 배치된 기준 시점의 영상으로부터 기준 정보를 획득하고, 상기 기준 정보를 기초로 현재 시점의 영상을 비교하여 상기 사물에 대한 사물 정보를 추출하는 영상 처리를 이용한 정보 제공 장치.
청구항 5에 있어서,
상기 기준 정보는,
상기 기준 시점의 영상, 상기 기준 시점의 영상에서 추출한 사물 정보 중 적어도 하나를 포함하는 영상 처리를 이용한 정보 제공 장치.
청구항 5에 있어서,
상기 정보 생성부는,
상기 사물 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성하는 영상 처리를 이용한 정보 제공 장치.
청구항 1에 있어서,
상기 제어부는,
상기 식탁 영역에 대한 상기 주문 정보 또는 상기 요구 정보를 소정 통신 수단을 통해 무선으로 종업원 단말기로 제공하는 영상 처리를 이용한 정보 제공 장치.
청구항 1에 있어서,
상기 제어부는,
소정 시간 동안 상기 사용자를 검출하지 못하면, 상기 식탁이 비어있음을 알리는 소정 알림을 제공하는 영상 처리를 이용한 정보 제공 장치.
청구항 1에 있어서,
상기 주문 정보 및 상기 요구 정보에 대응하는 피드백(Feedback) 정보를 상기 종업원 단말기로부터 수신하여 사용자에게 알리는 알림 수단을 더 포함하는 영상 처리를 이용한 정보 제공 장치.
청구항 1에 있어서,
상기 영상 처리부는,
상기 영상 내 사물의 위치를 분석하고, 상기 사물 각각에 담긴 음식이나 음료에 대한 양, 상기 사물의 종류, 모양, 색상 중 적어도 하나의 특징을 추출하며,
상기 제어부는,
상기 영상과 상기 사물의 특징을 제공하는 영상 처리를 이용한 정보 제공 장치.
영상 처리를 이용한 정보 제공 장치의 정보 제공 방법에 있어서,
식탁 영역을 촬영한 영상을 획득하는 단계;
상기 영상을 분석하여 상기 식탁 영역 내 사용자에 대한 동작 정보를 추출하는 단계;
상기 추출한 동작 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성하는 단계; 및
상기 생성한 주문 정보 또는 요구 정보를 제공하는 단계를 포함하며,
상기 동작 정보는,
상기 식탁 위 소정 사물을 지시하는 동작, 소정 위치에서 소정 시간 멈추는 동작, 소정 행위를 반복하는 동작, 기 등록된 행위에 매칭되는 동작 중 적어도 하나를 포함하는 영상 처리를 이용한 정보 제공 방법.
청구항 12에 있어서,
상기 영상 내 사용자의 신체 영역의 일부 또는 전체를 검출하여 마스킹(Masking) 처리하는 단계를 더 포함하는 영상 처리를 이용한 정보 제공 방법.
청구항 13에 있어서,
상기 주문 정보 또는 상기 요구 정보, 상기 식탁 영역의 영상, 상기 마스킹 처리한 영상 및 상기 동작 정보 중 적어도 하나를 저장하는 단계를 더 포함하는 영상 처리를 이용한 정보 제공 방법.
청구항 13에 있어서,
상기 제공하는 단계는,
상기 마스킹 처리한 영상, 상기 주문 정보 및 상기 요구 정보 중 적어도 하나를 소정 출력 수단을 통해 출력하는 영상 처리를 이용한 정보 제공 방법.
청구항 12에 있어서,
상기 추출하는 단계는,
상기 식탁 내 사물이 기 설정된 수만큼 배치된 기준 시점의 영상으로부터 기준 정보를 획득하고, 상기 기준 정보를 기초로 현재 시점의 영상을 비교하여 상기 사물에 대한 사물 정보를 추출하는 영상 처리를 이용한 정보 제공 방법.
청구항 16에 있어서,
상기 기준 정보는,
상기 기준 시점의 영상, 상기 기준 시점의 영상에서 추출한 사물 정보 중 적어도 하나를 포함하는 영상 처리를 이용한 정보 제공 방법.
청구항 16에 있어서,
상기 생성하는 단계는,
상기 사물 정보를 기초로 상기 식탁 영역에 대한 주문 정보 또는 요구 정보를 생성하는 영상 처리를 이용한 정보 제공 방법.
청구항 12에 있어서,
상기 제공하는 단계는,
상기 식탁 영역에 대한 상기 주문 정보 또는 상기 요구 정보를 소정 통신 수단을 통해 무선으로 종업원 단말기로 제공하는 영상 처리를 이용한 정보 제공 방법.
청구항 12에 있어서,
상기 제공하는 단계는,
소정 시간 동안 상기 사용자를 검출하지 못하면, 상기 식탁이 비어있음을 알리는 소정 알림을 제공하는 영상 처리를 이용한 정보 제공 방법.
청구항 12에 있어서,
상기 주문 정보 및 상기 요구 정보에 대응하는 피드백(Feedback) 정보를 상기 종업원 단말기로부터 수신하여 사용자에게 알리는 단계를 더 포함하는 영상 처리를 이용한 정보 제공 방법.
청구항 12에 있어서,
상기 추출하는 단계는,
상기 영상 내 사물의 위치를 분석하고, 상기 사물 각각에 담긴 음식이나 음료에 대한 양, 상기 사물의 종류, 모양, 색상 중 적어도 하나의 특징을 추출하며,
상기 제공하는 단계는,
상기 영상과 상기 사물의 특징을 제공하는 영상 처리를 이용한 정보 제공 방법.