KR20180054505A - Apparatus, method and robot for store management - Google Patents

Apparatus, method and robot for store management Download PDF

Info

Publication number
KR20180054505A
KR20180054505A KR1020170157627A KR20170157627A KR20180054505A KR 20180054505 A KR20180054505 A KR 20180054505A KR 1020170157627 A KR1020170157627 A KR 1020170157627A KR 20170157627 A KR20170157627 A KR 20170157627A KR 20180054505 A KR20180054505 A KR 20180054505A
Authority
KR
South Korea
Prior art keywords
store
image
learning
state
neural network
Prior art date
Application number
KR1020170157627A
Other languages
Korean (ko)
Inventor
김대훈
김홍기
이태현
김철민
이상기
조인제
Original Assignee
주식회사 로보러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로보러스 filed Critical 주식회사 로보러스
Publication of KR20180054505A publication Critical patent/KR20180054505A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G06K9/00221—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G06N3/0436—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification

Abstract

Provided are a store management device, a method thereof, and a robot device for recognizing and determining a store status from a store image photographed in real time and using the store status for store management. The device, an artificial intelligent store management device, comprises: an image photographing unit for photographing a store image at a predetermined point in a store; a storing unit for storing a program managing the store using the store image; and a processor for executing the program. The program includes instructions learning a store status corresponding to the store image using a neural network model, recognizing the store status from the store image photographed in real time using a learning result, and determining a predefined store status from a recognition result of the store status and outputting the recognition result to the outside.

Description

매장 관리 장치, 그 방법 및 매장 관리 로봇{APPARATUS, METHOD AND ROBOT FOR STORE MANAGEMENT}[0001] DESCRIPTION [0002] APPARATUS, METHOD AND ROBOT FOR STORE MANAGEMENT [0003]

본 발명은 매장 관리 장치, 그 방법 및 매장 관리 로봇에 관한 것이다.The present invention relates to a store management device, a method thereof, and a store management robot.

인간에게 서비스를 제공하는 지능형 로봇은 가정 이외에도 식당과 같은 공간에서 그 활용도가 높을 것으로 보이며 이에 적합한 로봇의 연구가 진행되고 있는 상황이다. Intelligent robots that provide services to human beings seem to be highly utilized in the same places as restaurants, and studies of robots suitable for them are underway.

로봇 산업화 시대를 맞아 레스토랑 등과 같은 서비스 제공 장소에서의 로봇의 활용에 대한 기대가 커지고 있는 시점에서 고객의 만족을 높이고 고객의 이용 성향 등에 따른 차별화된 서비스가 요구된다.In the era of industrialization of robots, differentiated services are required to enhance customer satisfaction and to use the customers in a time when expectation of utilization of robots in service providing places such as restaurants is increasing.

그러나, 종래에 로봇 기술은 사용자의 특정 입력에 로봇의 출력을 사전에 정의하기 때문에, 로봇의 행동이 단순 반복적으로 되풀이될 뿐이어서, 사용자와 커뮤니케이션 하는 것이 아니라 지시한 바를 출력하는 단순 작업이 이루어지는 것에 불과하다. 따라서, 사람의 편리를 위한 서비스 로봇은 사용자의 다양한 요구에 적합하게 대응할 수 있는 지능적인 작업 수행과 사용자와의 상호작용이 필요하게 되었다.However, since the robot technology has previously defined the output of the robot to a specific input of the user, the robot's behavior is simply and repetitively repeated, so that a simple operation of outputting the instruction is performed instead of communicating with the user Only. Therefore, service robots for human convenience are required to perform intelligent tasks and to interact with users in order to meet various needs of users.

본 발명이 해결하고자 하는 과제는 학습된 신경망 기술을 토대로 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식 및 판단하여 매장 관리에 이용할 수 있도록 하는 매장 관리 장치, 그 방법 및 매장 관리 로봇을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a store management apparatus, a method thereof, and a store management robot that recognize and determine a store status from a store image photographed in real time based on learned neural network technology,

본 발명의 한 특징에 따르면, 매장 관리 장치는 인공 지능형 매장 관리 장치로서, 매장 내 정해진 지점의 매장 영상을 촬영하는 영상 촬영부, 상기 매장 영상을 이용한 매장 관리를 수행하는 프로그램을 저장하는 저장부, 그리고 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로그램은, 신경망 모델을 사용하여 매장 영상에 대응되는 매장 상태를 학습하고, 학습 결과를 사용하여 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식하며, 매장 상태 인식 결과로부터 기 정의된 매장 상태를 판단하여 외부로 출력하는 명령어들(instructions)을 포함한다.According to an aspect of the present invention, a store management device is an artificial intelligent store management device, comprising: an image capturing section for capturing a store image at a predetermined point in a store; a storage section for storing a program for performing store management using the store image; And a program for executing the program, wherein the program learns the store status corresponding to the store image using the neural network model, recognizes the store status from the store image shot in real time using the learning result, And includes instructions for determining a previously defined store state from the state recognition result and outputting it to the outside.

상기 프로그램은, 상기 영상 촬영부가 서로 다른 복수의 각도 및 복수의 시간에 촬영하여 획득한 서로 다른 종류의 매장 영상을, 상기 매장 영상과 전혀 다른 대조군의 매장 영상을 통한 딥(deep) 신경망 모델 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출하여 매장 상태 인식을 위한 학습 정보로 상기 저장부에 저장하고, 상기 학습 정보에 기초하고, 상기 영상 촬영부가 실시간 촬영하는 매장 영상을 입력으로 상기 신경망 모델을 사용하여 매장 상태를 인식하는 명령어들을 포함할 수 있다.The program is a program for performing a deep neural network model learning through a store image of a control group which is different from the store image by using different types of store images obtained by photographing the image photographing unit at a plurality of different angles and a plurality of times And storing the learning information in the storage unit as learning information for recognizing a burial state, and based on the learning information, inputting a burial image shot by the imaging unit in real time, Model may be used to include instructions that recognize the store state.

상기 프로그램은, 매장 상태 인식 결과를 기 정의된 기준값과 대응시켜 매장 상태를 판단하는 명령어들을 포함할 수 있다.The program may include instructions for determining a burial state by associating a burial state recognition result with a predefined reference value.

상기 기준값은, 영상속 카운트된 사람수, 테이블 위에 컵이 있는지 유무 및 의자에 사람이 있는지 유무 중 적어도 하나를 포함하여 설정되고, 상기 매장 상태는, 매장 혼잡도를 포함할 수 있다.The reference value may be set to include at least one of the number of persons counted in the video, presence or absence of a cup on the table, presence or absence of a person in the chair, and the store status may include a store congestion degree.

상기 프로그램은, 매장 영상을 신경망 모델을 사용한 학습이 가능한 외부의 클라우드 서버로 전달하여 매장 영상에 대응되는 감정 학습을 수행시킨 후, 실시간 촬영된 매장 영상을 상기 클라우드 서버로 전달하여 상기 매장 영상에 대응되는 매장 상태 인식을 요청한 후 상기 클라우드 서버로부터 전달되는 매장 상태 인식 결과를 수신하며, 수신한 매장 상태 인식 결과로부터 상기 매장 상태를 판단하는 명령어들을 포함할 수 있다.The program delivers emotional learning corresponding to the store image by delivering the store image to an external cloud server capable of learning using the neural network model, and then transmits the store image in real time to the cloud server to respond to the store image And receiving the store state recognition result transmitted from the cloud server, and determining the store state from the received store state recognition result.

상기 신경망 모델은, 합성곱 신경망(Convolutional Neural Network, CNN) 모델일 수 있다.The neural network model may be a Convolutional Neural Network (CNN) model.

본 발명의 다른 특징에 따르면, 매장 관리 방법은 적어도 하나의 프로세서에 의해 동작하는 매장 관리 장치에서 수행되는 매장관리 방법으로서, 복수의 매장 영상에 대응되는 매장 상태를 신경망 모델을 사용하여 학습하는 단계, 상기 학습의 정보에 기초하여, 실시간으로 촬영된 매장 영상에 대응되는 매장 상태를 인식하는 단계, 그리고 상기 매장 상태의 인식 결과로부터 기 정의된 매장 상태를 판단하여 외부로출력하는 단계를 포함한다.According to another aspect of the present invention, there is provided a store management method performed in a store management apparatus operated by at least one processor, the store management method comprising: learning a store state corresponding to a plurality of store images using a neural network model; Recognizing a burial condition corresponding to a burial image photographed in real time based on the learning information, and determining a burial condition predefined from the recognition result of the burial condition and outputting it to the outside.

상기 출력하는 단계는, 매장 상태 인식 결과를 기 정의된 기준값과 대응시켜 매장 상태를 판단하는 단계를 포함할 수 있다.The step of outputting may include a step of determining a buried state by associating a burial state recognition result with a predefined reference value.

상기 학습하는 단계는, 학습을 위한 준비된 매장 영상과 전혀 다른 대조군의 매장 영상을 통한 딥(deep) 신경망 모델 학습을 수행하는 단계, 그리고 상기 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출하여 매장 상태 인식을 위한 학습 정보로 추출하여 저장하는 단계를 포함할 수 있다.The learning step includes performing a deep neural network model learning through a store image of a control group completely different from a store image prepared for learning, and extracting feature information for distinguishing store states in the candidate region through the learning And extracting and storing the learning information for the burial state recognition.

상기 학습하는 단계는, 학습을 위한 준비된 매장 영상을 신경망 모델을 사용한 학습이 가능한 외부의 클라우드 서버로 전달하여 매장 영상에 대응되는 감정 학습을 수행시키는 단계를 포함할 수 있다.The learning step may include delivering a store image prepared for learning to an external cloud server capable of learning using a neural network model to perform emotion learning corresponding to the store image.

상기 인식하는 단계는, 실시간으로 촬영되는 매장 영상을 상기 클라우드 서버로 전달하여 매장 영상에 대응되는 매장 상태 인식을 요청하는 단계, 그리고 상기 클라우드 서버로부터 전달되는 매장 인식 결과 수신하여 출력하는 단계를 포함할 수 있다.The recognizing includes transmitting a store image photographed in real time to the cloud server to request store status recognition corresponding to the store image, and receiving and outputting the store recognition result delivered from the cloud server .

상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이고, 상기 합성곱 신경망 모델은, 입력되는 매장 영상에 대해 사람수, 테이블 점유 유무, 의자에 사람이 앉아있는지 유무 및 테이블 위에 놓인 컵의 유무 및 컵의 개수 중 적어도 하나를 매장 상태로 인식할 수 있다.The neural network model is a Convolutional Neural Network (CNN) model model, and the combined neural network model is a model of a neural network model in which the number of people, the presence or absence of a table, whether a person is seated in a chair, And the number of cups can be recognized as a burial state.

본 발명의 또 다른 특징에 따르면, 로봇 장치는 소정의 형상을 가진 본체, 상기 본체에 장착되어 데이터를 화면에 출력하는 디스플레이 장치, 상기 본체에 장착되어, 음성을 출력하는 스피커, 상기 본체에 장착되어, 매장 영상을 촬영하는 카메라, 상기 본체의 내부에 장착되어 프로그램을 저장하는 저장 장치, 그리고 상기 프로그램을 실행하는 적어도 하나의 프로세서로 구성된 제어부를 포함하고, 상기 제어부는, 매장 내 정해진 지점의 매장 영상을 촬영하여 신경망 모델을 사용하여 상기 매장 영상에 대응되는 매장 상태를 학습하고, 학습 결과를 사용하여 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식하며, 매장 상태 인식 결과로부터 기 정의된 매장 상태를 판단하고, 상기 매장 상태를 판단한 결과를 자연어 처리하고 상기 자연어에 대응되는 대화 문장을 생성하여 음성으로 출력하거나, 또는, 상기 매장 상태를 판단한 결과에 기초하여 기 정의된 컨시어지 서비스 데이터를 생성하여 상기 디스플레이 장치로 출력하는 명령어들(instructions)을 포함한다.According to another aspect of the present invention, a robot apparatus includes a body having a predetermined shape, a display device mounted on the body and outputting data to a screen, a speaker mounted on the body, , A camera for photographing a store image, a storage device mounted inside the main body for storing a program, and at least one processor for executing the program, wherein the control unit stores the store image at a predetermined point in the store The store state corresponding to the store image is learned using the neural network model, the store state is recognized from the store image photographed in real time using the learning result, and the predefined store state is determined from the store state recognition result , The result of judging the store status is processed in a natural language, By creating a conversation sentences to be output by voice, or, to produce a concierge service definition data group on the basis of the result of the determination of the status store comprises a Commands (instructions) for outputting to the display device.

상기 로봇 장치는 근거리 통신 또는 인터넷 연결을 수행하는 통신 장치를 더 포함하고, 상기 제어부는, 상기 매장 상태를 판단한 결과 또는 상기 컨시어지 서비스 데이터를 상기 근거리 통신 또는 인터넷망을 통해 출력하는 명령어들을 포함할 수 있다.The robot apparatus may further include a communication device that performs a short-range communication or an Internet connection, and the controller may include instructions for outputting the result of the determination of the store status or the concierge service data through the short- have.

본 발명의 실시예에 따르면, 학습된 신경망 기술을 토대로 매장 상태를 실시간으로 파악하여 고객에게 최적화된 맞춤형 서비스를 신속히 제공하는 AI 기반의 차별화된 지능화 서비스를 통한 경쟁력 강화와 수익구조를 개선할 수 있다.According to the embodiment of the present invention, it is possible to improve the competitiveness and profit structure through the AI-based differentiated intelligence service that provides the optimized customized service quickly to the customers by grasping the store status in real time based on the learned neural network technology .

도 1은 본 발명의 한 실시예에 따른 매장 관리 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 매장 관리 방법의 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 매장 관리 장치가 사용되는 시스템 구조를 개략적으로 도시한 도면이다.
도 4는 도 3에 도시된 매장 관리 장치의 구성을 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 매장 관리 방법의 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 로봇 장치의 개략적인 구성도이다.
도 7은 본 발명의 또 다른 실시예에 따른 로봇 장치의 사시도이다.
도 8은 본 발명의 또 다른 실시예에 따른 매장 관리 장치의 하드웨어 구성을 나타낸 블록도이다. 1 is a configuration diagram of a store management apparatus according to an embodiment of the present invention.
2 is a flowchart of a store management method according to an embodiment of the present invention.
3 is a schematic view illustrating a system structure in which a store management apparatus according to another embodiment of the present invention is used.
Fig. 4 is a diagram showing a configuration of the store management apparatus shown in Fig. 3;
5 is a flowchart of a store management method according to another embodiment of the present invention.
6 is a schematic block diagram of a robot apparatus according to another embodiment of the present invention.
7 is a perspective view of a robot apparatus according to another embodiment of the present invention.
8 is a block diagram illustrating a hardware configuration of a store management apparatus according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" ... "," module ", and the like described in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software .

이제, 도면을 참조하여 본 발명의 실시예에 따른 매장 관리 장치, 그 방법 및 매장 관리 로봇에 대하여 설명한다.Now, a store management apparatus, a method thereof, and a store management robot according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 한 실시예에 따른 매장 관리 장치의 구성도이다.1 is a configuration diagram of a store management apparatus according to an embodiment of the present invention.

도 1을 참조하면, 매장 관리 장치(100)는 영상 촬영부(101), 매장 상태 인식부(103), 매장 상태 판단부(105), 출력부(107), 저장부(109) 및 제어부(111)를 포함한다. 1, the store management apparatus 100 includes an image photographing unit 101, a store state recognition unit 103, a store state determination unit 105, an output unit 107, a storage unit 109, 111).

영상 촬영부(101)는 미리 지정된 지점의 매장 영상을 촬영하여 영상에 대응되는 영상 신호를 출력한다. 영상 촬영부(110)로는 팬 틸트 줌 기능(Pan-Tilt-Zoom, PTZ) 카메라가 사용될 수 있다. The image capturing unit 101 captures a store image at a predetermined point and outputs a video signal corresponding to the image. As the image capturing unit 110, a pan-tilt-zoom (PTZ) camera may be used.

영상 촬영부(101)는 매장 전체를 커버할 수 있도록 카메라 화각(FoV, Field of View)을 분해하고, 분해한 카메라 화각을 지정된 시간에 따라 조정하여 미리 지정한 위치에 대한 영상을 촬영한다.The image capturing unit 101 disassembles the field of view (FoV) of the camera so as to cover the entire store, and adjusts the disassembled camera angle of view according to a designated time to photograph an image at a predetermined position.

매장 상태 인식부(103)는 딥러닝 기술의 신경망 모델, 특히, 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 이용하여 영상 촬영부(101)에서 출력되는 영상을 학습하여 매장 상태에 대한 학습 정보를 생성할 수 있다. 이후, 매장 상태 인식부(105)는 매장 상태에 대한 학습 정보에 기초하여, 영상 촬영부(101)에서 출력되는 영상을 입력으로 하여 CNN 모델을 사용하여 매장 상태를 인식할 수 있다. 예를들면, 영상 속에 이미지를 통해 사람 얼굴을 인식하여 사람수가 몇명인지 카운트하고, 테이블이 빈테이블인지 점유된 테이블인지 구분하며, 의자에 사람이 않아 있는지 아닌지를 인식할 수 있다.The burial state recognition unit 103 learns the image output from the image capturing unit 101 using the neural network model of the deep learning technology, in particular, the Convolutional Neural Network (CNN) model, Lt; / RTI > Thereafter, the burial state recognition unit 105 can recognize the burial state using the CNN model as the input image from the image capturing unit 101 based on the learning information about the burial state. For example, a human face is recognized through an image in a video, and the number of persons is counted to distinguish whether the table is an empty table or an occupied table, and it is possible to recognize whether or not there is a person in the chair.

매장 상태 인식부(103)는 영상 촬영부(101)가 다양한 각도에서 그리고 다양한 시간에 촬영하여 획득한 서로 다른 종류의 매장 이미지와, 이러한 이미지와 전혀 다른 대조군의 이미지를 통한 딥(deep) CNN 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출해서 숫자로 표현되는 암호화를 수행하여 학습 정보로서 저장한다. 이때, 사용되는 서로 다른 종류의 매장 이미지는, 예를 들면 매장내 테이블의 치워진 상태의 이미지와 컵들이 올려진 상태의 이미지 각각에 대해 회전에 의한 변형, 이동에 의한 변형, 이미지의 일부를 잘라내는 크롭(crop)과 좌우반전(flip)을 통한 변형, 조명의 밝기 조정을 통해 획득한 다양한 매장 이미지들일 수 있다. The store status recognizing unit 103 stores the store images of the different types obtained by photographing the image capturing unit 101 at various angles and at various times and a deep CNN learning through the image of the control group, The feature information for distinguishing the buried state in the candidate area is extracted and stored as learning information by performing numerical encryption. At this time, different types of store images to be used include, for example, images of a table in a shop, images obtained by rotating, deformations due to rotation, and portions of an image, May be various store images obtained through crop, deformation through left and right flip, and brightness adjustment of illumination.

매장 상태 인식부(103)는 영상 촬영부(101)에서 출력된 영상에서 기 정의된 후보 영역을 검출하고, 검출한 후보 영역의 특징 정보를 계산한다. 여기서, 특징 정보는 HOG(Histogram Of Gradient), 하알 유사(Haar-like), 웨이블릿(Wavelet) 등일 수 있고, 혹은 이러한 특징들이 복합된 것일 수 있다. 그러나, 이는 예시적인 것이며 특징 값은 이들에 한정되지 않는다.The buried state recognition unit 103 detects a predefined candidate region in the image output from the image capturing unit 101 and calculates feature information of the detected candidate region. Here, the feature information may be HOG (Histogram Of Gradient), Haar-like, wavelet, or the like, or a combination of these features. However, this is for exemplary purposes only and the feature values are not limited thereto.

매장 상태 인식부(103)는 학습된 CNN 모델을 사용하여 검출한 후보 영역의 특징 정보를 분류하여, 테이블이 존재하는지, 테이블이 비어있는지, 테이블에 사람이 있는지, 테이블에 컵이 놓여져 있는지 등의 매장 상태 인식 정보를 출력한다. 이때, 매장 상태 인식부(103)는 공지된 객체 인식 기술을 응용하여 사용할 수 있다.The burial state recognition unit 103 classifies the feature information of the candidate region detected using the learned CNN model to determine whether the table exists, whether the table is empty, whether there is a person in the table, whether a cup is placed on the table And outputs the store status recognition information. At this time, the buried state recognition unit 103 can use the known object recognition technology.

이때, 매장 상태 인식부(103)는 출력한 매장 상태 인식 정보를 학습하여 학습 정보로 저장할 수 있다.At this time, the buried state recognition unit 103 can learn the stored buried state recognition information and store it as learning information.

매장 상태 판단부(105)는 매장 상태 인식부(103)에서 출력되는 매장 상태 인식 정보를 기준값에 따라 구분하여 최종적으로 매장 상태 정보를 출력한다. The burial state determination unit 105 divides the burial state recognition information output from the burial state recognition unit 103 according to a reference value, and finally outputs burial state information.

매장 상태 판단부(105)는 매장 상태 인식 정보에 기초하여 영상속 카운트 된 사람수가 기 정의된 기준값 이면 혼잡으로 판단하고, 기 정의된 기준값에 해당하지 않으면, 한가함으로 판단할 수 있다.If the number of people counted in the video is a predefined reference value based on the store status recognition information, the buried state determination unit 105 determines that congestion is present, and if the predefined reference value does not correspond to the predefined reference value,

매장 상태 판단부(105)는 테이블 위에 컵이 있는지와, 의자에 사람이 있는지를 기준값으로 설정하고, 매장 상태 인식 정보를 기준값과 대응시켜 테이블 점유상태를 판단할 수 있다.The burial condition determination unit 105 can determine whether there is a cup on the table and whether there is a person in the chair as a reference value and determine the table occupied state by associating the burial condition recognition information with the reference value.

매장 상태 판단부(105)는 의자 점유 상황을 기준값으로 설정하고, 매장 상태 인식 정보를 기준값과 대응시켜 빈테이블 수를 추정할 수 있다.The buried-state determining unit 105 may set the chair occupancy state as a reference value, and estimate the number of empty tables by associating the buried-state recognition information with the reference value.

출력부(107)는 매장 상태 판단부(105)에서 판단한 매장 상태 정보를 모니터링 시스템(미도시)에 출력한다. 또는 자체 구비한 화면에 출력할 수 있다.The output unit 107 outputs the store status information determined by the store status determination unit 105 to a monitoring system (not shown). Or output it to a self-contained screen.

저장부(109)는 매장 관리 장치(100)의 동작 수행을 위한 명령어(Instruction) 등을 저장할 수도 있다.The storage unit 109 may store an instruction for performing operations of the store management device 100, and the like.

저장부(109)는 매장 관리 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다. The storage unit 109 may store data and programs necessary for the store management apparatus 100 to operate.

저장부(109)는 매장 상태 인식부(103)에서의 학습 정보, 매장 상태 인식 결과, 매장 상태 판단부(105)의 매장 상태 판단 결과를 각각 저장할 수 있다. 이러한 저장부(109)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.The storage unit 109 may store the learning information, the burial state recognition result, and the burial condition determination result of the burial condition determination unit 105 in the burial condition recognition unit 103, respectively. The storage unit 109 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.) A random access memory (SRAM), a read-only memory (ROM), a programmable read-only memory (PROM), an electrically erasable memory (EEPROM) Programmable Read-Only Memory).

제어부(111)는 매장 관리 장치(100)의 각 구성요소, 즉 영상 촬영부(101), 매장 상태 인식부(103), 매장 상태 판단부(105), 출력부(107), 저장부(109) 간에 전달되는 신호를 처리한다.The control unit 111 controls the components of the store management apparatus 100 such as the image pickup unit 101, the store status recognition unit 103, the store status determination unit 105, the output unit 107, the storage unit 109 ). ≪ / RTI >

이러한 매장 관리 장치(100)를 사용하여 매장 상태를 학습하여 인식하고 판단하는 매장 관리 방법에 대해 설명한다.A store management method for learning and recognizing and determining the store status using the store management device 100 will be described.

도 2는 본 발명의 실시예에 따른 매장 관리 방법의 흐름도이다.2 is a flowchart of a store management method according to an embodiment of the present invention.

도 2를 참조하면, 영상 촬영부(101)를 통해 촬영한 매장 영상 또는 외부 장치(미도시)로부터 입력받은 매장 영상에 대해 전술한 CNN 모델을 사용하여 매장 상태를 인식하는 학습을 수행(S101)한 후, 저장부(109)에 저장한다(S103). 물론 이러한 학습은 여러 번에 걸쳐서 서로 다른 종류의 다수의 매장 영상을 입력하여 수행될 것이다.Referring to FIG. 2, learning is performed to recognize a burial state using the above-described CNN model for a burial image photographed through the image capturing unit 101 or a burial image input from an external apparatus (not shown) (S101) And stores it in the storage unit 109 (S103). Of course, this learning will be performed by inputting multiple store images of different kinds over several times.

이때, 촬영한 매장 영상은 영상 촬영부(101)가 정해진 시간에 따라 다양한 카메라 화각으로 미리 지정한 위치에 대하여 촬영한 영상일 수 있다.At this time, the photographed burial image may be an image of the image taken by the image capturing unit 101 at a predetermined position in various camera view angles according to a predetermined time.

이후, 영상 촬영부(101)를 통해 매장 영상을 촬영한다(S105). 그리고 S105 단계에서 촬영된 매장 영상에 대해 S103 단계에서 저장된 학습 정보를 토대로 매장 상태를 인식한다(S107). 이때, 인식되는 매장 상태로는 테이블 점유 유무, 의자에 앉은 사람수, 테이블위에 놓인 컵의 유무, 컵의 개수 등을 포함할 수 있다.Thereafter, the store image is photographed through the image photographing unit 101 (S105). In step S107, the store status is recognized based on the learning information stored in step S103 for the store image photographed in step S105. At this time, the recognized burial conditions may include the presence or absence of a table, the number of people sitting on a chair, the presence or absence of a cup on the table, and the number of cups.

다음, 매장 상태 판단부(105)를 통해 매장 상태 인식 결과를 기 정의된 기준값과 비교하여 매장 상태를 판단한다(S109). 이때, 판단되는 매장 상태로는 다양한 매장 상태를 정의하여 사용할 수 있으며, 본 발명의 실시예에 따르면, 매장 혼잡도가 될 수 있다.Next, the store status determination unit 105 compares the store status recognition result with a predetermined reference value to determine the store status (S109). At this time, various store conditions can be defined and used as the determined store condition, and according to the embodiment of the present invention, the store congestion level can be obtained.

다음, 출력부(107)를 통하여 매장 상태 분류 결과를 외부로 출력한다(S111). 이때, 전술한 것처럼, 모니터링 시스템(미도시)의 화면에 출력할 수 있다. 혹은, 매장 내 대기 고객의 단말로 메시지 서비스를 이용하여 전송할 수도 있다.Next, the store status classification result is output to the outside through the output unit 107 (S111). At this time, as described above, it can be outputted on the screen of the monitoring system (not shown). Alternatively, it may be transmitted to a terminal of a waiting customer in a store using a message service.

한편, 도 1 및 도 2에서는 매장 관리 장치(100)가 직접 학습 및 인식을 수행하는 것으로 설명하였지만, 본 발명의 기술적 범위는 여기에 한정되지 않는다. 예를 들어, 매장 영상을 사용하여 외부의 인공지능 클라우드 서버를 통한 학습과, 매장 상태 인식을 수행할 수도 있다.1 and 2, the store management apparatus 100 performs direct learning and recognition. However, the technical scope of the present invention is not limited thereto. For example, store images can be used to perform learning through an external artificial intelligence cloud server and store status recognition.

최근에는 각종 자료를 사용자의 컴퓨터나 스마트폰 등 내부 저장 공간이 아닌 외부 클라우드 서버에 저장한 뒤에 다운로드받는 서비스인 클라우드 서비스가 각광을 받고 있으며, 이러한 클라우드 서비스는 인공지능 기술을 제공하는 클라우드 서버에 의해서도 제공될 수 있다. 예를 들어, IBM사의 인공지능 기술인 왓슨(Watson)이나 구글사의 텐서플로우(TesnorFlow) 등이 오픈 소프트웨어로서 잘 알려져 있다. 이들은 인공지능을 활용해 자연어 질문을 알아듣고, 방대한 데이터로부터 관련 있는 사항을 분석, 종합해 적절한 답변을 제공하는 기술이다. 이들은 API(Application Programming Interface)를 통해 인공지능 기술을 사용할 수 있는 클라우드 서비스를 제공하고 있다.In recent years, cloud services, a service for downloading various kinds of data after storing them in an external cloud server instead of an internal storage space such as a user's computer or a smart phone, have attracted attention. Such a cloud service is also used by a cloud server providing artificial intelligence Can be provided. For example, IBM's artificial intelligence technology, Watson and Google's TesnorFlow, are well known as open software. They use artificial intelligence to understand natural language questions, analyze and synthesize relevant data from vast amounts of data, and provide appropriate answers. They are providing cloud services that can use artificial intelligence technology through API (Application Programming Interface).

따라서, 본 발명의 다른 실시예에 따른 매장 관리 장치에서는 매장 영상을 통한 매장 상태 인식 학습과, 이러한 학습 결과에 기초한 매장 상태 인식을 매장 관리 장치에서 직접 수행하지 않고 API를 통해 접속되는 외부의 클라우드 서버에게 영상 정보를 전달하여 이에 대응되는 매장 상태 인식 결과를 제공받아서 사용할 수 있다. 이러한 내용에 대해 다음 실시예를 통해 설명한다. Therefore, in the store management apparatus according to another embodiment of the present invention, the store state recognition learning through the store image and the store state recognition based on the learning result are not directly performed in the store management apparatus, and the external cloud server And then receives and stores the stored store state recognition result corresponding thereto. These contents will be described in the following examples.

도 3은 본 발명의 다른 실시예에 따른 매장 관리 장치가 사용되는 시스템 구조를 개략적으로 도시한 도면이다.3 is a schematic view illustrating a system structure in which a store management apparatus according to another embodiment of the present invention is used.

도 3을 참조하면, 본 발명의 다른 실시예에 따른 매장 관리 장치(200)는 학습을 위한 매장 영상을 네트워크(300)를 통해 외부의 클라우드 서버(400)로 전달하여, 매장 영상을 사용하여 인식하는 학습을 수행시킨다. 3, the store management apparatus 200 according to another embodiment of the present invention transmits a shop image for learning to the external cloud server 400 through the network 300, .

학습 후, 매장 관리 장치(200)는 서비스 시점에 매장 영상을 촬영하여 클라우드 서버(400)로 전달하고, 클라우드 서버(400)로부터 매장 상태 인식 정보를 제공받아서 이를 통해 판단한 매장 상태 정보를 외부로 표시할 수 있다. After the learning, the store management apparatus 200 photographs the store image at the time of the service and delivers the store image to the cloud server 400, receives the store state recognition information from the cloud server 400, can do.

여기서, 클라우드 서버(400)는 IBM사의 왓슨이나 구글사의 텐서플로우와 같이 딥러닝 기술의 CNN 모델에 따른 정보 학습 및 학습 결과를 이용한 매장 상태 인식이 가능한 서버를 말한다. 또한, 외부의 클라우드 서버(400)가 매장 영상에 대응되는 매장 상태 인식 및 매장 상태 인식을 위한 학습과, 그 학습 정보를 사용하여 매장 영상에 대응되어 실시간으로 매장 상태를 인식하는 기술에 대해서는 API를 제공하여 클라우드 서버(400)로서 동작 가능한 클라우드 서버(400) 고유의 기능으로 이에 대해서는 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.Here, the cloud server 400 is a server capable of recognizing the store status using information learning and learning results according to the CNN model of the deep learning technology such as Watson of IBM Corp. or a tensor flow of Google Corporation. In addition, the cloud server 400 of the outside can perform learning for recognition of burial state corresponding to a burial image and burial state recognition, and technology for recognizing a burial state corresponding to a burial image in real time using the learning information, And is known as a function unique to the cloud server 400 that can operate as the cloud server 400. Therefore, detailed description thereof will be omitted here.

도 4는 도 3에 도시된 매장 관리 장치(200)의 구성을 도시한 도면이다.FIG. 4 is a diagram showing the configuration of the store management device 200 shown in FIG.

도 4를 참조하면, 매장 관리 장치(200)는 영상 촬영부(201), 서버 인터페이스(203), 매장 상태 인식부(205), 매장 상태 판단부(207), 표시부(209), 저장부(211) 및 제어부(213)를 포함한다. 여기서, 영상 촬영부(201), 매장 상태 인식부(205), 매장 상태 판단부(207), 표시부(209), 저장부(211) 및 제어부(213)는 도 1을 참조하여 설명한 기능과 동작이 동일하므로 여기에서는 이들에 대한 구체적인 설명을 생략하고, 그 기능과 동작이 상이한 구성요소들에 대해서만 설명한다.4, the store management apparatus 200 includes an image photographing unit 201, a server interface 203, a store state recognition unit 205, a store state determination unit 207, a display unit 209, a storage unit 211 and a control unit 213. Here, the image capturing unit 201, the store status recognizing unit 205, the store status determiner 207, the display unit 209, the storage unit 211, and the control unit 213 are provided with functions and operations The detailed description thereof will be omitted here, and only the components whose functions and operations are different will be described.

서버 인터페이스(203)는 외부의 클라우드 서버(400)가 제공한 API를 사용하여 네트워크(300)를 통해 클라우드 서버(400)에 접속되어 정보의 송수신이 가능하도록 하는 기능을 수행한다. The server interface 203 is connected to the cloud server 400 via the network 300 using the API provided by the external cloud server 400 to enable information transmission and reception.

매장 상태 인식부(205)는 서버 인터페이스(203)를 통하여 클라우드 서버(400)로 매장 영상을 전달하여 매장 상태 인식에 대한 학습을 수행시킨다. The store status recognition unit 205 delivers store images to the cloud server 400 through the server interface 203 to perform learning about store status recognition.

클라우드 서버(400)를 통한 매장 상태 인식에 대한 학습이 완료된 후, 매장 상태 인식부(205)는 영상 촬영부(201)에서 출력되는 영상을 서버 인터페이스(203)를 통해 클라우드 서버(400)에게 전달하고, 전달된 영상에 대응되어 클라우드 서버(400)로부터 제공되는 매장 상태 인식 결과를 사용하여 매장 상태 인식을 수행할 수 있다.After the learning of the store state recognition through the cloud server 400 is completed, the store state recognition unit 205 transmits the image output from the image shooting unit 201 to the cloud server 400 through the server interface 203 And store state recognition can be performed using the store state recognition result provided from the cloud server 400 in correspondence with the transmitted image.

저장부(211)는 기본적으로는 도 1에서 설명한 매장 관리 장치(100)의 저장부(109)와 유사하지만, 본 발명의 다른 실시예에서는 매장 상태 인식에 대한 학습을 수행하지 않으므로 이러한 학습 정보를 저장하지 않다.Basically, the storage unit 211 is similar to the storage unit 109 of the store management apparatus 100 described in FIG. 1, but in the other embodiment of the present invention, Do not save.

또한, 제어부(213)는 매장 영상에 대응되는 매장 상태 인식 및 매장 상태 인식에 대한 학습을 위한 신호 전달 제어는 수행하지 않는다.Also, the control unit 213 does not perform the burden state recognition corresponding to the burial image and the signal transmission control for learning about the burial state recognition.

이하, 상기한 매장 관리 장치(200)를 사용하여 매장 상태를 인식하고 판단하는 매장 관리 방법에 대해 설명한다.Hereinafter, a store management method for recognizing and determining the store status using the store management device 200 will be described.

도 5는 본 발명의 다른 실시예에 따른 매장 관리 방법의 흐름도이다. 5 is a flowchart of a store management method according to another embodiment of the present invention.

도 5를 참조하면, 영상 촬영부(101)를 통해 촬영(S201)한 매장 영상 또는 외부 장치(미도시)로부터 입력(S201)받은 매장 영상을 외부의 클라우드 서버(400)로 전달(S203)하여 매장 상태 인식에 대한 학습을 수행시킨다(S205). 물론, 이러한 학습은 여러 번에 걸쳐서 얼굴 영상을 입력하여 수행될 것이다. 이와 같이 상기한 과정을 통해, 매장 관리 장치(200)는 매장 영상에 대응되는 매장 상태 인식을 외부의 클라우드 서버(400)를 통해 학습할 수 있다.Referring to FIG. 5, a store image shot through the image shooting unit 101 (S201) or a store image received from the external device (not shown) (S201) is transmitted to the external cloud server 400 (S203) And performs learning about the store state recognition (S205). Of course, this learning will be performed by inputting the face image several times. Thus, through the above process, the store management apparatus 200 can learn the store status corresponding to the store image through the external cloud server 400.

이후, 매장 영상이 촬영되면(S207), 실시간으로 촬영되는 매장 영상을 외부의 클라우드 서버(400)로 전달하여 대응되는 매장 상태 인식을 요청한다(S209).Then, when the store image is photographed (S207), the store image photographed in real time is transmitted to the external cloud server 400 to request recognition of the corresponding store status (S209).

클라우드 서버(400)로부터, 전달된 매장 영상에 대응되어 수행된 매장 상태 인식 결과를 수신한다(S211). 즉, 이러한 매장 상태 인식 결과가 매장 상태 인식부(205)에서의 매장 상태 인식 결과가 된다.From the cloud server 400, the store status recognition result performed corresponding to the delivered store image (S211). That is, the store state recognition result is the store state recognition result in the store state recognition unit 205.

다음, 도 2에서도 설명한 것처럼, 매장 상태 판단부(207)를 통해 매장 상태 인식 결과를 기 정의된 기준값과 비교하여 매장 상태를 판단한다(S215). 그리고 출력부(209)를 통하여 매장 상태 분류 결과를 외부로 출력한다(S217). Next, as described with reference to FIG. 2, the store state determination unit 207 compares the store state recognition result with a predetermined reference value to determine the store state (S215). Then, the store status classification result is output to the outside through the output unit 209 (S217).

이와 같이, 본 발명의 다른 실시예에 따른 매장 관리 장치(200)에서는 매장 영상에 대응되는 매장 상태 인식 및 매장 상태 인식에 대한 학습을 수행하는 기능을 외부의 클라우드 서버(400)를 사용하여 수행함으로써, 매장 관리 장치(200)의 구성이 간단해져서 컨시어지 로봇에의 탑재가 용이해질 뿐만 아니라, 이미 검증되어 있고 매우 다양하고 많은 정보를 갖고 있는 클라우드 서버(400)를 사용함으로써 매장 관리 장치(200)에 대한 신뢰를 제공할 수 있다.As described above, in the store management apparatus 200 according to another embodiment of the present invention, the function of performing the learning of the store state recognition and the store state recognition corresponding to the store image is performed using the external cloud server 400 , The configuration of the store management device 200 is simplified so that it can be easily mounted on the concierge robot and the cloud server 400 having already been verified and having a great variety of information is used, It can provide trust.

한편, 전술한 매장 관리 장치(100, 200)는 컨시어지 서비스(Concierge Service)를 제공하는 로봇에 이용될 수 있다. 여기서, 컨시어지 서비스는 고객의 편의를 위해 고객의 요구를 판단하고 이행하는 비서와 같은 서비스로서, 고객과 대면하는 일종의 관문 서비스이다. 이러한 컨시어지 서비스는 예를들면, 레스토랑, 커피전문점, 패스트푸드점, 호텔, 매장 등에서 제공될 수 있다. Meanwhile, the above-described store management apparatuses 100 and 200 may be used in a robot that provides a concierge service. Here, the concierge service is a kind of gateway service that faces the customer as a service such as a secretary who judges and implements the customer's needs for the convenience of the customer. Such a concierge service may be provided, for example, in a restaurant, a coffee shop, a fast food restaurant, a hotel, a shop, or the like.

도 6은 본 발명의 또 다른 실시예에 따른 매장 관리 로봇 장치의 개략적인 구성도이다. 도 6에서는 설명의 편의상 본 발명의 특징과 관련 없는 로봇 장치의 일반적인 구성 및 그 동작에 대한 설명은 생략하였다.6 is a schematic block diagram of a store management robot apparatus according to another embodiment of the present invention. In FIG. 6, the general configuration of the robot apparatus and the operation thereof, which are not related to the features of the present invention, are omitted for convenience of explanation.

도 6을 참조하면, 본 발명의 또 다른 실시예에 따른 로봇 장치(500)는 매장 관리 장치(501), 음성 대화 장치(503), 컨시어지 서비스 처리 장치(505), 저장부(507) 및 제어부(509)를 포함한다. 6, a robot apparatus 500 according to another embodiment of the present invention includes a store management device 501, a voice conversation device 503, a concierge service processing device 505, a storage 507, (509).

매장 관리 장치(501)는 매장 영상을 토대로 매장 상태를 인식하고, 매장 상태를 판단한다. 이러한 매장 관리 장치(501)는 도 1 ~ 도 5에서 설명한 내용과 동일하다.The store management device 501 recognizes the store status based on the store image and determines the store status. These store management apparatuses 501 are the same as those described in Figs. 1 to 5.

음성 대화 장치(503)는 외부의 사람 등으로부터 입력되는 음성 입력을 받아서 그에 대응되는 음성 대화를 위한 음성을 출력한다. 그리고 매장 관리 장치(501)가 출력하는 매장 상태 정보를 자연어 처리하고, 자연어에 대응되는 대화 문장을 생성하여 음성으로 출력할 수 있다. 이때, 대화 문장은 다양한 방식, 예를 들어, 인공지능 방식 등을 사용하여 생성할 수 있으며, 이러한 방식은 로봇 장치(500)의 동작 방식에 따라 다양하게 구성될 수 있으며, 그 구체적인 구성은 본 실시예에서의 특징과는 관련이 없으므로 여기에서는 구체적인 설명을 생략한다.The voice conversation apparatus 503 receives a voice input from an external person or the like and outputs a voice for voice conversation corresponding thereto. Then, the store status information output from the store management device 501 is processed in a natural language, and a conversation sentence corresponding to the natural language is generated and output as a voice. At this time, the conversation sentence can be generated using various methods, for example, an artificial intelligence method, and the method can be variously configured according to the operation method of the robot apparatus 500, And therefore, detailed description thereof will be omitted here.

컨시어지 서비스 처리 장치(505)는 매장 관리 장치(501)에서 출력되는 매장 상태 판단 결과를 토대로 대응하는 컨시어지 서비스를 제공한다. 한 실시예에 따르면, 매장 상태 판단 결과와, 매장 상태 판단 결과에 따른 대기 시간을 피지컬 웹 유알엘(URL)로 구성하여 매장 내 브로드캐스팅할 수 있다. 그러면, 피지컬 웹 유알엘(URL)을 스캔한 사용자 단말(미도시)은 매장 상태 및 대기 시간을 안내받을 수 있다. 이러한 방식은 로봇 장치(500)의 컨시어지 서비스 시나리오에 따라 다양하게 구성될 수 있으며, 그 구체적인 구성은 본 실시예에서의 특징과는 관련이 없으므로 여기에서는 구체적인 설명을 생략한다.The concierge service processing device 505 provides the corresponding concierge service based on the store status determination result output from the store management device 501. [ According to one embodiment, the store status determination result and the waiting time according to the store status determination result can be configured in the physical web URL (URL) and broadcast in the store. Then, the user terminal (not shown) that has scanned the physical web URL (URL) can be informed of the store status and the waiting time. This method can be variously configured according to the concierge service scenario of the robot apparatus 500, and its detailed configuration is not related to the features of the present embodiment, so a detailed description will be omitted here.

저장부(507)는 로봇 장치(500)의 동작 수행을 위한 명령어(Instruction), 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다. The storage unit 507 may store an instruction for performing an operation of the robot apparatus 500, data and programs necessary for operation, and the like.

제어부(509)는 로봇 장치(500)의 각 구성요소, 즉 매장 관리 장치(501), 음성 대화 장치(503), 컨시어지 서비스 처리 장치(505), 저장부(507) 간에 전달되는 신호를 처리한다.The control unit 509 processes the signals transmitted between the respective components of the robot apparatus 500, that is, the store management apparatus 501, the voice conversation apparatus 503, the concierge service processing apparatus 505, and the storage unit 507 .

이와 같은, 로봇 장치(500)는 도 7과 같이 구현될 수 있다. 도 7은 본 발명의 또 다른 실시예에 따른 로봇 장치의 사시도이다.Such a robot apparatus 500 may be implemented as shown in FIG. 7 is a perspective view of a robot apparatus according to another embodiment of the present invention.

도 7을 참조하면, 로봇 장치(500)는 사람과 유사하게 머리와 몸통을 지닌 로봇 형상을 가지는 본체(511)의 머리 부분에 마이크(513)가 장착되고, 본체(511)의 얼굴 부분에 매장 영상을 촬영하기 위한 PTZ 카메라(515)가 장착될 수 있다.7, the robot apparatus 500 includes a microphone 513 mounted on a head portion of a main body 511 having a robot shape having a head and a body similar to a human body, A PTZ camera 515 for capturing an image can be mounted.

본체(511)의 몸통 전면에는 매장 상태 판단 결과, 매장 상태 판단 결과에 따른 컨시어지 서비스 데이터 등을 출력하기 위한 모니터 화면을 구비하는 디스플레이 장치(517)가 장착된다. 본체(511)의 몸통을 둘러싸인 부분에 매장 상태 판단 결과, 매장 상태 판단 결과에 따른 컨시어지 서비스 데이터 등에 대응되는 대화 문장을 음성으로 출력하기 위한 스피커(519)가 장착될 수 있다.A display device 517 having a monitor screen for outputting concierge service data or the like according to a burial condition determination result is mounted on the body front surface of the main body 511. A speaker 519 for outputting a conversation sentence corresponding to the concierge service data or the like according to the result of the burial state judgment as a result of the burial state judgment on the body surrounded by the body of the main body 511 can be mounted.

이때, 본체(511)의 내부에는 전술한 매장 관리 장치(100, 200)가 포함된다.At this time, the above-described store management apparatuses 100 and 200 are included in the main body 511.

한편, 도 8은 본 발명의 또 다른 실시예에 따른 매장 관리 장치 또는 로봇 장치의 하드웨어 구성을 나타낸 블록도이다.8 is a block diagram illustrating a hardware configuration of a store management apparatus or a robot apparatus according to another embodiment of the present invention.

도 8을 참조하면, 매장 관리 장치 또는 로봇 장치(600)는 근거리 통신 또는 인터넷 연결을 수행하는 통신 장치(601)와, 마이크, 카메라, 외부 장치와 연결되어 데이터를 송수신하는 입출력 포트 등으로 구성된 입력 장치(603)와, 화면에 데이터를 시각적으로 표시하는 디스플레이부, 음성을 출력하는 스피커 등으로 구성된 출력 장치(605)와, 저장 장치(607) 및 프로세서(609) 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 도 1 내지 도 7에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도 1 내지 도 8에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행할 수 있는 명령어들(instructions)을 포함하고, 저장 장치(607) 및 프로세서(609) 등의 하드웨어와 결합하여 본 발명을 구현한다. 8, the store management apparatus or the robot apparatus 600 includes a communication device 601 for performing a short-range communication or an Internet connection, an input / output port connected to a microphone, a camera, and an external device, An output device 605 composed of a device 603, a display unit for visually displaying data on the screen, a speaker for outputting audio, and a hardware including a storage device 607 and a processor 609 , And a program that is executed in combination with hardware at a designated place is stored. The hardware has a configuration and performance capable of executing the configuration and / or method according to the embodiments described in Figs. 1-7. The program includes instructions that can execute the configuration and / or methods in accordance with the embodiments described in FIGS. 1-8, and may be implemented in hardware (such as the storage 607 and processor 609) Lt; / RTI >

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (14)

인공 지능형 매장 관리 장치로서,
매장 내 정해진 지점의 매장 영상을 촬영하는 영상 촬영부,
상기 매장 영상을 이용한 매장 관리를 수행하는 프로그램을 저장하는 저장부, 그리고
상기 프로그램을 실행하는 프로세서를 포함하고,
상기 프로그램은,
신경망 모델을 사용하여 매장 영상에 대응되는 매장 상태를 학습하고, 학습 결과를 사용하여 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식하며, 매장 상태 인식 결과로부터 기 정의된 매장 상태를 판단하여 외부로 출력하는 명령어들(instructions)을 포함하는, 매장 관리 장치.An intelligent store management device,
An image capturing unit for capturing a store image at a predetermined point in the store,
A storage unit for storing a program for performing store management using the store image,
And a processor for executing the program,
The program includes:
Learning the store status corresponding to the store image using the neural network model, recognizing the store status from the store image photographed in real time using the learning result, determining the predefined store status from the store status recognition result, Wherein the instructions further comprise instructions to: 제1항에서,
상기 프로그램은,
상기 영상 촬영부가 서로 다른 복수의 각도 및 복수의 시간에 촬영하여 획득한 서로 다른 종류의 매장 영상을, 상기 매장 영상과 전혀 다른 대조군의 매장 영상을 통한 딥(deep) 신경망 모델 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출하여 매장 상태 인식을 위한 학습 정보로 상기 저장부에 저장하고,
상기 학습 정보에 기초하고, 상기 영상 촬영부가 실시간 촬영하는 매장 영상을 입력으로 상기 신경망 모델을 사용하여 매장 상태를 인식하는 명령어들을 포함하는, 매장 관리 장치.The method of claim 1,
The program includes:
Wherein the image capturing unit captures and stores different kinds of store images obtained by photographing at different angles and a plurality of times at a different time from the store image through a deep neural network model learning through a store image of a control group completely different from the store image Storing feature information for identifying a buried state in the storage unit as learning information for recognizing a buried state,
And instructions for recognizing a burial state using the neural network model based on the learning information and inputting a burial image photographed by the image capturing unit in real time. 제1항에서,
상기 프로그램은,
매장 상태 인식 결과를 기 정의된 기준값과 대응시켜 매장 상태를 판단하는 명령어들을 포함하는, 매장 관리 장치.The method of claim 1,
The program includes:
Wherein the store management device includes instructions for determining a store state by associating a store state recognition result with a predefined reference value. 제3항에서,
상기 기준값은,
영상속 카운트된 사람수, 테이블 위에 컵이 있는지 유무 및 의자에 사람이 있는지 유무 중 적어도 하나를 포함하여 설정되고,
상기 매장 상태는,
매장 혼잡도를 포함하는, 매장 관리 장치.4. The method of claim 3,
The reference value,
The number of persons counted in the video, presence or absence of a cup on the table, presence or absence of a person in the chair,
In the store state,
A store management device, including store congestion. 제1항에 있어서,
상기 프로그램은,
매장 영상을 신경망 모델을 사용한 학습이 가능한 외부의 클라우드 서버로 전달하여 매장 영상에 대응되는 감정 학습을 수행시킨 후,
실시간 촬영된 매장 영상을 상기 클라우드 서버로 전달하여 상기 매장 영상에 대응되는 매장 상태 인식을 요청한 후 상기 클라우드 서버로부터 전달되는 매장 상태 인식 결과를 수신하며,
수신한 매장 상태 인식 결과로부터 상기 매장 상태를 판단하는 명령어들을 포함하는, 매장 관리 장치.The method according to claim 1,
The program includes:
The store image is transmitted to an external cloud server capable of learning using a neural network model to perform emotion learning corresponding to the store image,
The method includes receiving a burial state recognition result transmitted from the cloud server after delivering a real-time burial image to the cloud server, requesting burial state recognition corresponding to the burial image,
And judging the store status from the received store status recognition result. 제1항서,
상기 신경망 모델은,
합성곱 신경망(Convolutional Neural Network, CNN) 모델인, 매장 관리 장치.Article 1,
The neural network model includes:
A store management device, which is a Convolutional Neural Network (CNN) model. 적어도 하나의 프로세서에 의해 동작하는 매장 관리 장치에서 수행되는 매장관리 방법으로서,
복수의 매장 영상에 대응되는 매장 상태를 신경망 모델을 사용하여 학습하는 단계,
상기 학습의 정보에 기초하여, 실시간으로 촬영된 매장 영상에 대응되는 매장 상태를 인식하는 단계, 그리고
상기 매장 상태의 인식 결과로부터 기 정의된 매장 상태를 판단하여 외부로출력하는 단계
를 포함하는 매장 관리 방법.A store management method performed in a store management device operated by at least one processor,
Learning a store state corresponding to a plurality of store images using a neural network model;
Recognizing a burial state corresponding to a burial image photographed in real time based on the learning information, and
Determining a predefined store state from the recognition result of the store state and outputting it to the outside
. 제7항에서,
상기 출력하는 단계는,
매장 상태 인식 결과를 기 정의된 기준값과 대응시켜 매장 상태를 판단하는 단계를 포함하는, 매장 관리 방법.8. The method of claim 7,
Wherein the outputting step comprises:
Determining a store status by associating a store status recognition result with a predefined reference value. 제8항에서,
상기 학습하는 단계는,
학습을 위한 준비된 매장 영상과 전혀 다른 대조군의 매장 영상을 통한 딥(deep) 신경망 모델 학습을 수행하는 단계, 그리고
상기 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출하여 매장 상태 인식을 위한 학습 정보로 추출하여 저장하는 단계
를 포함하는 매장 관리 방법.9. The method of claim 8,
Wherein the learning comprises:
Performing a deep neural network model learning through a store image prepared for learning and a store image of a completely different control group, and
Extracting feature information for identifying a buried state in the candidate region through the learning, extracting and extracting learning information for burial state recognition
. 제8항에서,
상기 학습하는 단계는,
학습을 위한 준비된 매장 영상을 신경망 모델을 사용한 학습이 가능한 외부의 클라우드 서버로 전달하여 매장 영상에 대응되는 감정 학습을 수행시키는 단계
를 포함하는 매장 관리 방법.9. The method of claim 8,
Wherein the learning comprises:
Delivering the store image prepared for learning to an external cloud server capable of learning using a neural network model, and performing emotion learning corresponding to the store image
. 제10항에서,
상기 인식하는 단계는,
실시간으로 촬영되는 매장 영상을 상기 클라우드 서버로 전달하여 매장 영상에 대응되는 매장 상태 인식을 요청하는 단계, 그리고
상기 클라우드 서버로부터 전달되는 매장 인식 결과 수신하여 출력하는 단계
를 포함하는, 매장 관리 방법.11. The method of claim 10,
Wherein the recognizing comprises:
Transmitting a store image photographed in real time to the cloud server to request store status recognition corresponding to the store image; and
Receiving the store recognition result transmitted from the cloud server and outputting
The store management method comprising: 제7항에서,
상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이고,
상기 합성곱 신경망 모델은,
입력되는 매장 영상에 대해 사람수, 테이블 점유 유무, 의자에 사람이 앉아있는지 유무 및 테이블 위에 놓인 컵의 유무 및 컵의 개수 중 적어도 하나를 매장 상태로 인식하는, 매장 관리 방법.8. The method of claim 7,
The neural network model is a Convolutional Neural Network (CNN) model model,
The combined-product neural network model includes:
Wherein at least one of the number of people, the presence or absence of a table, the presence or absence of a person sitting in a chair, the presence or absence of a cup placed on the table, and the number of cups is recognized as a burial state. 로봇 장치로서,
소정의 형상을 가진 본체,
상기 본체에 장착되어 데이터를 화면에 출력하는 디스플레이 장치,
상기 본체에 장착되어, 음성을 출력하는 스피커,
상기 본체에 장착되어, 매장 영상을 촬영하는 카메라,
상기 본체의 내부에 장착되어 프로그램을 저장하는 저장 장치, 그리고
상기 프로그램을 실행하는 적어도 하나의 프로세서로 구성된 제어부를 포함하고,
상기 제어부는,
매장 내 정해진 지점의 매장 영상을 촬영하여 신경망 모델을 사용하여 상기 매장 영상에 대응되는 매장 상태를 학습하고, 학습 결과를 사용하여 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식하며, 매장 상태 인식 결과로부터 기 정의된 매장 상태를 판단하고,
상기 매장 상태를 판단한 결과를 자연어 처리하고 상기 자연어에 대응되는 대화 문장을 생성하여 음성으로 출력하거나, 또는, 상기 매장 상태를 판단한 결과에 기초하여 기 정의된 컨시어지 서비스 데이터를 생성하여 상기 디스플레이 장치로 출력하는 명령어들(instructions)을 포함하는, 로봇 장치.A robot apparatus comprising:
A body having a predetermined shape,
A display device mounted on the main body and outputting data to a screen,
A speaker mounted on the main body for outputting sound,
A camera mounted on the main body for shooting a store image,
A storage device mounted inside the main body for storing a program, and
And a control unit configured of at least one processor for executing the program,
Wherein,
The store image corresponding to the store image is learned by using the neural network model, the store status is recognized from the store image photographed in real time using the learning result, and the store status is recognized from the store status recognition result Determine the predefined store status,
Processing the natural language result of the determination of the buried state, generating a conversation sentence corresponding to the natural language and outputting it as a voice, or generating predefined concierge service data based on the result of determining the buried state and outputting the concierge service data to the display device The instructions comprising instructions to: 제13항에서,
근거리 통신 또는 인터넷 연결을 수행하는 통신 장치를 더 포함하고,
상기 제어부는,
상기 매장 상태를 판단한 결과 또는 상기 컨시어지 서비스 데이터를 상기 근거리 통신 또는 인터넷망을 통해 출력하는 명령어들을 포함하는, 로봇 장치.The method of claim 13,
Further comprising a communication device for performing a short-range communication or an Internet connection,
Wherein,
And outputting the result of the determination of the buried state or the concierge service data through the local area communication or the Internet network.
KR1020170157627A 2016-11-15 2017-11-23 Apparatus, method and robot for store management KR20180054505A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160152216 2016-11-15
KR20160152216 2016-11-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170074439A Division KR101803081B1 (en) 2016-11-15 2017-06-13 Robot for store management

Publications (1)

Publication Number Publication Date
KR20180054505A true KR20180054505A (en) 2018-05-24

Family

ID=60811479

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020170074432A KR101854431B1 (en) 2016-11-15 2017-06-13 Concierge robot
KR1020170074439A KR101803081B1 (en) 2016-11-15 2017-06-13 Robot for store management
KR1020170157627A KR20180054505A (en) 2016-11-15 2017-11-23 Apparatus, method and robot for store management
KR1020180048708A KR20180054528A (en) 2016-11-15 2018-04-26 Concierge robot system, concierge service method and concierge robot

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020170074432A KR101854431B1 (en) 2016-11-15 2017-06-13 Concierge robot
KR1020170074439A KR101803081B1 (en) 2016-11-15 2017-06-13 Robot for store management

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020180048708A KR20180054528A (en) 2016-11-15 2018-04-26 Concierge robot system, concierge service method and concierge robot

Country Status (1)

Country Link
KR (4) KR101854431B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190096854A (en) * 2019-07-30 2019-08-20 엘지전자 주식회사 Artificial intelligence server for controlling a plurality of robots using artificial intelligence
KR20190096857A (en) * 2019-07-30 2019-08-20 엘지전자 주식회사 Artificial intelligence server for determining route for robot and method for the same
KR20190096871A (en) * 2019-07-31 2019-08-20 엘지전자 주식회사 Artificial intelligence server for controlling plurality of robots and method for the same
KR20190100115A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Artificial intelligence server and method for determining deployment area of robot
KR102040574B1 (en) 2018-07-26 2019-11-06 강삼태 Store and shop management method
WO2019240452A1 (en) * 2018-06-15 2019-12-19 네이버랩스 주식회사 Method and system for automatically collecting and updating information related to point of interest in real space
KR20210008997A (en) * 2019-07-16 2021-01-26 조강훈 System and method for managing customer service of franchise merchant
KR20220031967A (en) * 2020-09-06 2022-03-15 조강훈 Smart active food franchise service management system
KR20220140226A (en) * 2021-04-09 2022-10-18 주식회사 닐슨 Method, apparatus and computer program for determining contents
WO2023212614A1 (en) * 2022-04-26 2023-11-02 Haystack Robotics, Inc. Automated robotic ground-truth, checklists, and physical traceability

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565434B2 (en) 2017-06-30 2020-02-18 Google Llc Compact language-free facial expression embedding and novel triplet training scheme
JP6658795B2 (en) * 2018-05-11 2020-03-04 セイコーエプソン株式会社 Machine learning device, photographing time estimation device, machine learning program, and method for producing photograph data
KR102139855B1 (en) * 2018-05-23 2020-07-30 한국과학기술원 Intelligent personal assistant system based on the inner state of user
KR102040218B1 (en) 2018-06-11 2019-11-04 엘지전자 주식회사 Moving robot capable of recognizing waiting line and method for controlling the moving robot
CN109514585A (en) * 2018-08-01 2019-03-26 苏州优智达机器人有限公司 Service humanoid robot
KR102242779B1 (en) * 2018-09-14 2021-04-20 엘지전자 주식회사 Robot and method for operating the same
CN109822581A (en) * 2018-12-08 2019-05-31 浙江国自机器人技术有限公司 Guide method for computer room robot
KR102115754B1 (en) * 2019-04-26 2020-05-27 김병수 Concierge service system
WO2020246643A1 (en) * 2019-06-07 2020-12-10 엘지전자 주식회사 Serving robot and customer serving method using same
WO2021045271A1 (en) * 2019-09-05 2021-03-11 엘지전자 주식회사 Robot
KR102295807B1 (en) * 2020-02-24 2021-08-31 연세대학교 산학협력단 Concierge robot and method of providing personalized service using the same
KR102386353B1 (en) 2020-09-17 2022-04-12 유진기술 주식회사 Telepresence robot and manless store managing method using the same
KR102620674B1 (en) * 2021-01-14 2024-01-04 순천대학교 산학협력단 Artificial Intelligence-based User Responsive Kiosk Payment System
US11911890B2 (en) 2021-04-28 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing a service using a robot
CN113700414B (en) * 2021-10-29 2022-03-11 杭州明融科技有限公司 Valuables safety control system
KR20230063129A (en) * 2021-11-01 2023-05-09 (주)뉴빌리티 Method for providing advertisement in unmanned moving object and system thereof
KR102498533B1 (en) * 2022-07-15 2023-02-09 권용현 Interactive electronic device for performing functions of providing responses to questions from users and real-time conversation with the users using models learned by deep learing technique and operating method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4923876B2 (en) 2006-09-01 2012-04-25 富士通株式会社 Information providing robot and information providing method using robot
CN101973031B (en) * 2010-08-24 2013-07-24 中国科学院深圳先进技术研究院 Cloud robot system and implementation method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190141892A (en) * 2018-06-15 2019-12-26 네이버랩스 주식회사 Method and system for automatically collecting and updating information about point of interest in real space
WO2019240452A1 (en) * 2018-06-15 2019-12-19 네이버랩스 주식회사 Method and system for automatically collecting and updating information related to point of interest in real space
KR102040574B1 (en) 2018-07-26 2019-11-06 강삼태 Store and shop management method
KR20210008997A (en) * 2019-07-16 2021-01-26 조강훈 System and method for managing customer service of franchise merchant
US11455529B2 (en) 2019-07-30 2022-09-27 Lg Electronics Inc. Artificial intelligence server for controlling a plurality of robots based on guidance urgency
KR20190096857A (en) * 2019-07-30 2019-08-20 엘지전자 주식회사 Artificial intelligence server for determining route for robot and method for the same
KR20190096854A (en) * 2019-07-30 2019-08-20 엘지전자 주식회사 Artificial intelligence server for controlling a plurality of robots using artificial intelligence
US11511422B2 (en) 2019-07-30 2022-11-29 Lg Electronics Inc. Artificial intelligence server for determining route of robot and method for the same
KR20190096871A (en) * 2019-07-31 2019-08-20 엘지전자 주식회사 Artificial intelligence server for controlling plurality of robots and method for the same
US11383379B2 (en) 2019-07-31 2022-07-12 Lg Electronics Inc. Artificial intelligence server for controlling plurality of robots and method for the same
KR20190100115A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Artificial intelligence server and method for determining deployment area of robot
US11093795B2 (en) 2019-08-09 2021-08-17 Lg Electronics Inc. Artificial intelligence server for determining deployment area of robot and method for the same
KR20220031967A (en) * 2020-09-06 2022-03-15 조강훈 Smart active food franchise service management system
WO2022149666A1 (en) * 2020-09-06 2022-07-14 조강훈 Smart active system for managing restaurant franchise service
KR20220140226A (en) * 2021-04-09 2022-10-18 주식회사 닐슨 Method, apparatus and computer program for determining contents
WO2023212614A1 (en) * 2022-04-26 2023-11-02 Haystack Robotics, Inc. Automated robotic ground-truth, checklists, and physical traceability

Also Published As

Publication number Publication date
KR101854431B1 (en) 2018-05-03
KR101803081B1 (en) 2017-11-29
KR20180054528A (en) 2018-05-24

Similar Documents

Publication Publication Date Title
KR101803081B1 (en) Robot for store management
CN110291489A (en) The efficient mankind identify intelligent assistant's computer in calculating
JP5864783B2 (en) Method and apparatus for operator absent image capture
WO2019085585A1 (en) Device control processing method and apparatus
US7725547B2 (en) Informing a user of gestures made by others out of the user's line of sight
CN111163906B (en) Mobile electronic device and method of operating the same
KR101887637B1 (en) Robot system
US10789458B2 (en) Human behavior recognition apparatus and method
CN104125396A (en) Image shooting method and device
CN108198130B (en) Image processing method, image processing device, storage medium and electronic equipment
KR101978299B1 (en) Apparatus for service contents in contents service system
CN105981375A (en) Information processing apparatus, control method, program, and system
CN109543633A (en) A kind of face identification method, device, robot and storage medium
EP3635513B1 (en) Selective detection of visual cues for automated assistants
JP7118697B2 (en) Point-of-regard estimation processing device, point-of-regard estimation model generation device, point-of-regard estimation processing system, point-of-regard estimation processing method, program, and point-of-regard estimation model
CN108764973A (en) A kind of advertisement broadcast method, device, equipment and storage medium
US11076091B1 (en) Image capturing assistant
KR20210048272A (en) Apparatus and method for automatically focusing the audio and the video
KR20220004259A (en) Method and system for remote medical service using artificial intelligence
CN106471440A (en) Eye tracking based on efficient forest sensing
KR20190118965A (en) System and method for eye-tracking
CN110096251A (en) Exchange method and device
CN113703585A (en) Interaction method, interaction device, electronic equipment and storage medium
JPH09307868A (en) Communication equipment and communication method
KR20190113252A (en) Method for eye-tracking and terminal for executing the same

Legal Events

Date Code Title Description
A107 Divisional application of patent