KR101803081B1 - 매장 관리 로봇 - Google Patents

매장 관리 로봇 Download PDF

Info

Publication number
KR101803081B1
KR101803081B1 KR1020170074439A KR20170074439A KR101803081B1 KR 101803081 B1 KR101803081 B1 KR 101803081B1 KR 1020170074439 A KR1020170074439 A KR 1020170074439A KR 20170074439 A KR20170074439 A KR 20170074439A KR 101803081 B1 KR101803081 B1 KR 101803081B1
Authority
KR
South Korea
Prior art keywords
store
image
learning
delete delete
burial
Prior art date
Application number
KR1020170074439A
Other languages
English (en)
Inventor
김대훈
김홍기
이태현
김철민
이상기
조인제
Original Assignee
주식회사 로보러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로보러스 filed Critical 주식회사 로보러스
Application granted granted Critical
Publication of KR101803081B1 publication Critical patent/KR101803081B1/ko
Priority to PCT/KR2018/005457 priority Critical patent/WO2018230843A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06K9/00221—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G06N3/0436—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

매장 관리 장치, 그 방법 및 로봇 장치가 제공된다. 이 장치는, 인공 지능형 매장 관리 장치로서, 매장 내 정해진 지점의 매장 영상을 촬영하는 영상 촬영부, 상기 매장 영상을 이용한 매장 관리를 수행하는 프로그램을 저장하는 저장부, 그리고 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로그램은, 신경망 모델을 사용하여 매장 영상에 대응되는 매장 상태를 학습하고, 학습 결과를 사용하여 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식하며, 매장 상태 인식 결과로부터 기 정의된 매장 상태를 판단하여 외부로 출력하는 명령어들(instructions)을 포함한다.

Description

매장 관리 로봇{ROBOT FOR STORE MANAGEMENT}
본 발명은 매장 관리 로봇에 관한 것이다.
인간에게 서비스를 제공하는 지능형 로봇은 가정 이외에도 식당과 같은 공간에서 그 활용도가 높을 것으로 보이며 이에 적합한 로봇의 연구가 진행되고 있는 상황이다.
로봇 산업화 시대를 맞아 레스토랑 등과 같은 서비스 제공 장소에서의 로봇의 활용에 대한 기대가 커지고 있는 시점에서 고객의 만족을 높이고 고객의 이용 성향 등에 따른 차별화된 서비스가 요구된다.
그러나, 종래에 로봇 기술은 사용자의 특정 입력에 로봇의 출력을 사전에 정의하기 때문에, 로봇의 행동이 단순 반복적으로 되풀이될 뿐이어서, 사용자와 커뮤니케이션 하는 것이 아니라 지시한 바를 출력하는 단순 작업이 이루어지는 것에 불과하다. 따라서, 사람의 편리를 위한 서비스 로봇은 사용자의 다양한 요구에 적합하게 대응할 수 있는 지능적인 작업 수행과 사용자와의 상호작용이 필요하게 되었다.
본 발명이 해결하고자 하는 과제는 학습된 신경망 기술을 토대로 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식 및 판단하여 매장 관리에 이용할 수 있도록 하는 매장 관리 로봇을 제공하는 것이다.
본 발명의 한 특징에 따르면, 매장 관리 장치는 인공 지능형 매장 관리 장치로서, 매장 내 정해진 지점의 매장 영상을 촬영하는 영상 촬영부, 상기 매장 영상을 이용한 매장 관리를 수행하는 프로그램을 저장하는 저장부, 그리고 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로그램은, 신경망 모델을 사용하여 매장 영상에 대응되는 매장 상태를 학습하고, 학습 결과를 사용하여 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식하며, 매장 상태 인식 결과로부터 기 정의된 매장 상태를 판단하여 외부로 출력하는 명령어들(instructions)을 포함한다.
상기 프로그램은, 상기 영상 촬영부가 서로 다른 복수의 각도 및 복수의 시간에 촬영하여 획득한 서로 다른 종류의 매장 영상을, 상기 매장 영상과 전혀 다른 대조군의 매장 영상을 통한 딥(deep) 신경망 모델 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출하여 매장 상태 인식을 위한 학습 정보로 상기 저장부에 저장하고, 상기 학습 정보에 기초하고, 상기 영상 촬영부가 실시간 촬영하는 매장 영상을 입력으로 상기 신경망 모델을 사용하여 매장 상태를 인식하는 명령어들을 포함할 수 있다.
상기 프로그램은, 매장 상태 인식 결과를 기 정의된 기준값과 대응시켜 매장 상태를 판단하는 명령어들을 포함할 수 있다.
상기 기준값은, 영상속 카운트된 사람수, 테이블 위에 컵이 있는지 유무 및 의자에 사람이 있는지 유무 중 적어도 하나를 포함하여 설정되고, 상기 매장 상태는, 매장 혼잡도를 포함할 수 있다.
상기 프로그램은, 매장 영상을 신경망 모델을 사용한 학습이 가능한 외부의 클라우드 서버로 전달하여 매장 영상에 대응되는 감정 학습을 수행시킨 후, 실시간 촬영된 매장 영상을 상기 클라우드 서버로 전달하여 상기 매장 영상에 대응되는 매장 상태 인식을 요청한 후 상기 클라우드 서버로부터 전달되는 매장 상태 인식 결과를 수신하며, 수신한 매장 상태 인식 결과로부터 상기 매장 상태를 판단하는 명령어들을 포함할 수 있다.
상기 신경망 모델은, 합성곱 신경망(Convolutional Neural Network, CNN) 모델일 수 있다.
본 발명의 다른 특징에 따르면, 매장 관리 방법은 적어도 하나의 프로세서에 의해 동작하는 매장 관리 장치에서 수행되는 매장관리 방법으로서, 복수의 매장 영상에 대응되는 매장 상태를 신경망 모델을 사용하여 학습하는 단계, 상기 학습의 정보에 기초하여, 실시간으로 촬영된 매장 영상에 대응되는 매장 상태를 인식하는 단계, 그리고 상기 매장 상태의 인식 결과로부터 기 정의된 매장 상태를 판단하여 외부로출력하는 단계를 포함한다.
상기 출력하는 단계는, 매장 상태 인식 결과를 기 정의된 기준값과 대응시켜 매장 상태를 판단하는 단계를 포함할 수 있다.
상기 학습하는 단계는, 학습을 위한 준비된 매장 영상과 전혀 다른 대조군의 매장 영상을 통한 딥(deep) 신경망 모델 학습을 수행하는 단계, 그리고 상기 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출하여 매장 상태 인식을 위한 학습 정보로 추출하여 저장하는 단계를 포함할 수 있다.
상기 학습하는 단계는, 학습을 위한 준비된 매장 영상을 신경망 모델을 사용한 학습이 가능한 외부의 클라우드 서버로 전달하여 매장 영상에 대응되는 감정 학습을 수행시키는 단계를 포함할 수 있다.
상기 인식하는 단계는, 실시간으로 촬영되는 매장 영상을 상기 클라우드 서버로 전달하여 매장 영상에 대응되는 매장 상태 인식을 요청하는 단계, 그리고 상기 클라우드 서버로부터 전달되는 매장 인식 결과 수신하여 출력하는 단계를 포함할 수 있다.
상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이고, 상기 합성곱 신경망 모델은, 입력되는 매장 영상에 대해 사람수, 테이블 점유 유무, 의자에 사람이 앉아있는지 유무 및 테이블 위에 놓인 컵의 유무 및 컵의 개수 중 적어도 하나를 매장 상태로 인식할 수 있다.
본 발명의 또 다른 특징에 따르면, 로봇 장치는 소정의 형상을 가진 본체, 상기 본체에 장착되어 데이터를 화면에 출력하는 디스플레이 장치, 상기 본체에 장착되어, 음성을 출력하는 스피커, 상기 본체에 장착되어, 매장 영상을 촬영하는 카메라, 상기 본체의 내부에 장착되어 프로그램을 저장하는 저장 장치, 그리고 상기 프로그램을 실행하는 적어도 하나의 프로세서로 구성된 제어부를 포함하고, 상기 제어부는, 매장 내 정해진 지점의 매장 영상을 촬영하여 신경망 모델을 사용하여 상기 매장 영상에 대응되는 매장 상태를 학습하고, 학습 결과를 사용하여 실시간으로 촬영되는 매장 영상으로부터 매장 상태를 인식하며, 매장 상태 인식 결과로부터 기 정의된 매장 상태를 판단하고, 상기 매장 상태를 판단한 결과를 자연어 처리하고 상기 자연어에 대응되는 대화 문장을 생성하여 음성으로 출력하거나, 또는, 상기 매장 상태를 판단한 결과에 기초하여 기 정의된 컨시어지 서비스 데이터를 생성하여 상기 디스플레이 장치로 출력하는 명령어들(instructions)을 포함한다.
상기 로봇 장치는 근거리 통신 또는 인터넷 연결을 수행하는 통신 장치를 더 포함하고, 상기 제어부는, 상기 매장 상태를 판단한 결과 또는 상기 컨시어지 서비스 데이터를 상기 근거리 통신 또는 인터넷망을 통해 출력하는 명령어들을 포함할 수 있다.
본 발명의 실시예에 따르면, 학습된 신경망 기술을 토대로 매장 상태를 실시간으로 파악하여 고객에게 최적화된 맞춤형 서비스를 신속히 제공하는 AI 기반의 차별화된 지능화 서비스를 통한 경쟁력 강화와 수익구조를 개선할 수 있다.
도 1은 본 발명의 한 실시예에 따른 매장 관리 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 매장 관리 방법의 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 매장 관리 장치가 사용되는 시스템 구조를 개략적으로 도시한 도면이다.
도 4는 도 3에 도시된 매장 관리 장치의 구성을 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 매장 관리 방법의 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 로봇 장치의 개략적인 구성도이다.
도 7은 본 발명의 또 다른 실시예에 따른 로봇 장치의 사시도이다.
도 8은 본 발명의 또 다른 실시예에 따른 매장 관리 장치의 하드웨어 구성을 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이제, 도면을 참조하여 본 발명의 실시예에 따른 매장 관리 장치, 그 방법 및 매장 관리 로봇에 대하여 설명한다.
도 1은 본 발명의 한 실시예에 따른 매장 관리 장치의 구성도이다.
도 1을 참조하면, 매장 관리 장치(100)는 영상 촬영부(101), 매장 상태 인식부(103), 매장 상태 판단부(105), 출력부(107), 저장부(109) 및 제어부(111)를 포함한다.
영상 촬영부(101)는 미리 지정된 지점의 매장 영상을 촬영하여 영상에 대응되는 영상 신호를 출력한다. 영상 촬영부(110)로는 팬 틸트 줌 기능(Pan-Tilt-Zoom, PTZ) 카메라가 사용될 수 있다.
영상 촬영부(101)는 매장 전체를 커버할 수 있도록 카메라 화각(FoV, Field of View)을 분해하고, 분해한 카메라 화각을 지정된 시간에 따라 조정하여 미리 지정한 위치에 대한 영상을 촬영한다.
매장 상태 인식부(103)는 딥러닝 기술의 신경망 모델, 특히, 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 이용하여 영상 촬영부(101)에서 출력되는 영상을 학습하여 매장 상태에 대한 학습 정보를 생성할 수 있다. 이후, 매장 상태 인식부(105)는 매장 상태에 대한 학습 정보에 기초하여, 영상 촬영부(101)에서 출력되는 영상을 입력으로 하여 CNN 모델을 사용하여 매장 상태를 인식할 수 있다. 예를들면, 영상 속에 이미지를 통해 사람 얼굴을 인식하여 사람수가 몇명인지 카운트하고, 테이블이 빈테이블인지 점유된 테이블인지 구분하며, 의자에 사람이 않아 있는지 아닌지를 인식할 수 있다.
매장 상태 인식부(103)는 영상 촬영부(101)가 다양한 각도에서 그리고 다양한 시간에 촬영하여 획득한 서로 다른 종류의 매장 이미지와, 이러한 이미지와 전혀 다른 대조군의 이미지를 통한 딥(deep) CNN 학습을 통하여 후보 영역에서 매장 상태를 구분하는 특징 정보를 추출해서 숫자로 표현되는 암호화를 수행하여 학습 정보로서 저장한다. 이때, 사용되는 서로 다른 종류의 매장 이미지는, 예를 들면 매장내 테이블의 치워진 상태의 이미지와 컵들이 올려진 상태의 이미지 각각에 대해 회전에 의한 변형, 이동에 의한 변형, 이미지의 일부를 잘라내는 크롭(crop)과 좌우반전(flip)을 통한 변형, 조명의 밝기 조정을 통해 획득한 다양한 매장 이미지들일 수 있다.
매장 상태 인식부(103)는 영상 촬영부(101)에서 출력된 영상에서 기 정의된 후보 영역을 검출하고, 검출한 후보 영역의 특징 정보를 계산한다. 여기서, 특징 정보는 HOG(Histogram Of Gradient), 하알 유사(Haar-like), 웨이블릿(Wavelet) 등일 수 있고, 혹은 이러한 특징들이 복합된 것일 수 있다. 그러나, 이는 예시적인 것이며 특징 값은 이들에 한정되지 않는다.
매장 상태 인식부(103)는 학습된 CNN 모델을 사용하여 검출한 후보 영역의 특징 정보를 분류하여, 테이블이 존재하는지, 테이블이 비어있는지, 테이블에 사람이 있는지, 테이블에 컵이 놓여져 있는지 등의 매장 상태 인식 정보를 출력한다. 이때, 매장 상태 인식부(103)는 공지된 객체 인식 기술을 응용하여 사용할 수 있다.
이때, 매장 상태 인식부(103)는 출력한 매장 상태 인식 정보를 학습하여 학습 정보로 저장할 수 있다.
매장 상태 판단부(105)는 매장 상태 인식부(103)에서 출력되는 매장 상태 인식 정보를 기준값에 따라 구분하여 최종적으로 매장 상태 정보를 출력한다.
매장 상태 판단부(105)는 매장 상태 인식 정보에 기초하여 영상속 카운트 된 사람수가 기 정의된 기준값 이면 혼잡으로 판단하고, 기 정의된 기준값에 해당하지 않으면, 한가함으로 판단할 수 있다.
매장 상태 판단부(105)는 테이블 위에 컵이 있는지와, 의자에 사람이 있는지를 기준값으로 설정하고, 매장 상태 인식 정보를 기준값과 대응시켜 테이블 점유상태를 판단할 수 있다.
매장 상태 판단부(105)는 의자 점유 상황을 기준값으로 설정하고, 매장 상태 인식 정보를 기준값과 대응시켜 빈테이블 수를 추정할 수 있다.
출력부(107)는 매장 상태 판단부(105)에서 판단한 매장 상태 정보를 모니터링 시스템(미도시)에 출력한다. 또는 자체 구비한 화면에 출력할 수 있다.
저장부(109)는 매장 관리 장치(100)의 동작 수행을 위한 명령어(Instruction) 등을 저장할 수도 있다.
저장부(109)는 매장 관리 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다.
저장부(109)는 매장 상태 인식부(103)에서의 학습 정보, 매장 상태 인식 결과, 매장 상태 판단부(105)의 매장 상태 판단 결과를 각각 저장할 수 있다. 이러한 저장부(109)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
제어부(111)는 매장 관리 장치(100)의 각 구성요소, 즉 영상 촬영부(101), 매장 상태 인식부(103), 매장 상태 판단부(105), 출력부(107), 저장부(109) 간에 전달되는 신호를 처리한다.
이러한 매장 관리 장치(100)를 사용하여 매장 상태를 학습하여 인식하고 판단하는 매장 관리 방법에 대해 설명한다.
도 2는 본 발명의 실시예에 따른 매장 관리 방법의 흐름도이다.
도 2를 참조하면, 영상 촬영부(101)를 통해 촬영한 매장 영상 또는 외부 장치(미도시)로부터 입력받은 매장 영상에 대해 전술한 CNN 모델을 사용하여 매장 상태를 인식하는 학습을 수행(S101)한 후, 저장부(109)에 저장한다(S103). 물론 이러한 학습은 여러 번에 걸쳐서 서로 다른 종류의 다수의 매장 영상을 입력하여 수행될 것이다.
이때, 촬영한 매장 영상은 영상 촬영부(101)가 정해진 시간에 따라 다양한 카메라 화각으로 미리 지정한 위치에 대하여 촬영한 영상일 수 있다.
이후, 영상 촬영부(101)를 통해 매장 영상을 촬영한다(S105). 그리고 S105 단계에서 촬영된 매장 영상에 대해 S103 단계에서 저장된 학습 정보를 토대로 매장 상태를 인식한다(S107). 이때, 인식되는 매장 상태로는 테이블 점유 유무, 의자에 앉은 사람수, 테이블위에 놓인 컵의 유무, 컵의 개수 등을 포함할 수 있다.
다음, 매장 상태 판단부(105)를 통해 매장 상태 인식 결과를 기 정의된 기준값과 비교하여 매장 상태를 판단한다(S109). 이때, 판단되는 매장 상태로는 다양한 매장 상태를 정의하여 사용할 수 있으며, 본 발명의 실시예에 따르면, 매장 혼잡도가 될 수 있다.
다음, 출력부(107)를 통하여 매장 상태 분류 결과를 외부로 출력한다(S111). 이때, 전술한 것처럼, 모니터링 시스템(미도시)의 화면에 출력할 수 있다. 혹은, 매장 내 대기 고객의 단말로 메시지 서비스를 이용하여 전송할 수도 있다.
한편, 도 1 및 도 2에서는 매장 관리 장치(100)가 직접 학습 및 인식을 수행하는 것으로 설명하였지만, 본 발명의 기술적 범위는 여기에 한정되지 않는다. 예를 들어, 매장 영상을 사용하여 외부의 인공지능 클라우드 서버를 통한 학습과, 매장 상태 인식을 수행할 수도 있다.
최근에는 각종 자료를 사용자의 컴퓨터나 스마트폰 등 내부 저장 공간이 아닌 외부 클라우드 서버에 저장한 뒤에 다운로드받는 서비스인 클라우드 서비스가 각광을 받고 있으며, 이러한 클라우드 서비스는 인공지능 기술을 제공하는 클라우드 서버에 의해서도 제공될 수 있다. 예를 들어, IBM사의 인공지능 기술인 왓슨(Watson)이나 구글사의 텐서플로우(TesnorFlow) 등이 오픈 소프트웨어로서 잘 알려져 있다. 이들은 인공지능을 활용해 자연어 질문을 알아듣고, 방대한 데이터로부터 관련 있는 사항을 분석, 종합해 적절한 답변을 제공하는 기술이다. 이들은 API(Application Programming Interface)를 통해 인공지능 기술을 사용할 수 있는 클라우드 서비스를 제공하고 있다.
따라서, 본 발명의 다른 실시예에 따른 매장 관리 장치에서는 매장 영상을 통한 매장 상태 인식 학습과, 이러한 학습 결과에 기초한 매장 상태 인식을 매장 관리 장치에서 직접 수행하지 않고 API를 통해 접속되는 외부의 클라우드 서버에게 영상 정보를 전달하여 이에 대응되는 매장 상태 인식 결과를 제공받아서 사용할 수 있다. 이러한 내용에 대해 다음 실시예를 통해 설명한다.
도 3은 본 발명의 다른 실시예에 따른 매장 관리 장치가 사용되는 시스템 구조를 개략적으로 도시한 도면이다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 매장 관리 장치(200)는 학습을 위한 매장 영상을 네트워크(300)를 통해 외부의 클라우드 서버(400)로 전달하여, 매장 영상을 사용하여 인식하는 학습을 수행시킨다.
학습 후, 매장 관리 장치(200)는 서비스 시점에 매장 영상을 촬영하여 클라우드 서버(400)로 전달하고, 클라우드 서버(400)로부터 매장 상태 인식 정보를 제공받아서 이를 통해 판단한 매장 상태 정보를 외부로 표시할 수 있다.
여기서, 클라우드 서버(400)는 IBM사의 왓슨이나 구글사의 텐서플로우와 같이 딥러닝 기술의 CNN 모델에 따른 정보 학습 및 학습 결과를 이용한 매장 상태 인식이 가능한 서버를 말한다. 또한, 외부의 클라우드 서버(400)가 매장 영상에 대응되는 매장 상태 인식 및 매장 상태 인식을 위한 학습과, 그 학습 정보를 사용하여 매장 영상에 대응되어 실시간으로 매장 상태를 인식하는 기술에 대해서는 API를 제공하여 클라우드 서버(400)로서 동작 가능한 클라우드 서버(400) 고유의 기능으로 이에 대해서는 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.
도 4는 도 3에 도시된 매장 관리 장치(200)의 구성을 도시한 도면이다.
도 4를 참조하면, 매장 관리 장치(200)는 영상 촬영부(201), 서버 인터페이스(203), 매장 상태 인식부(205), 매장 상태 판단부(207), 표시부(209), 저장부(211) 및 제어부(213)를 포함한다. 여기서, 영상 촬영부(201), 매장 상태 인식부(205), 매장 상태 판단부(207), 표시부(209), 저장부(211) 및 제어부(213)는 도 1을 참조하여 설명한 기능과 동작이 동일하므로 여기에서는 이들에 대한 구체적인 설명을 생략하고, 그 기능과 동작이 상이한 구성요소들에 대해서만 설명한다.
서버 인터페이스(203)는 외부의 클라우드 서버(400)가 제공한 API를 사용하여 네트워크(300)를 통해 클라우드 서버(400)에 접속되어 정보의 송수신이 가능하도록 하는 기능을 수행한다.
매장 상태 인식부(205)는 서버 인터페이스(203)를 통하여 클라우드 서버(400)로 매장 영상을 전달하여 매장 상태 인식에 대한 학습을 수행시킨다.
클라우드 서버(400)를 통한 매장 상태 인식에 대한 학습이 완료된 후, 매장 상태 인식부(205)는 영상 촬영부(201)에서 출력되는 영상을 서버 인터페이스(203)를 통해 클라우드 서버(400)에게 전달하고, 전달된 영상에 대응되어 클라우드 서버(400)로부터 제공되는 매장 상태 인식 결과를 사용하여 매장 상태 인식을 수행할 수 있다.
저장부(211)는 기본적으로는 도 1에서 설명한 매장 관리 장치(100)의 저장부(109)와 유사하지만, 본 발명의 다른 실시예에서는 매장 상태 인식에 대한 학습을 수행하지 않으므로 이러한 학습 정보를 저장하지 않다.
또한, 제어부(213)는 매장 영상에 대응되는 매장 상태 인식 및 매장 상태 인식에 대한 학습을 위한 신호 전달 제어는 수행하지 않는다.
이하, 상기한 매장 관리 장치(200)를 사용하여 매장 상태를 인식하고 판단하는 매장 관리 방법에 대해 설명한다.
도 5는 본 발명의 다른 실시예에 따른 매장 관리 방법의 흐름도이다.
도 5를 참조하면, 영상 촬영부(101)를 통해 촬영(S201)한 매장 영상 또는 외부 장치(미도시)로부터 입력(S201)받은 매장 영상을 외부의 클라우드 서버(400)로 전달(S203)하여 매장 상태 인식에 대한 학습을 수행시킨다(S205). 물론, 이러한 학습은 여러 번에 걸쳐서 얼굴 영상을 입력하여 수행될 것이다. 이와 같이 상기한 과정을 통해, 매장 관리 장치(200)는 매장 영상에 대응되는 매장 상태 인식을 외부의 클라우드 서버(400)를 통해 학습할 수 있다.
이후, 매장 영상이 촬영되면(S207), 실시간으로 촬영되는 매장 영상을 외부의 클라우드 서버(400)로 전달하여 대응되는 매장 상태 인식을 요청한다(S209).
클라우드 서버(400)로부터, 전달된 매장 영상에 대응되어 수행된 매장 상태 인식 결과를 수신한다(S211). 즉, 이러한 매장 상태 인식 결과가 매장 상태 인식부(205)에서의 매장 상태 인식 결과가 된다.
다음, 도 2에서도 설명한 것처럼, 매장 상태 판단부(207)를 통해 매장 상태 인식 결과를 기 정의된 기준값과 비교하여 매장 상태를 판단한다(S215). 그리고 출력부(209)를 통하여 매장 상태 분류 결과를 외부로 출력한다(S217).
이와 같이, 본 발명의 다른 실시예에 따른 매장 관리 장치(200)에서는 매장 영상에 대응되는 매장 상태 인식 및 매장 상태 인식에 대한 학습을 수행하는 기능을 외부의 클라우드 서버(400)를 사용하여 수행함으로써, 매장 관리 장치(200)의 구성이 간단해져서 컨시어지 로봇에의 탑재가 용이해질 뿐만 아니라, 이미 검증되어 있고 매우 다양하고 많은 정보를 갖고 있는 클라우드 서버(400)를 사용함으로써 매장 관리 장치(200)에 대한 신뢰를 제공할 수 있다.
한편, 전술한 매장 관리 장치(100, 200)는 컨시어지 서비스(Concierge Service)를 제공하는 로봇에 이용될 수 있다. 여기서, 컨시어지 서비스는 고객의 편의를 위해 고객의 요구를 판단하고 이행하는 비서와 같은 서비스로서, 고객과 대면하는 일종의 관문 서비스이다. 이러한 컨시어지 서비스는 예를들면, 레스토랑, 커피전문점, 패스트푸드점, 호텔, 매장 등에서 제공될 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 매장 관리 로봇 장치의 개략적인 구성도이다. 도 6에서는 설명의 편의상 본 발명의 특징과 관련 없는 로봇 장치의 일반적인 구성 및 그 동작에 대한 설명은 생략하였다.
도 6을 참조하면, 본 발명의 또 다른 실시예에 따른 로봇 장치(500)는 매장 관리 장치(501), 음성 대화 장치(503), 컨시어지 서비스 처리 장치(505), 저장부(507) 및 제어부(509)를 포함한다.
매장 관리 장치(501)는 매장 영상을 토대로 매장 상태를 인식하고, 매장 상태를 판단한다. 이러한 매장 관리 장치(501)는 도 1 ~ 도 5에서 설명한 내용과 동일하다.
음성 대화 장치(503)는 외부의 사람 등으로부터 입력되는 음성 입력을 받아서 그에 대응되는 음성 대화를 위한 음성을 출력한다. 그리고 매장 관리 장치(501)가 출력하는 매장 상태 정보를 자연어 처리하고, 자연어에 대응되는 대화 문장을 생성하여 음성으로 출력할 수 있다. 이때, 대화 문장은 다양한 방식, 예를 들어, 인공지능 방식 등을 사용하여 생성할 수 있으며, 이러한 방식은 로봇 장치(500)의 동작 방식에 따라 다양하게 구성될 수 있으며, 그 구체적인 구성은 본 실시예에서의 특징과는 관련이 없으므로 여기에서는 구체적인 설명을 생략한다.
컨시어지 서비스 처리 장치(505)는 매장 관리 장치(501)에서 출력되는 매장 상태 판단 결과를 토대로 대응하는 컨시어지 서비스를 제공한다. 한 실시예에 따르면, 매장 상태 판단 결과와, 매장 상태 판단 결과에 따른 대기 시간을 피지컬 웹 유알엘(URL)로 구성하여 매장 내 브로드캐스팅할 수 있다. 그러면, 피지컬 웹 유알엘(URL)을 스캔한 사용자 단말(미도시)은 매장 상태 및 대기 시간을 안내받을 수 있다. 이러한 방식은 로봇 장치(500)의 컨시어지 서비스 시나리오에 따라 다양하게 구성될 수 있으며, 그 구체적인 구성은 본 실시예에서의 특징과는 관련이 없으므로 여기에서는 구체적인 설명을 생략한다.
저장부(507)는 로봇 장치(500)의 동작 수행을 위한 명령어(Instruction), 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다.
제어부(509)는 로봇 장치(500)의 각 구성요소, 즉 매장 관리 장치(501), 음성 대화 장치(503), 컨시어지 서비스 처리 장치(505), 저장부(507) 간에 전달되는 신호를 처리한다.
이와 같은, 로봇 장치(500)는 도 7과 같이 구현될 수 있다. 도 7은 본 발명의 또 다른 실시예에 따른 로봇 장치의 사시도이다.
도 7을 참조하면, 로봇 장치(500)는 사람과 유사하게 머리와 몸통을 지닌 로봇 형상을 가지는 본체(511)의 머리 부분에 마이크(513)가 장착되고, 본체(511)의 얼굴 부분에 매장 영상을 촬영하기 위한 PTZ 카메라(515)가 장착될 수 있다.
본체(511)의 몸통 전면에는 매장 상태 판단 결과, 매장 상태 판단 결과에 따른 컨시어지 서비스 데이터 등을 출력하기 위한 모니터 화면을 구비하는 디스플레이 장치(517)가 장착된다. 본체(511)의 몸통을 둘러싸인 부분에 매장 상태 판단 결과, 매장 상태 판단 결과에 따른 컨시어지 서비스 데이터 등에 대응되는 대화 문장을 음성으로 출력하기 위한 스피커(519)가 장착될 수 있다.
이때, 본체(511)의 내부에는 전술한 매장 관리 장치(100, 200)가 포함된다.
한편, 도 8은 본 발명의 또 다른 실시예에 따른 매장 관리 장치 또는 로봇 장치의 하드웨어 구성을 나타낸 블록도이다.
도 8을 참조하면, 매장 관리 장치 또는 로봇 장치(600)는 근거리 통신 또는 인터넷 연결을 수행하는 통신 장치(601)와, 마이크, 카메라, 외부 장치와 연결되어 데이터를 송수신하는 입출력 포트 등으로 구성된 입력 장치(603)와, 화면에 데이터를 시각적으로 표시하는 디스플레이부, 음성을 출력하는 스피커 등으로 구성된 출력 장치(605)와, 저장 장치(607) 및 프로세서(609) 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 도 1 내지 도 7에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도 1 내지 도 8에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행할 수 있는 명령어들(instructions)을 포함하고, 저장 장치(607) 및 프로세서(609) 등의 하드웨어와 결합하여 본 발명을 구현한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 머리, 얼굴 및 몸통으로 이루어진 로봇 형상의 본체,
    상기 몸통의 전면에 장착되어, 데이터를 화면에 출력하는 디스플레이 장치,
    상기 머리에 장착되어, 외부 음성을 입력받는 마이크,
    상기 몸통을 둘러싸는 위치에 장착되어, 음성을 출력하는 스피커,
    상기 얼굴에 장착되어, 매장 내 정해진 지점의 매장 영상을 촬영하는 카메라,
    상기 본체의 내부에 포함되어, 근거리 통신 또는 인터넷 연결을 수행하는 통신 장치,
    상기 본체의 내부에 포함되어, 매장 영상을 이용한 매장 관리를 수행하는 프로그램을 저장하는 저장부, 그리고
    상기 본체의 내부에 포함되고, 상기 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로그램은,
    상기 카메라가 서로 다른 복수의 각도 및 복수의 시간에 촬영하여 획득한 서로 다른 종류의 매장 영상 및 상기 카메라가 촬영한 매장 영상과 전혀 다른 대조군의 매장 영상을 기초로 딥(deep) 합성곱 신경망(Convolutional Neural Network, CNN) 모델 학습을 수행하여 추출한 후보 영역에서 매장 상태를 구분하는 특징 정보를 매장 상태 인식을 위한 학습 정보로 저장하고,
    상기 매장 상태 인식을 위한 학습 정보와 상기 카메라가 실시간 촬영하는 매장 영상을 토대로 상기 합성곱 신경망(CNN) 모델을 사용하여, 테이블 점유 유무, 의자에 앉은 사람수, 테이블 위에 놓인 컵의 유무 및 컵의 개수를 포함하는 매장 상태를 인식하고,
    상기 매장 상태를 인식한 결과를 기초로, 점유 테이블의 개수를 카운트하여, 상기 점유 테이블의 개수로부터 매장내 빈 테이블의 개수를 추정하고,
    상기 카메라가 촬영한 영상을 통해 사람 얼굴을 인식하여, 사람수가 몇 명인지 카운트하고,
    카운트한 사람 수가 기 정의된 기준값이면 매장 혼잡으로 판단하고,
    카운트한 사람 수가 상기 기준값에 해당하지 않으면, 매장 한가함으로 판단하며,
    상기 매장내 빈 테이블의 개수와, 매장 혼잡 또는 매장 한가함을 포함하는 매장 상태와, 대기시간을 포함하는 피지컬 웹 유알엘(Physical Web URL)을 근거리 통신으로 브로드캐스팅하고,
    상기 매장내 빈 테이블의 개수와, 매장 혼잡 또는 매장 한가함을 포함하는 매장 상태를 자연어 처리하고 상기 자연어에 대응되는 대화 문장을 생성하여 음성으로 출력하고,
    상기 매장내 빈 테이블의 개수와, 매장 혼잡 또는 매장 한가함을 포함하는 매장 상태에 따른 컨시어지 서비스 시나리오에 따라 컨시어지 서비스 데이터를 생성하여 상기 디스플레이 장치로 출력하고,
    상기 매장내 빈 테이블의 개수와, 매장 혼잡 또는 매장 한가함을 포함하는 매장 상태 및 상기 컨시어지 서비스 데이터를 인터넷망을 통해 출력하며,
    상기 마이크를 통해 입력받은 음성을 인식하고 인식한 음성에 대응되는 음성 대화를 위한 음성을 출력하는 명령어들(instructions)을 포함하고,
    상기 컨시어지 서비스 데이터는,
    레스토랑, 커피전문점, 패스트푸드점, 호텔 및 매장을 포함하는 영업장에서 고객의 편의를 위해 고객의 요구를 판단하고 이행하는 관문 서비스를 제공하는 정보들로 구성되는, 매장 관리 로봇.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 프로그램은,
    매장 영상을 신경망 모델을 사용한 학습이 가능한 외부의 클라우드 서버로 전달하여 매장 영상에 대응되는 학습을 수행시킨 후,
    실시간 촬영된 매장 영상을 상기 클라우드 서버로 전달하여 상기 실시간 촬영된 매장 영상에 대응되는 매장 상태 인식을 요청한 후 상기 클라우드 서버로부터 매장 상태 인식 결과를 수신하는 명령어들을 포함하는, 매장 관리 로봇.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020170074439A 2016-11-15 2017-06-13 매장 관리 로봇 KR101803081B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/005457 WO2018230843A1 (ko) 2017-06-13 2018-05-11 매장 관리 장치, 그 방법 및 매장 관리 로봇

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160152216 2016-11-15
KR20160152216 2016-11-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157627A Division KR20180054505A (ko) 2016-11-15 2017-11-23 매장 관리 장치, 그 방법 및 매장 관리 로봇

Publications (1)

Publication Number Publication Date
KR101803081B1 true KR101803081B1 (ko) 2017-11-29

Family

ID=60811479

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020170074432A KR101854431B1 (ko) 2016-11-15 2017-06-13 컨시어지 로봇
KR1020170074439A KR101803081B1 (ko) 2016-11-15 2017-06-13 매장 관리 로봇
KR1020170157627A KR20180054505A (ko) 2016-11-15 2017-11-23 매장 관리 장치, 그 방법 및 매장 관리 로봇
KR1020180048708A KR20180054528A (ko) 2016-11-15 2018-04-26 컨시어지 로봇 시스템, 컨시어지 서비스 방법 및 컨시어지 로봇

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170074432A KR101854431B1 (ko) 2016-11-15 2017-06-13 컨시어지 로봇

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020170157627A KR20180054505A (ko) 2016-11-15 2017-11-23 매장 관리 장치, 그 방법 및 매장 관리 로봇
KR1020180048708A KR20180054528A (ko) 2016-11-15 2018-04-26 컨시어지 로봇 시스템, 컨시어지 서비스 방법 및 컨시어지 로봇

Country Status (1)

Country Link
KR (4) KR101854431B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102040218B1 (ko) * 2018-06-11 2019-11-04 엘지전자 주식회사 대기열을 인식하는 이동식 로봇 및 이동식 로봇의 동작 방법
KR102040574B1 (ko) 2018-07-26 2019-11-06 강삼태 매장 관리 시스템 및 매장 관리방법
CN110473162A (zh) * 2018-05-11 2019-11-19 精工爱普生株式会社 机器学习装置、摄影时间估计装置及学习模型的生成方法
CN112247951A (zh) * 2018-08-01 2021-01-22 苏州优智达机器人有限公司 机器人
CN113700414A (zh) * 2021-10-29 2021-11-26 杭州明融科技有限公司 一种贵重物品安全管理系统
KR20220037096A (ko) 2020-09-17 2022-03-24 유진기술 주식회사 텔레프레전스 로봇 및 이를 활용한 무인 점포 관리 방법
CN118238151A (zh) * 2024-05-28 2024-06-25 烟台大学 一种基于多模态情感识别的协作机器人控制方法及系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565434B2 (en) 2017-06-30 2020-02-18 Google Llc Compact language-free facial expression embedding and novel triplet training scheme
KR102139855B1 (ko) * 2018-05-23 2020-07-30 한국과학기술원 사용자와 대화하며 내면 상태를 이해하고 긴밀한 관계를 맺을 수 있는 감성지능형 개인비서 시스템
KR102092392B1 (ko) * 2018-06-15 2020-03-23 네이버랩스 주식회사 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
KR102242779B1 (ko) * 2018-09-14 2021-04-20 엘지전자 주식회사 로봇 및 그 동작 방법
CN109822581A (zh) * 2018-12-08 2019-05-31 浙江国自机器人技术有限公司 用于机房机器人的导览方法
KR102115754B1 (ko) 2019-04-26 2020-05-27 김병수 컨시어지 서비스 시스템
US11413764B2 (en) 2019-06-07 2022-08-16 Lg Electronics Inc. Serving robot and method for receiving customer using the same
KR102363143B1 (ko) * 2019-07-16 2022-02-15 조강훈 프랜차이즈 가맹점의 고객 서비스 관리 시스템 및 방법
KR102263159B1 (ko) * 2019-07-30 2021-06-10 엘지전자 주식회사 로봇의 경로를 결정하는 인공 지능 서버 및 그 방법
KR102231922B1 (ko) 2019-07-30 2021-03-25 엘지전자 주식회사 인공 지능을 이용하여, 복수의 로봇들을 제어하는 인공 지능 서버
KR102258381B1 (ko) 2019-07-31 2021-05-31 엘지전자 주식회사 복수의 로봇들을 관제하는 인공 지능 서버 및 그 방법
KR102259429B1 (ko) * 2019-08-09 2021-06-02 엘지전자 주식회사 로봇의 배치 구역을 결정하는 인공 지능 서버 및 그 방법
WO2021045271A1 (ko) * 2019-09-05 2021-03-11 엘지전자 주식회사 로봇
KR102295807B1 (ko) * 2020-02-24 2021-08-31 연세대학교 산학협력단 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법
KR20220031966A (ko) * 2020-09-06 2022-03-15 조강훈 외식 프랜차이즈 커뮤니케이션 시스템
KR102620674B1 (ko) * 2021-01-14 2024-01-04 순천대학교 산학협력단 인공지능기반 유저 반응형 키오스크 결제 시스템
KR102481439B1 (ko) * 2021-04-09 2022-12-27 주식회사 닐슨 콘텐츠 결정 방법, 장치 및 컴퓨터 프로그램
US11911890B2 (en) 2021-04-28 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing a service using a robot
KR102683736B1 (ko) * 2021-11-01 2024-07-10 (주)뉴빌리티 무인 이동체에서의 광고 제공 방법 및 시스템
WO2023212614A1 (en) * 2022-04-26 2023-11-02 Haystack Robotics, Inc. Automated robotic ground-truth, checklists, and physical traceability
KR102498533B1 (ko) * 2022-07-15 2023-02-09 권용현 딥 러닝 기법으로 학습된 모델을 이용하여 사용자와의 실시간 대화 및 질문에 대한 응답 제공 기능을 수행하는 대화형 전자 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008055578A (ja) 2006-09-01 2008-03-13 Fujitsu Ltd 情報提供ロボットおよびロボットを用いた情報提供方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101973031B (zh) * 2010-08-24 2013-07-24 中国科学院深圳先进技术研究院 云机器人系统及实现方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008055578A (ja) 2006-09-01 2008-03-13 Fujitsu Ltd 情報提供ロボットおよびロボットを用いた情報提供方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473162A (zh) * 2018-05-11 2019-11-19 精工爱普生株式会社 机器学习装置、摄影时间估计装置及学习模型的生成方法
CN110473162B (zh) * 2018-05-11 2023-04-18 精工爱普生株式会社 机器学习装置、摄影时间估计装置及学习模型的生成方法
KR102040218B1 (ko) * 2018-06-11 2019-11-04 엘지전자 주식회사 대기열을 인식하는 이동식 로봇 및 이동식 로봇의 동작 방법
US11766779B2 (en) 2018-06-11 2023-09-26 Lg Electronics Inc. Mobile robot for recognizing queue and operating method of mobile robot
KR102040574B1 (ko) 2018-07-26 2019-11-06 강삼태 매장 관리 시스템 및 매장 관리방법
CN112247951A (zh) * 2018-08-01 2021-01-22 苏州优智达机器人有限公司 机器人
KR20220037096A (ko) 2020-09-17 2022-03-24 유진기술 주식회사 텔레프레전스 로봇 및 이를 활용한 무인 점포 관리 방법
KR102386353B1 (ko) * 2020-09-17 2022-04-12 유진기술 주식회사 텔레프레전스 로봇 및 이를 활용한 무인 점포 관리 방법
CN113700414A (zh) * 2021-10-29 2021-11-26 杭州明融科技有限公司 一种贵重物品安全管理系统
CN118238151A (zh) * 2024-05-28 2024-06-25 烟台大学 一种基于多模态情感识别的协作机器人控制方法及系统

Also Published As

Publication number Publication date
KR20180054528A (ko) 2018-05-24
KR20180054505A (ko) 2018-05-24
KR101854431B1 (ko) 2018-05-03

Similar Documents

Publication Publication Date Title
KR101803081B1 (ko) 매장 관리 로봇
CN110291489B (zh) 计算上高效的人类标识智能助理计算机
JP5864783B2 (ja) 操作者不在画像キャプチャのための方法および装置
US9049983B1 (en) Ear recognition as device input
US10789458B2 (en) Human behavior recognition apparatus and method
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN111163906B (zh) 能够移动的电子设备及其操作方法
KR101887637B1 (ko) 로봇 시스템
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN104125396A (zh) 图像拍摄方法和装置
CN109543633A (zh) 一种人脸识别方法、装置、机器人和存储介质
EP3635513B1 (en) Selective detection of visual cues for automated assistants
KR20210048272A (ko) 음성 및 영상 자동 포커싱 방법 및 장치
CN102902704B (zh) 信息处理设备、短语输出方法
CN108764973A (zh) 一种广告播放方法、装置、设备及存储介质
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
JP2019179390A (ja) 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
KR20190118965A (ko) 시선 추적 시스템 및 방법
JP2021096859A (ja) 仲介装置及び方法、並びにコンピュータ読み取り可能な記録媒体｛ｍｅｄｉａｔｉｎｇ ａｐｐａｒａｔｕｓ、ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｒｅｃｏｒｄｉｎｇ ｍｅｄｉｕｍ ｔｈｅｒｅｏｆ｝
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
CN109189986A (zh) 信息推荐方法、装置、电子设备和可读存储介质
JP3835771B2 (ja) コミュニケーション装置及びコミュニケーション方法
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
KR20210113621A (ko) 뉴럴 네트워크의 트레이닝 및 눈 개폐 상태의 검출 방법, 장치 및 기기
CN110545386B (zh) 用于拍摄图像的方法和设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant