KR20210064859A - 스마트 서비스 제공장치 및 그 방법 - Google Patents

스마트 서비스 제공장치 및 그 방법 Download PDF

Info

Publication number
KR20210064859A
KR20210064859A KR1020190153560A KR20190153560A KR20210064859A KR 20210064859 A KR20210064859 A KR 20210064859A KR 1020190153560 A KR1020190153560 A KR 1020190153560A KR 20190153560 A KR20190153560 A KR 20190153560A KR 20210064859 A KR20210064859 A KR 20210064859A
Authority
KR
South Korea
Prior art keywords
service
situation
unit
sound
vector
Prior art date
Application number
KR1020190153560A
Other languages
English (en)
Other versions
KR102261198B1 (ko
Inventor
유대상
배형일
최서진
Original Assignee
(주)엘컴텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엘컴텍 filed Critical (주)엘컴텍
Priority to KR1020190153560A priority Critical patent/KR102261198B1/ko
Publication of KR20210064859A publication Critical patent/KR20210064859A/ko
Application granted granted Critical
Publication of KR102261198B1 publication Critical patent/KR102261198B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

스마트 서비스 제공장치 및 그 방법이 개시된다. 스마트서비스제공장치는 기 학습된 영상인식모델을 이용하여 영상에서 객체를 인식하거나, 기 학습된 소리인식모델을 이용하여 소리의 종류를 인식하고, 객체의 종류 또는 움직임과, 상기 소리의 종류 중 적어도 하나 이상에 대한 상황을 기 학습된 상황인식모델을 이용하여 인식하고, 상황 종류에 따라 제공할 서비스를 파악한 후 서비스의 실행을 위하여 적어도 하나 이상의 디바이스에 제어명령을 전송한다.

Description

스마트 서비스 제공장치 및 그 방법{Apparatus for providing smart service and method therefor}
본 발명의 실시 예는 공간 내 상황을 인식하고 그에 맞는 최적 서비스를 제공하는 스마트 서비스 제공장치 및 그 방법에 관한 것이다.
다양한 사물에 센서를 부착하여 실시간으로 데이터를 주고받은 사물인터넷(Interet of Things) 기술이 발전함에 따라 건물 내 전등이나 가스, 창문 등을 원격에서 제어하는 다양한 기술이 출현하고 있다. 또한, 가정 내부에서 미세먼지가 많은 경우에는 공기청정기를 가동하는 것과 같이 미리 정의된 조건을 만족하면 특정 동작을 수행하도록 홈네트워크 시스템을 구축할 수도 있다. 그러나 종래의 기술은 다양한 센서를 통해 파악된 값이 기 정의된 조건에 해당하면 특정 동작을 수행하도록 하는 구성일 뿐 사용자의 다양한 행위를 파악하고 그에 따라 최적 서비스를 제공하는 데에는 한계가 있다.
본 발명이 이루고자 하는 기술적 과제는, 인공지능모델을 이용하여 공간 내 상황을 자동 인식하고 그에 맞는 최적의 서비스를 제공할 수 있는 스마트 서비스 제공장치 및 그 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 스마트 서비스 제공장치의 일 예는, 공간을 촬영한 적어도 하나 이상의 영상을 수집하고, 기 학습된 영상인식모델을 이용하여 영상에서 객체의 종류 또는 움직임을 인식하는 영상인식부; 공간에서 발생하는 소리를 수집하고, 기 학습된 소리인식모델을 이용하여 소리의 종류를 인식하는 소리인식부; 객체의 종류 또는 움직임과, 소리의 종류 중 적어도 하나 이상을 기초로 기 학습된 상황인식모델을 이용하여 상기 영상인식부 또는 상기 소리인식부가 인식한 객체 또는 소리에 대한 상황을 인식하는 상황인식부; 상황에 따라 제공할 서비스를 파악하는 서비스추론부; 및 상기 서비스의 실행을 위하여 적어도 하나 이상의 디바이스에 제어명령을 전송하는 제어부;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 스마트 서비스 제공방법의 일 예는, 기 학습된 영상인식모델을 이용하여 영상에서 객체를 인식하거나, 기 학습된 소리인식모델을 이용하여 소리의 종류를 인식하는 단계; 상기 객체의 종류 또는 움직임과, 상기 소리의 종류 중 적어도 하나 이상에 대한 상황을 기 학습된 상황인식모델을 이용하여 인식하는 단계; 상황 종류에 따라 제공할 서비스를 파악하는 단계; 및 상기 서비스의 실행을 위하여 적어도 하나 이상의 디바이스에 제어명령을 전송하는 단계;를 포함한다.
본 발명의 실시 예에 따르면, 영상 또는 소리 등을 이용하여 공간 내 상황을 자동 인식하고 그에 맞는 최적의 서비스를 제공할 수 있다. 또한, 상황 파악을 위한 복잡한 센서의 구축 없이 영상과 소리를 통해 고수준의 상황을 인식할 수 있다.
도 1은 본 발명의 실시 예에 따른 스마트 서비스를 제공하는 시스템의 개략적인 구성을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 스마트 서비스를 위한 영상 수집시 개인 프라이버시 보호를 위한 방법의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 스마트 서비스를 위한 소리 수집시 개인 프라이버시 보호를 위한 방법의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 스마트서비스제공장치의 구성의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 서비스추론부의 상세 구성의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 서비스추론모델을 구성하는 방법의 일 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 서비스추론모델에 저장되는 문장의 일 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따른 서비스추론모델의 벡터 유사도를 이용한 제공 서비스를 파악하는 방법의 일 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 스마트 서비스 제공 방법의 일 예를 도시한 흐름도,
도 10은 본 발명의 실시 예에 따른 서비스추론모델의 생성 방법의 일 예를 도시한 흐름도, 그리고,
도 11은 본 발명의 실시 예에 따른 서비스 추론 방법의 일 예를 도시한 흐름도이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 스마트 서비스 제공장치 및 그 방법에 대해 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 스마트 서비스를 제공하는 시스템의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 적어도 하나 이상의 스마트서비스제공장치(100,110)는 통신망(120)을 통해 학습서버(130)와 연결된다. 학습서버(130)는 스마트 서비스에 필요한 영상인식모델, 소리인식모델, 상황인식모델 등 다양한 인공지능모델을 학습하고, 학습한 인공지능모델을 각 스마트서비스제공장치(100,110)에 제공한다.
영상인식모델은 정지영상 또는 동영상에서 사람, 동물, 청소기 등 다양한 객체의 종류와 객체의 움직임 등을 인식하는 인공지능모델이다. 예를 들어, 학습서버는 다양한 객체에 대한 영상으로 구성된 학습데이터를 이용하여 영상인식모델을 학습시킬 수 있다. 영상인식모델이 사용하는 영상은 칼라영상, 흑백영상 등 종래의 다양한 영상일 수 있으며, 프라이버시 보호를 위해 도 2에서 살펴볼 영상(깊이 영상, 열화상, 색상영상, 라이다 영상, 레이다 영상 등)을 이용할 수도 있다.
소리인식모델은 소리의 종류(예를 들어, 개 짖는 소리, 고양이 소리, 아기 울음 소리, 유리 깨지는 소리, 문 두드리는 소리 등)를 인식하는 인공지능모델이다. 상황인식모델은 영상인식모델을 통해 파악된 객체의 종류와 움직임 및/또는 소리인식모델을 통해 파악된 소리의 종류 등을 기초로 상황(예를 들어, 청소, 취침, 식사, 독서, 강아지가 화분을 쓰러뜨린 상황, 아이가 넘어진 상황 등)을 인식하는 인공지능모델이다. 인공지능모델은 CNN(Convolutional Neural Network) 등 다양한 아키텍처로 구현될 수 있다.
학습서버(130)는 기 정의된 학습데이터를 이용한 딥 러닝(deep learning) 과정을 통해 영상인식모델, 소리인식모델, 상황인식모델을 생성할 수 있다. 예를 들어, 학습서버는 영상인식모델을 통해 주방에서 요리하는 다양한 영상으로부터 인식한 객체의 종류 및 움직임을 포함하는 학습데이터를 이용하여 상황인식모델을 학습시켜 '요리' 상황을 인식하도록 할 수 있다. 또는 학습서버는 청소하는 다양한 영상으로부터 인식한 객체의 종류 및 움직임을 포함하는 학습 데이터를 이용하여 상황인식모델을 학습시켜 '청소' 상황을 인식하도록 만들 수 있다.
다른 실시 예로, 학습서버(130)는 적어도 하나 이상의 스마트서비스제공장치(100,110)로부터 수신한 영상, 소리, 상황 등의 데이터를 이용하여 각 모델을 추가 학습시켜 각 모델의 정확도를 향상시킬 수 있다. 예를 들어, 스마트서비스제공장치(100,110)는 로컬에 위치한 영상인식모델을 이용하여 영상으로부터 인지한 객체에 관한 정보를 학습서버(130)로 전송하고, 학습서버(130)는 스마트서비스제공장치로부터 수신한 영상 및 객체에 관한 정보를 이용하여 영상인식모델을 학습시킬 수 있다. 학습서버(130)는 추가 학습을 통해 갱신된 각 모델을 스마트서비스제공장치(100,110)에 제공할 수 있다. 이 외에도, 인공지능모델의 학습을 위한 종래의 다양한 방법이 본 실시 예에 적용될 수 있다.
스마트서비스제공장치(100,110)는 학습서버(130)로부터 수신한 영상인식모델, 소리인식모델, 상황인식모델 등을 이용하여 공간 내 상황을 인지하고 그에 따른 최적 서비스를 제공한다. 스마트서비스제공장치(100,110)는 그 설치 장소가 특정 공간으로 한정되는 것은 아니며, 다만 이하에서는 설명의 편의를 위해 각 가정에 스마트서비스제공장치(100,110)가 설치되는 경우를 가정하여 설명한다. 스마트서비스제공장치(110,110)는 외부의 학습서버(130) 외에 홈 네트워크 시스템에 연결될 수 있다.
스마트서비스제공장치(100,110)는 화면표시기능과 거울 기능을 동시에 가지는 스마트 미러 형태로 구현하거나 다양한 장소에 용이하게 이동 가능한 인공지능스피커 형태로 구현할 수 있는 등 다양한 형태로 구현할 수 있다. 스마트서비스제공장치(100,110)가 스마트미러와 같이 화면표시기능을 포함하는 경우 화면을 이용한 서비스를 제공할 수 있다.
스마트서비스제공장치(100,110)는 상황에 따른 최적 서비스를 제공하기 위한 서비스추론모델을 포함한다. 스마트서비스제공장치(100,110)가 설치된 공간에 따라 사용자의 행위 패턴이 다르므로, 서비스추론모델은 학습서버(130)가 아닌 각 스마트서비스제공장치(100,110)에서 학습할 수 있다. 예를 들어, 동일한 '요리' 상황이라고 하여도, 제1 가정의 사용자는 요리할 때 주방 환풍기를 가동하고 요리가 완료되면 창문을 열어 환기시키는 반면, 제2 가정의 사용자는 요리할 때 주방 환풍기와 창문 환기를 동시에 수행할 수 있다. 이 경우 제1 가정에 위치한 스마트서비스제공장치(100)는 요리 중에 '주방 환풍기 가동', 요리 완료 후에 '창문 환기'의 서비스를 제공할 수 있도록 스마트추론모델을 학습시키고, 제2 가정에 위치한 스마트서비스제공장치(110)는 요리시 '주방 환풍기의 가동' 및 '창문 환기'의 동시 수행 서비스를 제공할 수 있도록 스마트추론모델을 학습시킬 수 있다. 서비스추론모델의 생성 및 학습과정에 대해 도 5 내지 도 8에서 다시 살펴본다.
도 2는 본 발명의 실시 예에 따른 스마트 서비스를 위한 영상 수집시 개인 프라이버시 보호를 위한 방법의 일 예를 도시한 도면이다.
도 2를 참조하면, 프라이버시의 보호가 가능한 영상(깊이 영상, 열화상, 색상영상, 라이다 영상, 레이다 영상 등)을 영상인식모델(200)의 입력 값으로 사용한다. 예를 들어, 깊이 영상은 카메라로부터 객체까지의 거리, 즉 깊이에 따라 서로 다른 색상으로 표현한 영상이고, 열화상은 온도에 따라 서로 다른 색상으로 표현한 영상이다. 깊이 영상, 열화상, 색상영상, 라이다 영상 또는 레이다 영상 등은 윤곽으로 사람을 표시하므로 사람의 얼굴 등이 노출되지 아니하여 사생활 침해를 방지할 수 있다.
예를 들어, 학습서버(130)는 프라이버시의 보호가 가능한 영상(깊이 영상, 열화상, 색상영상, 라이다 영상, 레이다 영상 등)으로 표현된 복수의 학습 데이터를 이용하여 영상인식모델(200)을 학습시킨 후 이를 스마트서비스제공장치(100,110)에 제공할 수 있다. 스마트서비스제공장치(100,110)는 카메라로부터 프라이버시의 보호가 가능한 영상(깊이 영상, 열화상, 색상영상, 라이다 영상, 레이다 영상 등)을 수신하고 이를 학습서버(130)로부터 수신한 영상인식모델(200)에 입력하여 영상 내 객체를 인식할 수 있다.
도 3은 본 발명의 실시 예에 따른 스마트 서비스를 위한 소리 수집시 개인 프라이버시 보호를 위한 방법의 일 예를 도시한 도면이다.
도 3을 참조하면, 소리인식모델(310)은 사람의 대화 음성을 제거한 음향만을 입력값으로 사용한다. 이를 위해, 마이크를 통해 공간 내 다양한 소리가 입력되면 음성제거필터(300)는 사람의 음성을 제거한 음향을 소리인식모델(310)로 출력한다.
예를 들어, 학습서버(130)는 음향(예를 들어, 개 짖는 소리, 깨지는 소리 등)으로 구성된 다양한 학습 데이터를 이용하여 소리인식모델(310)을 학습시키고 이를 스마트서비스제공장치(100,110)에 제공할 수 있다. 스마트서비스제공장치(100,110)는 음향제거필터(300)를 통해 음성이 제거된 음향을 입력받고 학습서버(130)로부터 수신한 소리인식모델(310)을 이용하여 소리의 종류(예를 들어, 개 짖는 소리, 깨지는 소리 등)를 인식할 수 있다.
도 4는 본 발명의 실시 예에 따른 스마트서비스제공장치의 구성의 일 예를 도시한 도면이다.
도 4를 참조하면, 스마트서비스제공장치(100)는 영상인식부(400), 소리인식부(410), 환경인식부(420), 상황인식부(430), 질의응답부(440), 서비스추출부(450), 제어부(460), 모델갱신부(470) 등을 포함한다. 실시 예에 따라 구성 중 일부를 생략하여 구현하거나 다른 구성을 추가하여 구현할 수 있다. 예를 들어, 스마트서비스제공장치(100)는 환경인식부(420), 질의응답부(440), 모델 갱신부(470)를 생략하여 구현할 수 있다.
영상인식부(400)는 공간을 촬영한 적어도 하나 이상의 영상을 수집하고, 영상인식모델을 이용하여 영상 내 객체의 종류 및/또는 움직임 등을 인식한다. 예를 들어, 영상인식부(400)는 가정 내 설치된 적어도 하나 이상의 카메라(480)를 이용하여 수집한 영상에서 정객체(예를 들어, 소파, TV, 가구 등)와 동객체(예를 들어, 사람, 동물, 로봇청소기 등)를 구분 인식하고, 동객체의 움직임을 파악할 수 있다. 이때 영상은 도 2에서 살핀 프라이버시 보호가 가능한 영상(깊이 영상, 열화상, 색상영상, 라이다 영상, 레이다 영상 등)일 수 있다.
소리인식부(410)는 공간에서 발생하는 소리를 수집하고, 소리인식모델을 이용하여 소리의 종류를 인식한다. 예를 들어, 소리인식부(410)는 공간 내 위치한 적어도 하나 이상의 마이크(482)를 통해 수집한 소리가 어떤 상황의 소리인지 소리인식모델을 통해 그 종류를 구분한다. 실시 예에 따라 소리는 도 3에서 살핀 바와 같이 사람 음성이 제거된 음향일 수 있다.
환경인식부(420)는 공간 내 위치한 적어도 하나 이상의 센서 또는 각종 디바이스(486)로부터 환경정보를 수집한다. 예를 들어, 환경인식부(420)는 온도센서나 습도센서 등을 통해 공간 내 온도나 습도 등의 정보를 수집하거나, 환풍기, 창문제어장치, 조명제어장치 등의 각종 디바이스(486)로부터 동작상태(예를 들어, 환풍기 온/오프, 창문 온/오프 등)에 대한 정보를 수집할 수 있다. 이 외에도, 환경인식부(420)는 인터넷 등을 통해 외부의 다양한 서버로부터 날씨정보, 공기질 정보 등 다양한 외부 환경의 정보를 수집할 수도 있다.
상황인식부(430)는 영상인식부(400)를 통해 인식한 객체의 종류 또는 움직임, 소리인식부(410)를 통해 파악한 소리의 종류, 환경인식부(420)를 통해 수집한 각종 환경정보 중 적어도 하나 이상을 상황인식모델에 입력하여 공간 내 상황을 인식한다. 예를 들어, 영상인식부(400)를 통해 사람과 청소기의 객체가 인식되고, 소리인식부(410)를 통해 청소기 소리가 인식되면, 상황인식부(430)는 상황인식모델을 통해 '청소' 상황임을 파악할 수 있다.
질의응답부(440)는 사용자에게 특정 서비스의 제공 여부에 대해 질의하고, 사용자로부터 허락 여부의 응답을 수신할 수 있다. 질의응답부(440)가 사용자에게 제공 여부를 문의하는 서비스의 종류는 이후 살펴볼 서비스추론부(450)에 의해 파악될 수 있다.
다른 실시 예로, 질의응답부(440)는 사용자의 음성 또는 버튼을 이용한 제어명령을 수신하면, 그에 따른 동작을 수행할 수 있다. 예를 들어, 질의응답부(440)는 사용자로부터 조도의 조절, 조명의 온/오프, 에이컨의 온도조절이나 온/오프, 창문 개폐, 현관문 개폐 등의 각종 제어명령을 음성 또는 터치스크린 등 종래의 다양한 사용자 인터페이스를 통해 입력받으면, 제어부(460)를 통해 각종 디바이스를 제어할 수 있다. 이 외에도, 질의응답부(440)는 사용자와 음성 대화를 통해 서비스를 제공하는 일종의 음성비서의 역할을 수행할 수 있다.
서비스추론부(450)는 상황에 따른 최적 서비스를 추론하는 서비스추론모델을 생성하고, 상황인식부(430)를 통해 파악한 공간 내 상황에 따른 최적 서비스를 서비스추론모델을 이용하여 파악한다. 서비스추론부(450)는 센서의 센싱값과 맵핑하여 미리 정의한 서비스를 선택하는 것이 아니라 상황에 따른 다양한 서비스를 파악한다.
예를 들어, 공기질 측정 센서를 통해 파악된 실내 공기질이 나쁘면, 공기청정기의 가동 서비스를 제공할 수 있다. 그러나 공기질이 나쁜 이유가 실외 공기질이 나쁜 경우, 요리를 한 경우, 청소를 한 경우 등 다양할 수 있는데 단순히 공기질 측정 센서를 통해서는 이러한 원인 상황을 파악할 수 없으며, 따라서 상황에 맞는 최적 서비스를 제공하는데 한계가 있다.
이에 본 실시 예는, 단순히 실내 공기질이 나쁠 때 제공할 특정 서비스를 미리 정의하고 있는 것이 아니라, 서비스추론모델을 통해 공기질을 나쁘게 만든 상황(즉, 원인)을 파악하고 그에 맞는 최적 서비스를 제공한다. 위 예에서, 서비스추론부(450)는 상황인식부(430)를 통해 '요리' 상황이 인식되면, 서비스추론모델을 이용하여 제공 서비스의 종류로 '주방 환풍기 가동', '공기청정기 가동', 또는 '창문 환기' 등을 선택할 수 있다. 또는 상황인식부(430)를 통해 '요리' 상황을 인식하고, 환경인식부(420)를 통해 외부 공기질이 나쁨을 파악하면, 서비스추론부(430)는 서비스추론모델을 통해 '창문환기'를 제외한 '주방 환풍기 가동' 또는 '공기청정기 가동' 등의 서비스를 추론할 수 있다. 다시 말해, 서비스추론부(450)는 실내 공기질이 나쁜 동일한 환경에서도 공간 내 상황에 따른 최적 서비스를 선택할 수 있다. 서비스추론부(450)에 대해서는 도 5 이하에서 다시 살펴본다.
제어부(460)는 서비스추론부(450)에 의해 파악된 서비스를 수행하기 위하여 적어도 하나 이상의 디바이스(486)에 제어명령을 전송한다. 예를 들어, 서비스추론부(450)에 의해 선택된 '공기청정기 가동' 서비스의 제공을 위해, 제어부(460)는 공기청정기에 가동 명령을 전송할 수 있다. 다른 예로, 상황인식부(430)에 의해 '출근' 상황이 인지되고, 서비스추론부(450)에 의해 '날씨정보 제공 서비스'가 선택되면, 제어부(460)는 특정 디바이스의 동작을 제어하는 것이 아니라 환경인식부(420)를 통해 파악한 날씨정보 등을 음성 또는 화면을 통해 사용자에게 제공할 수 있다.
모델갱신부(470)는 외부의 학습서버(130)로부터 갱신된 영상인식모델, 소리인식모델 또는 상황인식모델 등을 수신하여 로컬에 저장된 각 모델을 갱신한다. 또는 모델갱신부(470)는 영상인식부, 소리인식부, 환경인식부 또는 상황인식부 등이 수집한 각종 정보와 각 모델을 통해 인식한 객체나 소리 등을 학습서버(130)에 제공하여 학습서버(130)가 각 모델의 학습에 이용할 수 있도록 한다.
도 5는 본 발명의 실시 예에 따른 서비스추론부의 상세 구성의 일 예를 도시한 도면이다.
도 5를 참조하면, 서비스추론부(450)는 벡터변환부(500) 및 벡터비교부(510)를 포함한다.
벡터변환부(500)는 상황인식부(430)가 인식한 상황과 제공 서비스 등을 묘사하는 문장을 생성하고, 문장 사이의 유사도를 비교할 수 있도록 문장 벡터를 생성하고 저장한다. 예를 들어, 벡터변환부(500)는 워드 임베딩(word embedding)을 이용하여 문장을 n차원의 벡터로 변환할 수 있다. 차원의 차수는 실시 예에 따라 다양하게 변형될 수 있다. 상황과 제공서비스를 묘사하는 문장의 일 예가 도 7에 도시되어 있다.
서비스추론모델은 벡터변환부(450)가 생성한 벡터로 구성된다. 예를 들어, n차원의 문장 벡터를 벡터 스페이스에 표현하면 도 8과 같다.
벡터비교부(510)는 상황인식부(430)에 의해 인식된 상황을 묘사하는 문장에 대한 벡터와 서비스추론모델에 기 저장된 벡터 사이의 유사도를 기초로 제공 서비스를 파악한다. 예를 들어, 서비스추론모델에 '12월 1일 11시 요리 - 주방환풍기 가동'의 문장에 대한 벡터가 존재하고, 상황인식부(430)에 의해 현재 인식된 상황이 '요리'이면, 벡터비교부(510)는 현재 인식한 상황인 '요리'라는 문장에 대한 벡터를 기초로 서비스추론모델에서 유사한 벡터를 검색하여 '요리 - 주방환풍기 가동'의 문장을 파악할 수 있다. 그러면, 벡터비교부(510)는 해당 인식한 상황에 대해 제공할 서비스로 '주방환풍기 가동'를 선택할 수 있다.
도 6은 본 발명의 실시 예에 따른 서비스추론모델을 구성하는 방법의 일 예를 도시한 도면이다.
도 5 및 도 6을 참조하면, 상황인식부(430)에 의해 제1 상황(600)(예를 들어, 요리, 식사, 취침, 독서, 출근, 청소 등)이 인식되고, 환경인식부(420)에 의해 각종 센서의 센싱값 또는 각종 디바이스(486)의 동작 상태(610)가 파악되면, 서비스추론부(450)는 상황과 디바이스의 동작 상태 등을 묘사하는 문장에 대한 벡터를 생성하고 저장한다(660). 예를 들어, 상황인식부(430)가 '청소' 상황을 인지하고, 환경인식부(420)가 '창문 열림'을 감지하면, 서비스추론부(450)는 '12월 1일 10시 청소 - 창문열림'의 문장에 대한 벡터를 생성하고 저장한다.
다른 실시 예로, 상황인식부(430)에 의해 제2 상황(620)이 인식되고, 질의응답부(440)가 사용자로부터 특정 서비스 요청(630)을 받으면, 서비스추론부(450)는 상황과 요청 서비스를 묘사하는 문장에 대한 벡터를 생성하고 저장한다(660). 예를 들어, 질의응답부(440)가 음성 등을 통해 청소하는 사용자로부터 창문 열림 요청을 수신하면, 제어부(460)는 창문제어장치에 창문 열림의 제어명령을 전송한다. 또한, 서비스추론부(450)는 상황인식부(430)를 통해 파악한 '청소' 상황과 사용자의 창문 열림의 서비스 요청을 나타내는 '12월 1일 10시 청소 - 창문열림'의 문장에 대한 벡터를 생성하고 저장한다(660).
또 다른 실시 예로, 상황인식부(430)에 의해 제3 상황(640)이 인식되고, 질의응답부(440)가 서비스추론모델을 통해 선택한 서비스를 사용자에게 제안하고 사용자가 이를 수락하면, 서비스추론부(450)는 상황과 수락 서비스에 대한 문장의 벡터를 생성하고 저장한다. 예를 들어, 상황인식부(430)에 의해 '청소' 상황이 인지되고, 서비스추론부(450)가 '청소'에 대한 문장 벡터를 기초로 서비스추론모델을 검색하여 '청소 - 창문 열림'의 문장을 파악하면, 질의응답부(440)는 음성 또는 화면을 통해 사용자에게 창문 열림 서비스를 제공할지 여부를 사용자에게 질의하고 사용자가 이를 허락하면, 서비스추론부(450)는 '12월 1일 10시 청소 - 창문 열림' 문장에 데힌 벡터를 생성하고 저장한다.
이와 같은 방법으로, 서비스추론부(450)는 각 상황(600,610,620)과 환경인식부(420) 또는 질의응답부(440) 등을 통해 파악한 사용자의 행동 패턴(610,630,650)을 나타내는 문장에 대한 벡터를 저장한 서비스추론모델을 생성하고 갱신한다.
도 7은 본 발명의 실시 예에 따른 서비스추론모델에 저장되는 문장의 일 예를 도시한 도면이다.
도 7을 참조하면, 도 6에서 살핀 제1 상황(600)과 디바이스 동작상태(610)를 나타내는 문장을 벡터로 저장하는 경우를 설명한다. 상황인식부(430)에 의해 '요리' 상황(700)이 인지되고, 환경인식부(420)에 의해 '주방 환풍기 가동'의 동작상태(710)가 인지되면, 서비스추론부(450)는 날짜와 상황, 디바이스 동작상태 등을 다양한 형태로 조합한 복수 개의 문장을 생성한다.
예를 들어, 상황인식의 날짜가 12월의 첫 번째 주 월요일이고, 시간이 11시 10분이면, 서비스추론부(450)는 '12월 1주차 월요일 11시 10분 요리'의 문장을 생성한다. 다른 예로, 서비스추론부(450)는 행위자(예를 들어, 가족 구성원 중 누구인지)를 추가하여 ''12월 1주차 월요일 11시 10분 엄마 요리'의 문장을 생성할 수 있는 등 다양한 형태로 문장을 생성할 수 있다. 상황 등을 나타내는 문장은 기 정의된 포맷에 따라 생성하거나 이미지나 상황 등을 문장으로 표현하는 종래의 다양한 문장 표시 방법을 적용하여 생성할 수 있다.
서비스추론부(450)는 '12월', '12월_1주차', '12월_1주차_월요일', ..., '12월_1주차_월요일_11시_10분_요리_주반 환풍기 가동' 등 단어의 여러 조합을 통해 다양한 문장을 생성하고 이들 각 문장에 대한 벡터(720,722,734,736,738,730)를 생성한다.
본 실시 예에서, 서비스추론모델에는 '12월'에 대한 제1 벡터(720)부터 '12월_1주차_월요일_11시_10분_요리_주방 환풍기 가동'에 대한 제6 벡터(730)까지 저장된다. 동일 문장에 대한 벡터는 동일하므로, 동일 문장은 중복 저장할 필요가 없다. 예를 들어, 도 7의 벡터가 서비스추론모델에 저장된 후 12월 1주차 화요일 11시 30분에 주방 환풍기를 가동하여 요리하는 상황과, 12월 1주차 수요일에 12시에 주방 환풍기를 가동하며 요리하는 상황이 각각 발생한다면, '12월' '12월_1주차'는 이전에 이미 서비스추론모델에 저장되어 있으므로 중복저장되지 않는다. '12월_1주차_화요일_11시_30분_요리_주방 환풍기 가동', 12월_1주차_수요일_12_요리_주반 환풍기 가동' 등과 같은 이전에 저장되지 않은 문장의 벡터는 서비스추론모델에 저장된다. 이후 '12월 요리' 문장을 기초로 서비스추론모델을 검색하면 유사한 문장으로 세 개의 문장(즉, 월요일, 화요일, 수요일 각각의 요리시 주방 환풍기 가동에 대한 문장)이 검색될 수 있다.
도 8은 본 발명의 실시 예에 따른 서비스추론모델의 벡터 유사도를 이용한 제공 서비스를 파악하는 방법의 일 예를 도시한 도면이다.
도 8을 참조하면, 각 문장은 벡터로 표현된다. 각 문장 사이의 유사도는 벡터 유사도(예를 들어, 코사인 유사도 등)를 이용하여 파악할 수 있다. 서비스추론부(450)는 상황인식부(430)에 의해 파악된 상황을 묘사하는 벡터(800)를 중심으로 일정 반경(810) 내에 위치한 벡터(820,822,824,826)를 검색할 수 있다. 즉, 현 상황의 문장과 유사한 문장을 서비스추론모델을 통해 파악하여 제공 서비스를 선택할 수 있다.
예를 들어, '청소' 상황이 인식되면, 서비스추론부(450)는 상황을 나타내는 문장에 대한 벡터(800)를 생성한다. 상황에 대한 문장은 도 7에서 살핀 바와 같이 다양한 형태일 수 있다. 예를 들어, 서비스추론부(450)는 상황을 나타내는 하나의 단어인 '청소'에 대한 벡터를 생성하거나, 날짜와 상황을 조합한 '12월 1일 10시 청소' 문장에 대한 벡터를 생성하거나, 날짜와 객체를 포함하는 '12월 1일 10시 아빠와 아들이 청소'라는 문장에 대한 벡터를 생성할 수도 있다.
서비스추론부(450)는 상황을 묘사하는 문장에 대한 벡터(800)를 기초로 서비스추론모델에 기 저장된 벡터를 검색하여 유사도가 일정 이상인 벡터(820,822,824,826)를 파악한다. 서비스추론부(450)는 유사도가 일정 이상인 벡터(820,822,824,826)의 문장을 토대로 현 상황에 대해 제공할 서비스를 파악할 수 있다. 예를 들어, '요리' 상황에 대해 검색된 벡터의 문장이 '요리 - 창문 열림' '요리 - 주방 환풍기 가동 및 공기청정기 가동' 등 여러 개가 존재할 수 있다. 이 경우 질의응답부(440)는 여러 서비스 중 어느 서비스를 제공할지 사용자에게 문의할 수 있다. 또 다른 예로, '요리' 상황에 대해 '요리 - 주방 환풍기 가동'의 하나의 서비스가 서비스추론모델에 저장되어 있고, '요리 - 주방 환풍기 가동'의 문장이 여러 날짜에 중복되어 있다면, 서비스추론부(450)는 제공 서비스로 '주방 환풍기 가동'을 선택하고, 사용자에게 별도 질의 없이 제어부(460)는 주방 환풍기 가동의 제어명령을 전송할 수 있다.
도 9는 본 발명의 실시 예에 따른 스마트 서비스 제공 방법의 일 예를 도시한 흐름도이다.
도 9를 참조하면, 스마트서비스제공장치(100)는 영상인식모델을 통해 영상 내 객체를 인식하거나, 소리인식모델을 이용하여 입력된 소리의 종류를 인식하거나, 실내 또는 실외의 환경정보 등을 수집한다(S900).
스마트서비스제공장치(100)는 상황인식모델의 입력 값으로 객체, 소리, 환경정보 중 적어도 하나 이상을 이용하여 상황을 인식한다(S910).
스마트서비스제공장치(100)는 서비스추론모델을 이용하여 상황에 맞는 최적의 서비스를 선택한다. 예를 들어, '청소' 상황이 인지된 경우에, 스마트서비스제공장치(100)는 '청소'에 대한 벡터를 기초로 서비스추론모델의 벡터를 검색하여 가장 유사한 벡터의 문장을 파악한다. 서비스추론모델에 '청소 - 창문 열림' 문장의 벡터가 존재하면, 스마트서비스제공장치(100)는 '창문 열림' 서비스를 제공 서비스로 선택할 수 있다. 그리고 스마트서비스제공장치는 서비스 수행을 위해 해당하는 디바이스에 제어명령을 전송한다(S930).
도 10은 본 발명의 실시 예에 따른 서비스추론모델의 생성 방법의 일 예를 도시한 흐름도이다.
도 10을 참조하면, 서비스추론부(450)는 상황인식부(430)에 의해 파악된 상황 등을 나타내는 문장을 생성한다(S1000). 예를 들어, 서비스추론부(450)는 6에서 살핀 바와 같이 상황 발생 시점의 각종 디바이스의 동작상태, 사용자가 요청 또는 허락한 서비스의 정보를 상황 정보와 함께 문장으로 만들 수 있다. 또한, 서비스추론부(450)는 상황과 서비스를 나타내는 문장에 포함되는 단어를 조합하여 도 7과 같이 여러 문장으로 만들 수 있다.
서비스추론부(450)는 문장의 유사도를 비교할 수 있도록 문장에 대한 벡터를 생성한다(S1010). 예를 들어, 서비스추론부(450)는 워드 임베딩을 이용하여 문장에 대한 벡터를 만들 수 있다. 서비스추론부(450)는 벡터를 저장하여 서비스추론모델을 생성한다(S1020).
도 11은 본 발명의 실시 예에 따른 서비스 추론 방법의 일 예를 도시한 흐름도이다.
도 11을 참조하면, 서비스추론부(450)는 상황인식부(430)에 의해 인식된 상황에 대한 문장 벡터를 생성한다(S1100). 서비스추론부(450)는 상황에 대한 문장 벡터와 유사도가 일정 이상인 벡터를 서비스추론모델에 기 저장된 벡터에서 검색한다(S1110). 서비스추론부(450)는 유사한 벡터가 나타내는 문장을 기초로 제공 서비스를 파악한다(S1120).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (12)

  1. 공간을 촬영한 적어도 하나 이상의 영상을 수집하고, 기 학습된 영상인식모델을 이용하여 영상에서 객체의 종류 또는 움직임을 인식하는 영상인식부;
    공간에서 발생하는 소리를 수집하고, 기 학습된 소리인식모델을 이용하여 소리의 종류를 인식하는 소리인식부;
    객체의 종류 또는 움직임과, 소리의 종류 중 적어도 하나 이상을 기초로 기 학습된 상황인식모델을 이용하여 상기 영상인식부 또는 상기 소리인식부가 인식한 객체 또는 소리에 대한 상황을 인식하는 상황인식부;
    상황에 따라 제공할 서비스를 파악하는 서비스추론부; 및
    상기 서비스의 실행을 위하여 적어도 하나 이상의 디바이스에 제어명령을 전송하는 제어부;를 포함하는 것을 특징으로 하는 스마트 서비스 제공장치.
  2. 제 1항에 있어서,
    상기 영상인식부, 상기 소리인식부 또는 상기 상황인식부에서 인식한 객체, 소리 또는 상황을 외부의 학습서버에 제공하거나, 상기 학습서버로부터 갱신된 영상인식모델, 소리인식모델 또는 상황인식모델을 수신하는 모델갱신부;를 더 포함하는 것을 특징으로 하는 스마트 서비스 제공장치.
  3. 제 1항에 있어서, 상기 서비스추론부는,
    워드 임베딩을 통해 상황 또는 제공 서비스를 나타내는 문장에 대한 벡터를 생성하고 저장하는 벡터변환부; 및
    상기 상황인식부에 의해 인식된 상황에 대한 벡터와 기 저장된 벡터 사이의 유사도를 기초로 제공 서비스를 파악하는 벡터비교부;를 포함하는 것을 특징으로 하는 스마트 서비스 제공장치.
  4. 제 3항에 있어서,
    사용자로부터 서비스 요청을 수신하거나, 서비스의 제공 여부에 대해 사용자에게 문의하는 질의응답부;를 더 포함하고,
    상기 벡터변환부는, 상기 사용자로부터 서비스 요청을 수신하거나 서비스 제공에 대한 허락을 수신하면 상기 상황인식부에 의해 인식된 상황과 상기 사용자가 요청 또는 허락한 서비스를 나타내는 문장에 대한 벡터를 저장하는 것을 특징으로 하는 스마트 서비스 제공장치.
  5. 제 3항에 있어서,
    상기 공간에 위치한 적어도 하나 이상의 디바이스의 동작상태를 감지하는 환경인식부;를 더 포함하고,
    상기 벡터변환부는, 상기 상황인식부에 의해 인식된 상황과 상기 환경인식부를 통해 파악된 적어도 하나 이상의 디바이스의 동작상태를 나타내는 문장에 대한 벡터를 생성하고 저장하는 것을 특징으로 하는 스마트 서비스 제공장치.
  6. 제 1항에 있어서, 상기 영상인식부는,
    깊이에 따라 서로 다른 색상으로 표현된 깊이 영상을 수집하고, 상기 깊이 영상을 상기 영상인식모델의 입력값으로 사용하는 것을 특징으로 하는 스마트 서비스 제공장치.
  7. 제 1항에 있어서, 상기 소리인식부는,
    필터를 이용하여 음성이 제거된 음향을 수집하고, 상기 음향을 상기 소리인식모델의 입력값으로 사용하는 것을 특징으로 하는 스마트 서비스 제공장치.
  8. 스마트 서비스 제공장치가 수행하는 스마트 서비스 제공 방법에 있어서,
    기 학습된 영상인식모델을 이용하여 영상에서 객체를 인식하거나, 기 학습된 소리인식모델을 이용하여 소리의 종류를 인식하는 단계;
    상기 객체의 종류 또는 움직임과, 상기 소리의 종류 중 적어도 하나 이상에 대한 상황을 기 학습된 상황인식모델을 이용하여 인식하는 단계;
    상황 종류에 따라 제공할 서비스를 파악하는 단계; 및
    상기 서비스의 실행을 위하여 적어도 하나 이상의 디바이스에 제어명령을 전송하는 단계;를 포함하는 것을 특징으로 하는 스마트 서비스 제공 방법.
  9. 제 8항에 있어서, 상기 서비스를 파악하는 단계는,
    상황별 서비스를 나타내는 문장에 대한 벡터가 저장된 데이터베이스에서, 상기 인식한 상황 종류에 대한 벡터와 유사도가 높은 벡터를 검색하여 제공 서비스를 파악하는 단계;를 포함하는 것을 특징으로 하는 스마트 서비스 제공 방법.
  10. 제 8항에 있어서,
    사용자로부터 서비스 요청을 수신하거나, 서비스의 제공 여부에 대해 사용자에게 문의하는 단계; 및
    상기 사용자로부터 서비스 요청을 수신하거나 서비스 제공에 대한 허락을 수신하면, 상기 인식한 상황과 상기 사용자가 요청 또는 허락한 서비스를 나타내는 문장에 대한 벡터를 생성하여 저장하는 단계;를 더 포함하는 것을 특징으로 하는 스마트 서비스 제공 방법.
  11. 제 8항에 있어서,
    상기 공간에 위치한 적어도 하나 이상의 디바이스의 동작상태를 감지하는 단계; 및
    상기 인식한 상황과 상기 디바이스의 동작상태를 나타내는 문장에 대한 벡터를 생성하고 저장하는 단계;를 더 포함하는 것을 특징으로 하는 스마트 서비스 제공 방법.
  12. 제 8항 내지 제 11항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190153560A 2019-11-26 2019-11-26 스마트 서비스 제공장치 및 그 방법 KR102261198B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153560A KR102261198B1 (ko) 2019-11-26 2019-11-26 스마트 서비스 제공장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153560A KR102261198B1 (ko) 2019-11-26 2019-11-26 스마트 서비스 제공장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210064859A true KR20210064859A (ko) 2021-06-03
KR102261198B1 KR102261198B1 (ko) 2021-06-07

Family

ID=76374747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153560A KR102261198B1 (ko) 2019-11-26 2019-11-26 스마트 서비스 제공장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102261198B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282449A1 (ko) * 2021-07-08 2023-01-12 삼성전자 주식회사 가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028006A (ko) * 2014-09-01 2016-03-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 주거 환경에서 센싱 데이터를 로깅하는 방법 및 시스템
KR20170011571A (ko) * 2015-07-23 2017-02-02 삼성전자주식회사 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법
KR20180008199A (ko) * 2016-07-15 2018-01-24 삼성전자주식회사 단어 임베딩 방법, 단어 임베딩 장치, 음성 인식 방법 및 음성 인식 장치
KR20190104934A (ko) * 2019-05-31 2019-09-11 엘지전자 주식회사 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028006A (ko) * 2014-09-01 2016-03-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 주거 환경에서 센싱 데이터를 로깅하는 방법 및 시스템
KR20170011571A (ko) * 2015-07-23 2017-02-02 삼성전자주식회사 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법
KR20180008199A (ko) * 2016-07-15 2018-01-24 삼성전자주식회사 단어 임베딩 방법, 단어 임베딩 장치, 음성 인식 방법 및 음성 인식 장치
KR20190104934A (ko) * 2019-05-31 2019-09-11 엘지전자 주식회사 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282449A1 (ko) * 2021-07-08 2023-01-12 삼성전자 주식회사 가전기기의 동작 상태 정보를 제공하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102261198B1 (ko) 2021-06-07

Similar Documents

Publication Publication Date Title
US11050577B2 (en) Automatically learning and controlling connected devices
US10628714B2 (en) Entity-tracking computing system
JP7395229B2 (ja) 状況認識のためのモバイル清掃ロボット人工知能
KR102334942B1 (ko) 돌봄 로봇을 위한 데이터 처리 방법 및 장치
US10367652B2 (en) Smart home automation systems and methods
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
CN205334101U (zh) 一种智能家居系统
CN112051743A (zh) 设备控制方法、冲突处理方法、相应的装置及电子设备
US11466886B2 (en) Artificial intelligence device and artificial intelligence system for managing indoor air condition
US20120232891A1 (en) Speech communication system and method, and robot apparatus
CN113199472A (zh) 机器人控制方法、装置、存储介质、电子设备和机器人
KR102261198B1 (ko) 스마트 서비스 제공장치 및 그 방법
KR102157239B1 (ko) 인공지능에 기반하여 일정에 대응하는 추천 정보를 제공하는 공기청정기 및 방법
KR20190134936A (ko) 공기 조화 장치 및 이의 제어 방법
CN115605859A (zh) 基于设备特定信号来推断用于助理设备的语义标签
US20190251073A1 (en) Method and interactive device for providing social interaction
US20220157305A1 (en) Information processing apparatus, information processing method, and program
EP4111387A1 (en) Inferring assistant action (s) based on ambient sensing by assistant device (s)
CN111919250B (zh) 传达非语言提示的智能助理设备
CN115151919A (zh) 使用人工智能机器定位和映射用户和对象的自适应学习系统
KR20210069462A (ko) 로봇을 위한 음원 위치 추정
KR102636908B1 (ko) 비언어적 인식에 기초하여 소셜 로봇과 사용자 간의 인터랙션을 위한 방법 및 시스템
KR102348308B1 (ko) 사용자 인터랙션 반응 로봇
US20220331953A1 (en) Robot control method, storage medium and electronic device
CN117596088A (zh) 基于声纹识别的网络设备控制方法、装置和系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant