KR102361038B1 - 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템 - Google Patents

적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템 Download PDF

Info

Publication number
KR102361038B1
KR102361038B1 KR1020190078412A KR20190078412A KR102361038B1 KR 102361038 B1 KR102361038 B1 KR 102361038B1 KR 1020190078412 A KR1020190078412 A KR 1020190078412A KR 20190078412 A KR20190078412 A KR 20190078412A KR 102361038 B1 KR102361038 B1 KR 102361038B1
Authority
KR
South Korea
Prior art keywords
data
smart mirror
sound
biometric information
mirror
Prior art date
Application number
KR1020190078412A
Other languages
English (en)
Other versions
KR20210001798A (ko
Inventor
강민구
김춘섭
Original Assignee
주식회사 큐버
한신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐버, 한신대학교 산학협력단 filed Critical 주식회사 큐버
Priority to KR1020190078412A priority Critical patent/KR102361038B1/ko
Publication of KR20210001798A publication Critical patent/KR20210001798A/ko
Application granted granted Critical
Publication of KR102361038B1 publication Critical patent/KR102361038B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 일반적으로 스마트미러에 자신을 비추고 있는 사람에 대해 영상 및 음향 정보에 기초한 고수준 상황인지를 수행하고 이에 기반하여 스마트미러 상에서 챗봇 서비스를 제공하는 기술에 관한 것이다. 특히, 본 발명은 스마트미러에 자신을 비추고 있는 사람에 대하여 영상 및 음향 정보의 가중치에 기반한 적응형 다중 생체정보 처리에 의해 고수준 상황인지를 수행하고 이에 기반하여 스마트미러 상에서 챗봇 서비스를 제공하며 만족도 평가를 반영하여 생체정보 가중치 정보를 조정하고 생체정보 가중치 변경 정보를 블록체인에 넣어 분산 관리함으로써 다수의 스마트미러에서 동일 수준의 고수준 상황인지 기반의 챗봇 서비스를 제공할 수 있는 기술에 관한 것이다. 본 발명에 따르면 챗봇 서비스에 대한 만족도 평가를 반영하여 가중치 테이블을 조정함으로써 고수준 상황인지 성능을 점차적으로 개선할 수 있는 장점이 있다. 이때, 에지 인공지능이 로컬 환경에서 가중치 테이블을 적용하고 그 가중치 테이블의 업데이트 정보는 블록체인으로 분산 관리함으로써 네트워크 환경이 불충분하더라도 원활하게 동작하도록 한 장점이 있다.

Description

적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템 {smart mirror chatbot system of high-level context awareness by use of adaptive multiple biometrics}
본 발명은 일반적으로 스마트미러에 자신을 비추고 있는 사람에 대해 영상 및 음향 정보에 기초한 고수준 상황인지를 수행하고 이에 기반하여 스마트미러 상에서 챗봇 서비스를 제공하는 기술에 관한 것이다.
특히, 본 발명은 스마트미러에 자신을 비추고 있는 사람에 대하여 영상 및 음향 정보의 가중치에 기반한 적응형 다중 생체정보 처리에 의해 고수준 상황인지를 수행하고 이에 기반하여 스마트미러 상에서 챗봇 서비스를 제공하며 만족도 평가를 반영하여 생체정보 가중치 정보를 조정하고 생체정보 가중치 변경 정보를 블록체인에 넣어 분산 관리함으로써 다수의 스마트미러에서 동일 수준의 고수준 상황인지 기반의 챗봇 서비스를 제공할 수 있는 기술에 관한 것이다.
최근들어 인공지능 비서 가능이 구현되고 사용자와 텍스트나 보이스로 인터렉션하는 서비스가 전세계적으로 활발하게 시도되고 있는데, 그 대표적인 예로는 인공지능(AI) 스피커와 스마트 홈 서비스가 있다.
예를 들어, 애플 시리(Apple Siri)를 시작으로 스마트폰을 디지털 비서로 사용하려는 시도가 있었는데, 이는 스마트폰에 내장되어 있는 알림, 날씨, 주식 정보, 메시지 등을 인공지능 비서 기능과 연계시키는 방식이었다. 또한, 인공지능 비서 기능을 독립형 스피커 장치와 결합시는 시도가 있었는데, 이러한 시도의 예로는 구글 어시스턴트(Google Assistant), 아마존 알렉사(Amazon Alexa). 라인프렌즈, 카카오미니 등이 대표적이다. 또한, 인공지능 비서 기능을 사물인터넷(IoT)과 연동시킴으로써 댁내 조명을 보이스로 제어한다거나 홈 시큐리티를 강화하려는 시도도 통신서비스 업체를 중심으로 시도되었다.
그런데, 종래 인공지능 비서의 '질문에 답하기' 및 '명령에 따르기' 방식은 서비스 수준에 한계가 있기에 맨머신(man-machine) 인터렉션 방식이 한 단계 진화할 필요가 있다. 사용자의 명시적 질문이나 명령이 없더라도 사용자가 처한 상황을 보고(watching) 듣고(hearing) 파악(thinking)하여 선제적으로(active action) 서비스하는 방식으로 인공지능 비서가 작동하는 것이 바람직하다. 예를 들면, 인공지능 비서가 사용자를 관찰한 후에 "요리 중이시네요. 지금 후드를 켜시면 미세먼지와 유독가스를 없애실 수 있습니다. 후드를 켜드릴까요?"와 같이 작동하는 것이 바람직하다. 이러한 작동 방식은 종래의 인공지능 비서에서는 제공 불가능한 새로운 유형의 서비스이다.
그런데, 이러한 서비스가 가능하려면 인공지능 비서가 고수준 상황인지 기능을 구비하고 있어야 한다. 사람은 이와 같은 상황인지 기능을 직관적으로 수행할 수 있으나, 컴퓨터 소프트웨어로 구현되는 인공지능 비서는 사용자의 상황을 관찰하여 고수준 상황인지를 수행하는 것이 대단히 어려운 것으로 알려져 있다. 또한, 이러한 고수준 상황인지가 가능하더라도 이를 활용하여 사용자에게 유용한 서비스를 구현하는 것도 매우 어려운 과제로 남겨져 있다.
본 발명의 목적은 일반적으로 스마트미러에 자신을 비추고 있는 사람에 대해 영상 및 음향 정보에 기초한 고수준 상황인지를 수행하고 이에 기반하여 스마트미러 상에서 챗봇 서비스를 제공하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 스마트미러에 자신을 비추고 있는 사람에 대하여 영상 및 음향 정보의 가중치에 기반한 적응형 다중 생체정보 처리에 의해 고수준 상황인지를 수행하고 이에 기반하여 스마트미러 상에서 챗봇 서비스를 제공하며 만족도 평가를 반영하여 생체정보 가중치 정보를 조정하고 생체정보 가중치 변경 정보를 블록체인에 넣어 분산 관리함으로써 다수의 스마트미러에서 동일 수준의 고수준 상황인지 기반의 챗봇 서비스를 제공할 수 있는 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명에 따른 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템은, 스마트미러(100)의 전면에서 자신을 비추는 사용자에 대해 영상 및 음향 정보 기반으로 고수준 상황인지를 수행하고 그 인지된 상황에 대응하여 미러 인터페이스를 통해 챗봇 서비스를 제공하는 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템으로서, 스마트미러(100)의 전면 특정 위치에 설치되고 미러 전면을 촬영하여 사용자와 관련된 영상 데이터를 생성하는 미러 카메라(111); 스마트미러(100)에 설치되고 주변 소리를 수집하여 사용자와 관련된 음향 데이터를 생성하는 미러 마이크(112); 스마트미러(100)의 주변 환경 데이터를 획득하는 환경 센서모듈(113); 고수준 상황인지에 대한 영상 데이터와 음향 데이터의 반영 가중치를 주변 환경 데이터에 대응하여 변경 정의하는 생체정보 가중치 테이블을 저장하는 가중치 테이블 저장부(130); 스마트미러(100)의 내부 메모리 공간에 설치 및 동작하고, 영상 데이터 및 음향 데이터로부터 영상기반 상황인지 및 음향기반 상황인지를 각각 수행하고, 생체정보 가중치 테이블에 주변 환경 데이터를 적용하여 획득한 반영 가중치에 따라 영상기반 상황인지 결과 및 음향기반 상황인지 결과를 데이터 코딩 처리하여 개별 상황인지 복합코드를 획득하고, 개별 상황인지 복합코드를 인공지능 기반 데이터 처리하여 복합 상황인지를 수행함으로써 고수준 상황인지 결과를 획득하는 에지 인공지능부(140); 고수준 상황인지 결과에 대응하여 스마트미러(100)의 사용자 인터페이스를 통해 텍스트 또는 보이스 기반의 실시간 채팅 서비스를 제공하는 챗봇 처리부(150);를 포함하여 구성된다.
본 발명에서 에지 인공지능부(140)는, 영상 데이터를 인공지능 기반 데이터 처리하여 사용자와 관련된 영상기반 상황인지 정보를 획득하는 영상기반 상황인지부(141); 음향 데이터를 인공지능 기반 데이터 처리하여 사용자와 관련된 음향기반 상황인지 정보를 획득하는 음향기반 상황인지부(142); 주변 환경 데이터로부터 사용자와 관련된 환경조건 정보를 획득하는 환경조건 인지부(143); 생체정보 가중치 테이블에 환경조건 정보를 적용하여 고수준 상황인지를 위한 영상 데이터와 음향 데이터의 반영 가중치를 획득하고, 영상기반 상황인지 정보와 음향기반 상황인지 정보에 위 획득한 반영 가중치를 적용하여 가중 연산하고 그 가중 연산 결과를 미리 설정된 포맷에 따라 데이터 코딩 처리함으로써 사용자와 관련된 개별 상황인지 복합코드를 획득하는 생체정보 가중 코딩부(144); 개별 상황인지 복합코드를 인공지능 기반 데이터 처리하여 복합 상황인지를 수행함으로써 사용자와 관련된 고수준 상황인지 결과를 획득하는 복합 상황인지부(145);를 포함하여 구성될 수 있다.
또한, 본 발명에서 미러 카메라(111)는 3D 카메라 모듈을 구비하여 미러 전면의 사용자에 대한 얼굴 모습과 표정에 대한 입체 영상 데이터를 생성하고, 미러 마이크(112)는 3D 음향의 어레이 마이크 모듈을 구비하여 주변 소리에 대한 입체 음향 데이터를 생성하고, 환경 센서모듈(113)은 외부 IoT 센서로부터 조도, 온도, 습도, 미세먼지 중 하나 이상의 주변 환경 데이터를 획득하기 위한 센서 인터페이스 모듈을 포함하여 구성될 수 있다.
또한, 본 발명에 따른 고수준 상황인지 기반의 스마트미러 챗봇 시스템은, 스마트미러(100)의 사용자 인터페이스를 통해 실시간 채팅 서비스에 대한 만족도 평가를 피드백받는 피드백 수신부(160); 피드백 수신부(160)로부터 긍정적 만족도 평가를 제공받는 경우에 생체정보 가중치 테이블에 대해 현재의 환경조건 정보에 대응하는 영상 데이터와 음향 데이터의 반영 가중치의 차이를 확대시키고, 피드백 수신부(160)로부터 부정적 만족도 평가를 제공받는 경우에 생체정보 가중치 테이블에 대해 현재의 환경조건 정보에 대응하는 영상 데이터와 음향 데이터의 반영 가중치의 차이를 축소시키는 가중치 조정부(170); 생체정보 가중치 테이블을 포함시켜 블록 데이터를 생성하고 미리 설정된 스케쥴에 따라 블록체인 업데이트를 수행하여 가중치 분산원장(200)에 대한 분산 정보 공유에 참여하는 블록체인 처리부(180);를 더 포함하여 구성될 수 있다.
본 발명에 따르면 스마트미러에 자신을 비추고 있는 사람에 대해 고수준 상황인지에 기반한 챗봇 서비스를 제공할 수 있는 장점이 있다. 이때, 다중 생체정보에 대해 환경 요소에 연동한 가중치 테이블을 적용함으로써 고수준 상황인지 성능을 환경조건 변화에도 유지할 수 있는 장점이 있다.
또한, 본 발명에 따르면 챗봇 서비스에 대한 만족도 평가를 반영하여 가중치 테이블을 조정함으로써 고수준 상황인지 성능을 점차적으로 개선할 수 있는 장점이 있다. 이때, 에지 인공지능이 로컬 환경에서 가중치 테이블을 적용하고 그 가중치 테이블의 업데이트 정보는 블록체인으로 분산 관리함으로써 네트워크 환경이 불충분하더라도 원활하게 동작하도록 한 장점이 있다.
[도 1]은 본 발명에 따른 스마트미러 챗봇 시스템의 전체 구성을 개념적으로 나타내는 도면.
[도 2]은 본 발명에서 스마트미러가 고수준 상황인지를 수행하는 과정을 개념적으로 나타내는 도면.
[도 3]는 본 발명에서 생체정보 가중치 테이블의 일 예를 나타내는 도면.
[도 4]는 본 발명에서 생체정보 가중치 테이블을 조정하고 블록체인을 적용하는 개념을 나타내는 도면.
[도 5]는 일반적인 감정표현의 예를 나타내는 도면.
[도 6]은 본 발명에서 양호하게 사용할 수 있는 감정분류 체계의 예를 나타내는 도면.
[도 7]은 본 발명에서 양호하게 사용할 수 있는 감정코드 인코딩의 예를 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 스마트미러 챗봇 시스템의 전체 구성을 개념적으로 나타내는 도면이다.
스마트미러(100)는 외관상 일반 거울과 매우 흡사한데 그 내부에 각종 전자장비와 디스플레이가 구비되어 있는 장치이다.
본 발명에서 스마트미러(100)는 미러 카메라(111)와 미러 마이크(112)를 구비하며, 이를 통해 미러 전면에서 자신을 비추는 사용자와 관련하여 영상 데이터와 음향 데이터를 획득한다. 또한, 스마트미러(100)는 환경 센서모듈(113)을 구비하며, 이를 통해 미러 주변에 대한 환경 데이터, 에컨대 조도, 온도, 습도, 미세먼지 중 하나 이상에 관련된 데이터를 획득한다.
스마트미러(100)는 전면에서 자신을 비추는 사용자와 관련하여 에지 인공지능부(140)에서 영상 데이터와 음향 데이터를 기반으로 인공지능 기술에 의해 사용자의 현재 상황 또는 상태를 식별하는 고수준 상황인지(high-level context awareness)를 수행한다. 이때, 에지 인공지능부(140)는 응답 속도를 고려하여 스마트미러(100)의 내부에 구현되는 것이 바람직하다. 또한, 본 발명에서 환경 데이터는 에지 인공지능부(140)가 영상 데이터와 음향 데이터를 어떻게 조합할 것인지 결정하는 데에 활용되는데, 데이터 조합에 관한 기준 정보는 생체정보 가중치 테이블에 저장되어 있다. 이때, 생체정보 가중치 테이블은 스마트미러(100)의 내부 저장공간에 구현되는 가중치 테이블 저장부(130)에 저장된다.
에지 인공지능부(140)가 도출하는 고수준 상황인지 결과에 기초하여 스마트 미러(100)는 자신의 미러 인터페이스, 예컨대 내장 LCD 화면나 내장 스피커를 통해 사용자에게 실시간 채팅 서비스를 제공한다.
[도 2]은 본 발명에서 스마트미러(100)가 고수준 상황인지를 수행하는 과정을 개념적으로 나타내는 도면이다.
먼저, 스마트미러(100)의 전면 특정 위치, 예컨대 미러 상단이나 전면유리 내부에 설치된 미러 카메라(111)가 미러 전면을 촬영하여 영상 데이터(121)를 생성한다. 스마트미러(100)의 일반적인 사용 속성에 의한 자연스러운 결과에 의해, 미러 카메라(111)는 현재 미러 전면에서 자신(예: 얼굴)을 비추어 보고 있는 사용자와 관련된 영상 데이터를 생성한다. 이때, 미러 카메라(111)는 3D 카메라 모듈을 구비하여 미러 전면의 사용자에 대한 얼굴 모습과 표정에 대한 입체 영상 데이터를 생성하는 것이 본 발명의 고수준 상황인지에 유리하다.
이와 동시에, 스마트미러(100)에 설치된 미러 마이크(112)가 주변 소리를 수집하여 위 사용자와 관련된 음향 데이터(122)를 생성한다. 결과적으로, 미러 마이크(112)는 위 사용자가 하는 말, 위 사용자에게 다른 사람이 하는 말, 그리고 위 사용자 주변에서 들리는 소리를 녹음한다. 이때, 미러 마이크(112)는 3D 음향의 어레이 마이크(array microphone) 모듈을 구비하여 주변 소리에 대한 입체 음향 데이터를 생성하는 것이 본 발명의 고수준 상황인지에 유리하다.
또한, 환경 센서모듈(113)은 스마트미러(100)의 주변 환경 데이터(123), 에컨대 조도, 온도, 습도, 미세먼지 중 하나 이상에 관련된 데이터를 획득한다. 이때, 환경 센서모듈(113)은 이들 환경 데이터를 직접 획득하는 IoT 센서 장치를 포함하여 구성될 수도 있고, 외부 IoT 센서로부터 이들 환경 데이터를 획득하기 위한 센서 인터페이스 모듈을 포함하여 구성될 수도 있다.
가중치 테이블 저장부(130)는 스마트미러(100)의 내부 저장공간(예: 플래시메모리)에 구현되는데, 본 발명에서 고수준 상황인지에 대한 영상 데이터와 음향 데이터의 반영 가중치를 주변 환경 데이터에 대응하여 변경 정의하는 하는 생체정보 가중치 테이블(biometric-weight table)을 저장한다.
생체정보 가중치 테이블의 개념을 나타내기 위해 [도 3]는 본 발명에서 양호하게 사용할 수 있는 일 예를 제시하였다. [도 3]에는 사용자의 생체정보로서 음성인식 정보, 영상인식 정보, 맥박인식 정보, 무빙인식(사용자의 움직임) 정보, 체온인식 정보를 활용하는 예를 나타내었다. [도 2]에는 영상과 음향을 이용하는 구성이 제시되어 있는데, 본 발명은 여기에 한정되는 것은 아니고, 구현 예에 따라서 다양한 조합의 다중 생체정보를 활용할 수 있다.
[도 3]을 참조하면, 고수준 상황인지 프로세싱에 다중 생체정보를 활용하는 가중치가 환경 요소에 의해 변경 정의되는 것을 확인할 수 있다. 즉, 환경 요소인 조도(illumination)가 변화함에 대응하여 다중 생체정보의 가중치 조합이 변경 정의되는 모습이 [도 3]에 제시되어 있다. 본 명세서에서 '적응적(adaptive)'라는 용어는 환경 요소의 센싱 결과에 따라 다중 생체정보가 고수준 상황인지에 반영되는 가중치의 조합이 변경되는 구성을 의미한다.
에지 인공지능부(Edge-AI)(140)는 스마트미러(100)의 내부 메모리 공간(예: 플래시메모리, DRAM)에 설치 및 동작하는 인공지능 데이터 처리 모듈이다. 일반적으로 인공지능 데이터 처리는 외부 서버를 이용하도록 구성하는데, 본 발명에서는 채팅 서비스의 실시간 응답성을 확보하기 위해 AI 알고리즘이 스마트미러에 미리 내장되는 에지 인공지능(Edge-AI) 방식이 바람직하다.
에지 인공지능부(140)는 영상 데이터(121), 음향 데이터(122), 환경 데이터(123)를 제공받는데, 영상 데이터(121) 및 음향 데이터(122)로부터 영상기반 상황인지 및 음향기반 상황인지를 각각 수행하고, 생체정보 가중치 테이블에 환경 데이터(123)를 적용하여 획득한 반영 가중치에 따라 영상기반 상황인지 결과 및 음향기반 상황인지 결과를 결합하여 데이터 코딩 처리함으로써 개별 상황인지 복합코드를 획득한다. 그리고 나서, 이 개별 상황인지 복합코드를 인공지능 기반 데이터 처리함으로써 복합 상황인지를 수행하게 되고 이를 통해 영상 및 음향 기반의 고수준 상황인지 결과를 획득한다.
챗봇 처리부(150)는 고수준 상황인지 결과에 대응하여 스마트미러(100)의 사용자 인터페이스, 예컨대 내장 LCD 화면나 내장 스피커를 통해 텍스트 또는 보이스 기반의 실시간 채팅 서비스를 제공한다. 챗봇(chatbot) 소프트웨어 자체는 주지관용 기술이지만, 에지 인공지능부(140)가 획득한 고수준 상황인지 결과를 반영하여 채팅 내용을 설정하는 점이 본 발명의 차이점이다.
이하에서는, 본 발명에서 에지 인공지능부(140)의 바람직한 내부 기능적 구성에 대해 좀더 상세하게 기술한다. [도 2]를 참조하면, 에지 인공지능부(140)는 영상기반 상황인지부(141), 음향기반 상황인지부(142), 환경조건 인지부(143), 생체정보 가중 코딩부(144), 복합 상황인지부(145)를 구비한다.
먼저, 영상기반 상황인지부(141)는 영상 데이터(121)를 인공지능 기반 데이터 처리, 예컨대 CNN (Convolutional Neural Network) 알고리즘에 따라 영상 데이터 처리하여 사용자와 관련된 영상기반 상황인지 정보를 획득한다. 즉, 영상 기반의 개별 상황인지를 수행하는 것이다. 영상기반 상황인지는 예컨대 얼굴 표정에 기초하여 사용자의 감정을 식별하게 되는 것을 들 수 있다.
[도 5]은 일반적인 감정표현의 예를 나타내는 도면이고, [도 6]과 [도 7]은 본 발명에서 양호하게 사용할 수 있는 감정분류 체계 및 감정코드 인코딩의 예를 나타낸다. [도 6]은 영어에 대한 감정 분류에 적합하다고 알려진 로버트 플루칙(Robert Plutchik)의 감정 휠(wheel of emotions)을 나타내는 도면이고, [도 7]은 국어(한국어)에 대한 감정 분류에 적합하다고 알려진 감정코드(sentiment code) 규칙인데, 본 발명에도 양호하게 사용할 수 있다.
[도 6]의 감정분류 실시예에서는 원의 중심으로부터 멀어지는 방향으로 이루어진 3단계의 대분류, 소분류, 미세분류에 대해 예컨대 각각 3비트, 3비트, 2비트를 할당하여 감정코드 인코딩을 수행할 수도 있다. 이러한 규칙에 따라 각각의 감정 분류 결과는 [도 7]의 우측 컬럼에 '감정코드 인코딩'으로 나타낸 것과 유사한 방식으로 도출될 수 있다. 또한, [도 7]의 감정코드 인코딩은 그 값이 커질수록 인간의 밝은 감정에 대응하고 그 값이 작을 수록 인간의 어두운 감정에 대응하도록 설계된 것이다. 본 발명에서 영상기반 상황인지 정보는 이처럼 일정한 규칙성(경향성)을 갖도록 설정된 것인데, 이러한 경향성은 에지 인공지능부(140)의 인공지능 동작이나 학습에 유리하게 작용한다.
음향기반 상황인지부(142)는 음향 데이터(122)를 인공지능 기반 데이터 처리, 예컨대 DNN (Deep Neural Network) 알고리즘에 따라 음향 데이터 처리하여 사용자와 관련된 음향기반 상황인지 정보를 획득한다. 즉, 음향 기반의 개별 상황인지를 수행하는 것이다. 본 발명에서 음향기반 상황인지 정보는 일정한 규칙성(경향성)을 갖도록 설정되는데, 이러한 경향성은 에지 인공지능부(140)의 인공지능 동작이나 학습에 유리하게 작용한다.
환경조건 인지부(143)는 주변 환경 데이터(123)로부터 사용자와 관련된 환경조건 정보를 획득한다.
생체정보 가중 코딩부(144)는 [도 3]에 나타낸 것과 같은 생체정보 가중치 테이블에 환경조건 인지부(143)가 획득한 환경조건 정보를 적용하여 해당 환경 요소에 대응하는 영상 데이터와 음향 데이터의 반영 가중치를 획득한다. 이 획득된 반영 가중치가 현재 환경 조건에서 고수준 상황인지를 수행함에 있어서 영상 기반의 개별 상황인지 결과와 음향 기반의 개별 상황인지 결과를 각각 어느 정도로 반영할 것인지를 나타내는 값이다. 생체정보 가중 코딩부(144)는 영상기반 상황인지 정보와 음향기반 상황인지 정보에 반영 가중치를 적용하여 가중 연산(weighted calculation)을 수행한다. 즉, 영상기반 상황인지 정보와 음향기반 상황인지 정보는 일정한 경향성을 갖도록 코딩된 데이터 값인데, 이들에 각각의 반영 가중치를 적용하고 합산 혹은 연결(concatenation)하는 가중 연산을 수행하는 것이다. 이러한 가중 연산의 결과는 미리 설정된 포맷에 따라 데이터 코딩 처리하는데, 이를 사용자와 관련된 개별 상황인지 복합코드라고 부른다.
복합 상황인지부(145)는 개별 상황인지 복합코드를 인공지능 기반 데이터 처리하여 복합 상황인지를 수행함으로써 사용자와 관련된 고수준 상황인지 결과를 획득한다. 이는 복수의 개별 상황인지 정보를 인공지능 처리 모듈에 넣어 조합함으로써 복합 상황인지를 수행하는 것에 대응한다. 복합 상황인지부(145)에서 사용하는 인공지능 알고리즘은 외부에 미리 생성 및 학습되어 스마트미러(100)의 내부 메모리 공간에 저장되는 것이 바람직하며, 스마트미러(100)의 실시간 챗봇 서비스에 대한 만족도 평가를 피드백받아 인공지능 학습을 수행하여 지속적으로 업데이트하도록 구성하는 것이 더욱 바람직하다.
[도 4]는 본 발명에서 스마트미러(100)가 생체정보 가중치 테이블을 조정하고 블록체인을 적용하는 개념을 나타내는 도면이다.
다수의 스마트미러(100)가 블록체인을 통해 연결되어 가중치 분산원장(200)을 분산 공유한다. [도 4]에서 다수의 스마트미러(100)는 여러 지역에 분산 설치되어 있을 수도 있고 혹은 단일 건물의 여러 지점에 설치되어 있을 수도 있다. 이들 스마트미러(100)는 자체적으로 생체정보 가중치 테이블을 조정해나가는데, 그에 따른 가중치 변경 정보를 블록체인을 통해 공유한다.
전술한 바와 같이, 본 발명에서 스마트미러(100)는 채팅 서비스의 실시간 응답성을 확보하기 위하여 외부 인공지능 서버를 이용하지 않고 내부 메모리 공간에 설치 및 작동하는 에지 인공지능부(140)를 각자 자체적으로 운용한다. 본 발명에서는 고수준 상황인지 성능을 점차적으로 개선하기 위해 생체정보 가중치 테이블을 조정하는 구성을 채택하는 한편, 다수의 스마트미러(100)가 동일 스타일의 고수준 상황인지 성능을 나타내기 위해 블록체인을 채택하였다. 이는 단일의 인공지능 서버를 사용하지 않고 에지 인공지능부(140)를 채택하는 시스템 구성 환경에서 성능 개선과 통일성을 달성하기 위한 본 발명의 특유 구성이다.
이를 위해, [도 2]를 참조하면, 피드백 수신부(160)와 가중치 조정부(170)와 블록체인 처리부(180)가 구비되어 있다.
먼저, 피드백 수신부(160)는 스마트미러(100)의 사용자 인터페이스를 통해 실시간 채팅 서비스에 대한 만족도 평가를 피드백 제공받는다. 만족도 평가를 피드백받는 스마트미러(100)의 사용자 인터페이스는 스마트미러(100)에 하드웨어 구현된 인터페이스에 한정되지 않으며 스마트미러(100)와 연동하는 스마트폰 애플리케이션을 통해 사용자가 입력하는 채널도 가능하다.
가중치 조정부(170)는 피드백 수신부(160)가 제공하는 만족도 평가에 따라 생체정보 가중치 테이블을 수치, 특히 현재 만족도 평가를 입력한 사용자에게 채팅 서비스를 제공할 ‹š에 활용되었던 현재의 환경조건 정보에 대응하는 영상 데이터와 음향 데이터의 반영 가중치 값을 조정한다.
먼저, 피드백 수신부(160)로부터 긍정적 만족도 평가를 제공받으면 생체정보 가중치 테이블에서 영상 데이터와 음향 데이터의 반영 가중치의 차이를 확대시킨다. 이 때에는 영상 데이터와 음향 데이터의 반영 가중치 값이 어느 정도 잘 적용되어 있는 것이므로 고수준 상황인지 성능을 강화할 가능성을 테스트하기 위해 반영 가중치의 차이를 벌려보는 것이다.
반대로, 피드백 수신부(160)로부터 부정적 만족도 평가를 제공받으면 생체정보 가중치 테이블에서 영상 데이터와 음향 데이터의 반영 가중치의 차이를 축소시킨다. 이 때에는 영상 데이터와 음향 데이터의 반영 가중치 값을 반대 방향으로 변경시켜 개선 가능성을 테스트하는 것이다.
블록체인 처리부(180)는 해당 스마트미러(100)가 운용하는 생체정보 가중치 테이블을 포함시켜 블록 데이터를 생성하고 미리 설정된 스케쥴(예: 24시간)에 따라 블록체인 업데이트를 수행하여 가중치 분산원장(200)에 대해 해당 스마트미러(100)가 분산 정보 공유에 참여하도록 한다. 이를 통해, 블록체인에 참여하는 다수의 스마트미러(100)에서 동일 수준의 고수준 상황인지 성능을 나타낼 수 있고, 이를 통해 챗봇 서비스를 균일하게 구현할 수 있다.
블록체인(block chain)은 일반적으로는 네트워크 상에서 발생된 거래 정보가 네트워크 참여자들 간에 공유되는 노드 수만큼 복제되어 분산 저장되는 공개 디지털 거래 장부라는 개념을 갖는다. 블록체인 기술은 암호화폐를 중심으로 활발하게 적용되고 있는데, 본 발명에서는 스마트미러(100)에서 발생된 생체정보 가중치의 변경 내용을 다수의 스마트미러(100)로 전파시키는 데에 블록체인 기술을 활용하며, 이를 위해 다수의 스마트미러(100)가 일종의 피어(peer)로서 블록체인의 디지털 원장 관리에 참여한다. 본 명세서에서는 생체정보 가중치 테이블에 관련된 정보를 관리하는 분산원장임을 나타내기 위해 블록체인의 디지털 원장을 가중치 분산원장(200)이라고 이름지었다.
가중치 분산원장(200)은 다수의 거래 데이터가 각각 블록처럼 구성되어 서로 연결되어 있는 형태인데, 하나의 블록은 그 대응하는 블록체인 갱신주기(예: 24시간)에서 블록체인에 연동하는 피어들, 즉 다수의 스마트미러(100)가 생체정보 가중치 조정 이벤트에 대응하여 새롭게 생성한 블록 데이터에 대응한다. [도 4]를 참조하면, 이러한 블록에는 기본적으로 생체정보 가중치 변경 정보가 반영되는데, 가중치 조정 이후의 생체정보 가중치 테이블 자체를 포함시킬 수도 있고 혹은 특정 가중치 값에 대한 변경정보를 추출하여 포함시킬 수도 있다. 분산 네트워크 기반이라는 블록체인의 속성상, 가중치 분산원장(200)에 일단 기입된 데이터는 무단으로 수정하는 것이 사실상 불가능하므로 신뢰할 수 있다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
100 : 스마트미러
111 : 미러 카메라 112 : 미러 마이크
113 : 환경 센서모듈
130 : 가중치 테이블 저장부
140 : 에지 인공지능부
141 : 영상기반 상황인지부 142 : 음향기반 상황인지부
143 : 환경조건 인지부 144 : 생체정보 가중 코딩부
145 : 복합 상황인지부
150 : 챗봇 처리부 160 : 피드백 수신부
170 : 가중치 조정부 180 : 블록체인 처리부
200 : 가중치 분산원장

Claims (5)

  1. 스마트미러(100)의 전면에서 자신을 비추는 사용자에 대해 영상 및 음향 정보 기반으로 고수준 상황인지를 수행하고 그 인지된 상황에 대응하여 미러 인터페이스를 통해 챗봇 서비스를 제공하는 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템으로서,
    상기 스마트미러(100)의 전면 특정 위치에 설치되고 미러 전면을 촬영하여 상기 사용자와 관련된 영상 데이터를 생성하는 미러 카메라(111);
    상기 스마트미러(100)에 설치되고 주변 소리를 수집하여 상기 사용자와 관련된 음향 데이터를 생성하는 미러 마이크(112);
    상기 스마트미러(100)의 주변 환경 데이터를 획득하는 환경 센서모듈(113);
    고수준 상황인지에 대한 상기 영상 데이터와 상기 음향 데이터의 반영 가중치를 상기 주변 환경 데이터에 대응하여 변경 정의하는 생체정보 가중치 테이블을 저장하는 가중치 테이블 저장부(130);
    상기 스마트미러(100)의 내부 메모리 공간에 설치 및 동작하고, 상기 영상 데이터 및 상기 음향 데이터로부터 영상기반 상황인지 및 음향기반 상황인지를 각각 수행하고, 상기 생체정보 가중치 테이블에 상기 주변 환경 데이터를 적용하여 획득한 반영 가중치에 따라 상기 영상기반 상황인지 결과 및 음향기반 상황인지 결과를 데이터 코딩 처리하여 개별 상황인지 복합코드를 획득하고, 상기 개별 상황인지 복합코드를 인공지능 기반 데이터 처리하여 복합 상황인지를 수행함으로써 고수준 상황인지 결과를 획득하는 에지 인공지능부(140);
    상기 고수준 상황인지 결과에 대응하여 상기 스마트미러(100)의 사용자 인터페이스를 통해 텍스트 또는 보이스 기반의 실시간 채팅 서비스를 제공하는 챗봇 처리부(150);
    를 포함하여 구성되는 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템.
  2. 청구항 1에 있어서,
    상기 에지 인공지능부(140)는,
    상기 영상 데이터를 인공지능 기반 데이터 처리하여 사용자와 관련된 영상기반 상황인지 정보를 획득하는 영상기반 상황인지부(141);
    상기 음향 데이터를 인공지능 기반 데이터 처리하여 사용자와 관련된 음향기반 상황인지 정보를 획득하는 음향기반 상황인지부(142);
    상기 주변 환경 데이터로부터 사용자와 관련된 환경조건 정보를 획득하는 환경조건 인지부(143);
    상기 생체정보 가중치 테이블에 상기 환경조건 정보를 적용하여 고수준 상황인지를 위한 상기 영상 데이터와 상기 음향 데이터의 반영 가중치를 획득하고, 상기 영상기반 상황인지 정보와 상기 음향기반 상황인지 정보에 상기 획득한 반영 가중치를 적용하여 가중 연산하고 그 가중 연산 결과를 미리 설정된 포맷에 따라 데이터 코딩 처리함으로써 사용자와 관련된 개별 상황인지 복합코드를 획득하는 생체정보 가중 코딩부(144);
    상기 개별 상황인지 복합코드를 인공지능 기반 데이터 처리하여 복합 상황인지를 수행함으로써 사용자와 관련된 고수준 상황인지 결과를 획득하는 복합 상황인지부(145);
    를 포함하여 구성되는 것을 특징으로 하는 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템.
  3. 청구항 1에 있어서,
    상기 미러 카메라(111)는 3D 카메라 모듈을 구비하여 미러 전면의 사용자에 대한 얼굴 모습과 표정에 대한 입체 영상 데이터를 생성하고,
    상기 미러 마이크(112)는 3D 음향의 어레이 마이크 모듈을 구비하여 주변 소리에 대한 입체 음향 데이터를 생성하고,
    상기 환경 센서모듈(113)은 외부 IoT 센서로부터 조도, 온도, 습도, 미세먼지 중 하나 이상의 주변 환경 데이터를 획득하기 위한 센서 인터페이스 모듈을 포함하여 구성되는 것을 특징으로 하는 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템.
  4. 청구항 2에 있어서,
    상기 스마트미러(100)의 사용자 인터페이스를 통해 상기 실시간 채팅 서비스에 대한 만족도 평가를 피드백받는 피드백 수신부(160);
    상기 피드백 수신부(160)로부터 긍정적 만족도 평가를 제공받는 경우에 상기 생체정보 가중치 테이블에 대해 현재의 환경조건 정보에 대응하는 상기 영상 데이터와 상기 음향 데이터의 반영 가중치의 차이를 확대시키고, 상기 피드백 수신부(160)로부터 부정적 만족도 평가를 제공받는 경우에 상기 생체정보 가중치 테이블에 대해 현재의 환경조건 정보에 대응하는 상기 영상 데이터와 상기 음향 데이터의 반영 가중치의 차이를 축소시키는 가중치 조정부(170);
    를 더 포함하여 구성되는 것을 특징으로 하는 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템.
  5. 청구항 4에 있어서,
    상기 생체정보 가중치 테이블을 포함시켜 블록 데이터를 생성하고 미리 설정된 스케쥴에 따라 블록체인 업데이트를 수행하여 가중치 분산원장(200)에 대한 분산 정보 공유에 참여하는 블록체인 처리부(180);
    를 더 포함하여 구성되는 것을 특징으로 하는 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템.
KR1020190078412A 2019-06-29 2019-06-29 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템 KR102361038B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190078412A KR102361038B1 (ko) 2019-06-29 2019-06-29 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190078412A KR102361038B1 (ko) 2019-06-29 2019-06-29 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템

Publications (2)

Publication Number Publication Date
KR20210001798A KR20210001798A (ko) 2021-01-06
KR102361038B1 true KR102361038B1 (ko) 2022-02-09

Family

ID=74128149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190078412A KR102361038B1 (ko) 2019-06-29 2019-06-29 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템

Country Status (1)

Country Link
KR (1) KR102361038B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240073243A (ko) 2022-11-17 2024-05-27 성신여자대학교 연구 산학협력단 스마트 미러 로봇 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173141A1 (en) 2016-03-31 2017-10-05 JIBO, Inc. Persistent companion device configuration and deployment platform
US20180129955A1 (en) 2016-11-09 2018-05-10 Cognitive Scale, Inc. Hybrid Blockchain Data Architecture for use Within a Cognitive Environment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920748B1 (ko) * 2007-08-20 2009-10-14 경희대학교 산학협력단 사회 네트워크를 응용한 집단수준에서의 상황인식 서비스갈등해소 방법
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
KR101414788B1 (ko) * 2011-08-04 2014-07-03 한국과학기술원 모듈화 기반 지능형 디지털 공간 시스템
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
KR101705007B1 (ko) * 2014-11-27 2017-02-09 현대오트론 주식회사 얼굴 및 발자국 소리 패턴을 이용한 운전자 인식 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173141A1 (en) 2016-03-31 2017-10-05 JIBO, Inc. Persistent companion device configuration and deployment platform
US20180129955A1 (en) 2016-11-09 2018-05-10 Cognitive Scale, Inc. Hybrid Blockchain Data Architecture for use Within a Cognitive Environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240073243A (ko) 2022-11-17 2024-05-27 성신여자대학교 연구 산학협력단 스마트 미러 로봇 시스템

Also Published As

Publication number Publication date
KR20210001798A (ko) 2021-01-06

Similar Documents

Publication Publication Date Title
US20220319517A1 (en) Electronic personal interactive device
KR102444165B1 (ko) 적응적으로 회의를 제공하기 위한 장치 및 방법
US20200090393A1 (en) Robot and method for operating the same
US20220317641A1 (en) Device control method, conflict processing method, corresponding apparatus and electronic device
US11948241B2 (en) Robot and method for operating same
US11037576B2 (en) Distributed machine-learned emphatic communication for machine-to-human and machine-to-machine interactions
CN107632706B (zh) 多模态虚拟人的应用数据处理方法和系统
US11151994B2 (en) Methods and systems for managing voice commands and the execution thereof
JP2023503219A (ja) 複数のデータソースを用いた発話転写
WO2021135812A1 (zh) 一种情绪信息的处理方法及装置
US9891884B1 (en) Augmented reality enabled response modification
US20210125610A1 (en) Ai-driven personal assistant with adaptive response generation
US20200282555A1 (en) Method and device for robot interactions
KR20190089451A (ko) 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
CN109410297A (zh) 一种用于生成虚拟化身形象的方法与装置
JP7295284B2 (ja) 適応ダイアライゼーションモデルおよびユーザインタフェース
US10652655B1 (en) Cognitive volume and speech frequency levels adjustment
CN106503786B (zh) 用于智能机器人的多模态交互方法和装置
US11102354B2 (en) Haptic feedback during phone calls
US11687806B2 (en) Problem solving using selected datasets of internet-of-things system
KR102361038B1 (ko) 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템
US10991361B2 (en) Methods and systems for managing chatbots based on topic sensitivity
CN109961152B (zh) 虚拟偶像的个性化互动方法、系统、终端设备及存储介质
Yu A social interaction system based on cloud computing for mobile video telephony
US20230096129A1 (en) Hologram communication continuity

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right