KR20240065557A - 교감형 애완용 로봇을 통한 감성백분율 기반 nft 이미지 생성장치 및 방법 - Google Patents

교감형 애완용 로봇을 통한 감성백분율 기반 nft 이미지 생성장치 및 방법 Download PDF

Info

Publication number
KR20240065557A
KR20240065557A KR1020220144338A KR20220144338A KR20240065557A KR 20240065557 A KR20240065557 A KR 20240065557A KR 1020220144338 A KR1020220144338 A KR 1020220144338A KR 20220144338 A KR20220144338 A KR 20220144338A KR 20240065557 A KR20240065557 A KR 20240065557A
Authority
KR
South Korea
Prior art keywords
emotional
robot
sympathetic
unit
nft
Prior art date
Application number
KR1020220144338A
Other languages
English (en)
Inventor
강장묵
윤철희
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020220144338A priority Critical patent/KR20240065557A/ko
Publication of KR20240065557A publication Critical patent/KR20240065557A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Toys (AREA)

Abstract

본 발명에서는 기존의 국내 감성 로봇 개발이 중소기업 중심이고, 연구개발 자금이 해외 선진국들에 비해 매우 부족해 사용화가 더디다는 점이 문제점과, 감성로봇의 경우에 획일적이고, 프로그램적으로 수동적인 반쪽짜리 감성만을 생성시키기 때문에, 인간의 외로움과 슬픔, 불안을 달래주는 교감형 감성로봇개발이 시급한 문제점과, 감성로봇 자체가 성장하지 않고, 초기상태 그대로 정체된 상태로 있기 때문에 대한 흥미와 관심이 떨어져, 감성로봇시장이 점점 위축되는 문제점을 개선하고자, 교감형 애완용 로봇(100), 감성서버모듈(200)이 구성됨으로서, 교감형 애완용 로봇과 사용자와의 상호작용에서 감성적 요소를 추가하여 교감형 애완용 로봇이 사용자의 반응에 다양하고 구체적인 행동을 보임으로서, 교감형 애완용 로봇을 통해, 감성눈동자 생성과 함께, 강아지 또는 고양이의 울음소리, 짖는소리, 낑낑대는 소리, 평상시에 듣고싶었던 보고싶은 친구목소리, 어머니목소리, 아버지목소리, 연예인목소리를 통해 사랑받고 위로받아, 감성치유를 기존에 비해 80% 향상시킬 수 있고, HRI(Human Robot Interaction)을 통해 교감형 애완용 로봇이 사용자의 의도를 판단하고 적합한 반응과 행동을 수행함으로써 사용자와의 의사소통 및 상호협력을 가능하게 하는 인식, 판단, 표현의 새로운 교감플랫폼을 제시할 수가 있으며, 학습NFT 이미지를 학습하면서, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시킬 수 있어, 양질의 NFT 이미지를 통한 수익창출을 기존에 비해 1.5배~3배로 향상시킬 수 있고, 이로 인해 사용자의 흥미와 관심을 높여 교감형 애완용 로봇시장을 활성화시킬 수 있는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치 및 방법을 제공하는데 그 목적이 있다.

Description

교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치 및 방법{Apparatus and method for generating NFT image based on emotional percentage through sympathetic pet robot}
본 발명은 사용자의 눈동자와 눈썹을 촬영하여 딥러닝으로 감성학습하면서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨 후, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시킬 수 있는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치 및 방법에 관한 것이다.
앞으로, 로봇이 스마트폰처럼 규격화되고 사용자가 직접 앱을 개발하고 나아가 인공지능 감성로봇이 스스로 배워가며, 그 정보를 인터넷에 올려 다른 감성로봇과 공유할 수 있게 된다.
다시 말해서, 감성로봇과 인간이 교감하고 더 나아가 감성로봇끼리 교감하는 동반자 역할의 로봇시대가 곧 다가올 것이라는 의미다.
이러한 상황에서 현재 우리나라는 나름대로 세계적 수준의 로봇 원천기술을 보유하고 있으며, 정책 지원을 위한 노력이 진행되고 있다.
하지만 국내 감성 로봇 개발이 중소기업 중심이고, 연구개발 자금이 해외 선진국들에 비해 매우 부족해 사용화가 더디다는 점이 문제로 지적되고 있다.
또한, 기존의 감성로봇은 단지 정보를 일방적으로 전달만 하거나 특정 언어나 행동에만 반응하여 획일적이고, 프로그램적으로 수동적인 반쪽짜리 감성만을 생성시키기 때문에, 인간의 외로움과 슬픔, 불안을 달래주는 교감형 감성로봇개발이 시급한 설정이다.
그리고, 감성로봇 자체가 사용자와 친밀한 유대를 촉진시키는 상호작용이 섬세하지 못하여 이로 인해 성장하지 않고, 초기상태 그대로 정체된 상태로 있기 때문에 대한 흥미와 관심이 떨어져, 감성로봇시장이 점점 위축되는 문제점이 있었다.
국내공개특허공보 제10-2021-0039696호
상기의 문제점을 해결하기 위해 본 발명에서는 교감형 애완용 로봇과 사용자와의 상호작용에서 감성적 요소를 추가하여 교감형 애완용 로봇이 사용자의 반응에 다양하고 구체적인 행동을 보임으로서, 교감형 애완용 로봇을 통해, 감성눈동자 생성과 함께, 강아지 또는 고양이의 울음소리, 짖는소리, 낑낑대는 소리, 평상시에 듣고싶었던 보고싶은 친구목소리, 어머니목소리, 아버지목소리, 연예인목소리를 생성시킬 수 있고, HRI(Human Robot Interation)을 통해 교감형 애완용 로봇이 사용자의 의도를 판단하고 적합한 반응과 행동을 수행함으로써 사용자와의 의사소통 및 상호협력을 가능하게 하는 인식, 판단, 표현의 새로운 교감플랫폼을 제시할 수가 있으며, 학습NFT 이미지를 학습하면서, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시킬 수 있고, 실사 구시의 예로는 크립토 키티라는 서비스가 있으나, 실세계와의 연결점이 없고 가상 공간에서 미리 준비된 이미지 또는 크립토 고양이 이미지를 제공하는 방식으로 운영되고 있어 보다 섬세하고 소비자 상호지향적이며 소비자 경험을 축적하여 애완용 로봇을 기르고(breeding) 성장시켜 NFT로 민팅(minting)하여 거래되도록 하는 서비스를 제공할 수 있는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치는
사용자의 눈동자와 눈썹을 촬영하여 딥러닝으로 감성학습하면서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨 후, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키도록 구성됨으로서 달성된다.
상기 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치는 보다 구체적으로,
사용자의 눈동자와 눈썹을 촬영하여 딥러닝으로 감성학습하면서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨 후, 로봇구동의 환경데이터와 감성학습데이터를 감성서버모듈쪽으로 전송시키고, 이에 따른 NFT 생성명령신호를 수신받아 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키는 교감형 애완용 로봇(100)과,
교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감정학습데이터를 DB(DataBase)화하여 이를 분석하고, 감정학습데이터를 기반으로 최적의 NFT생성명령신호를 교감형 애완용 로봇쪽으로 전송시키는 감성서버모듈(200)로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 교감형 애완용 로봇과 사용자와의 상호작용에서 감성적 요소를 추가하여 교감형 애완용 로봇이 사용자의 반응에 다양하고 구체적인 행동(이용자의 감성에 매칭하는 감성 표현)을 보임으로서, 교감형 애완용 로봇을 통해, 감성눈동자 생성과 함께, 강아지 또는 고양이의 울음소리, 짖는소리, 낑낑대는 소리, 평상시에 듣고싶었던 보고싶은 친구목소리, 어머니목소리, 아버지목소리, 연예인목소리를 통해 사랑받고 위로받아, 감성치유를 기존에 비해 80% 향상시킬 수 있다.
또한, 로봇의 감성 표현은 사용자의 감성에 대한 반응의 매칭 값이며 이를 딥러닝하여 보다 다양한 형태의 감성 매칭을 정답셋(학습데이터 중 정답 데이터셋)으로 구축하여 추구 딥러닝을 되새김 데이터로 활용할 수 있다.
둘째, HRI(Human Robot Interaction)을 통해 교감형 애완용 로봇이 사용자의 의도를 판단(감성 기반의 의도로서 주로 애완동물로부터 귀여움, 보호, 위로, 웃음, 슬픔 등의 감성을 전달받고 싶음을 예측 및 추론하는 딥러닝 방법)하고 적합한 반응과 행동을 수행함으로써 사용자와의 의사소통 및 상호협력을 가능하게 하는 인식, 판단, 표현의 새로운 교감플랫폼(해당 플랫폼은 기존에 존재하는 교감한 반응형 플랫폼이 아닌, 사용자의 눈빛 등 표정과 관련 메타 정보를 딥러닝하여 그 결과로서 반응하고 이를 NFT로 블록화하는 전체 프로세스가 가능한 통합형 플랫폼임)을 제시할 수가 있다.
셋째, NFT 이미지를 학습하면서, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시킬 수 있어, 양질의 NFT 이미지를 통한 수익창출을 기존에 비해 1.5배~3배로 향상시킬 수 있고, 이로 인해 사용자의 흥미와 관심을 높여 교감형 애완용 로봇시장을 활성화시킬 수 있다.
도 1은 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 교감형 애완용 로봇의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 교감형 애완용 로봇의 외형 구성요소를 도시한 사시도,
도 5는 본 발명에 따른 눈썹모션구동부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 4족보행 구동부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 감성로봇제어부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 감성눈동자제어부의 구성요소를 도시한 블럭도,
도 9는 본 발명에 따른 딥러닝 감성눈동자 알고리즘모듈의 구성요소를 도시한 구성도,
도 10은 본 발명에 따른 눈동자, 홍채, 반사광의 순으로 정적인 눈동자컴포넌트와, 눈꺼풀의 유무, 움직임, 눈꺼풀의 각도로 이루어진 동적인 눈동자 컴포넌트가 조합된 눈동자를 도시한 일실시예도,
도 11은 본 발명에 따른 감정에 따른 눈썹형태의 변화를 도시한 일실시예도,
도 12는 본 발명에 따른 로봇메인제어부의 구성요소를 도시한 블럭도,
도 13은 본 발명에 따른 감성서버모듈의 구성요소를 도시한 블럭도,
도 14는 본 발명에 따른 업데이트형 감성HRI 프로세서부를 통해 사용자의 액션에 대한 로봇의 특정 반응코드 중 액션코드값(Action Code), 리액션 코드값(Reaction Code), 싱크로값(Synchro)을 도시한 일실시예도,
도 15는 본 발명에 따른 교감형 애완용 로봇의 환경데이터수집부를 통해, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 수집한 후, 감성서버모듈쪽으로 전송시키는 것을 도시한 일실시예도,
도 16은 본 발명에 따른 감정서버모듈로부터 NFT 생성명령신호를 수신받으면, 사용자가 교감형 애완용로봇을 만지거나, 스다듬어주어 기쁨에 따른 감성백분율이 80%가 될 때, 사용자가 잠자는 시간대인 자정부터 새벽 5시까지 학습 NFT 이미지(인터넷상이나 유명화가의 그림, 작품)를 학습하면서, 기쁨의 감성백분율 80%에 따른 새로운 NFT 이미지를 생성시키는 것을 도시한 일실시예도,
도 17은 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성방법을 도시한 순서도,
도 18은 본 발명에 따른 교감형 애완용 로봇의 감성눈동자제어부에서, 카메라눈동자부를 통해, 촬영된 사용자의 눈동자와 눈썹에 관한 시각이미지를 보고, 감정을 학습하면서, 분류시키고, 사용자의 눈동자와 눈썹에 대한 감정상태를 추정하여 감성눈동자를 생성시키도록 제어시키는 구체적인 과정을 도시한 순서도.
먼저, 본 발명에서 설명되는 감성과 감정에 관해 설명한다.
상기 감성은 외부에서 발생한 자극의 반응으로 사용자의 내면에서 발생하는 심리적 경험으로서, 어떠한 자극에 의해 사용자 내부의 고차원적인 심리변화에 대한 복합적인 감정의 결정체인 특성을 가진다.
본 발명에서는 사용자의 눈동자와 눈썹을 보고, 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘별(추가적으로 다양한 심도로 더 깊은 감성을 표현할 수 있음)로 감성눈동자를 학습하고 분류하여 코딩시키도록 구성된다.
통상 감정은 자연어 처리 기반 기술에서는 감성 사전 즉 시소러스가 라이브러리로 제공된다.
다양한 형용사 및 부사가 이에 해당한다. 수많은 감정 사전과 매칭되는 사용자의 눈동자과 눈썹의 조합을 DB로 구축하고 이를 감정값(정답셋)이 포함된 감정 학습 데이터셋이라고 한다.
그리고, 감성디자인이라는 것은 감성공학을 기반으로 파생된 디자인 분야로서, 사용자가 선호하는 것들을 바탕으로 이러한 것들을 표현하는 지표로 사용자가 가진 감각을 적용해 디자인하는 것이다.
사용자의 의사소통방식에서 효과적인 감정 전달을 위해서는 직접적인 전달 방식을 제외하면, 상대방의 얼굴을 대면하는 행위가 큰 영역을 차지한다.
본 발명에 따른 교감형 애완용 로봇이 주로 마주하는 대상자는 교감형 애완용 로봇을 사용하는 사용자이기 때문에 사람사이의 감성적 행위가 이루어지는 방식을 중심으로 적용하고자 한다. 즉 GPS나 실내측위 또는 감성 로봇과 연동되는 사용자 소유의 휴대폰 위치를 중심으로 근접거리인 경우 해당 감성 기반 NFT 발행 및 소통 서비스가 자동 구동된다고 볼 수 있다.
사용자는 얼굴에 있는 이목구비와 그에 따른 근육의 움직임을 통해 본인의 감정과 감성을 얼굴 표정으로 나타내며, 상대방은 이러한 특성을 가지고 감정과 심리를 유추할 수 있다. 사용자의 눈동자나 눈썹을 중심 즉 하이퍼 파라미터값으로 하고 다른 정보(얼굴 근육, 표정, 말투, 이벤트 정보 등)를 변인으로 넣어 딥러닝할 수 있다.
이에 본 발명에서는 사용자의 감성적 교류가 이루어지는 과정에서 볼 수 있듯이, 로봇의 감성적인 영역 또한 유사할 것으로 설정하고, 교감형 애완용 로봇의 얼굴 표정이 섬세하게 감정에 대해 묘사하고 표현하도록 구성하여, 사용자와의 감성적인 교류와 감정전달에서 교감형 애완용 로봇의 얼굴을 주요 매개체로 적용시키도록 구성된다.
다음으로, 상기 감정은 어떤 현상이나 문제에 있어서, 인간의 내면에서 발생하는 느낌이나 기분을 말하고, 생리적 변화를 동반하는 심리적 상태의 강력한 변화 특성을 갖는다.
즉, 인간에 일어나는 어떤 현상의 직접적인 결과보다는 인간의 내면에서 생각한 것이 밖으로 표출되는 형태로 생리적인 변화를 동반하는 심리적 상태의 강력한 변화를 뜻한다.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 사용자의 눈동자와 눈썹을 촬영하여 딥러닝으로 감성학습하면서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨 후, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키도록 구성된다.
보다 구체적으로, 상기 감성백분율 기반 NFT 이미지 생성장치(1)는 교감형 애완용 로봇(100), 감성서버모듈(200)로 구성된다.
먼저, 본 발명에 따른 교감형 애완용 로봇(100)에 관해 설명한다.
상기 교감형 애완용 로봇(100)은 사용자의 눈동자와 눈썹을 촬영하여 딥러닝으로 감성학습하면서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨 후, 로봇구동의 환경데이터와 감성학습데이터를 감성서버모듈쪽으로 전송시키고, 이에 따른 NFT 생성명령신호를 수신받아 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키는 역할을 한다.
여기서, 감성학습에서 감성은 이미 정의된 DB에서 ‘희노애락’으로 라벨링 될 수 있고 또는 보다 섬세하게 감성을 조작적으로 정의할 수 있다.
즉, 사용자를 대신해 일정 업무을 정확하고 효율적으로 수행하는 것 외에도 자율적인 의지를 가지고 있고, 교감을 중심으로 사용자와 밀접한 교류가 가능한 능력이 특화된 로봇으로 구성된다.
그리고, 여기서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨다는 것은 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 하나의 소비자 사진에서 수개에서 수만개로 다양한 표정으로 표출시키는 것을 말한다.
또한, 상호간의 대화나 표정과 제스처 등의 일정 행위를 통해 사용자와의 정서적인 교감이 이루어지면 사회적으로 소통이 가능한 특성을 가진다. 상호간의 표정과 제스쳐 그리고 소리 등을 통한 반응으로 부가적인 분석 자료로 활용될 수 있다.
상기 교감형 애완용 로봇(100)은 도 3 및 도 4에 도시한 바와 같이, 로봇몸체(110), 카메라눈동자부(120), 눈썹모션구동부(130), 립모션구동부(140), 4족보행 구동부(150), 배터리부(160), 감성로봇제어부(170)로 구성된다.
첫째, 본 발명에 따른 로봇몸체(110)에 관해 설명한다.
상기 로봇몸체(110)는 4족보행을 하는 강아지 또는 고양이와 같은 애완용 동물형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 강아지 또는 고양이와 같은 애완용 동물형상의 관절뼈대에 가죽이나 천으로 근육조직을 형성시키고, 털이 형성되도록 구성된다. 또는 눈동자에 해당하는 부분을 LED 등의 전자적 영상 장치로 유사하게 표현할 수 있다.
털과 근육조직사이에 털을 만지면 감지하는 터치센서가 복수개로 형성된다.
그리고, 머리, 몸체, 4족다리 구조로 구성된다.
머리에는 카메라눈동자부가 형성되고, 그 카메라눈동자부 상단에 눈썹모션구동부가 형성되며, 카메라눈동자부 하단에 강아지 또는 고양이의 입처럼 구동되는 립모션구동부가 형성되어 구성된다.
그리고, 머리의 카메라눈동자부 일측에 PIR(적외선인체감지)센서가 포함되어 충돌을 방지하도록 구성된다.
또한, 몸체의 내부공간에 배터리부가 형성되고, 감성로봇제어부가 포함되어 형성되어 구성된다.
그리고, 4족다리에는 4족보행구동부가 형성되어 구성된다.
또한, 감성로봇제어부 일측에 무선통신부가 포함되어 구성된다.
여기서, 무선통신부는 원격지의 감성서버모듈과 무선통신망(WiFi, 3G, 5G)으로 연결되어, 양방향으로 데이터를 송수신시키는 역할을 한다.
둘째, 본 발명에 따른 카메라눈동자부(120)에 관해 설명한다.
상기 카메라눈동자부(120)는 로봇본체의 머리 중 눈동자부위에 형성되어, 시야역할을 하면서, 사용자의 눈동자와 눈썹을 촬영하여 시각이미지화시키는 역할을 한다.
이는 원형의 눈동자형상으로 이루어진 두개의 눈동자표시용 디스플레이부가 구성되고, 눈동자표시용 디스플레이부의 내부공간 일측인 눈동자 일측에 카메라부가 형성되고, 홍채의 역할을 하는 LED표시부가 포함되어 구성된다.
여기서, 두개의 눈동자표시용 디스플레이부는 감성로봇제어부로부터 전달된 감정에 따른 눈썹형태의 변화를 추가하여, 감성눈동자 눈동자를 생성시킨다.
여기서, 감성눈동자는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘별로 감성눈동자가 구성된다.
셋째, 본 발명에 따른 눈썹모션구동부(130)에 관해 설명한다.
상기 눈썹모션구동부(130)는 카메라눈동자부 상단에 위치되어, 눈썹부위를 형성하면서, 감성로봇제어부의 제어신호에 따라 둥근형태, 일자형태, 사선형태 중 어느 하나가 선택된 눈썹 모션을 구동시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 눈썹부(131), 모션구동부(132)로 구성된다.
상기 눈썹부(131)는 강아지 또는 고양이의 눈썹구조로 형성된다.
상기 모션구동부(132)는 눈썹부 후단에 위치되어, 눈썹부를 둥근형태, 일자형태, 사선형태 중 어느 하나가 선택된 눈썹 모션을 구동시키는 역할을 한다.
이는 감성로봇제어부로부터 전달된 감정에 따른 다양한 눈썹형태(둥근형태, 일자형태, 사선형태 중 어느 하나가 선택된 눈썹)로 형성된다.
넷째, 본 발명에 따른 립모션구동부(140)에 관해 설명한다.
상기 립모션구동부(140)는 로봇몸체의 머리부위 중 입부위에 형성되어, 립모션구동시키면서, 음성을 표출시키는 역할을 한다.
여기서, 음성표출은 강아지 또는 고양이의 울음소리, 짖는소리, 낑낑대는 소리, 평상시에 듣고싶었던 보고싶은 친구목소리, 어머니목소리, 아버지목소리, 연예인목소리를 모두 포함한다.
이처럼, 감성눈동자 생성과 함께, 립모션구동부의 강아지 또는 고양이의 울음소리, 짖는소리, 낑낑대는 소리, 평상시에 듣고싶었던 보고싶은 친구목소리, 어머니목소리, 아버지목소리, 연예인목소리를 통해 사랑받고 위로받아, 감성치유를 기존에 비해 80% 향상시킬 수 있다.
다섯째, 본 발명에 따른 4족보행 구동부(150)에 관해 설명한다.
상기 4족보행 구동부(150)는 좌측앞다리, 우측앞다리, 좌측뒷다리, 우측뒷다리의 4족보행구조로 이루어져, 관절운동을 통해 걷거나 뛰는 동작을 구동시키는 역할을 한다.
이는 도 6에 도시한 바와 같이, 다축관절부(151), 관절구동모터부(152), 발톱구동부(153)로 구성된다.
상기 다축관절부(151)는 3축 내지 5축의 관절구조로 이루어져, 구부리거나 접히면서 걷거나 뛰는 동작을 구동시키는 역할을 한다.
상기 관절구동모터부(152)는 다축관절부에 형성되어, 일측방향으로 특정각도로 회전되면서 다축관절부가 구부려지거나 접히도록 형성시키는 역할을 한다.
상기 발톱구동부(153)는 바닥면과 발톱으로 접촉되면서, 미끄러지지 않도록 지지하는 역할을 한다.
여섯째, 본 발명에 따른 배터리부(160)에 관해 설명한다.
상기 배터리부(160)는 카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 감성로봇제어부에 전원을 구동시키는 역할을 한다.
이는 리튬이온배터리, 또는 리튬폴리머배터리로 구성된다.
일곱째, 본 발명에 따른 감성로봇제어부(170)에 관해 설명한다.
상기 감성로봇제어부(170)는 카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 배터리부의 전반적인 동작을 제어하면서, 사용자의 눈동자와 눈썹을 보고 딥러닝으로 감성학습하면서, 감성추출인식시킨 후, 카메라눈동자부쪽으로 감성눈동자를 표출시키도록 제어하고, 로봇구동의 환경데이터와 감성학습데이터를 감성서버모듈쪽으로 전송시키고, 이에 따른 NFT 생성명령신호를 수신받도록 제어시키는 역할을 한다.
이는 도 7에 도시한 바와 같이, 감성백분율 기반 NFT 이미지 생성부(171), 감성눈동자제어부(172), 환경데이터수집부(173),로봇메인제어부(174)로 구성된다.
해당 소리, 표정, 움직임, 인터벌(움직임과 소리가 결합된 시간) 등을 다양한 심도의 감정으로 매핑값(학습데이터셋 중 정답셋)으로 처리하고 이를 딥러닝하여 감성 애완용 로봇이 이용자의 감성에 상응하는 정답셋(행동, 소리, 눈표정 등)을 표현하고 해당 내용을 기록하고 저장하여 NFT로 발행하도록 구성된다.
[감성백분율 기반 NFT 이미지 생성부(171)]
상기 감성백분율 기반 NFT 이미지 생성부(171)는 감성서버모듈로부터 NFT 생성명령신호를 수신받아, 학습NFT 이미지를 학습하면서, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키는 역할을 한다.
즉, 감정서버모듈로부터 NFT 생성명령신호를 수신받으면, 사용자가 교감형 애완용로봇을 만지거나, 스다듬어주어 기쁨에 따른 감성백분율이 80%가 될 때, 사용자가 잠자는 시간대인 자정부터 새벽 5시까지 학습 NFT 이미지(인터넷상이나 유명화가의 그림, 작품)를 학습하면서, 기쁨의 감성백분율 80%에 따른 새로운 NFT 이미지를 생성시키도록 프로그램설계된다.
또 다른 일예로, 기쁨에 따른 감성백분율이 40%가 될 때, 3시간동안만 학습 NFT 이미지(인터넷상이나 유명화가의 그림, 작품)를 학습하면서, 기쁨의 감성백분율 40%에 따른 새로운 NFT 이미지를 생성시키도록 프로그램설계된다.
또 다른 일예로, 슬픔에 따른 감정백분율이 60%가 될 때, 1시간동안만 학습 NFT 이미지(인터넷상이나 유명화가의 그림, 작품)를 학습하면서, 슬픔의 감성백분율 60%에 따른 새로운 NFT 이미지를 생성시키도록 프로그램설계된다.
상기 감성백분율 기반 NFT 이미지 생성부를 통해 생성된 새로운 NFT 이미지를 사용자의 스마트디바이스쪽으로 전송시키거나, 또는 감성서버모듈의 감성DB부에 저장된다.
[감성눈동자제어부(172)]
상기 감성눈동자제어부(172)는 카메라눈동자부를 통해, 촬영된 사용자의 눈동자와 눈썹에 관한 시각이미지를 보고, 감정을 학습하면서, 분류시키고, 사용자의 눈동자와 눈썹에 대한 감정상태를 추정하여 감성눈동자를 생성시키도록 제어시키는 역할을 한다.
이는 도 8에 도시한 바와 같이, HRI(Human Robot Interaction) 인터페이스모듈(172a), 감성학습분류부(172b), 감성추정인식엔진부(172c), 감성눈동자 생성제어부(172d)로 구성된다.
상기 HRI(Human Robot Interaction) 인터페이스모듈(172a)는 사용자와 교감형 애완용 로봇사이의 상호작용을 하는 인터페이스 역할을 수행한다.
상기 감성학습분류부(172b)는 HRI(Human Robot Interaction) 인터페이스모듈을 통해, HRI(Human Robot Interaction) 연결된 사용자의 얼굴 움직임에 대한 해부학적 분석을 하고, 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘별로 감성눈동자를 학습하고 분류하여 코딩시키는 역할을 한다.
여기서, 교감형 애완용 로봇은 사용자와의 사회적 교류를 위한 로봇으로, 대부분이 애완용 동물과 유사한 외양을 지니고 있으며, 눈의 구조 또한 사용자와 유사하다.
즉, 교감형 애완용 로봇의 눈을 이루는 구성요소에서 눈꺼풀의 유무, 색체의 사용, 빛의 유무, 요소의 크기 등을 어떻게 조합하는지에 따라 로봇의 개성이 나타난다.
본 발명에 따른 교감형 애완용 로봇의 눈동자는 원형이며, 눈꺼풀이 있고, 빛을 통해 홍채 색상, 홍채 크기를 변화시키도록 구성된다.
그리고, 눈꺼풀의 깜빡임을 통해 감정표현에 있어서 복합적인 요소를 활용해 깊이감을 주도록 구성된다.
또한, 빛을 통한 홍채의 색상변화로 색채를 통한 로봇의 반응을 이끌어내도록 구성된다.
즉, 기쁨은 아래 눈꺼풀 하단에 주름이 생긴다.
슬픔은 눈썹의 안쪽 끝이 당겨져 위로 올라가고, 눈썹하단 피부의 안쪽 부분이 위로 올라가면서 전체적으로 삼각형 모양이 된다.
놀람은 눈썹이 올라가서 높게 곡선 모양을 그리고, 눈썹 아래 피부가 팽팽하게 펴지며, 눈꺼풀이 열린다.
화남은 눈썹 사이 미간에 세로로 된 주름이 나타나고, 아래 눈꺼풀이 당겨지거나 올라가며, 윗 눈꺼풀이 당겨져 올라가고, 눈썹의 움직임에 따라 눈꺼풀이 바뀌며, 눈을 동그랗게 뜨고 보게 되고 일부 눈이 돌출된다.
혐오는 아래 눈꺼풀에 아래 주름이 생기고 눈꺼풀은 위로 눌리는 형태이나 팽팽하지 않는다. 눈썹이 아래로 내려가서 윗눈꺼풀을 눌러 내린다.
공포는 눈썹이 위로 올라가면서 끝부분은 아래로 처지고, 윗 눈꺼풀이 당겨져 올라가고 흰자위막이 보이며 아래 눈꺼풀이 팽팽하게 위로 당겨진다.
그리고, 감성학습분류부(172b)는 딥러닝 감성눈동자 알고리즘모듈(172b-1)이 포함되어 구성된다.
상기 딥러닝 감성눈동자 알고리즘모듈(172b-1)은 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘별로 감성눈동자가 생성되도록 딥러닝시키는 역할을 한다.
이는 사용자의 눈동자와 눈썹을 촬영하여 STM(Long Short-Term Memory models), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), Yolo v5을 조합한 앙상블 알고리즘으로 감성학습을 딥러닝시키도록 구성된다.
즉, 도 9에 도시한 바와 같이, 들뜬 딥러닝 감성눈동자부(172b-1a), 익숙한 딥러닝 감성눈동자부(172b-1b), 행복한 딥러닝 감성눈동자부(172b-1c), 평화로운 딥러닝 감성눈동자부(172b-1d), 편안한 딥러닝 감성눈동자부(172b-1e), 차분한 딥러닝 감성눈동자부(172b-1f), 지친 딥러닝 감성눈동자부(172b-1g), 우울한 딥러닝 감성눈동자부(172b-1h), 슬픈 딥러닝 감성눈동자부(172b-1i), 속상한 딥러닝 감성눈동자부(172b-1j), 압박스러운 딥러닝 감성눈동자부(172b-1k), 긴장한 딥러닝 감성눈동자부(172b-1l)로 구성된다.
즉, 상기 들뜬 딥러닝 감성눈동자부(172b-1a)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 마음이나 분위기가 가라앉지 않고 조금 흥분된 들뜬 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
상기 익숙한 딥러닝 감성눈동자부(172b-1b)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 반복된 일로 서투르지 않은 익숙한 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
행복한 딥러닝 감성눈동자부(172b-1c)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 충분한 만족과 기쁨을 느껴 흐뭇한 행복한 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
평화로운 딥러닝 감성눈동자부(172b-1d)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 평온하고 화목한 평화로운 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
편안한 딥러닝 감성눈동자부(172b-1e)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 편하고 걱정없이 좋은 편안한 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
차분한 딥러닝 감성눈동자부(172b-1f)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 마음이 가라앉아 조용한 상태의 감성눈동자가 생성되도록 딥러닝시킨다.
지친 딥러닝 감성눈동자부(172b-1g)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 어떤 일에 시달려서 기운이 빠진 지친 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
우울한 딥러닝 감성눈동자부(172b-1h)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 근심스럽거나 답답하여 활기가 없는 우울한 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
슬픈 딥러닝 감성눈동자부(172b-1i)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 마음이 아프고 괴로운 슬픈 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
속상한 딥러닝 감성눈동자부(172b-1j)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 화가 나거나 걱정이 되는 따위로 인해 마음이 불편하고 우울한 속상한 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
압박스러운 딥러닝 감성눈동자부(172b-1k)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 강한 힘으로 내려 누르는 압박스러운 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
긴장한 딥러닝 감성눈동자부(172b-1l)는 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 사용자의 눈동자, 눈썹을 보고, 마음을 조이고 정신을 바짝 차리는 감정상태의 감성눈동자가 생성되도록 딥러닝시킨다.
상기 감성추정인식엔진부(172c)는 사용자의 얼굴 움직임 중 눈동자와 눈썹에 대한 감정변화를 시각적으로 분석한 기본감성DB와 비교하여, 교감형 애완용 로봇을 바라보는 사용자의 눈동자와 눈썹에 대한 감정상태를 기반으로 감성을 추정하여 인식시키는 역할을 한다.
이는 사용자의 눈동자와 눈썹에 관한 시각이미지가 입력되면, 사용자의 눈동자와 눈썹에 관한 시각이미지로 감성을 추출하고 블록으로 나눈다.
이어서, 나뉘진 블록에서 감정변화를 나타내는 사용자의 눈동자를 1차로 추출하여 감성을 추출하고, 다시 블록에서 사용자의 눈썹을 2차로 추출하여 감성을 추출한다.
이어서, 사용자의 눈동자, 눈썹 중 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘를 추출한다.
이어서, 사용자의 눈동자, 눈썹의 움직임과 동공의 크기에 따라 감성별 가중치를 적용한다.
이러한 단계를 거쳐 12가지 감정어휘별로 감정을 결정한다.
이 감성은 백분율(%)로 표시되며, 모든 감성의 합은 100%가 된다.
이중 가장 큰 백분율을 차지하는 감성을 최종 대표 감성으로 선택한다.
상기 감성눈동자 생성제어부(172d)는 감성추정인식엔진부를 통해 추정한 감성인식을 기반으로 감성눈동자를 생성시키도록 제어시키는 역할을 한다.
즉, 기쁨은 아래 눈꺼풀이 위로 올라와 눈웃음 모양을 연상시키고, 반사광 개수가 증가하는 눈동자 이미지로 감성눈동자가 생성된다.
그리고, 슬픔은 위 눈꺼풀이 아래로 내려오며, 반사광 개수가 증가하는 눈동자 이미지로 감성눈동자가 생성된다.
또한, 놀람은 위, 아래 눈꺼풀이 여러번 깜빡여 눈깜빡임을 표현하는 감성눈동자가 생성된다.
화남은 눈썹 사이 미간에 세로로 된 주름이 나타나고, 아래 눈꺼풀이 당겨지거나 올라가며, 윗 눈꺼풀이 당겨져 올라가고, 눈썹의 움직임에 따라 눈꺼풀이 바뀌며, 눈을 동그랗게 뜨고 보게 되고 일부 눈이 돌출되는 감성눈동자가 생성된다.
상기 눈동자, 홍채, 반사광의 순으로 정적인 눈동자컴포넌트와, 눈꺼풀의 유무, 움직임, 눈꺼풀의 각도로 이루어진 동적인 눈동자 컴포넌트가 조합된 눈동자는 도 10에 도시된 바와 같이, 표현된다.
또한, 상기 감정에 따른 눈썹형태의 변화는 도 11에 도시된 바와 같이, 표현된다.
또한, 상기 감성눈동자제어부(172)에서는 다음과 같은 구성이 추가되어 구성된다.
즉, 통상 로봇은 눈망울처럼 반투명하게 빛나거나 눈물처럼 음영과 불투명하고 촉촉한 느낌을 주는 물리적 현상을 표출할 수 없으나 해당 로봇의 경우 인간의 눈망울과 유사한 LED, OLED 등 영상 스크린을 눈모양으로 만들어 해당 눈동자에 ‘희노애락’을 2의 256승 이상의 다양한 변화로 해상도, 크기, 픽셀의 심도, 픽셀의 색, 픽셀의 색조합 등으로 경우의 수를 감성 기반으로 만들어 이용자의 감성에 반응하여 응답하도록 구성된다.
이때 해시 함수를 통해 로봇의 감성을 표출하는데, 예를 들어 사용자가 희노애락의 심도 100으로 4의 100승의 감정을 표현하였다면, 해당 4의 100승이 로봇의 감정 표현에는 오징어 로봇의 눈동자에는 ‘우물쭈물부터 말랑말랑의 200가지 감성 값’, 곰 로봇의 눈동자에는 ‘으르렁으르렁부터 호호호호까지의 2000가지 감성 값’, 애완용 개의 눈동자에는 ‘희노애락의 50승의 감정’ 수 만큼을 일방향 해쉬로 처리하여 표현하도록 구성된다.
각각의 이용자와 애완용 동물의 감성은 1:1 매칭이 되고 충돌하지 않는 특징을 가지며, 이를 바탕으로 고유한 반응형 NFT를 제작하여 배포할 때, 오직 하나 뿐인 감성 매칭(이용자의 슬픔-애용완 개의 심도 깊은 위로의 눈동자)으로 저장되어 배포되도록 구성된다.
[환경데이터수집부(173)]
상기 환경데이터수집부(173)는 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 수집한 후, 감성서버모듈쪽으로 전송시키는 역할을 한다.
이는 로봇메인제어부와 연결되어 구성된다.
[로봇메인제어부(174)]
상기 로봇메인제어부(174)는 카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 배터리부의 전반적인 구동을 제어시키는 역할을 한다.
이는 도 12에 도시한 바와 같이, 카메라눈동자구동제어모드(174a), 눈썹모션구동제어모드(174b), 립모션구동제어모드(174c), 4족보행구동제어모드(174d), 배터리구동제어모드(174e)로 구성된다.
상기 카메라눈동자구동제어모드(174a)는 카메라눈동자부와 연결되어, 시야역할을 하면서, 사용자의 눈동자와 눈썹을 촬영하여 시각이미지화시키고, 감성눈동자를 표출시키도록 제어하는 역할을 한다.
상기 눈썹모션구동제어모드(174b)는 눈썹모션구동부와 연결되어, 둥근형태, 일자형태, 사선형태 중 어느 하나가 선택된 눈썹 모션을 구동시키도록 제어하는 역할을 한다.
상기 립모션구동제어모드(174c)는 립모션구동부와 연결되어, 립모션구동시키면서, 음성을 표출시키도록 제어하는 역할을 한다.
상기 4족보행구동제어모드(174d)는 4족보행 구동부와 연결되어, 관절운동을 통해 걷거나 뛰는 동작을 구동시키도록 제어하는 역할을 한다.
상기 배터리구동제어모드(174e)는 배터리부와 연결되어, 배터리를 구동시키도록 제어하는 역할을 한다.
다음으로, 본 발명에 따른 감성서버모듈(200)에 관해 설명한다.
상기 감성서버모듈(200)은 교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 DB(DataBase)화하여 이를 분석하고, 감성학습데이터를 기반으로 최적의 NFT생성명령신호를 교감형 애완용 로봇쪽으로 전송시키는 역할을 한다.
이는 도 13에 도시한 바와 같이, HRI(Human Robot Interaction)프로세서부(210), 업데이트형 감성HRI 프로세서부(220), 감성 DB부(230)로 구성된다.
첫째, 본 발명에 따른 HRI(Human Robot Interaction)프로세서부(210)에 관해 설명한다.
상기 HRI(Human Robot Interaction)프로세서부(210)는 교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 감성DB부에 넘겨주고, 표준감성테이블표나 리액션 코드테이블의 코드값을 피드백 받아서 다시 교감형 애완용로봇로 전송시키는 역할을 한다.
여기서, 표준감성테이블표는 사용자의 눈동자와 눈썹을 보고 추정한 12가지 감정어휘별 감성눈동자에 대한 로봇행동을 정의한 테이블을 말하고, 리액션 코드테이블은 사용자의 액션에 대한 로봇의 리액션을 정의한 테이블을 말한다.
즉, 일예로, 사용자가 교감형 애완용로봇을 만지거나, 스다듬어줄 때, 교감형 애완용로봇이 기쁨의 감성눈동자 생성과 함께, 진짜 고양이 또는 강아지처럼 바닥에 누어눕는 리액션을 생성시키도록 구성된다.
또다른 일예로, 사용자가 교감형 애완용로봇을 보고 울거나 슬퍼할 때, 교감형 애완용 로봇이 슬픔의 감성눈동자 생성과 함께, 사용자에게 기대면서 스담스담하면서 위로해주는 리액션을 생성시키도록 구성된다.
둘째, 본 발명에 따른 업데이트형 감성HRI 프로세서부(220)에 관해 설명한다.
상기 업데이트형 감성HRI 프로세서부(220)는 감성DB부에서 사용자와 교감형 애완용로봇의 인터랙션 정보를 받아서 감성성장과, ARR 엔진알고리즘을 통해 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 업데이트하고, 감성DB부에 저장시키는 역할을 한다.
여기서, ARR(Action Reaction Reaction)엔진알고리즘은 사용자의 행동에서 교감형 애완용로봇으로부터 입력되는 데이터를 액션(Action)으로 보고, 그에 따라서 선택된 출력 데이터를 감성서버모듈측에서 리액션(Reaction)을 보낸다.
출력데이터가 보내진 이후 교감형 애완용로봇에서 다시 되돌아오는 데이터를 교감형 애완용로봇의 리액션(Reaction)으로 보고, 그에 대한 데이터의 감성서버모듈측 리액션(Reaction)의 확률을 조절시키는 역할을 한다.
즉, 먼저 하나의 데이터가 수신되었을 때 해당 데이터가 이전 로봇의 반응코드와 연관이 있는지를 연관성 검토엔지에 의해서 분석하게 된다.
분석된 결과가 연관성이 있다고 판단될 경우, 해당 데이터는 다시 긍정성 검토엔진에 의해 해당 데이터의 긍정률을 산출하게되며, 분석된 긍정률 데이터는 이전 사용자 액션에 대한 로봇의 반응코드간의 동기화리스트(SynchroList)에 반영이 되게 된다.
여기서, 동기화리스트(SynchroList)는 하나의 사용자 액션에 대해서 반응할 수 있는 교감형 애완용로봇의 반응 코드들 간의 연동률을 나타내는 것으로서, 해당 연동률은 사용자 액션에 대해서 반응코드를 무작위로 추출할 때에 가중치로서 적용된다.
사용자의 액션에 대한 로봇의 특정 반응코드에 대해서 사용자가 반복적으로 긍정의 반응을 보일 경우, 교감형 애완용로봇은 점차적으로 해당 액션에 대해서 해당 반응을 좀더 많은 빈도수로 나타내게 되므로, 이는 사용자 입장에서 교감형 애완용로봇이 사용자에 맞춰 성장하는 것으로 보이게 된다.
즉, 도 14에 도시한 바와 같이, 액션코드값(Action Code)은 사용자가 로봇에게 하는 행동을 사전에 설정해 놓은 코드이고, 리액션 코드값(Reaction Code)은 교감형 애완용로봇이 사용자에게 반응하는 행동을 사전에 설정해 놓은 코드이고, 싱크로값(Synchro)은 사용자의 액션에 대한 교감형 애완용로봇의 리액션을 나타내는 확률적 가중치이다.
여기서, 확률적 가중치가 높은 필드의 해당 리액션 코드값이 선택될 가능성이 높다.
일예로, 교감형 애완용로봇이 사용자으로부터 만져지거나 스다듬어질 때, 양쪽 등쪽에 위치한 터치센서 입력을 받게 되면, 기쁨의 감성눈동자 생성과 함께, 진짜 고양이 또는 강아지처럼 바닥에 드러 눕는 리액션을 생성시킨다.
여기서, 액션 코드값은 터치센서의 입력값이 되고, 리액션 코드값은 진짜 고양이 또는 강아지처럼 바닥에 드러 눕는 값이 된다.
셋째, 본 발명에 따른 감성 DB부(230)에 관해 설명한다.
상기 감성 DB부(230)는 교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터, 그리고, 업데이트된 새로운 NFT 이미지를 DB화하여 저장시키는 역할을 한다.
이처럼, 교감형 애완용 로봇(100), 감성서버모듈(200)로 이루어진 감성백분율 기반 NFT 이미지 생성장치(1)는 비단 눈썹, 눈이라는 인간의 표정 중 가장 감성이 직접적으로 드러나는 신체부위를 찰영한 부분 영상을 딥러닝하여 자동으로 수만가지의 표정으로 재생산하는 이미지 생성장치 외에도 다른 감성을 표현하는 행동, 말, 음성, 눈 외의 얼굴 부위, 이벤트 등의 부가 정보를 부가적으로 추가할 수 있다.
이하, 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성방법의 구체적인 동작과정에 관해 설명한다.
도 17은 본 발명에 따른 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성방법을 도시한 순서도에 관한 것이다.
먼저, 교감형 애완용 로봇의 로봇메인제어부를 통해 카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 배터리부의 전반적인 구동을 제어시킨다(S10).
이때, 사용자의 눈동자와 눈썹을 촬영하고, 사용자를 ?i아 걷거나, 뛰는 액션을 한다.
다음으로, 교감형 애완용 로봇의 감성눈동자제어부에서, 카메라눈동자부를 통해, 촬영된 사용자의 눈동자와 눈썹에 관한 시각이미지를 보고, 감정을 학습하면서, 분류시키고, 사용자의 눈동자와 눈썹에 대한 감정상태를 추정하여 감성눈동자를 생성시키도록 제어시킨다(S20).
즉, 도 18에 도시한 바와 같이, HRI(Human Robot Interaction) 인터페이스모듈을 통해 사용자와 교감형 애완용 로봇사이의 상호작용을 하는 인터페이스 역할을 수행한다(S21).
이어서, 감성학습분류부에서 HRI(Human Robot Interaction) 연결된 사용자의 얼굴 움직임에 대한 해부학적 분석을 하고, 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘별로 감성눈동자를 학습하고 분류하여 코딩시킨다(S22).
이어서, 감성추정인식엔진부에서, 사용자의 얼굴 움직임 중 눈동자와 눈썹에 대한 감정변화를 시각적으로 분석한 기본감성DB와 비교하여, 교감형 애완용 로봇을 바라보는 사용자의 눈동자와 눈썹에 대한 감정상태를 기반으로 감성을 추정하여 인식시킨다(S23).
이어서, 감성눈동자 생성제어부에서 감성추정인식엔진부를 통해 추정한 감성인식을 기반으로 감성눈동자를 생성시킨다(S24).
다음으로, 도 15에 도시한 바와 같이, 교감형 애완용 로봇의 환경데이터수집부를 통해, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 수집한 후, 감성서버모듈쪽으로 전송시킨다(S30).
다음으로, 감성서버모듈에서 교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 DB(DataBase)화하여 이를 분석하고, 감성학습데이터를 기반으로 최적의 NFT생성명령신호를 교감형 애완용 로봇쪽으로 전송시킨다(S40).
여기서, 최적의 NFT생성명령신호는 학습 NFT 이미지를 학습하는 시간과 감성백분율에 따라 교감형 애완용 로봇자체가 학습한데로 새로운 NFT 이미지를 생성시키는 것을 말한다.
다음으로, 교감형 애완용 로봇의 감성백분율 기반 NFT 이미지 생성부(171)를 통해, 감성서버모듈로부터 NFT 생성명령신호를 수신받아, 학습NFT 이미지를 학습하면서, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시킨다(S50).
일예로, 도 16에 도시한 바와 같이, 감정서버모듈로부터 NFT 생성명령신호를 수신받으면, 사용자가 교감형 애완용로봇을 만지거나, 스다듬어주어 기쁨에 따른 감성백분율이 80%가 될 때, 사용자가 잠자는 시간대인 자정부터 새벽 5시까지 학습 NFT 이미지(인터넷상이나 유명화가의 그림, 작품)를 학습하면서, 기쁨의 감성백분율 80%에 따른 새로운 NFT 이미지를 생성시킨다.
끝으로, 감성서버모듈의 업데이트형 감성HRI 프로세서부를 통해, 감성DB부에서 사용자와 교감형 애완용로봇의 인터랙션 정보를 받아서 감성성장과, ARR 엔진알고리즘을 통해 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 업데이트하고, 감성DB부에 저장시킨다(S60).
1 : 감성백분율 기반 NFT 이미지 생성장치
100 : 교감형 애완용 로봇
110 : 로봇몸체
120 : 카메라눈동자부
130 : 눈썹모션구동부
140 : 립모션구동부
150 : 4족보행 구동부
160 : 배터리부
170 : 감성로봇제어부
200 : 감성서버모듈
210 : HRI(Human Robot Interaction)프로세서부
220 : 업데이트형 감성HRI 프로세서부
230 : 감성 DB부

Claims (9)

  1. 사용자의 눈동자와 눈썹을 촬영하여 딥러닝으로 감성학습하면서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨 후, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치.
  2. 제1항에 있어서, 상기 감성백분율 기반 NFT 이미지 생성장치는
    사용자의 눈동자와 눈썹을 촬영하여 딥러닝으로 감성학습하면서, 감성눈동자, 및 감성눈동자와 눈썹까지의 조합을 표출시킨 후, 로봇구동의 환경데이터와 감성학습데이터를 감성서버모듈쪽으로 전송시키고, 이에 따른 NFT 생성명령신호를 수신받아 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키는 교감형 애완용 로봇(100)과,
    교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 DB(DataBase)화하여 이를 분석하고, 감성학습데이터를 기반으로 최적의 NFT생성명령신호를 교감형 애완용 로봇쪽으로 전송시키는 감성서버모듈(200)로 구성되는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치.
  3. 제2항에 있어서, 상기 교감형 애완용 로봇(100)은
    4족보행을 하는 강아지 또는 고양이와 같은 애완용 동물형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 로봇몸체(110)와,
    로봇본체의 머리 중 눈동자부위에 형성되어, 시야역할을 하면서, 사용자의 눈동자와 눈썹을 촬영하여 시각이미지화시키는 카메라눈동자부(120)와,
    카메라눈동자부 상단에 위치되어, 눈썹부위를 형성하면서, 감성로봇제어부의 제어신호에 따라 둥근형태, 일자형태, 사선형태 중 어느 하나가 선택된 눈썹 모션을 구동시키는 눈썹모션구동부(130)와,
    로봇몸체의 머리부위 중 입부위에 형성되어, 립모션구동시키면서, 음성을 표출시키는 립모션구동부(140)와,
    좌측앞다리, 우측앞다리, 좌측뒷다리, 우측뒷다리의 4족보행구조로 이루어져, 관절운동을 통해 걷거나 뛰는 동작을 구동시키는 4족보행 구동부(150)와,
    카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 감성로봇제어부에 전원을 구동시키는 배터리부(160)와,
    카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 배터리부의 전반적인 동작을 제어하면서, 사용자의 눈동자와 눈썹을 보고 딥러닝으로 감성학습하면서, 감성추출인식시킨 후, 카메라눈동자부쪽으로 감성눈동자를 표출시키도록 제어하고, 로봇구동의 환경데이터와 감성학습데이터를 감성서버모듈쪽으로 전송시키고, 이에 따른 NFT 생성명령신호를 수신받도록 제어시키는 감성로봇제어부(170)로 구성되는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치.
  4. 제3항에 있어서, 상기 감성로봇제어부(170)는
    감성서버모듈로부터 NFT 생성명령신호를 수신받아, 학습NFT 이미지를 학습하면서, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키는 감성백분율 기반 NFT 이미지 생성부(171)와,
    카메라눈동자부를 통해, 촬영된 사용자의 눈동자와 눈썹에 관한 시각이미지를 보고, 감정을 학습하면서, 분류시키고, 사용자의 눈동자와 눈썹에 대한 감정상태를 추정하여 감성눈동자를 생성시키도록 제어시키는 감성눈동자제어부(172)와,
    로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 수집한 후, 감성서버모듈쪽으로 전송시키는 환경데이터수집부(173)와,
    카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 배터리부의 전반적인 구동을 제어시키는 로봇메인제어부(174)로 구성되는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치.
  5. 제4항에 있어서, 상기 감성눈동자제어부(172)는
    사용자와 교감형 애완용 로봇사이의 상호작용을 하는 인터페이스 역할을 수행하는 HRI(Human Robot Interaction) 인터페이스모듈(172a)와,
    HRI(Human Robot Interaction) 인터페이스모듈을 통해, HRI(Human Robot Interaction) 연결된 사용자의 얼굴 움직임에 대한 해부학적 분석을 하고, 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘별로 감성눈동자를 학습하고 분류하여 코딩시키는 감성학습분류부(172b)와,
    사용자의 얼굴 움직임 중 눈동자와 눈썹에 대한 감정변화를 시각적으로 분석한 기본감성DB와 비교하여, 교감형 애완용 로봇을 바라보는 사용자의 눈동자와 눈썹에 대한 감정상태를 기반으로 감성을 추정하여 인식시키는 감성추정인식엔진부(172c)와,
    감성추정인식엔진부를 통해 추정한 감성인식을 기반으로 감성눈동자를 생성시키도록 제어시키는 감성눈동자 생성제어부(172d)로 구성되는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치.
  6. 제4항에 있어서, 상기 로봇메인제어부(174)는
    카메라눈동자부와 연결되어, 시야역할을 하면서, 사용자의 눈동자와 눈썹을 촬영하여 시각이미지화시키고, 감성눈동자를 표출시키도록 제어하는 카메라눈동자구동제어모드(174a)와,
    눈썹모션구동부와 연결되어, 둥근형태, 일자형태, 사선형태 중 어느 하나가 선택된 눈썹 모션을 구동시키도록 제어하는 눈썹모션구동제어모드(174b)와,
    립모션구동부와 연결되어, 립모션구동시키면서, 음성을 표출시키도록 제어하는 립모션구동제어모드(174c)와,
    4족보행 구동부와 연결되어, 관절운동을 통해 걷거나 뛰는 동작을 구동시키도록 제어하는 4족보행구동제어모드(174d)와,
    배터리부와 연결되어, 배터리를 구동시키도록 제어하는 배터리구동제어모드(174e)로 구성되는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치.
  7. 제2항에 있어서, 상기 감성서버모듈(200)은
    교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 감성DB부에 넘겨주고, 표준감성테이블표나 리액션 코드테이블의 코드값을 피드백 받아서 다시 교감형 애완용로봇로 전송시키는 HRI(Human Robot Interaction)프로세서부(210)와,
    감성DB부에서 사용자와 교감형 애완용로봇의 인터랙션 정보를 받아서 감성성장과, ARR 엔진알고리즘을 통해 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 업데이트하고, 감성DB부에 저장시키는 업데이트형 감성HRI 프로세서부(220)와,
    교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터, 그리고, 업데이트된 새로운 NFT 이미지를 DB화하여 저장시키는 감성 DB부(230)로 구성되는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성장치.
  8. 교감형 애완용 로봇의 로봇메인제어부를 통해 카메라눈동자부, 눈썹모션구동부, 립모션구동부, 4족보행 구동부, 배터리부의 전반적인 구동을 제어시키는 단계(S10)와,
    교감형 애완용 로봇의 감성눈동자제어부에서, 카메라눈동자부를 통해, 촬영된 사용자의 눈동자와 눈썹에 관한 시각이미지를 보고, 감정을 학습하면서, 분류시키고, 사용자의 눈동자와 눈썹에 대한 감정상태를 추정하여 감성눈동자를 생성시키도록 제어시키는 단계(S20)와,
    교감형 애완용 로봇의 환경데이터수집부를 통해, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 수집한 후, 감성서버모듈쪽으로 전송시키는 단계(S30)와,
    감성서버모듈에서 교감형 애완용 로봇로부터 수신한, 로봇구동의 터치센싱신호, PIR 센싱신호, 모터구동신호, LED구동신호에 관한 환경데이터와, 감성학습데이터를 DB(DataBase)화하여 이를 분석하고, 감성학습데이터를 기반으로 최적의 NFT생성명령신호를 교감형 애완용 로봇쪽으로 전송시키는 단계(S40)와,
    교감형 애완용 로봇의 감성백분율 기반 NFT 이미지 생성부(171)를 통해, 감성서버모듈로부터 NFT 생성명령신호를 수신받아, 학습NFT 이미지를 학습하면서, 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 생성시키는 단계(S50)와,
    감성서버모듈의 업데이트형 감성HRI 프로세서부를 통해, 감성DB부에서 사용자와 교감형 애완용로봇의 인터랙션 정보를 받아서 감성성장과, ARR 엔진알고리즘을 통해 로봇자체에서 생성된 감성백분율(%)에 따라 새로운 NFT 이미지를 업데이트하고, 감성DB부에 저장시키는 단계(S60)로 이루어지는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성방법.
  9. 제8항에 있어서, 상기 교감형 애완용 로봇의 감성눈동자제어부에서, 카메라눈동자부를 통해, 촬영된 사용자의 눈동자와 눈썹에 관한 시각이미지를 보고, 감정을 학습하면서, 분류시키고, 사용자의 눈동자와 눈썹에 대한 감정상태를 추정하여 감성눈동자를 생성시키도록 제어시키는 단계(S20)는
    HRI(Human Robot Interaction) 인터페이스모듈을 통해 사용자와 교감형 애완용 로봇사이의 상호작용을 하는 인터페이스 역할을 수행하는 단계(S21)와,
    감성학습분류부에서 HRI(Human Robot Interaction) 연결된 사용자의 얼굴 움직임에 대한 해부학적 분석을 하고, 기본적인 감정 표현인 기쁨, 슬픔, 놀람, 화남, 혐오, 공포를 기준으로, 들뜬, 익숙한, 행복한, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한의 12가지 감정어휘별로 감성눈동자를 학습하고 분류하여 코딩시키는 단계(S22)와,
    감성추정인식엔진부에서, 사용자의 얼굴 움직임 중 눈동자와 눈썹에 대한 감정변화를 시각적으로 분석한 기본감성DB와 비교하여, 교감형 애완용 로봇을 바라보는 사용자의 눈동자와 눈썹에 대한 감정상태를 기반으로 감성을 추정하여 인식시키는 단계(S23)와,
    감성눈동자 생성제어부에서 감성추정인식엔진부를 통해 추정한 감성인식을 기반으로 감성눈동자를 생성시키는 단계(S24)로 이루어지는 것을 특징으로 하는 교감형 애완용 로봇을 통한 감성백분율 기반 NFT 이미지 생성방법.
KR1020220144338A 2022-11-02 2022-11-02 교감형 애완용 로봇을 통한 감성백분율 기반 nft 이미지 생성장치 및 방법 KR20240065557A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220144338A KR20240065557A (ko) 2022-11-02 2022-11-02 교감형 애완용 로봇을 통한 감성백분율 기반 nft 이미지 생성장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220144338A KR20240065557A (ko) 2022-11-02 2022-11-02 교감형 애완용 로봇을 통한 감성백분율 기반 nft 이미지 생성장치 및 방법

Publications (1)

Publication Number Publication Date
KR20240065557A true KR20240065557A (ko) 2024-05-14

Family

ID=91076017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220144338A KR20240065557A (ko) 2022-11-02 2022-11-02 교감형 애완용 로봇을 통한 감성백분율 기반 nft 이미지 생성장치 및 방법

Country Status (1)

Country Link
KR (1) KR20240065557A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210039696A (ko) 2019-10-02 2021-04-12 정혜림 반려동물 케어용 로봇

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210039696A (ko) 2019-10-02 2021-04-12 정혜림 반려동물 케어용 로봇

Similar Documents

Publication Publication Date Title
US11443557B2 (en) Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots
US11226673B2 (en) Affective interaction systems, devices, and methods based on affective computing user interface
US10210425B2 (en) Generating and using a predictive virtual personification
US20200175262A1 (en) Robot navigation for personal assistance
JP6929366B2 (ja) ドライバ監視及び応答システム
McColl et al. A survey of autonomous human affect detection methods for social robots engaged in natural HRI
Rincon et al. A new emotional robot assistant that facilitates human interaction and persuasion
Zhang et al. Intelligent facial emotion recognition and semantic-based topic detection for a humanoid robot
JP2023082053A (ja) 反射を利用する拡張現実システムおよび方法
Cooney et al. Recognizing affection for a touch-based interaction with a humanoid robot
US20050187437A1 (en) Information processing apparatus and method
KR102185469B1 (ko) 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
JP2019149181A (ja) 瞳を変化させる自律行動型ロボット
JP2011115944A (ja) ロボット装置、ロボット装置の行動制御方法及びプログラム
KR20020067699A (ko) 로봇 장치 및 로봇 장치의 행동 제어 방법
US20230173683A1 (en) Behavior control device, behavior control method, and program
CN110837294A (zh) 一种基于眼球追踪的面部表情控制方法及系统
KR20160072621A (ko) 학습과 추론이 가능한 로봇 서비스 시스템
JP2002160185A (ja) ロボット装置、ロボット装置の行動制御方法、外力検出装置及び外力検出方法
KR20240065557A (ko) 교감형 애완용 로봇을 통한 감성백분율 기반 nft 이미지 생성장치 및 방법
CN111949773A (zh) 一种阅读设备、服务器以及数据处理的方法
Seanglidet et al. Mood prediction from facial video with music “therapy” on a smartphone
CN114712862A (zh) 虚拟宠物交互方法、电子设备及计算机可读存储介质
EP4378638A2 (fr) Procédé de commande d'une pluralité d'effecteurs d'un robot
KR102366054B1 (ko) 말을 이용한 힐링 시스템