KR20210012748A - 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템 - Google Patents

장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템 Download PDF

Info

Publication number
KR20210012748A
KR20210012748A KR1020190091024A KR20190091024A KR20210012748A KR 20210012748 A KR20210012748 A KR 20210012748A KR 1020190091024 A KR1020190091024 A KR 1020190091024A KR 20190091024 A KR20190091024 A KR 20190091024A KR 20210012748 A KR20210012748 A KR 20210012748A
Authority
KR
South Korea
Prior art keywords
doll
state
sensor
shape
monitor
Prior art date
Application number
KR1020190091024A
Other languages
English (en)
Other versions
KR102318218B1 (ko
Inventor
나기운
Original Assignee
주식회사 모랑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모랑스 filed Critical 주식회사 모랑스
Priority to KR1020190091024A priority Critical patent/KR102318218B1/ko
Publication of KR20210012748A publication Critical patent/KR20210012748A/ko
Application granted granted Critical
Publication of KR102318218B1 publication Critical patent/KR102318218B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/36Details; Accessories
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/28Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • A63H3/31Bellows, cylinders or the like for sound production
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Toys (AREA)

Abstract

본 발명의 일 양상에 따른 인형은 원격의 서버와 데이터를 송수신하는 네트워크 연결부, 스피커 및 마이크를 포함하여 네트워크 연결부로부터 수신되는 음성을 스피커로 출력하는 음성 통신부, 복수의 센서를 포함하는 센서부(140) 및 복수의 센서로부터의 복수의 센싱 데이터로부터 결정되는 상태 정보와 마이크로부터의 음성 정보를 네트워크 연결부를 통해 서버로 전송하는 제어부를 포함하고, 네트워크 연결부로부터 수신되는 음성은 서버를 통해 인형에 연결된 모니터의 마이크를 통해 입력된 음성이다.

Description

장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템{Doll and its system for the handicapped and one person households to share their feelings}
본 발명은 정서 공감을 위한 인형 및 시스템에 관한 것으로서, 구체적으로는 정서 공감형 인형을 매개로 인형의 접촉을 통해 인형 및 사용자의 상태를 동적으로 인식하고 인식된 상태에 따라 대화와 감성 교류가 가능한 정서 공감을 위한 인형 및 그 시스템에 관한 것이다.
장애인들이 가장 원하는 것은 정상인들이 누리는 일상생활에 참여하여 그들과 같은 감성을 공유하는 것이다. 그동안 소외된 장애인들에 대한 편견과 환경이 많이 개선되긴 하였지만, 아직도 특정 부분에 있어 여전히 선입견과 차별이 존재하고 있는데, 장애인끼리 또는 정상인과의 이성교제 어려움이 바로 그것이다. 즉, 정서적 감성 공감을 누릴 수 있는 기회와 환경이 충분히 조성되지 않았다는 것이다.
이런 어려움은 비단 장애인들뿐만 아니라 최근 급증하는 1인 가구도 겪고 있는 것이다. 대부분의 조사에 의하면, 20대에서 60대에 이르는 1인 가구가 겪는 가장 큰 어려움은 경제적 어려움보다 외로움이었다.
이에 따라, ICT(Information and Communication Technologies) 기술을 활용하여 장애인들과 정상인들이 겪는 이러한 정서적 어려움을 해결하기 위해 많은 노력들이 시도되어 왔다.
예를 들면, 등록특허 10-0701237호(출원번호 10-2005-0074425호, 출원일 2005년 08월 12일, KR)는 인물의 외형을 갖는 몸체에 시각, 촉각, 후각, 청각센서를 내장하고 다양한 감성 콘텐츠 프로그램을 다운로드 받아 감성을 표현할 수 있는 인터넷 감성로봇 기술을 제시하였다.
또 다른 등록특허 10-0831566호(출원번호 10-2007-0056199호, 출원일 2007년 06월 08일 KR)는 동물과 같은 귀여운 형상의 캐릭터 인형을 인터넷 단말로 사용하여, 그 인형을 통해 다양한 정보를 제공할 뿐만 아니라 미리 계획된 방식에 따라 캐릭터 인형이 간단한 감정을 표현할 수 있는 기술을 제시하였다.
또 다른 등록특허 10-1113058호(출원번호 10-2010-0023232호, 출원일 2010년 03월 16일 KR)는 모바일 단말의 애플리케이션 내 가상 생명체를 사용하여 송신자가 입력한 글 또는 이미지와 같은 개인화 정보를 이용하여 성장시킨 후 개인화된 가상 생명체의 최종 성장 상태를 수신자에게 전달하여 송신자의 지속적인 정성이 수신자에게 시각적으로 쉽게 인지되도록 하는 기술을 제시하였다.
상기 인용된 등록특허 및 알려진 다른 발명들은 대부분 기계적으로 미리 만들어지고 약속된 감성을 표현하는 인형이거나, 인터넷 공간에서의 가상 캐릭터이다.
즉, 인간과 인간의 정서적 감성 교류가 아닌, 인간과 기계 사이의 프로그램된 감성 교류이므로, 사람과 사람 사이의 정서적, 신체적 접촉이 주는 감성을 얻을 수는 없다. 이러한 한계로 인해 현재 장애인 및 일인 가구가 겪고 있는 외로움을 근본적으로 해결하기 어려운 문제가 있으며, 이를 해결할 수 있는 새로운 기술이 필요하다.
본 발명은, 상술한 문제점을 해결하기 위해서 안출한 것으로서, 사람과 사람 사이의 직접 감성 교류와 동일하거나 유사한 효과를 제공할 수 있는 정서 공감을 위한 인형 및 시스템을 제공하는 데 목적이 있다.
또한, 본 발명은 사용자가 대하는 인형의 동적 상태 인식에 따라 사용자의 현재 상태를 추정하고 이에 따라 정확한 상담이나 감성 교류가 가능한 정서 공감을 위한 인형 및 시스템을 제공하는 데 목적이 있다.
또한, 본 발명은 대면 감성 교류와 유사한 효과를 제공하면서 대면 감성 교류에 따라 야기되는 위험과 부담을 피할 수 있는 감성 교류 통로를 제공할 수 있는 정서 공감을 위한 인형 및 시스템을 제공하는 데 목적이 있다.
또한, 본 발명은 형상감지 센서를 구비한 인형을 매개로 사용자에 의해 인형 접촉에 따라 파악되는 사용자 상태에 따라 상담 및 감성 교류가 가능한 정서 공감을 위한 인형 및 시스템을 제공하는 데 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따른 인형은 원격의 서버와 데이터를 송수신하는 네트워크 연결부; 스피커 및 마이크를 포함하여 상기 네트워크 연결부로부터 수신되는 음성을 상기 스피커로 출력하는 음성 통신부; 복수의 센서를 포함하는 센서부; 및 상기 복수의 센서로부터의 복수의 센싱 데이터로부터 결정되는 상태 정보와 상기 마이크로부터의 음성 정보를 상기 네트워크 연결부를 통해 전송하는 제어부;를 포함하고, 상기 네트워크 연결부로부터 수신되는 음성은 상기 서버를 통해 상기 인형에 네트워크 연결된 모니터의 마이크를 통해 입력된 음성이다.
상기한 인형에 있어서, 상기 센서부는 상기 인형의 제1 유형 부위에 설치되는 복수의 자이로 센서 및 제2 유형 부위에 설치되는 복수의 형상감지 센서를 포함하고, 상기 형상감지 센서는 사용자에 의해 인가되는 접촉 또는 압력에 따라 변화하는 형상을 센싱 가능토록 구성된다.
상기한 인형에 있어서, 상기 복수의 자이로 센서는 상기 인형의 관절 부위에 설치되고, 상기 복수의 형상감지 센서는 상기 인형의 탄성을 가지는 탄성 부위에 설치된다.
상기한 인형에 있어서, 상기 형상감지 센서는 신호원을 센싱하는 복수의 검지기를 포함하고, 상기 인형은 상기 복수의 검지기로부터의 센싱 데이터를 포함하는 형상감지 벡터를 구성하며, 상기 형상감지 벡터는 상기 형상감지 센서에 대응하는 탄성 부위의 변형된 외형을 추정할 수 있도록 한다.
상기한 인형에 있어서, 상기 복수의 센서의 복수의 센싱 데이터로부터 상기 인형의 상태를 추정하는 인공지능 센서 데이터 해석부;를 더 포함하고, 상기 인공지능 센서 데이터 해석부는 상기 형상감지 벡터를 구성하고 상기 형상감지 벡터에 대응하는 형상을 인공지능 알고리즘을 통해 추정한다.
상기한 인형에 있어서, 상기 형상감지 센서는, 상기 복수의 검지기로서 복수의 광검파기 및 상기 복수의 광검파기와 지정된 거리에 위치하고 상기 신호원인 광원을 포함하거나, 상기 복수의 검지기로서 복수의 자계센서 및 상기 복수의 자계센서와 지정된 거리에 위치하고 상기 신호원인 자석을 포함한다.
또한, 본 발명의 일 양상에 따른 시스템은 상기한 인형; 상기 인형에 네트워크를 통해 연결되는 서버; 및 상기 서버를 통한 제어에 따라 상기 인형에 연결되는 모니터;를 포함한다.
상기한 시스템에 있어서, 상기 서버는 상기 인형으로부터 상태 정보를 수신하고 수신된 상태 정보로부터 상기 인형의 상태 및 상기 인형을 이용하는 사용자 상태를 추정하고 상기 인형의 상태 및 상기 사용자 상태를 나타내는 상태추정 정보를 상기 모니터로 전송하고, 상기 모니터는 상태추정 정보를 이미지로 표시한다.
상기한 시스템에 있어서, 인공지능 알고리즘을 수행하는 상기 서버는 상기 상태 정보에 포함되고 복수의 센서로부터 측정된 복수의 센싱 데이터를 이용하여 상기 인형의 접촉 부위 및 변화된 형상을 추정하고 상기 측정된 복수의 센싱 데이터에 대응하는 관계를 가지는 사용자의 상태를 추정하고, 상기 인형의 변화된 상태 이미지와 상기 사용자의 상태 이미지를 포함하는 상태추정 정보를 상기 모니터로 전송한다.
상기한 시스템에 있어서, 상기 인공지능 알고리즘을 수행하는 상기 서버는 상기 상태 정보에 포함되는 형상감지 센서의 형상감지 벡터로부터 상기 형상감지 센서에 대응하는 상기 인형의 탄성 부위의 변형된 외형을 추정한다.
상기한 시스템에 있어서, 상기 이미지를 표시하는 상기 모니터는 상대자로부터 입력되는 음성을 포함하는 음성 정보를 네트워크를 통해 상기 인형으로 전송한다.
상기한 시스템에 있어서, 상기 인형의 사용자에 의해 선택된 상대자가 이용하는 상기 모니터는 상대자에 의해 입력되는 문자 메시지를 상기 서버로 전송하고, 상기 서버는 상기 문자 메시지를 지정된 음성으로 변환하고 상기 인형으로 전송한다.
상기와 같은 본 발명에 따른 정서 공감을 위한 인형 및 시스템은 정보 기기 대신에 사용자가 만지고 느낄 수 있는 인형을 매개로 사람과 사람사이의 교류와 음성 대화가 이루어져 사람과의 대면 감성 교류와 동일하거나 유사한 효과를 제공할 수 있다.
또한, 상기와 같은 본 발명에 따른 정서 공감을 위한 인형 및 시스템은 사용자가 대하는 인형의 동적 상태 인식에 따라 사용자의 현재 상태를 추정하고 이에 따라 상대자(감성친구)로 하여금 원격에 있는 사용자의 상태를 파악가능토록 함으로써 보다 충실한 상담이나 감성 교류가 가능한 효과가 있다.
또한, 상기와 같은 본 발명에 따른 정서 공감을 위한 인형 및 시스템은 직접 대면 감성 교류와 유사한 효과를 제공하면서도 직접 대면 감성 교류에 따라 야기되는 위험과 부담을 피할 수 있는 효과가 있다.
또한, 상기와 같은 본 발명에 따른 정서 공감을 위한 인형 및 시스템은 형상감지 센서를 구비한 인형을 매개로 사용자의 상태 및 행동을 보다 정확하게 파악할 수 있도록 하는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 정서 공감을 위한 예시적인 시스템 구성을 도시한 도면이다.
도 2는 본 발명에 따라 구성되는 인형의 예시적인 블록도를 도시한 도면이다.
도 3은 인형에 설치되는 센서 구성 예를 도시한 도면이다.
도 4는 일반 압력센서의 원리를 도시한 도면이다.
도 5는 일반 압력센서의 문제점을 도시한 도면이다.
도 6은 본 발명에 따라 구성되는 형상감지 센서의 일 예를 도시한 도면이다.
도 7은 본 발명에 따라 구성되는 예시적인 형상감지 센서의 동작원리를 도시한 도면이다.
도 8은 모니터의 예시적인 블록도를 도시한 도면이다.
도 9는 정서 공감을 위한 시스템에서 인형과 모니터 사이의 감성교류가 이루어지는 예시적인 제어 흐름을 도시한 도면이다.
도 10은 형상감지 센서에 대한 사용자 접촉 액션에 따라 변형 외형과 대응하여 측정된 형상감지 벡터의 예를 도시한 도면이다.
도 11은 측정된 센서 데이터 집합으로부터 유추되는 인형 및 사용자의 상태의 예를 도시한 도면이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 정서 공감을 위한 예시적인 시스템 구성을 도시한 도면이다.
도 1에 따르면 다른 상대자와의 음성 송수신을 통해 정서나 감성(감정) 교류가 가능한 시스템은 하나 이상의 인형(100), 서버(200) 및 하나 이상의 모니터(300)를 포함한다. 인형(100), 서버(200) 및 모니터(300)는 네트워크를 통해 서로 연결되어 각종 데이터를 송수신할 수 있다.
도 1을 통해 시스템을 간단히 살펴보면, 인형(100)은 다른 상대자(감성친구)와 음성 통신을 통해 정서나 감성 교류가 요구되는 사용자가 이용 가능한 기기이다. 인형(100)은 인간 형상을 가지고 사용자의 각종 요구나 접촉을 인지할 수 있고 원격의 상대자를 통한 음성 반응으로 사용자의 정서나 감성에 공감하거나 서로 교류 가능하도록 구성된다. 인형(100)은 외로움 해결이 필요한 사용자를 위해 설치될 수 있고 예를 들어 장애인, 노인, 1인 가구주 등을 위해서 설치될 수 있다. 인형(100)은 사용자의 감성전달, 정서교류를 위한 매개체 역할을 담당한다.
인형(100)에 대해서는 도 2, 도 3, 도 9 등을 통해 상세히 살펴보도록 한다.
서버(200)는 네트워크를 통해 인형(100)과 모니터(300)에 연결되어 인형(100) 및 모니터(300) 사이의 연결 등 각종 제어를 수행하고 관리한다. 예를 들어, 서버(200)는 인형(100)으로부터 각종 정보를 수신하고 이로부터 인형(100)의 상태를 추정하고 추정된 상태를 이 인형(100)에 연결된 모니터(300)로 전송할 수 있다.
서버(200)는 네트워크에 연결되기 위한 통신 인터페이스(통신 유닛), 각종 정보나 데이터를 저장하기 위한 저장 유닛, 각종 정보나 데이터를 처리하기 위한 하나 이상의 프로세서(제어 유닛)를 구비하여 인형(100)과 모니터(300)를 서로 연결시키고 각종 정보를 송수신할 수 있다.
서버(200)의 제어 등에 대해서는 도 9를 통해 상세히 살펴보도록 한다.
모니터(300)는 인형(100)을 통해 인식된 인형(100) 및 사용자의 상태를 보여주고 인식된 인형(100) 및 원격 사용자의 상태에 따라 음성 대화를 할 수 있는 기기이다.
모니터(300)는 서버(200)를 통한 제어에 따라 특정 인형(100)에 네트워크를 통해 연결되고 인형(100)으로부터 수신된 음성을 구비된 스피커(321)로 출력하고 구비된 마이크(323)를 통해 입력되는 선택된 상대자의 음성을 특정 인형(100)으로 네트워크를 통해 전송할 수 있다.
모니터(300)는 상대자(감성친구)가 이용 가능한 기기로서 예를 들어, 휴대폰, 스마트폰, 태블릿 PC, 노트북, 개인용 PC 등일 수 있다. 모니터(300)는 적어도 디스플레이(330), 마이크(323) 및 스피커(321)를 구비하여 각종 이미지를 출력하고 인형(100)으로부터 수신되는 음성을 출력하고 상대자의 목소리에 대응하는 음성 정보를 연결된 인형(100)으로 전송 가능하다.
모니터(300)에 대해서는 도 8 및 도 9를 통해 좀 더 상세히 살펴보도록 한다.
네트워크는 인형(100), 서버(200) 및 모니터(300) 사이의 각종 데이터를 송수신할 수 있다. 네트워크는 유선과 무선 네트워크의 하나 이상의 조합으로 구성될 수 있고 바람직하게는 인터넷을 구성한다.
도 2는 본 발명에 따라 구성되는 인형(100)의 예시적인 블록도를 도시한 도면이다.
도 2에 따르면, 네트워크를 통해 다른 상대자와 대화 가능하고 사용자가 인형에 가하는 액션(접촉, 누름 등)을 인식할 수 있는 인형(100)은 네트워크 연결부(110), 열발생부(120), 음성 통신부(130), 센서부(140), 제어부(150) 및 인공지능 센서 데이터 해석부(160)를 포함한다. 설계 예에 따라, 도 2의 일부 블록은 생략될 수 있다. 예를 들어, 인형(100)은 열발생부(120) 및/또는 인공지능 센서 데이터 해석부(160)의 구성을 생략할 수 있다.
도 2를 통해 인형(100)의 구성을 살펴보면, 네트워크 연결부(110)는 네트워크를 통해 원격의 서버(200) 및/또는 모니터(300)와 데이터를 송수신한다. 네트워크 연결부(110)는 유선 랜 인터페이스, 무선 랜 인터페이스 및/또는 이동통신망을 이용 가능한 이동통신 인터페이스를 구비하여 서버(200)로 상태 정보 등의 데이터를 전송하고 서버(200)로부터 각종 제어나 출력 등을 위한 데이터를 수신할 수 있다.
열발생부(120)는 인형(100) 내부에 설치되어 열을 발생시킨다. 열발생부(120)는 알려진 열 발생 수단 등을 내장하여 제어부(150)의 제어에 따라 사람의 표준 체온과 동일하거나 표준 체온으로부터 일정 범위내의 온도가 인식 가능하도록 열을 발생시킨다.
음성 통신부(130)는 스피커(131) 및 마이크(133)를 포함하여 상대자(감성, 정서 교류를 위해 선택된 친구사용자 등)와 음성 통신 기능을 수행한다. 음성 통신부(130)는 제어부(150)의 제어에 따라 네트워크 연결부(110)로부터 수신되는 음성 정보의 음성을 스피커(131)로 출력하고 인형(100)의 사용자로부터 입력되는 마이크(133)의 음성( 신호)을 제어부(150)로 출력할 수 있다.
센서부(140)는 각종 복수의 센서를 포함하여 복수의 센서 각각에 지정된 다양한 물리량을 측정 또는 센싱한다.
센서부(140)에는 서로 다른 물리량을 측정 가능한 다양한 유형의 센서를 포함한다. 센서부(140)는 예를 들어, 하나 이상의 형상감지 센서(141), 온도 센서(142), 하나 이상의 자이로 센서(143), 광 센서(144), 하나 이상의 압력 센서(145), 가속도 센서(146), 근접 센서(147), 알콜농도 센서(148), 이산화탄소 센서(149) 등을 포함하거나 그 중 일부를 포함할 수 있다.
센서부(140)는 적어도 인형(100)의 상태를 네트워크를 통해 연결된 상대자에게 정확하게 알리기 위해 필요하고 센서부(140)를 통해 구성되는 상태 정보는 인형(100)의 현재 상태(예를 들어, 자세나 방향 등) 뿐 아니라 인형(100)을 이용하는 사용자의 상태(예를 들어, 자세나 방향 등)도 파악 가능하도록 구성된다.
센서부(140)는 다양한 센서를 포함할 수 있는 데, 사용자가 요구하는 인형(100)의 성능에 따라 설치되는 센서의 종류, 그 개수는 달라질 수 있다.
도 3의 예와 같이, 센서부(140)는 복수의 형상감지 센서(141), 복수의 자이로 센서(143) 및 알콜농도 센서(148)를 포함할 수 있고 이러한 센서들은 인형(100)의 인체 형상에 설치될 수 있다. 자이로 센서(143)와 형상감지 센서(141)는 인형(100)의 특정 유형의 부위에 설치될 수 있다.
예를 들어, 자이로 센서(143)는 절대 방향을 측정 가능한 센서로서 인형(100)의 관절로 연결된 각 신체 부위(무릎, 팔꿈치, 발목 등)와 인형(100)의 자세 변화 인지에 유리한 부위(가슴, 이마 등)에 설치되어 관절의 꺾임이나 회전 방향을 측정할 수 있도록 구성되거나 인형(100)의 자세 방향(예를 들어, 가슴이나 이마의 자이로 센서(143))을 측정할 수 있도록 구성된다. 알콜농도 센서(148)는 인형(100)의 입 등에 설치되어 사용자의 혈중알콜 농도 등을 측정할 수 있고 그에 따라 음주 여부를 측정 가능하다.
형상감지 센서(141)는 인형(100)의 탄성을 가지는 탄성 부위에 바람직하게 설치된다. 예를 들어, 형상감지 센서(141)는 배, 가슴, 허벅지, 종아리 등의 위치에 고정 설치된다. 형상감지 센서(141)에 의해 탄성 부위에 설치됨에도 사용자에 의해 인가되는 접촉이나 압력에 따라 변화하는 형상(탄성 부위의 형상)을 인식할 수 있도록 바람직하게 구성된다. 즉, 형상감지 센서(141)는 딱딱한 고체가 아닌 탄성을 가지는 물체의 형상이 외부(사용자에 의해) 인가되는 힘에 따라 변형되는 외형과 그 강도를 측정하거나 인식 가능하도록 구성된다.
본 발명에 따라, 구성되는 형상감지 센서(141)는 도 4 내지 도 7의 설명을 통해 상세히 살펴보도록 한다.
도 3의 예는 인형(100)에 설치되는 일 예를 나타내는 데, 센서부(140)는 그 외 다양한 센서를 구비할 수 있다. 다른 센서에 대해 간략히 살펴보면, 온도 센서(142)는 인형(100)의 외부, 인형(100)의 표면 온도나 그 변화를 측정하는 센서이다. 광 센서(144)는 인형(100) 외부에서 인식되는 빛의 세기를 측정하는 센서이다.
압력 센서(145)는 인형(100)의 표면에 가해지는 압력을 측정하는 센서이다. 일반적으로 알려져 있는 압력 센서(145)는 인형(100)의 표면 중 딱딱한 신체 부위에 하나 이상 설치될 수 있다. 반면 형상감지 센서(141)는 탄성을 가지는 신체 부위(배, 가슴, 허벅지) 등에 설치되어 그 설치 위치가 서로 다를 수 있다.
가속도 센서(146)는 인형(100)의 이동 등에 따른 가속도를 측정하고 근접 센서(147)는 사용자의 접근을 인식한다. 근접 센서(147)는 사용자가 일정거리 이하로 근접했는지를 센싱 가능하다. 이산화탄소 센서(149)는 사용자의 호흡 여부를 측정 가능한 센서이다.
이와 같이, 센서부(140)는 사용자, 인형(100) 등의 상태 등을 측정하거나 모니터링 가능한 각종 센서를 구비하여 센서를 통해 측정된 센싱 데이터를 제어부(150)로 출력할 수 있다.
제어부(150)는 인형(100)을 제어하고 관리한다. 제어부(150)는 프로세서, CPU, MPU, 중앙처리장치 등, 프로그램의 명령어를 수행할 수 있는 실행 유닛을 구비하여 인형(100) 내부에 내장된 메모리나 하드디스크 상의 프로그램을 수행하여 인형(100)을 제어하고 관리 가능하다.
예를 들어, 제어부(150)는 센서부(140)의 복수의 센서로부터 복수의 센싱 데이터를 수신하고 수신되는 복수의 센싱 데이터로부터 상태 정보를 구성하여 주기적으로 네트워크 연결부(110)를 통해 서버(200)로 전송한다.
제어부(150)는 내부에 ADC(Analog Digital Converter)를 구비하여 형상감지 센서(141)를 포함하는 복수의 센서로부터의 센싱 신호를 디지털 센싱 데이터로 변환하거나 센싱 신호로부터 디지털의 센싱 데이터를 추출 가능하다. 또한, 제어부(150)는 음성 통신부(130)의 마이크(133)로부터 음성 신호를 수신하고 음성 신호에 대응하는 음성 정보를 구성하여 네트워크 연결부(110)를 통해 서버(200) 및/또는 네트워크에 서로 연결된 모니터(300)로 전송한다.
또한, 제어부(150)는 네트워크 연결부(110)를 통해 연결된 모니터(300)로부터의 음성 정보를 모니터(300)로부터 직접 또는 서버(200)를 경유하여 수신하고 수신된 음성 정보의 음성을 음성 통신부(130)의 스피커(131)로 출력한다. 네트워크 연결부(110)를 통해 수신되어 스피커(131)로 출력되는 음성은 이 인형(100)에 대해 네트워크 연결되는 모니터(300)에 구비되는 마이크(323)를 통해 입력된(수신되는) 음성이다. 이에 따라, 인형(100)의 사용자와 모니터(300)의 상대자는 서로 음성을 통한 감성교류, 정서교류가 가능하다.
제어부(150)에서 이루어지는 주요 제어는 도 9를 통해 좀 더 살펴보도록 한다.
설계 예에 따라 생략 가능한, 인공지능 센서 데이터 해석부(160)는 센서부(140)의 복수의 센서에 의해 센싱된 복수의 센싱 데이터로부터 인형(100)의 상태를 추정한다. 인공지능 센서 데이터 해석부(160)는 미리 학습된 인공지능 알고리즘을 구비하여 복수의 센싱 데이터로부터 학습에 따라 복수의 센싱 데이터에 대응하는(분류된) 인형(100)의 상태를 추정한다.
인공지능 센서 데이터 해석부(160)에 대해서는 도 9, 도 10 등을 통해 좀 더 상세히 살펴보도록 한다.
도 4 내지 도 7은 인형(100)에 포함되는 형상감지 센서(141)의 필요성, 원리 및 구성을 설명하기 위한 도면이다.
도 4는 일반 압력센서의 압력을 측정하는 원리를 도시하고 있는 데, 기존의 압력센서는 외부의 압력이 가해지면 그 압력에 반응하는 압력반응물질을 이용하여 압력을 측정한다. 도 4의 (b)와 같이 압력이 압력반응물질에 인가되면 압력반응물질은 압력의 크기만큼 두께가 변화한다. 압력반응물질의 두께 변화는 도 4에서 알 수 있는 바와 같이 압력반응물질이 단단한 지지대 위에 있을 때 가능하다.
도 5의 예는 본 발명에 따라 구성되는 인형(100) 등에 적용시 일반 압력센서의 문제점을 도시하기 위한 도면이데, 압력센서가 탄력성이 있는 물질(예를 들어, 물, 젤리, 심지어 공기 등) 상에 설치되면 외부로부터의 압력을 측정하기 용이치 않다. 이는, 압력이 가해지는 면의 반대면이 움직이거나 흔들리지 않는 지지대에 고정되어 있지 않기 때문이다. 도 5의 (c)와 (d)에서 알 수 있는 바와 같이 외부에서 압력이 인가되는 경우라도 압력반응물질은 그 두께 변화가 없어 탄성 매질 내에 이동 위치하는 압력반응물질로는 그 압력을 측정할 수 없다.
한편, 본 발명에 따라 구성되는 인형(100)은 사람과 똑같은 형태, 모양, 촉감 등을 가지는 것이 바람직하다. 인형(100)이 실제 사람과 동일한 느낌을 제공하여야 사용자는 사람을 대하는 것과 유사한 감성을 느낄 수 있다. 따라서, 인형(100)은 실리콘 등과 같은 부드럽고 탄력이 있는 재료(재질)로 바람직하게 구성되어야 한다.
인형(100)을 실리콘 등과 같은 탄성 재질을 이용하여 구성한 경우, 사용자가 인형(100)의 특정 부위(예를 들어, 배나, 가슴 등과 같이 부드럽고 탄력이 있는 신체 부위)를 누른 경우 이를 센서를 통해 감지해 낼 방법이 필요하다. 도 4와 도 5와 같은 기존의 압력센서를 이용하는 경우 사람과 동일 또는 유사한 접촉이나 감촉이 인지되도록 구성되는 배, 가슴 등에서는 탄성 재질로 인해 그 압력을 인지할 수 없거나 감도가 떨어진다. 그에 따라 해당 특정 부위에 대한 눌림이나 접촉을 상대자에게 전달하는 것이 용이치 않다.
도 6 및 도 7은 이러한 문제점에 해결하기 위해 구성된 형상감지 센서(141)의 구조 및 원리를 설명하는 도면인데, 일 예(도 6의 예)에 따른 형상감지 센서(141)는 복수의 검지기(141-1), 신호원(141-3) 및 탄성 매질(141-5)을 포함하여 구성될 수 있다.
형상감지 센서(141)의 외형은 설계예에 따라, 구형, 직육면체형, 정육면체형, 원통형 등 다양한 외형의 형상을 가질 수 있다. 또는 형상감지 센서(141)는 별도의 구별되는 외형을 가지지 않고 인형(100) 등의 특정 신체 부위에 내장될 수 있거나 특정 신체 부위와 동일한 형상을 가질 수 있다.
형상감지 센서(141)를 구체적으로 살펴보면, 신호원(141-3)은 지정된 신호를 출력한다. 예를 들어, 신호원(141-3)은 빛을 외부로 방출(방사)하는 광원이거나 자계신호를 외부로 방출(방사)하는 자석일 수 있다.
형상감지 센서(141)의 복수의 검지기(141-1)는 신호원(141-3)을 센싱한다. 예를 들어, 복수의 검지기(141-1)는 단일의 신호원(141-3)에 기초한 지정된 물리량을 센싱하고 측정된 센싱 데이터를 출력한다. 신호원(141-3)이 광원인 경우 검지기(141-1)는 광원의 빛의 세기를 센싱하는 광검파기일 수 있다. 신호원(141-3)이 자석인 경우 자석으로부터의 자계신호 세기(혹은, 세기 및 방향)를 센싱하는 자계센서일 수 있다.
도 6의 예와 같이, 단일 신호원(141-3)과 복수의 검지기(141-1)는 서로 지정된 거리 이상 떨어져 위치한다. 예를 들어, 구형에 포함되는 복수의 검지기(141-1)는 단일 신호원(141-3)과 동일한 거리에 떨어져 위치할 수 있다. 단일 신호원(141-3)은 구 형상 내부의 지정된 중앙 위치 위치하고 설치된 위치에서 360도 전방향 외부로 지정된 신호를 방사 출력할 수 있다. 복수의 검지기(141-1) 각각은 구 형상의 내부 표면에 설치되고 신호원(141-3)과 서로 동일한 거리에 위치하여 신호원(141-3)의 지정 신호의 신호세기 등을 측정하도록 구성된다.
또는, 직육면체 형상에 포함되는 복수의 검지기(141-1)는 각각의 설정된 거리에 떨어져 위치하여 직육면체 형상 중앙에서 설치된 신호원(141-3)의 신호 세기등을 센싱할 수 있다.
이와 같이, 복수의 검지기(141-1)와 신호원(141-3) 사이의 거리는 동일하거나 다를 수 있고 적어도 사용자에 의한 접촉이나 눌림이 없는 경우에는 미리 설정된 거리에 위치하여 신호원(141-3)으로부터의 신호 세기 등을 센싱할 수 있다.
도 6의 예와 같이 신호원(141-3)은 복수의 검지기(141-1) 각각과 지정된 거리 이상 떨어져 위치하여 형상감지 센서(141) 내의 복수의 검지기(141-1)로 지정된 신호를 출력하고 복수의 검지기(141-1) 각각은 신호원(141-3)에서 출력되는 신호의 세기를 센싱하고 신호세기 센싱 데이터를 출력할 수 있다.
현상감지 센서(141)는 복수의 검지기(141-1)와 신호원(141-3) 사이에 위치하는 탄성 매질(141-5)을 더 포함할 수 있다. 탄성 매질(141-5)은 예를 들어, 물, 젤리, 공기, 실리콘 등과 같이 외부의 압력에 따라 유동할 수 있는 재질로 구성된다. 형상감지 센서(141)가 구 형상 등을 가지는 경우 그 구 형상의 표면 내부에 탄성 매질(141-5)이 채워진다.
사용자 등에 의해 형상감지 센서(141) 또는 형상감지 센서(141)를 구비한 신체 부위에 압력, 접촉 등이 일어나는 경우, 탄성 매질(141-5)을 통해 형상감지 센서(141)에 대응하는 형상의 외형은 변형된다.
도 7의 (a) 예와 같이, 외부 접촉 등이 없는 경우 신호원(141-3)(광원 또는 자석)에 지정된 거리(예를 들어, 동일한 거리)에 위치하는 복수의 검지기(141-1)(광검파기 또는 자계센서)는 지정된 거리에서 신호원(141-3)의 신호 세기를 센싱하고 센싱 데이터(P1, P2, ..., Pn)를 출력할 수 있다.
예를 들어, 광원으로부터 동일한 거리에 위치하는 광검파기는 빛의 세기를 센싱하고 센싱된 빛 세기를 나타내는 센싱 데이터를 출력하고 자석으로부터 동일한 거리에 위치하는 자계센서는 자계신호 세기를 센싱하고 센싱된 자계신호 세기를 나타내는 센싱 데이터를 출력한다. 외부 접촉이 없는 경우로서, 동일한 거리에 위치하는 검지기(141-1)는 임계치 내의 서로 동일하거나 유사한 센싱 데이터를 출력한다.
도 7 (b) 예와 같이, 외부로부터 압력이 형상감지 센서(141) 또는 그 형상에 인가된 경우, 신호원(141-3)과 복수의 검지기(141-1) 사이의 거리는 외부 압력이 인가되는 부위, 크기, 위치 등에 따라 서로 달라진다. 검지기(141-1)는 변화된 거리에서 신호원(141-3)의 신호세기를 센싱하고 센싱 데이터(P'1, P'2, ..., P'n)를 출력할 수 있다.
예를 들어, 압력의 미 인가시에 동일한 거리에 위치하던 광검파기는 압력 인가와 탄성 매질(141-5)의 유동에 따라 중앙의 광원으로부터 변화된 거리에 위치하고 변화된 위치에서 광원의 빛 세기를 센싱하고 이를 출력할 수 있다. 또는 압력의 미 인가시에 동일한 거리에 위치하던 자계센서는 압력 인가와 탄성 매질(141-5)의 유동에 따라 중앙의 자석으로부터 변화된 거리에 위치하고 변화된 위치에서 자석의 자계신호 세기를 센싱하고 이를 출력할 수 있다. 변화된 위치에서 측정된 센싱 데이터는 신호원(141-3)과의 거리 차로 인해 원래의 위치에서 측정된 센싱 데이터와는 상이하다.
이와 같이, 복수의 검지기(141-1) 각각은 탄성 매질(141-5)에 대한 외부 압력으로 신호원(141-3)으로부터 변화된 거리에 위치하고 신호원(141-3)으로부터 출력되는 신호 세기를 측정하고 신호세기 센싱 데이터를 각각 출력 가능하다.
복수의 검지기(141-1)로부터의 센싱 데이터들은 인형(100)(의 제어부(150))에 의해 형상 감지를 위한 벡터(이하 "형상감지 벡터"라 함)로 구성될 수 있다. 형상감지 벡터는 형상감지 센서(141)에 대응하는 외형(예를 들어, 인형(100)의 외형 ) 변화를 인식할 수 있도록 구성된다. 즉, 복수의 신호세기 센싱 데이터로 구성되는 형상감지 벡터는 신호원(141-3)에 대해 측정된 신호 세기에 따라 형상감지 센서(141)의 변화된 외형을 추정 가능토록 한다.
도 6 및 도 7을 통해, 본 발명에 따른 형상감지 센서(141)를 살펴 보았다. 도 6 및 도 7의 예에서는 형상감지 센서(141) 내에 신호원(141-3)을 구비하는 것으로 설명하였다. 반면, 형상감지 센서(141) 내에 신호원(141-3)을 생략하여 구성할 수도 있다.
예를 들어, 형상감지 센서(141)는 복수의 검지기(141-1)로서 형상감지 센서(141) 중력에 기초하여 중력 가속도를 센싱하는 중력가속도 센서들이나 자이로센서들을 포함하여 구성될 수도 있다. 탄성 매질(141-5) 내에 중력가속도 센서들이나 자이로센서들을 포함하는 형상감지 센서(141)는 외부 압력에 따라 변화하는 중력가속도나 자세를 센싱하고 센싱 데이터를 출력할 수 있다.
도 8은 모니터(300)의 예시적인 블록도를 도시한 도면이다.
도 8에 따르면, 네트워크를 통해 인형(100)의 사용자와 대화 가능하고 사용자의 상태를 인식 가능하도록 하는 모니터(300)는 모니터 네트워크 연결부(310), 모니터 음성 통신부(320), 디스플레이(330), 데이터 입력부(340) 및 모니터 제어부(350)를 포함한다. 설계 예에 따라, 모니터(300)는 그 외 다른 블록을 더 포함할 수 있다.
도 8을 통해 모니터(300)를 살펴보면, 모니터 네트워크 연결부(310)는 네트워크를 통해 원격의 서버(200) 및/또는 인형(100)과 데이터를 송수신한다. 모니터 네트워크 연결부(310)는 유선 랜 인터페이스, 무선 랜 인터페이스 및/또는 이동통신망을 이용 가능한 이동통신 인터페이스를 구비할 수 있다. 모니터 네트워크 연결부(310)는 연결된 인형(100)과 음성 정보를 송수신할 수 있고 서버(200)로부터 상태추정 정보를 수신할 수 있다.
모니터 음성 통신부(320)는 모니터 스피커(321) 및 모니터 마이크(323)를 포함하여 인형(100)의 사용자와 음성 통신 기능을 수행한다. 모니터 음성 통신부(320)는 모니터 제어부(350)의 제어에 따라 모니터 네트워크 연결부(310)를 통해 연결된 인형(100)으로부터 수신되는 음성 정보의 음성을 모니터 스피커(321)로 출력한다. 또한, 모니터 음성 통신부(320)는 모니터(300)를 사용하는 상대자로부터 입력되는 모니터 마이크(323)의 음성( 신호)을 모니터 제어부(350)로 출력할 수 있다.
디스플레이(330)는 모니터 제어부(350)에 연결되어 모니터 제어부(350)로부터 수신되는 이미지를 표시한다. 디스플레이(330)는 LCD, LED, OLED 등의 디스플레이-모듈을 구비하여 상태추정 정보에 따른 이미지를 표시할 수 있다.
데이터 입력부(340)는 상대자의 입력을 수신한다. 데이터 입력부(340)는 키보드, 터치패드, 터치패널 등의 입력 수단을 구비하여 상대자가 각종 데이터나 정보를 입력 가능하다.
모니터 제어부(350)는 모니터(300)를 제어하고 관리한다. 모니터 제어부(350)는 프로세서, CPU, MPU, 중앙처리장치 등, 프로그램의 명령어를 수행할 수 있는 실행 유닛을 구비하고 모니터(300) 내부에 내장된 메모리나 하드디스크 상의 프로그램을 수행하여 모니터(300)를 제어하고 관리 가능하다.
모니터 제어부(350)는 적어도 서버(200)에 연결, 서버(200)와의 통신, 연결된 인형(100)과 음성 통신, 서버(200)로부터 수신되는 이미지를 디스플레이(330)로 표시할 수 있다.
모니터(300)에서 이루어지는 주요한 제어는 도 9를 통해 좀 더 살펴보도록 한다.
도 9는 정서 공감을 위한 시스템에서 인형(100)과 모니터(300) 사이의 감성 교류가 이루어지는 예시적인 제어 흐름을 도시한 도면이다.
모니터(300)에서 수행되는 제어 흐름은 모니터 제어부(350)에 의해 수행되고, 인형(100)에서 수행되는 제어 흐름은 제어부(150)에 의해서 수행된다. 서버(200)는 통신 유닛, 저장 유닛 및 제어 유닛을 포함하여 저장 유닛에 저장되어 있는 프로그램을 수행하는 제어 유닛에 의해 바람직하게 수행된다.
먼저, 인형(100)을 이용 가능한 사용자는 휴대 단말(예를 들어, 스마트폰)에 구비된 앱(APP)을 통해 서버(200)에 로그인(① 참조)하고 서버(200)에서 감성/정서적인 교류가 이루어질 상대자를 선택(② 참조)한다. 사용자는 앱을 통해 다양한 배경, 취미, 성격 등을 가지는 상대자의 프로필을 확인하고 특정 상대자를 선택할 수 있다.
서버(200)는 사용자에 의해 선택된 상대자가 이용하는 모니터(300)로 연결 요청을 전송하고 연결 수락 응답을 수신(③ 참조)한다. 연결 수락 응답의 수신에 따라, 서버(200)는 휴대 단말에 대응하는 인형(100)의 음성 통신부(130)와 선택된 모니터(300)의 모니터 음성 통신부(320)를 서로 연결하여 상호 음성통화가 가능토록 설정한다.
네트워크를 통해 모니터(300)에 연결된 인형(100)은 센서부(140)를 통해 복수의 센서로부터 복수의 센싱 데이터를 수신(④ 참조)한다. 예를 들어, 인형(100)은 인체 부위에 설치되어 있는 자이로 센서(143), 압력 센서(145), 알콜농도 센서(148), 형상감지 센서(141) 등으로부터 센싱 데이터를 수집할 수 있다.
인형(100)은 수집된 센싱 데이터들로부터 상태 정보를 구성(⑤ 참조)한다. 상태 정보는 서버(200)와의 약속된 포맷에 따라 구성되고 각종 센서로부터의 센싱 데이터를 포함하거나 각종 센싱 데이터들로부터 인형(100)의 상태를 추정한 인형 상태 데이터를 포함할 수 있다.
상태 정보가 각종 센싱 데이터들을 포함하는 경우, 형상감지 센서(141)에 대응하여 복수의 검지기(141-1)로부터 수집된 센싱 데이터들은 형상감지 벡터로 구성될 수 있다.
인형 상태를 추정하는 경우, 인형(100)에 더 포함될 수 있는 인공지능 센서 데이터 해석부(160)는 주기적으로 수집된 각종 센서 데이터들의 집합들을 분석하여 인형(100)이 어떠한 상태인지를 추정할 수 있다. 인공지능 센서 데이터 해석부(160)는 인공지능 알고리즘을 적용하여 인형(100)의 상태를 추정할 수 있다. 인공지능 센서 데이터 해석부(160)에 대한 설명은 이하 서버(200)의 설명에서 좀 더 상세히 살펴보도록 한다.
인형(100)은 상태 정보를 서버(200)로 전송하고 서버(200)는 이를 수신(⑥ 참조)한다.
수신되는 상태 정보가 측정된 센서 데이터들로 구성되는 경우, 서버(200)는 센서 데이터들(의 집합)을 저장 유닛 등에 저장하고, 수신된 센서 데이터 집합으로부터 인형(100)의 상태와 나아가 인형(100)을 이용하는 사용자 상태를 추정(⑦ 참조)한다.
서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 인공지능 알고리즘을 이용하여 측정된 복수의 센서 데이터로부터 인형(100)의 자세, 인형(100)의 변형된 형상, 사용자와의 접촉 부위, 사용자에 의해 인형(100)에 인가한 액션 등의 인형 상태를 추정하고 인형 상태에 대응하는(측정된 복수의 센서 데이터에 대응하는 관계를 가지는) 사용자 상태와 사용자의 음주상태등을 추정할 수 있다.
먼저, 서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 인공지능 알고리즘을 이용하여 형상감지 센서(141)(들)에 대응하는 형상 외형(들)의 변화를 감지하고 변화된(변경된) 형상 외형(들)을 추정한다.
도 10은 형상감지 센서(141)에 대한 사용자의 접촉등 액션에 따라 변화된 외형과, 이에 대응하여 측정된 형상감지 벡터의 예를 도시한 도면인데, (a)와 같이 인형(100)에 설치되어 있는 탄성 부위의 형상감지 센서(141)에 사용자가 접촉, 눌림 등에 따라 그 외형이 변형되면, 형상감지 센서(141)의 검지기(141-1)들은 그 외형의 변화에 따라 변화된 신호원(141-3)의 신호세기를 측정하고 인형(100)은 변형된 외형(도 10의 (b) 참조)에 대응하는 형상감지 벡터(도 10의 (c) 참조)를 구성할 수 있다.
특정 외형은 특정 형상감지 벡터(의 패턴)에 대응하고, 사용자 액션에 따라 변형된 외형과 대응하는 형상감지 벡터는 매칭되어 인형(100)이나 서버(200) 내에 테이블(비휘발성 메모리 등)로 저장되거나 인공지능 알고리즘에 의해 학습될 수 있다.
서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 인공지능 알고리즘을 이용하여(테이블을 이용하거나 또는 학습된) 인형(100)의 형상감지 센서(141)에서 측정된 형상감지 벡터로부터 설치된 탄성 부위의 대응하는 외형을 추정할 수 있다.
또한, 서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 인공지능 알고리즘을 이용하여 수신된 센서 데이터 집합(측정된 복수의 센싱 데이터) 및 형상감지 센서(141)의 변형된 외형을 주기적으로 분석하여 인형(100)의 현재 상태를 추정한다. 예를 들어, 서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 형상감지 센서(141)의 변형 외형, 압력 센서(145)의 압력 여부, 자이로 센서(143)의 센싱값 등을 이용하여 인형(100)의 자세, 사용자와의 접촉 부위, 변화된 형상 등을 추정한다.
또한, 서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 측정된 복수의 센싱 데이터에 대응하는 관계를 가지는 사용자의 상태를 추정한다.
도 11은 측정된 센서 데이터 집합으로부터 유추되는 인형(100) 및 사용자의 상태의 예를 도시한 도면인데, 서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 측정된 센서 데이터 집합(P 또는 S)으로부터 인형(100)의 접촉 부위를 판단한다. 예를 들어, 센서 데이터 집합 P로부터 3곳의 접촉 부위가 있는 것으로 판단할 수 있고 센서 데이터 집합 S로부터 1곳의 접촉 부위가 있는 것으로 판단할 수 있다.
접촉 부위의 판단과 함께, 서버(200)(또는 인형(100)의 인공지능 센서 데이터 해석부(160))는 측정된 센서 데이터 집합이 나올 가능성이 가장 큰 사용자와 인형(100)과의 관계를 인공지능 알고리즘을 통해 검색하거나 유추할 수 있다.
수신되는 상태 정보가 인형(100)의 추정된 상태를 포함하거나 사용자 상태가 생략된 경우, 서버(200)는 추정된 상태에 대응하는 사용자의 상태를 더 추정할 수 있다.
서버(200)는 인형(100)에 네트워크 연결된 모니터(300)로 전송할 상태추정 정보를 구성(⑧ 참조)한다. 예를 들어, 서버(200)는 추정된 인형(100)의 상태 및/또는 추정된 사용자의 상태를 포함하는 상태추정 정보를 구성할 수 있다. 상태추정 정보에 포함되는 상태는 이미지로 구성되거나 약속된 포맷에 따라 구성될 수 있다. 이미지로 표현되는 경우, 인형(100)의 상태는 인형(100)의 변화된 상태(모습 등)를 나타내는 이미지로 구성될 수 있고 사용자의 상태는 인형(100)의 변화된 상태에 대응하는 관계를 가지는 이미지로 구성될 수 있다.
서버(200)는 구성된 상태추정 정보를 모니터(300)로 전송하고 모니터(300)는 상태추정 정보를 수신(⑨ 참조)한다.
모니터(300)는 수신된 상태추정 정보를 이미지로 표시(⑩ 참조)할 수 있다. 예를 들어, 모니터(300)는 수신된 상태추정 정보로부터 인형 상태에 대응하는 이미지를 구성하거나 추출하고 사용자 상태에 대응하는 이미지를 구성하거나 추출한다. 모니터(300)는 인형 상태의 이미지 및/또는 사용자 상태의 이미지를 디스플레이(330)에 표시하고 모니터(300)의 상대자는 이를 인식할 수 있다.
인형(100)의 센싱 데이터 수신으로부터 이미지 표시의 과정(도 9의 ④ 내지⑩)은 주기적으로 또는 반복적으로 복수회 수행될 수 있다.
상대자는 사용자가 나타난 영상이 아닌 가상의 이미지로부터 인형(100)과 사용자의 자세, 상태 등을 확인할 수 있고 이로부터 사용자의 감성, 정서 등을 간접 인지하고 교감할 수 있다. 상대자는 자신의 감정이나 느낌을 바탕으로 사용자와 음성 통신을 수행할 수 있다. 이에 따라, 모니터(300)와 인형(100)은 서로 사용자나 상대자의 음성을 포함하는 음성 정보를 송수신한다.
사용자의 이미지 상태를 확인한 상대자는 모니터 음성 통신부(320)를 통해 직접 음성 통신으로 음성 대화를 할 수 있다. 또는, 상대자는 데이터 입력부(340)를 통해 반응 정보를 구성하여 서버(200)로 전송(⑪ 참조)할 수 있다. 반응 정보는 데이터 입력부(340)를 통해 상대자에 의해 입력된 문자 메시지를 포함할 수 있다.
서버(200)는 반응 정보의 문자 메시지를 지정된 특정 음성으로 변환하여 변환된 음성 정보를 인형(100)으로 전송(⑫ 참조)하고 인형(100)은 구비된 스피커(131)를 통해 이를 출력할 수 있다.
사용자는 인형(100)을 통해 자신의 느낌, 감정 등을 표출할 수 있고 대화 상대자는 변화된 인형 이미지나 변화된 사용자 이미지를 통해 이를 인식 가능하고 기계가 아닌 인간인 상대자에 의한 공감, 반응, 교류가 가능토록 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100 : 인형
110 : 네트워크 연결부 120 : 열발생부
130 : 음성 통신부
131 : 스피커 133 : 마이크
140 : 센서부
141 : 형상감지 센서
141-1 : 검지기 141-3 : 신호원
141-5 : 탄성 매질
142 : 온도 센서
143 : 자이로 센서 144 : 광 센서
145 : 압력 센서 146 : 가속도 센서
147 : 근접 센서 148 : 알콜농도 센서
149 : 이산화탄소 센서
150 : 제어부
160 : 인공지능 센서 데이터 해석부
200 : 서버
300 : 모니터
310 : 모니터 네트워크 연결부 320 :모니터 음성 통신부
321 : 모니터 스피커 323 : 모니터 마이크
330 : 디스플레이 340 : 데이터 입력부
350 : 모니터 제어부

Claims (12)

  1. 원격의 서버와 데이터를 송수신하는 네트워크 연결부;
    스피커 및 마이크를 포함하여 상기 네트워크 연결부로부터 수신되는 음성을 상기 스피커로 출력하는 음성 통신부;
    복수의 센서를 포함하는 센서부(140); 및
    상기 복수의 센서로부터의 복수의 센싱 데이터로부터 결정되는 상태 정보와 상기 마이크로부터의 음성 정보를 상기 네트워크 연결부를 통해 전송하는 제어부;를 포함하고,
    상기 네트워크 연결부로부터 수신되는 음성은 상기 서버를 통해 상기 인형에 네트워크 연결된 모니터의 마이크를 통해 입력된 음성인,
    인형.
  2. 제1항에 있어서,
    상기 센서부(140)는 상기 인형의 제1 유형 부위에 설치되는 복수의 자이로 센서 및 제2 유형 부위에 설치되는 복수의 형상감지 센서를 포함하고,
    상기 형상감지 센서는 사용자에 의해 인가되는 접촉 또는 압력에 따라 변화하는 형상을 센싱 가능토록 구성되는,
    인형.
  3. 제2항에 있어서,
    상기 복수의 자이로 센서는 상기 인형의 관절 부위에 설치되고, 상기 복수의 형상감지 센서는 상기 인형의 탄성을 가지는 탄성 부위에 설치되는,
    인형.
  4. 제2항에 있어서,
    상기 형상감지 센서는 신호원을 센싱하는 복수의 검지기를 포함하고,
    상기 인형은 상기 복수의 검지기로부터의 센싱 데이터를 포함하는 형상감지 벡터를 구성하며,
    상기 형상감지 벡터는 상기 형상감지 센서에 대응하는 탄성 부위의 변형된 외형을 추정할 수 있도록 하는,
    인형.
  5. 제4항에 있어서,
    상기 복수의 센서의 복수의 센싱 데이터로부터 상기 인형의 상태를 추정하는 인공지능 센서 데이터 해석부;를 더 포함하고,
    상기 인공지능 센서 데이터 해석부는 상기 형상감지 벡터를 구성하고 상기 형상감지 벡터에 대응하는 형상을 인공지능 알고리즘을 통해 추정하는,
    인형.
  6. 제4항에 있어서,
    상기 형상감지 센서는, 상기 복수의 검지기로서 복수의 광검파기 및 상기 복수의 광검파기와 지정된 거리에 위치하고 상기 신호원인 광원을 포함하거나, 상기 복수의 검지기로서 복수의 자계센서 및 상기 복수의 자계센서와 지정된 거리에 위치하고 상기 신호원인 자석을 포함하는,
    인형.
  7. 제1항의 인형;
    상기 인형에 네트워크를 통해 연결되는 서버; 및
    상기 서버를 통한 제어에 따라 상기 인형에 연결되는 모니터;를 포함하는,
    시스템.
  8. 제7항에 있어서,
    상기 서버는 상기 인형으로부터 상태 정보를 수신하고 수신된 상태 정보로부터 상기 인형의 상태 및 상기 인형을 이용하는 사용자 상태를 추정하고 상기 인형의 상태 및 상기 사용자 상태를 나타내는 상태추정 정보를 상기 모니터로 전송하고,
    상기 모니터는 상태추정 정보를 이미지로 표시하는,
    시스템.
  9. 제8항에 있어서,
    인공지능 알고리즘을 수행하는 상기 서버는 상기 상태 정보에 포함되고 복수의 센서로부터 측정된 복수의 센싱 데이터를 이용하여 상기 인형의 접촉 부위 및 변화된 형상을 추정하고 상기 측정된 복수의 센싱 데이터에 대응하는 관계를 가지는 사용자의 상태를 추정하고, 상기 인형의 변화된 상태 이미지와 상기 사용자의 상태 이미지를 포함하는 상태추정 정보를 상기 모니터로 전송하는,
    시스템.
  10. 제8항에 있어서,
    상기 인공지능 알고리즘을 수행하는 상기 서버는 상기 상태 정보에 포함되는 형상감지 센서의 형상감지 벡터로부터 상기 형상감지 센서에 대응하는 상기 인형의 탄성 부위의 변형된 외형을 추정하는,
    시스템.
  11. 제8항에 있어서,
    상기 이미지를 표시하는 상기 모니터는 상대자로부터 입력되는 음성을 포함하는 음성 정보를 네트워크를 통해 상기 인형으로 전송하는,
    시스템.
  12. 제7항에 있어서,
    상기 인형의 사용자에 의해 선택된 상대자가 이용하는 상기 모니터는 상대자에 의해 입력되는 문자 메시지를 상기 서버로 전송하고,
    상기 서버는 상기 문자 메시지를 지정된 음성으로 변환하고 상기 인형으로 전송하는,
    시스템.
KR1020190091024A 2019-07-26 2019-07-26 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템 KR102318218B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190091024A KR102318218B1 (ko) 2019-07-26 2019-07-26 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091024A KR102318218B1 (ko) 2019-07-26 2019-07-26 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템

Publications (2)

Publication Number Publication Date
KR20210012748A true KR20210012748A (ko) 2021-02-03
KR102318218B1 KR102318218B1 (ko) 2021-10-27

Family

ID=74572384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091024A KR102318218B1 (ko) 2019-07-26 2019-07-26 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템

Country Status (1)

Country Link
KR (1) KR102318218B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267174A (ja) * 2004-03-18 2005-09-29 National Institute Of Advanced Industrial & Technology ボール型触覚デバイス
US20140220856A1 (en) * 2007-02-09 2014-08-07 Intellitoys Llc Interactive toy providing dynamic, navigable media content
KR20160051020A (ko) * 2014-10-31 2016-05-11 얄리주식회사 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법
KR20160065341A (ko) * 2014-11-28 2016-06-09 (주)스튜디오 크로스컬쳐 돌보미 토이 및 모바일기기를 이용한 독거노인 지원 시스템
KR20180119515A (ko) * 2017-04-25 2018-11-02 김현민 스마트 휴대 기기를 이용한 스마트 기기와 로봇의 개인 맞춤형 서비스 운용 시스템 및 방법
JP2019072495A (ja) * 2016-07-20 2019-05-16 Groove X株式会社 スキンシップを理解する自律行動型ロボット

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267174A (ja) * 2004-03-18 2005-09-29 National Institute Of Advanced Industrial & Technology ボール型触覚デバイス
US20140220856A1 (en) * 2007-02-09 2014-08-07 Intellitoys Llc Interactive toy providing dynamic, navigable media content
KR20160051020A (ko) * 2014-10-31 2016-05-11 얄리주식회사 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법
KR20160065341A (ko) * 2014-11-28 2016-06-09 (주)스튜디오 크로스컬쳐 돌보미 토이 및 모바일기기를 이용한 독거노인 지원 시스템
JP2019072495A (ja) * 2016-07-20 2019-05-16 Groove X株式会社 スキンシップを理解する自律行動型ロボット
KR20180119515A (ko) * 2017-04-25 2018-11-02 김현민 스마트 휴대 기기를 이용한 스마트 기기와 로봇의 개인 맞춤형 서비스 운용 시스템 및 방법

Also Published As

Publication number Publication date
KR102318218B1 (ko) 2021-10-27

Similar Documents

Publication Publication Date Title
Ozioko et al. Smart tactile gloves for haptic interaction, communication, and rehabilitation
JP6607290B2 (ja) 情報処理装置及び情報処理システム
CN109620185B (zh) 基于多模态信息的自闭症辅助诊断系统、设备及介质
TWI658377B (zh) 機器人輔助互動系統及其方法
CN103877727B (zh) 一种由手机控制并通过手机进行交互的电子宠物
KR20190126906A (ko) 돌봄 로봇을 위한 데이터 처리 방법 및 장치
KR20140104537A (ko) 생체 신호 기반의 감성 인터랙션 장치 및 방법
KR20200074609A (ko) 홈 트레이닝 제공 방법 및 시스템
US20200009009A1 (en) Image display system, image display method, and program
Hu et al. StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering
KR20170085732A (ko) 감정교류형 스마트 요람 시스템 및 그의 제공방법
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3458943B1 (en) Haptic communication apparatus, integrated touch sensing and simulating apparatus and method for haptic communication
US11169599B2 (en) Information processing apparatus, information processing method, and program
KR20210079162A (ko) 청각장애인을 위한 수화 번역 서비스 시스템
KR102318218B1 (ko) 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템
KR100264371B1 (ko) 인형을 이용한 전자 게임 장치 및 방법
US20230195401A1 (en) Information processing apparatus and information processing method
Schwiegelshohn et al. Enabling indoor object localization through Bluetooth beacons on the RADIO robot platform
TW201006635A (en) In situ robot which can be controlled remotely
CN110584833A (zh) 一种具有触觉和温度感觉的智能皮肤
KR102425941B1 (ko) 도우미로봇을 이용한 도우미 시스템
WO2023195323A1 (ja) 情報変換システム、情報処理装置、情報処理方法及びプログラム
WO2023100375A1 (ja) 通信システム
Fuentes et al. Towards usability evaluation of multimodal assistive technologies using RGB-D sensors

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant