KR100583920B1 - 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템 - Google Patents

표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템 Download PDF

Info

Publication number
KR100583920B1
KR100583920B1 KR1020050041226A KR20050041226A KR100583920B1 KR 100583920 B1 KR100583920 B1 KR 100583920B1 KR 1020050041226 A KR1020050041226 A KR 1020050041226A KR 20050041226 A KR20050041226 A KR 20050041226A KR 100583920 B1 KR100583920 B1 KR 100583920B1
Authority
KR
South Korea
Prior art keywords
robot
signal
unit
user
input
Prior art date
Application number
KR1020050041226A
Other languages
English (en)
Inventor
장병화
Original Assignee
가락전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가락전자 주식회사 filed Critical 가락전자 주식회사
Application granted granted Critical
Publication of KR100583920B1 publication Critical patent/KR100583920B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

개시된 본 발명은 사용자가 내는 음성신호를 인식하고, 인식한 결과를 외부로 표현할 수 있는 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템에 관한 것으로서, 로봇에 있어서, 로봇을 구동시키기 위한 구동 프로그램 및 구동과 관련된 데이터를 저장하고 있는 저장부; 사용자의 조작에 따라 로봇을 구동시키기 위한 초기 신호 및 각 기능을 선택하기 위한 선택 신호를 입력할 수 있도록 하는 입력부; 사용자의 조작에 따라 로봇을 구동될 수 있도록 하는 구동부; 사용자의 음성신호를 입력받아 전기적 신호로 변환하여 주는 마이크; 상기 마이크로부터 입력되는 사용자의 음성신호를 인식하여 사용자의 감정상태를 인식할 수 있도록 인식된 음성신호를 출력하는 음성인식부; 상기 입력부를 통해 입력되는 초기 신호 및 선택신호에 응하여 상기 저장부에 저장되어 있는 프로그램을 로딩시켜 로봇이 구동되도록 제어하는 한편, 상기 마이크부터 입력되는 음성 신호에 응하여 상기 로봇이 구동되도록 상기 저장부에 저장되어 있는 프로그램을 로딩시키고, 상기 음성인식부(35)로부터 입력되는 인식된 사용자의 음성신호에 응하여 사용자의 감정상태를 인식하고, 상기 인식 결과에 따라 전체 시스템을 제어하는 제어부; 및 상기 제어부의 제어에 응하여 소정 오디오 신호를 출력하는 출력부로 구성된 것을 특징으로 한다.
로봇, 오락용, 사무용, 학습용, 음성출력, 표정인식

Description

표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템{ROBOT SYSTEM BASED ON NETWORK USING ROBOT HAVING FACE-MOTION SENSING FUNCTION }
도 1은 본 발명에 따른 음성인식 기능을 갖는 로봇의 구성을 도시한 블록도,
도 2는 도 1의 다른 실시예를 도시한 블록도,
도 3은 도 1의 또다른 실시예를 도시한 도면,
도 4는 도 3에 적용된 제어부의 세부구성을 도시한 블록도,
도 5는 도 1의 또다른 실시예를 도시한 도면,
도 6은 도 1의 또다른 실시예를 도시한 도면,
도 7은 본 발명이 적용된 로봇의 실시예를 도시한 도면이다.
*** 도면의 주요부분에 대한 간단한 설명 ***
10 : 저장부 20 : 입력부
30 : 마이크 35 : 음성인식부
40 : 제어부 50 : 출력부
본 발명은 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템에 관한 것이다.
특히, 사용자가 내는 음성신호를 인식하고, 인식한 결과를 외부로 표현할 수 있는 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템에 관한 것이다.
현재 제작되어 공급되고 있는 로봇들은 아이들의 장난감 수준에서 학습용 로봇, 청소용 로봇과 같이 주부를 도와줄 수 있는 로봇 등 다양한 기능을 로봇들이 제작되어 공급되고 있다.
즉, 로봇에 원하는 프로그램을 심어놓고, 상기 프로그램에 따라 일정한 행위를 수행할 수 있도록 한다.
상기 프로그램은 온라인 또는 오프라인에서 업그레이드시킬 수 있도록 함으로써 한번 구입한 로봇의 기능을 용이하게 업그레이드 시킬 수 있다.
그러나, 상기와 같은 종래의 로봇 등은 프로그램의 시계열적인 순서에만 의존하고 있기 때문에 세팅되어 있는 동작만 수행한다는 문제점이 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로 서, 본 발명의 목적은 사용자가 내는 음성신호를 인식하고, 인식한 결과를 외부로 표현할 수 있는 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템을 제공하는데 있다.
또한, 본 발명의 다른 목적은 사용자가 로봇에게 내는 음성신호를 저장하고 있다가 사용자가 원하는 위치까지 이동한 후 상기 사용자에 의해 입력된 음성신호를 출력하여 사용자의 마음을 대신 이야기 해 줄 수 있는 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템을 제공하는데 있다.
또한, 본 발명의 또다른 목적은 영상, 특히 표정을 인식할 수 있도록 구현하여, 인식된 영상(표정)에 대응되어 저장되어 있는 구동 데이터에 따라 구동하는 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템을 제공하는데 있다.
또한, 본 발명의 또다른 목적은 로봇을 이용하여 네트워크로 연결되어 있는 홈네트워킹 시스템을 제어할 수 있도록 하기 위한 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템을 제공하는데 있다.
또한, 본 발명은 사용자의 얼굴 표정에 따라 그 사람의 기분을 인식하고, 그에 적절한 반응들을 로봇을 통해 제공함으로써, 그 사람의 기분을 전환시켜 줄 수 있도록 하는 음성인식/표정인식 기능을 갖는 로봇 및 네트워크 지원용 로봇 시스템을 제공하는데 있다.
또한, 본 발명은 로봇을 이용하여 네트워크 통신망을 통해 구현된 홈네트워크 시스템을 제어할 수 있도록 하는 음성인식/표정인식 기능을 갖는 로봇 및 네트 워크 지원용 로봇 시스템을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예는, 로봇에 있어서, 로봇을 구동시키기 위한 구동 프로그램 및 구동과 관련된 데이터를 저장하고 있는 저장부; 사용자의 조작에 따라 로봇을 구동시키기 위한 초기 신호 및 각 기능을 선택하기 위한 선택 신호를 입력할 수 있도록 하는 입력부; 사용자의 조작에 따라 로봇을 구동될 수 있도록 하는 구동부; 사용자의 음성신호를 입력받아 전기적 신호로 변환하여 주는 마이크; 상기 마이크로부터 입력되는 사용자의 음성신호를 인식하여 사용자의 감정상태를 인식할 수 있도록 인식된 음성신호를 출력하는 음성인식부; 상기 입력부를 통해 입력되는 초기 신호 및 선택신호에 응하여 상기 저장부에 저장되어 있는 프로그램을 로딩시켜 로봇이 구동되도록 제어하는 한편, 상기 마이크부터 입력되는 음성 신호에 응하여 상기 로봇이 구동되도록 상기 저장부에 저장되어 있는 프로그램을 로딩시키고, 상기 음성인식부(35)로부터 입력되는 인식된 사용자의 음성신호에 응하여 사용자의 감정상태를 인식하고, 상기 인식 결과에 따라 전체 시스템을 제어하는 제어부; 및 상기 제어부의 제어에 응하여 소정 오디오 신호를 출력하는 출력부로 구성된 것을 특징으로 한다.
또한, 본 발명의 다른 실시예는, 로봇에 있어서, 피사체의 표정을 인식할 수 있는 표정인식용 특징점 데이터를 저장하고 있으며, 상기 표정인식에 따라 출력되 는 출력 데이터를 저장하고 있는 저장부; 사용자의 조작에 따라 로봇을 구동시키기 위한 초기 신호 및 각 기능을 선택하기 위한 선택 신호를 입력할 수 있도록 하는 입력부; 사용자의 음성신호를 입력받아 전기적 신호로 변환하여 출력하는 마이크; 소정 피사체의 얼굴을 감지하는 센서부; 상기 센서부로부터 입력되는 피사체 얼굴 감지신호에 응하여 촬영구동신호를 출력하는 한편, 외부로부터 입력되는 영상신호로부터 표정 특징점을 검출하고 상기 저장부에 저장된 표정 특징점 데이터와 비교하여 피사체의 표정을 인식하며, 상기 인식된 피사체의 표정에 대응되어 상기 저장부에 저장된 출력데이터를 읽어들여 로봇이 구동되도록 전체 시스템을 제어하는 제어부; 상기 제어부의 제어에 응하여 소정 피사체의 얼굴을 촬영할 수 있도록 위치가 변경되며, 상기 피사체의 얼굴을 촬영하여 전기적 신호로 변환시킨 후 상기 제어부로 출력하는 촬영부; 상기 제어부의 제어에 응하여 소정 오디오 신호를 출력하는 출력부; 및 상기 제어부의 제어에 응하여 로봇이 움직이도록 하는 구동부로 구성된 것을 특징으로 한다.
또한 본 발명의 또다른 실시예는, 로봇에 있어서,
영어대화 기능을 선택할 수 있는 키를 포함하고 있는 버튼부; 외부로부터 음성신호를 입력받기 위한 음성신호 입력부; 상기 음성신호 입력부로부터 입력되는 오디오신호로부터 주변 소음을 제거하고 음성신호만 필터링하는 환경잡음 제거용 LPC 합성필터; 상기 환경잡음 제거용 LPC 합성필터를 통해 필터링된 음성신호를 음성 데이터로 변환하는 아날로그/디지털 변환부; 음성인식 및 문장인식을 위한 기준 데이터를 저장하고 있는 저장부; 상기 아날로그/디지털 변환부를 통해 입력되는 음성데이터로부터 소정 음성을 인식하는 음성인식 검출부; 상기 음성인식 검출부를 통해 인식된 음성을 이용하여 해당 문장을 인식하는 문장인식부; 상기 문장인식부에 의해 인식된 문장을 이용하여 상기 저장부에 저장된 기준 데이터를 읽어들여 단어를 조합하고 연결하여 소정 문장데이터를 생성하는 단어조합 및 연결부; 상기 단어조합 및 연결부를 통해 생성된 문장데이터를 아날로그 음성신호로 변환하는 디지털/아날로그 변환부; 상기 디지털/아날로그 변환부로부터 입력되는 음성신호를 외부로 출력하는 음성신호 출력부; 및 전체 시스템을 제어하는 제어부를 포함하여 구비된 것을 특징으로 한다.
또한, 본 발명의 또다른 실시예는, 네트워크 통신망; 상기 네트워크 통신망에 연결된 복수의 단말기; 사용자의 조작에 따라 상기 복수의 단말기 중 하나를 제어하기 위한 제어신호를 상기 네트워크 통신망을 통해 출력하는 제어기; 및 사용자의 조작에 따라 상기 제어기로 제어신호를 송출하는 로봇으로 구성되는 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 본 발명에 대해 설명하면 다음과 같다.
(실시예1)
도 1은 본 발명에 따른 음성인식 기능을 갖는 로봇의 구성을 도시한 블록도 이다.
첨부 도면 도 1에 도시된 바와 같이, 로봇을 구동시키기 위한 구동 프로그램 및 구동과 관련된 데이터를 저장하고 있는 저장부(10)와, 사용자의 조작에 따라 로봇을 구동시키기 위한 초기 신호 및 각 기능을 선택하기 위한 선택 신호를 입력할 수 있도록 하는 입력부(20)와, 사용자의 음성신호를 입력받아 전기적 신호로 변환하여 출력하는 마이크(30)와, 상기 마이크(30)로부터 입력되는 사용자의 음성신호를 인식하여 사용자의 감정상태를 인식할 수 있도록 제어부로 출력하는 음성인식부(35)와, 상기 입력부(20)를 통해 입력되는 초기 신호 및 선택신호에 응하여 상기 저장부에 저장되어 있는 프로그램을 로딩시켜 로봇이 구동되도록 제어하는 한편, 상기 마이크(30)로부터 입력되는 음성신호에 응하여 상기 로봇이 구동되도록 상기 저장부(10)에 저장되어 있는 프로그램을 로딩시키고, 상기 음성인식부(35)로부터 입력되는 인식된 사용자의 음성신호에 응하여 사용자의 감정상태를 인식하고, 상기 인식 결과에 따라 전체 시스템을 제어하는 제어부(40)와, 상기 제어부(40)의 제어에 응하여 소정 오디오 신호를 출력하는 출력부(50)로 구성된다.
그리고, 상기 저장부(10)에 저장되어 있는 프로그램은 사용자에 의해 녹음된 내용을 사용자가 설정한 위치까지 이동한 후 출력되도록 복수의 루틴으로 이루어진다.
또한, 상기 저장부(10)에 저장되어 있는 프로그램은 사용자가 내는 음성신호를 입력받아 상기 음성신호에 대응되어 상기 로봇이 움직이거나, 말을 할 수 있도록 복수의 루틴으로 이루어진다.
상기 마이크(30)로 입력되는 음성신호는 사용자의 조작에 따라 음성인식을 위해 이용되거나, 저장부(10)에 저장된다.
상기 음성인식부(35)는 소리의 음향적인 구조를 정확히 파악하고 그 특징을 추출하고, 저장부(10)에 저장되어 있는 음성 데이터와 비교하여 해당 단어를 추출한다. 상기와 같이 음성인식부(35)에 의해 추출된 단어를 이용하여 각종 전산자료를 검색하거나 또는 사용할 수 있도록 한다.
상기와 같이 구성된 음성인식을 갖는 로봇의 작용에 대해 설명하면 다음과 같다.
먼저, 사용자의 로봇이 구동할 수 있도록 입력부(20)를 통해 온 신호를 입력하면, 제어부(40)는 상기 온 신호에 응하여 로봇 전체 시스템을 초기화시키고, 다음 동작 명령이 입력될 때까지 대기상태를 유지한다.
대기모드 중 사용자가 입력부(20)를 통해 대화모드를 선택하고, 마이크(30)를 통해 원하는 음성신호를 입력한 후 출력용 신호를 입력하면, 제어부(40)는 상기 저장부(10)에 저장된 프로그램에 따라 마이크(30)를 통해 입력되는 음성신호를 일단 상기 저장부(10)에 저장시킨 후, 상기 저장부(10)에 저장된 음성신호를 상기 출력용 신호가 입력되면 출력부(50)를 통해 출력되도록 한다.
한편, 제어부(40)는 다른 실시예로, 상기 마이크(30)를 통해 입력된 음성신호를 분석하고, 상기 분석된 음성신호에 매칭되어 저장되어 있는 오디오신호가 상기 저장부(10)에 존재하는 경우 상기 오디오신호를 읽어들여 출력부(50)를 통해 출 력되도록 한다. 즉, 상기 오디오 신호는 사용자의 목소리로 녹음된 음성신호, 또는 노래 등이다.
그리고, 상기 제어부(40)는 상기 음성인식부(35)를 통해 입력되는 음성신호를 분석하여 사용자의 현재 기분 상태를 인식한다. 즉 음성신호의 레벨의 높낮이를 이용하여 현재의 기분 상태를 추정하고, 상기 추정 결과에 따라 현재의 기분 상태를 인식하게 되는 것이다. 상기와 같이 현재의 기분상태 추정결과가 나오면 제어부(40)는 상기 추정된 기분 상태에 대응되어 저장된 프로그램을 저장부(10)로부터 읽어들이게 되고, 이 프로그램을 이용하여 로봇 전체 시스템을 제어하게 된다. 예를 들어 사용자가 현재의 기분이 우울한 것으로 추정되는 경우 저장부(10)에 저장된 즐거운 노래를 로딩하여 로봇으로 하여금 즐거운 노래를 부르고, 노래에 맞추어 율동을 하도록 전체 시스템을 제어하여, 사용자가 이로 인해 우울한 상태에서 벗어날 수 있도록 한다. 이 음성인식부(35)와 음성인식부(35)에 따른 제어부(40)의 동작은 후술하는 모든 실시예에 적용된다 할 것이며, 반복 설명은 생략하기로 한다.
상기와 같은 실시예1은 음성합성수단이 더 포함될 수 있으며, 상기 음성합성수단은 텍스트 데이터를 말로 읽어주는 솔루션으로 고품질, 고성능의 음성합성기로서 한글, 영어, 일어 및 다양한 기호들을 최적의 음성으로 변환시켜 주며, 정확한 발음과 자연스러운 합성음의 생성이 가능하고 다양한 플랫폼을 지원하고 있으며, 우수한 서비스 안정성 및 빠른 합성속도를 가진다.
(실시예2)
도 2는 도 1의 다른 실시예를 도시한 블록도이다.
첨부 도면 도 2에 도시된 바와 같이, 첨부 도면 도 1의 구성요소에 상기 제어부의 제어에 응하여 로봇이 소정 위치로 이동할 수 있도록 하기 위한 구동부(60)와, 상기 제어부(40)의 제어에 응하여 소정 피사체를 촬영하여 전기적 신호로 변환시켜 출력하는 영상촬영부(70)를 더 포함한다.
그리고, 상기 제어부(40)는 상기 영상촬영부(70)를 통해 촬영되어 입력된 영상신호를 상기 저장부(10)에 저장시키는 한편, 상기 영상신호에 매칭되어 저장된 구동 프로그램이 있는지를 체크하고, 구동 프로그램이 존재하는 경우 상기 구동 프로그램에 따라 상기 로봇이 작동되도록 제어하는 특징으로 갖는다.
상기와 같이 구성된 음성인식을 갖는 로봇의 작용에 대해 설명하면 다음과 같다.
실시예2는 일단 실시예1의 모든 작용을 포함하고 있으므로, 상기 실시예1에서 설명한 작용에 대해서는 그 설명을 생략하기로 하고, 실시예1에 포함되어 있지 않은 로봇을 일정거리로 이동시키는 루틴이나 소정 피사체를 촬영하여 이용하는 루틴에 대해서만 설명하기로 한다.
먼저, 사용자는 음성신호 또는 입력부(20)를 통해 상기 로봇에게 위치이동정보를 입력한다. 예를 들면 "앞으로 1m만큼 이동한 후 좌측으로 30cm 이동 후 '뭐하세요'라고 말하기"라는 음성신호를 입력하거나 입력부(20)를 통해 입력하면 제어부(40)는 이를 인식하여 구동부(60)를 통해 상기 로봇이 1m를 전진하고 좌회전한 후 30cm를 더 전진한 후 '뭐하세요'라고 저장된 음성신호를 저장부(10)로부터 읽어들여 출력부(50)를 통해 출력되도록 한다.
한편, 상기 로봇에는 영상촬영부(70)가 포함되어 있어, 사용자의 요청에 응하여 소정 피사체를 촬영하고, 촬영된 피사체를 전기적인 신호인 영상신호로 변환시켜 출력하면, 상기 제어부(40)는 상기 영상신호를 내부 메모리에 임시로 저장하는 한편, 상기 저장부(10)에 상기 영상신호가 존재하는지를 체크하고, 상기 영상신호가 존재하는 경우 상기 영상신호에 매칭되어 저장되어 있는 프로그램을 로딩시켜 상기 프로그램에 따라 상기 로봇이 구동되도록 한다.
예를 들어 상기 영상신호에 매칭시켜 '사랑해'라는 음성신호가 녹음되어 있고, 소정 멜로디가 저장되어 있는 경우 상기 제어부(40)는 출력부(50)를 통해 '사랑해'라는 음성신호가 출력되도록 한 후 함께 저장된 멜로디를 상기 출력부(50)를 통해 출력시킨다.
(실시예3)
도 3은 도 1의 또다른 실시예이다.
첨부 도면 도 3에 도시된 바와 같이 피사체의 표정을 인식할 수 있는 표정인식용 특징점 데이터를 저장하고 있으며, 상기 표정인식에 따라 출력되는 출력 데이터를 저장하고 있는 저장부(10)와, 사용자의 조작에 따라 로봇을 구동시키기 위한 초기 신호 및 각 기능을 선택하기 위한 선택 신호를 입력할 수 있도록 하는 입력부(20)와, 사용자의 음성신호를 입력받아 전기적 신호로 변환하여 출력하는 마이크 (30)와, 소정 피사체의 얼굴을 감지하는 센서부(80)와, 상기 센서부(80)로부터 입력되는 피사체 얼굴 감지신호에 응하여 촬영구동신호를 출력하는 한편, 외부로부터 입력되는 영상신호로부터 표정 특징점을 검출하고 상기 저장부(10)에 저장된 표정 특징점 데이터와 비교하여 피사체의 표정을 인식하며, 상기 인식된 피사체의 표정에 대응되어 상기 저장부(10)에 저장된 출력데이터를 읽어들여 로봇이 구동되도록 전체 시스템을 제어하는 제어부(40)와, 상기 제어부(40)의 제어에 응하여 소정 피사체의 얼굴을 촬영할 수 있도록 위치가 변경되며, 상기 피사체의 얼굴을 촬영하여 전기적 신호로 변환시켜 상기 제어부로 출력하는 영상촬영부(70)와, 상기 제어부(40)의 제어에 응하여 소정 오디오 신호를 출력하는 출력부(50)와, 상기 제어부의 제어에 응하여 로봇이 움직이도록 하는 구동부(60)로 구성된다.
상기 제어부(40)는 기능적으로 AAM 처리모듈(41), 특징점 추출 및 특징벡터 생성모듈(42) 및 분류모듈(43)로 구성할 수 있다.
상기 AAM 처리모듈(41)은 Active Appearance Model(이하, 'AAM'로 약칭하기로 함) 방식으로 얼굴 표정을 인식하는 것으로서, 물체의 형태 정보와 텍스쳐 정보를 이용하여 물체의 형태를 유지하면서 학습된 텍스쳐 정보를 기반으로 가장 유사한 텍스쳐를 가지는 부분을 검색하여 보다 정확하게 물체의 형태 및 위치를 찾는다.
그리고, 상기 특징점 추출 및 특징벡터 생성모듈(42)은 Lipschitz Embedded 알고리즘을 이용하여 모든 입력 데이터들의 거리를 일정 범위 안으로 제한시켜 상 기 AAM 처리모듈(41)에 의해 생성된 얼굴 표시점(Face Landmark)을 이용해 특징점을 추출한다. 상기 Lipschitz Embedded 알고리즘은 입력 데이터 내에 다중 클러스터가 존재할 때 많이 이용된다.
그리고, 상기 분류모듈(43)은 상기 특징점 추출 및 특징벡터 생성모듈(42)로부터 입력되는 얼굴영상의 특징벡터를 k-Nearest Neighborhood(k-NN)방식으로 분류한다.
상기 k-NN 분류방식은 다음 수학식1과 같이 새로운 특징 벡터 X를 가장 가까운 이웃(neighbor) 라벨로 분류한다.
[수학식 1]
Figure 112005025755160-pat00001
상기와 같이 구성된 표정인식 기능을 갖는 로봇의 작용에 대해 설명하면 다음과 같다.
첨부 도면 도 3에 도시된 바와 같이, 제어부(40)는 센서부(80)로부터 사람의 얼굴부분을 감지한 감지신호가 입력되는지를 체크하고, 입력되는 경우 영상촬영부(70)의 현재 위치를 제어하여 피사체, 즉 사람의 얼굴을 촬영할 수 있도록 한다.
상기 영상촬영부(70)로부터 입력되는 영상신호로부터 표정 특징점을 검출하고 상기 저장부(10)에 저장된 표정 특징점 데이터와 비교하여 피사체의 표정을 인식하며, 상기 인식된 피사체의 표정에 대응되어 상기 저장부(10)에 저장된 출력데 이터를 읽어들여 로봇이 구동되도록 한다.
즉, 제어부(40)는 피사체의 얼굴 영상신호로부터 화난 표정을 인식하게 되는 경우 상기 저장부(10)에 화난 표정 데이터에 대응되어 저장되어 있는 개그 데이터 또는 화난 사람을 위로하는 말 또는 재미있는 음악(노래) 등이 출력부(50)로 출력되도록 하거나 로봇이 춤을 출 수 있도록 구동부(60)를 제어하여 피사체인 화난 사람의 기분을 위로해 줄 수 있도록 한다.
피사체의 얼굴 영상신호로부터 표정을 인식하는 부분에 대해 좀더 상세히 기술하면 제어부(40)는 첨부 도면 도 4에 도시된 바와 같이 AAM 처리모듈(41), 특징점 추출 및 특징벡터 생성모듈(42), 분류모듈(43)을 이용하여 피사체의 얼굴표정을 정확하게 인식하게 된다.
먼저 제어부(40)는 피사체의 얼굴 데이터가 입력되면 상기 AAM 처리모듈(41)을 구동시켜 물체의 형태 정보와 텍스쳐 정보를 이용하여 물체의 형태를 유지하면서 학습된 텍스쳐 정보를 기반으로 가장 유사한 텍스쳐를 가지는 부분을 검색하여 보다 정확하게 물체의 형태 및 위치를 찾는다.
그리고, 제어부(40)는 상기 특징점 추출 및 특징벡터 생성모듈(42)을 구동시켜 Lipschitz Embedded 알고리즘에 의해 AAM 처리모듈(41)로부터 입력되는 데이터들의 거리를 일정 범위 안으로 제한시켜 상기 AAM 처리모듈(41)에 의해 생성된 얼굴 표시점(Face Landmark)을 이용해 특징점을 추출한다.
이때 상기 Lipschitz Embedded 알고리즘에 대해 기술하면 하기와 같다.
Input : S={x1,x2,...,xn}, xi∈RD Output : Y={y1,...,yn}, yi∈Rk
Select k subsets A1,...,Ak from S, R={A1,...,Ak} (Reference set)
for i=1 to n do
for j=1 to k do
Figure 112005025755160-pat00002
end for
yi=(y1i,y2i,...,yki);
end for
Return Y={y1,....,yn}
마지막으로 제어부(40)는 상기 분류모듈(43)을 구동시켜 상기 특징점 추출 및 특징벡터 생성모듈(42)로부터 입력되는 얼굴영상의 특징벡터를 k-Nearest Neighborhood(k-NN)방식으로 분류한다.
상기 k-NN 분류방식은 다음 수학식1과 같이 새로운 특징 벡터 X를 가장 가까운 이웃(neighbor) 라벨로 분류한다.
[수학식 1]
Figure 112005025755160-pat00003
(실시예4)
도 5는 도 1의 또다른 실시예이다.
첨부 도면 도 5에 도시된 바와 같이 네트워크 통신망(200)과, 상기 네트워크 통신망에 연결된 복수의 단말기(300)와, 사용자의 조작에 따라 상기 복수의 단말기 중 하나를 제어하기 위한 제어신호를 상기 네트워크 통신망을 통해 출력하는 제어기(400)와, 사용자의 조작에 따라 상기 제어기로 제어신호를 송출하는 로봇(100)으로 구성된다. 이때 상기 로봇(100)에서 송출되는 신호는 RF 신호이다.
상기 제어기(400)는 상기 로봇으로부터 송출되는 제어신호를 수신받을 수 있는 수신부를 더 포함한다.
상기 로봇(100)은 피사체의 표정을 인식할 수 있는 표정인식용 특징점 데이터를 저장하고, 상기 표정인식에 따라 출력되는 출력 데이터를 저장하고 있으며, 음성인식 또는 표정인식에 따른 단말기 제어신호들을 저장하고 있는 저장부(10)와, 사용자의 조작에 따라 로봇을 구동시키기 위한 초기 신호 및 각 기능을 선택하기 위한 선택 신호를 입력할 수 있도록 하는 입력부(20)와, 사용자의 음성신호를 입력받아 전기적 신호로 변환하여 출력하는 마이크(30)와, 소정 피사체의 얼굴을 감지하는 센서부(80)와, 상기 센서부(80)로부터 입력되는 피사체 얼굴 감지신호에 응하여 촬영구동신호를 출력하는 한편, 외부로부터 입력되는 영상신호로부터 표정 특징점을 검출하고 상기 저장부에 저장된 표정 특징점 데이터와 비교하여 피사체의 표정을 인식하며, 상기 인식된 피사체의 표정에 대응되어 상기 저장부에 저장된 출력데이터를 읽어들여 로봇이 구동되도록 전체 시스템을 제어하는 제어부(40)와, 상기 제어부(40)의 제어에 응하여 소정 피사체의 얼굴을 촬영할 수 있도록 위치가 변경되며, 상기 피사체의 얼굴을 촬영하여 전기적 신호로 변환시킨 후 상기 제어부로 출력하는 촬영부(70)와, 상기 제어부(40)의 제어에 응하여 네트워크 통신망(200)에 연결된 소정 단말기(300)를 제어하기 위한 제어신호를 송출하는 송출부(90)로 구성된다.
상기와 같이 구성된 네트워크 지원용 로봇 시스템의 작용에 대해 설명하면 다음과 같다.
먼저, 사용자가 로봇(100)을 향해 이야기를 하면, 로봇(100)에 구비된 마이크(30)를 통해 상기 음성신호를 입력받아 상기 제어부(40)로 출력하고 제어부(40)는 상기 음성신호를 분석하여 인식한다.
그리고 제어부(40)는 인식된 음성신호에 대응하여 상기 저장부(10)에 저장된 단말기 제어신호들 중 해당 단말기 제어신호를 읽어들여 송출부(90)를 통해 송출한다.
그러면 제어기(400)는 수신부를 통해 상기 단말기 제어신호를 수신받아 해당 단말기의 작동상태를 제어하게 된다.
일예를 들면, 사용자가 로봇(100)을 향해 "보일러 좀 켜주세요"라고 하면 로봇(100)의 제어부(40)는 저장부(10)에 저장된 보일러 온 신호를 읽어들여 송출부(90)를 통해 송출하고, 제어기(400)는 수신부를 통해 상기 보일러 온신호를 수신받아 보일러가 작동되도록 한다.
한편, 로봇(100)은 피사체의 사람인 경우 사람의 얼굴을 인식하여 촬영하고 촬영된 얼굴의 표정을 인식하여, 표정인식에 대응되어 저장된 단말기 제어신호를 읽어들여 송출부(90)를 통해 송출하여 제어기(400)가 해당 단말기를 제어하도록 한다.
예를 들면, 사용자의 촬영된 얼굴 영상신호로부터 화난 표정이 인식된 경우 화난 표정에 매칭되어 저장된 오디오 기기 구동신호를 출력하여 오디오 기기를 작동시켜 사용자가 기분을 전환할 수 있는 음악이 출력되도록 한다.
(실시예5)
도 6은 도 1의 또다른 실시예이다.
첨부 도면 도 6에 도시된 바와 같이 영어대화 기능을 선택할 수 있는 키를 포함하고 있는 버튼부(501)와, 외부로부터 음성신호를 입력받기 위한 음성신호 입력부(503)와, 상기 음성신호 입력부(503)로부터 입력되는 오디오신호로부터 주변 소음을 제거하고 음성신호만 필터링하는 환경잡음 제거용 LPC 합성필터(505)와, 상기 환경잡음 제거용 LPC 합성필터(505)를 통해 필터링된 음성신호를 음성 데이터로 변환하는 아날로그/디지털 변환부(507)와, 음성인식 및 문장인식을 위한 기준 데이터를 저장하고 있는 저장부(509)와, 상기 아날로그/디지털 변환부(507)를 통해 입력되는 음성데이터로부터 소정음성을 인식하는 음성인식 검출부(511)와, 상기 음성인식 검출부(511)를 통해 인식된 음성을 이용하여 해당 문장을 인식하는 문장인식부(513)와, 상기 문장인식부(513)에 의해 인식된 문장을 이용하여 상기 저장부(509)에 저장된 기준 데이터를 읽어들여 단어를 조합하고 연결하여 소정 문장데이 터를 생성하는 단어조합 및 연결부(515)와, 상기 단어조합 및 연결부(515)를 통해 생성된 문장데이터를 아날로그 음성신호로 변환하는 디지털/아날로그 변환부(517)와, 상기 디지털/아날로그 변환부(517)로부터 입력되는 음성신호를 외부로 출력하는 음성신호 출력부(519)와 전체 시스템을 제어하는 제어부(521)로 구성된다.
상기 저장부(509)에 저장되어 있는 기준 데이터는 한국어, 영어, 일본어 등 다양한 언어를 지원할 수 있도록 구성되어 있으며, 상기 사용자가 버튼부(501)를 이용하여 입력되는 언어와 출력하고자 하는 언어를 선택할 수 있도록 하고, 상기 제어부(521)는 버튼부(501)를 통해 입력되는 사용자의 의도에 부합하는 결과가 출력될 수 있도록 전체 시스템을 제어한다.
상기와 같이 구성된 대화기능을 가지는 로봇 시스템의 작용에 대해 설명하면 다음과 같다.
사용자가 버튼(501)를 이용하여 로봇의 대화기능을 선택하고, 입력언어와 출력언어를 선택한다. 예를 들어, 사용자가 입력언어는 한국어, 출력언어는 영어로 설정하였다면 제어부(521)는 외부로부터 입력되는 언어를 한국어로 인식하고, 인식된 한국어로 이루어진 문장을 분석하여, 그에 해당되는 답변을 영어문장으로 만들어 출력시켜 사용자가 영어선생님없이 회화공부를 할 수 있도록 유도한다.
즉, 환경잡음 제거용 LPC 합성필터(505)는 음성신호 입력부(503)를 통해 입력되는 음성신호로부터 주변 소음을 제거하고 음성신호만 필터링하여 아날로그/디지털 변환부(507)로 출력시킨다.
그러면 아날로그/디지털 변환부(507)는 입력된 아날로그 음성신호를 디지털 음성 데이터로 변환하여, 음성인식 검출부(511)로 출력한다.
상기 음성인식 검출부(511)는 상기 음성데이터로부터 소정 음성을 인식하고, 인식결과를 문장인식부(513)로 출력한다. 문장인식부(513)는 상기 인식결과를 이용하여 문장을 인식하게 되고, 인식결과를 단어조합 및 연결부(515)로 출력한다.
상기 단어조합 및 연결부(515)는 상기 문장인식부(513)에 의해 인식된 문장을 이용하여 상기 저장부(509)에 저장된 기준 데이터를 읽어들여 단어를 조합하고 연결하여 소정 문장데이터를 생성한다.
상기와 같이 단어조합 및 연결부(515)에 생성된 문장데이터는 디지털/아날로그 변환부(517)에 의해 다시 아날로그 음성신호로 변환되고, 상기 아날로그 음성신호는 음성신호 출력부(519)를 통해 외부로 출력된다.
상기와 같은 동작을 반복하면서 사용자는 자연스럽게 회화공부를 하게 된다.
도 7은 본 발명을 적용하여 제작할 로봇의 일 실시예를 도시한 도면으로서, 우리에게 친근감을 줄 수 있는 도깨비 형상을 갖는 로봇이다.
상기 실시예1 내지 실시예4를 통해 설명한 바와 같이 본 발명이 적용된 로봇은 어른이나 어린아이들이 모두 이용할 수 있다.
즉, 본 발명이 적용된 로봇은 첨부 도면 도 7에 도시된 바와 같이 본사의 로봇 각 부분이 소정 기능을 수행할 수 있도록 구성되어 있으며, 상기에서 언급한 바와 같이 음성인식기능을 가지고 있으며, 스테레오 이어폰단자가 구비되어 있으며, 녹음 및 음성인식용 마이크가 내장되어 있다. 또한, 본발명의 로봇은 적외선 통신 이 가능하며, MP3 기능, 성장기능 및 화상인식 기능을 가지고 있다.
본 발명이 적용된 로봇은 상기 내용에서 기술한 바와 같이 대화하기, 노래하기, 부재시 음성녹음하기, 로봇에 적용되는 시나리오 및 MP3 등과 같은 컨텐츠를 다운로드받을 수 있는 기능 및 심부름을 할 수 있는 기능뿐만 아니라 회화 데이터 등과 같이 언어 학습을 할 수 있는 학습 데이터와 학습 프로그램을 가지고 있어, 어린이, 청소년뿐만 아니라 성인들도 재미있게 언어학습을 할 수 있도록 한다.
이상의 본 발명은 상기 실시예들에 의해 한정되지 않고, 당업자에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 포함되는 본 발명의 취지와 범위에 포함된다.
이상에서 살펴본 바와 같이, 본 발명은 사용자가 내는 음성신호를 인식하고, 인식한 결과를 외부로 표현할 수 있어, 로봇을 이용하여 회화 연습을 하는 등 학습에 도움을 줄 수 있도록 하는 효과가 있다.
또한, 본 발명은 사용자가 로봇에게 내는 음성신호를 저장하고 있다가 사용자가 원하는 위치까지 이동한 후 상기 사용자에 의해 입력된 음성신호를 출력하여 사용자의 마음을 대신 이야기 해 줄 수 있도록 하여 직접적으로 하기 쑥스러운 말들을 상대방에게 할 수 있도록 하는 효과가 있다.
또한, 본 발명은 영상을 인식할 수 있도록 구현하여, 인식된 영상에 대응되 어 저장되어 있는 구동 데이터에 따라 구동함으로써, 로봇을 이용하여 장난감, 학습용 기기, 사무용 기기 등 다양한 기능을 갖는 시스템으로 활용할 수 있도록 하는 효과가 있다.
또한, 본 발명은 사용자의 얼굴 표정에 따라 그 사람의 기분을 인식하고, 그에 적절한 반응들을 로봇을 통해 제공함으로써, 그 사람의 기분을 전환시켜 줄 수 있도록 하는 효과가 있다.
또한, 본 발명은 로봇을 이용하여 네트워크 통신망을 통해 구현된 홈네트워크 시스템을 제어할 수 있도록 하는 효과가 있다.
또한, 본 발명은 한글, 영어, 일어 그리고 다양한 기호들을 최적의 음성으로 변환시켜 주며, 정확한 발음으로 자연스러운 합성음의 생성이 가능하도록 다양한 플랫폼을 지원하므로써 우수한 서비스 안정성 및 빠른 합성속도를 제공할 수 있도록 하는 효과가 있다.
또한, 본 발명은 개개인이 갖고 있는 독특한 음성의 특징으로 이용하여 정보시스템이 본인여부를 인증할 수 있도록 하는 Voiceware의 화자인증 솔루션을 제공할 수 있도록 하는 효과가 있다. 즉 홍채, 정맥 등 기타 생체 인식기술에 비하여 기술적, 경제적인 면에서 큰 효용성을 갖고 있으며, 암호분실, 망실, 도용의 위험이 없는 강력한 보안기술을 제공하는 효과가 있다.

Claims (15)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 네트워크 통신망;
    상기 네트워크 통신망에 연결된 복수의 단말기;
    사용자의 조작에 따라 상기 복수의 단말기 중 하나를 제어하기 위한 제어신호를 상기 네트워크 통신망을 통해 출력하는 제어기; 및
    사용자의 조작에 따라 상기 제어기로 제어신호를 송출하는 로봇을 포함하여 이루어지되,
    상기 로봇은 피사체의 표정을 인식할 수 있는 표정인식용 특징점 데이터를 저장하고, 상기 표정인식에 따라 출력되는 출력 데이터를 저장하고 있으며, 상기 표정인식에 따른 단말기 제어신호들을 저장하고 있는 저장부;
    사용자의 조작에 따라 로봇을 구동시키기 위한 초기 신호 및 각 기능을 선택하기 위한 선택 신호를 입력할 수 있도록 하는 입력부;
    사용자의 음성신호를 입력받아 전기적 신호로 변환하여 출력하는 마이크;
    소정 피사체의 얼굴을 감지하는 센서부;
    상기 센서부로부터 입력되는 피사체 얼굴 감지신호에 응하여 촬영구동신호를 출력하는 한편, 외부로부터 입력되는 영상신호로부터 표정 특징점을 검출하고 상기 저장부에 저장된 표정 특징점 데이터와 비교하여 피사체의 표정을 인식하며, 상기 인식된 피사체의 표정에 대응되어 상기 저장부에 저장된 출력데이터를 읽어들여 로봇이 구동되도록 제어하는 제어부;
    상기 제어부의 제어에 응하여 소정 피사체의 얼굴을 촬영할 수 있도록 위치가 변경되며, 상기 피사체의 얼굴을 촬영하여 전기적 신호로 변환시킨 후 상기 제어부로 출력하는 촬영부; 및
    상기 제어부의 제어에 응하여 네트워크 통신망에 연결된 소정 단말기를 제어하기 위한 제어신호를 송출하는 송출부;를 포함하여 이루어지는 것을 특징으로 하는 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템.
  13. 제 12 항에 있어서, 상기 제어기는,
    상기 로봇으로부터 송출되는 제어신호를 수신받을 수 있는 수신부를 더 포함하는 것을 특징으로 하는 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템.
  14. 제 12항에 있어서, 상기 제어부는,
    피사체의 얼굴 데이터가 입력되면 물체의 형태 정보와 텍스쳐 정보를 이용하여 물체의 형태를 유지하면서 학습된 텍스쳐 정보를 기반으로 가장 유사한 텍스쳐를 가지는 부분을 검색하여 보다 정확하게 물체의 형태 및 위치를 찾는 AAM 처리모듈과, 상기 AAM 처리모듈로부터 입력되는 데이터들의 거리를 일정 범위 안으로 제한시켜 상기 AAM 처리모듈에 의해 생성된 얼굴 표시점(Face Landmark)을 이용해 특징점을 추출하는 특징점 추출 및 특징벡터 생성모듈과, 상기 특징점 추출 및 특징벡터 생성모듈로부터 입력되는 얼굴영상의 특징벡터를 k-Nearest Neighborhood(k-NN)방식으로 분류하는 분류모듈로 구성되어 있는 것을 특징으로 하는 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템.
  15. 제 14항에 있어서, 상기 분류모듈의 k-Nearest Neighborhood(k-NN)방식은 하기의 수학식을 이용하여 새로운 특징 벡터 X를 가장 가까운 이웃(neighbor) 라벨로 분류하는 것을 특징으로 하는 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템.
    [수학식 1]
    Figure 112006016676411-pat00012
KR1020050041226A 2005-01-06 2005-05-17 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템 KR100583920B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050001365 2005-01-06
KR1020050001365 2005-01-06

Publications (1)

Publication Number Publication Date
KR100583920B1 true KR100583920B1 (ko) 2006-05-29

Family

ID=37182034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050041226A KR100583920B1 (ko) 2005-01-06 2005-05-17 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템

Country Status (1)

Country Link
KR (1) KR100583920B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020772A (ko) * 2014-08-14 2016-02-24 경북대학교 산학협력단 로봇가디언모듈과 이를 이용한 로봇 안전 보장 장치 및 방법
KR20160067025A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 인디케이터를 포함하는 무선제어장치
CN105798929A (zh) * 2016-05-31 2016-07-27 安徽声讯信息技术有限公司 一种面向独居老人的陪护和紧急救助型机器人
CN106378781A (zh) * 2016-10-20 2017-02-08 国网山东省电力公司菏泽供电公司 服务机器人引导系统及方法
CN107290957A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 智能设备及其优化方法和装备
KR20190134894A (ko) * 2018-05-08 2019-12-05 서강대학교산학협력단 음악 인터랙션 로봇

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020772A (ko) * 2014-08-14 2016-02-24 경북대학교 산학협력단 로봇가디언모듈과 이를 이용한 로봇 안전 보장 장치 및 방법
KR101643812B1 (ko) * 2014-08-14 2016-07-28 경북대학교 산학협력단 로봇가디언모듈과 이를 이용한 로봇 안전 보장 장치 및 방법
KR20160067025A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 인디케이터를 포함하는 무선제어장치
KR102305848B1 (ko) 2014-12-03 2021-09-29 삼성전자주식회사 인디케이터를 포함하는 무선제어장치
CN107290957A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 智能设备及其优化方法和装备
CN105798929A (zh) * 2016-05-31 2016-07-27 安徽声讯信息技术有限公司 一种面向独居老人的陪护和紧急救助型机器人
CN106378781A (zh) * 2016-10-20 2017-02-08 国网山东省电力公司菏泽供电公司 服务机器人引导系统及方法
KR20190134894A (ko) * 2018-05-08 2019-12-05 서강대학교산학협력단 음악 인터랙션 로봇
KR102119701B1 (ko) * 2018-05-08 2020-06-05 서강대학교 산학협력단 음악 인터랙션 로봇

Similar Documents

Publication Publication Date Title
JP3968133B2 (ja) 音声認識対話処理方法および音声認識対話装置
CN108701453B (zh) 模块化深度学习模型
KR100583920B1 (ko) 표정인식 기능을 갖는 로봇을 이용한 네트워크 지원용 로봇 시스템
US6509707B2 (en) Information processing device, information processing method and storage medium
KR20200007496A (ko) 개인화 ASR(automatic speech recognition) 모델을 생성하는 전자 장치 및 이를 동작하는 방법
KR20200031459A (ko) 감성 인식기 및 이를 포함하는 로봇, 서버
CN106157956A (zh) 语音识别的方法及装置
CN111199032A (zh) 身份认证的方法以及装置
KR20080050994A (ko) 제스처/음성 융합 인식 시스템 및 방법
US11410679B2 (en) Electronic device for outputting sound and operating method thereof
JP6797338B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112513984A (zh) 电子设备及其控制方法
JP2018013549A (ja) 発話内容認識装置
KR100423788B1 (ko) 완구에 있어서 대화형 음성 및 다감각인식 시스템 및 이의방법
CN114120979A (zh) 语音识别模型的优化方法、训练方法、设备及介质
US20220059080A1 (en) Realistic artificial intelligence-based voice assistant system using relationship setting
KR102355903B1 (ko) 컨텐츠를 제공하는 전자 장치 및 방법
CN109922397B (zh) 音频智能处理方法、存储介质、智能终端及智能蓝牙耳机
JP4254400B2 (ja) 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体
CN114154636A (zh) 数据处理方法、电子设备及计算机程序产品
JP7347511B2 (ja) 音声処理装置、音声処理方法、およびプログラム
JP2006189799A (ja) 選択可能な音声パターンの音声入力方法及び装置
Chen et al. A novel approach of system design for dialect speech interaction with NAO robot
JPH09319297A (ja) 音声筆談器
JP2011039468A (ja) 電子辞書で音声認識を用いた単語探索装置及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120522

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130524

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee