KR101334646B1 - 감정표현이 가능한 영상/음성 기반 로봇용 안구 - Google Patents

감정표현이 가능한 영상/음성 기반 로봇용 안구 Download PDF

Info

Publication number
KR101334646B1
KR101334646B1 KR1020120024274A KR20120024274A KR101334646B1 KR 101334646 B1 KR101334646 B1 KR 101334646B1 KR 1020120024274 A KR1020120024274 A KR 1020120024274A KR 20120024274 A KR20120024274 A KR 20120024274A KR 101334646 B1 KR101334646 B1 KR 101334646B1
Authority
KR
South Korea
Prior art keywords
audio
image
eye
video
robot
Prior art date
Application number
KR1020120024274A
Other languages
English (en)
Other versions
KR20130103001A (ko
Inventor
이덕연
허만홍
이동욱
최동운
안호석
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020120024274A priority Critical patent/KR101334646B1/ko
Publication of KR20130103001A publication Critical patent/KR20130103001A/ko
Application granted granted Critical
Publication of KR101334646B1 publication Critical patent/KR101334646B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

카메라 및 마이크를 안구 내에 구비하여 영상과 음성을 수신하고, 저장된 시나리오에 따라 상기 영상과 음성에 대응되는 상황을 결정하고, 상기 상황에 따라 LED 모듈의 광원을 출력하는 영상/음성 기반 로봇용 안구에 관한 것으로서, 반구형이고, 중앙에 반구형의 홈(이하 동공 홈)을 구비하는 본체; 상기 동공 홈에 삽입되어 설치되는 카메라; 상기 동공 홈의 내측에 부착되는 다수의 LED 모듈; 본체의 상단에 맞닿는 상기 동공 홈의 원형 테두리에 설치되는 마이크; 및, 상기 카메라 및 상기 마이크로부터 각각 영상 및 음성을 수신하고, 상기 LED 모듈의 광원의 색 및 세기를 제어하여 표시하는 제어부를 포함하는 구성을 마련한다.
상기와 같은 영상/음성 기반 로봇용 안구에 의하여, 자체 메모리에 저장되는 시나리오 데이터를 이용하여 호스트에 의존하지 않고, 자체적으로 영상 및 음성을 분석하여 LED 모듈을 통해 다양한 안구의 감정을 표출할 수 있다.

Description

감정표현이 가능한 영상/음성 기반 로봇용 안구 { A eyeball for robot based on image and sound showing emotion }
본 발명은 카메라 및 다수의 마이크를 안구 내에 구비하여 영상과 음성을 수신하고, 저장된 시나리오에 따라 상기 영상과 음성에 대응되는 상황을 결정하고, 상기 상황에 따라 다양한 감정 표현을 LED 모듈의 광원을 출력하는 영상/음성 기반 로봇용 안구에 관한 것이다.
또한, 본 발명은 결정된 상황에 따라 저장 및 생성된 음성 및 영상을 외부장치로 전송하여, 상기 외부장치에서 표출이 가능한 영상/음성 기반 로봇용 안구에 관한 것이다. 즉, 상기 외부장치를 통해 다양한 감정, 음성합성에 의한 음성, 영상 합성에 의한 영상 표출이 가능하다.
또한, 본 발명은 다수의 로봇용 안구를 구비하고, 호스트 장치(또는 외부장치)로 다른 다수의 로봇용 안구와 통신이 가능하여, 호스트 장치에서 다수의 안구(10)를 통하여 수집된 영상, 음성을 획득하고, 이들을 재가공 또는 재처리하여 보다 정확한 음향/영상을 출력할 수 있는 영상/음성 기반 로봇용 안구에 관한 것이다.
종래 산업용 로봇과는 달리 최근 로봇의 사용 범위는 매우 넓어져, 인간이 생활하는 환경으로 확대되고 있는 추세이다. 이러한 추세로 인해 인간과의 상호작용이 무엇보다 중요하게 요구되고 있으며, 그 상호작용에 있어서 거부감이 없는 로봇들에 대한 연구가 활발하게 진행되고 있다.
최근에는, 인간과 로봇 간의 원활한 상호작용을 위해 실제 인간과 외관이 유사한 인간형 로봇들이 개발되고 있는 추세이며, 이러한 추세에 따라 감정표현이 가능한 로봇들에 대한 연구가 진행되고 있다.
이러한 연구에 따라 다양한 로봇들이 개발되고 있으며, 현재까지 개발된 로봇들은 그 심리상태나 감정을 표현함에 있어서 사람의 얼굴을 본 따서 만든 기계적인 얼굴로 표현한다. 그러나 지금까지 개발된 로봇의 기계적 얼굴은 사람과 비슷한 자연스러운 표정을 생성할 수 없으며, 생성된 표정이 사람들에게 거부감을 주기도 하는 등의 문제점이 있다. 또한, 인간의 얼굴이 아닌 가공의 생명체에 대한 얼굴 형태여서, 인간의 심리상태와 비슷한 유형의 감정을 표정으로서 표현할 수 없는 문제가 있다. 따라서 심리상태나 감정을 인간과 최대한 유사하게 표현할 수 있는 로봇에 대한 개발이 필요하다.
또한, 로봇은 주변 환경을 인식하고 인식된 환경에 따라 적절하게 대응해야 한다. 이를 위해, 최근 로봇은 영상인식 및 음성인식 기능을 포함하고 있다. 하지만 이들 기능들이 회로적으로 이격이 되어 있어 배선 작업의 복잡성이 증가되고 일정하지 않은 위치로 인하여 보정작업을 수시로 하여야 한다. 또한 음성에 있어서 주변 노이즈가 발생하면 이를 해결하기 위한 또 다른 장치 및 다양한 알고리즘을 추가 장착하여야 한다. 안구에서 표현할 수 있는 감정 표현 또한 추가 장치를 필요로 하여 전체적인 로봇 복잡도가 더욱 증가된다.
따라서 안구 등 각 모듈에서 자체적으로 상황을 인식하여 상황에 맞는 적절한 감정 등을 표출하도록 처리된다면, 회로 또는 배선 작업의 복잡성을 줄이고 전체적인 로봇 복잡도를 낮출 수 있을 것이다.
한편, 사람의 외형과 비슷한 모습을 가진 로봇으로, 영화에서는 애니매트로닉스(Animatronices)라는 분야가 있다. 주로 특수분장을 하는 업체 등에서 작업을 하게 되는데 일반적인 제작과정을 살펴보면 사람의 의안을 제작하는 방식을 주로 사용하게 된다. 사람의 의안은 카메라를 장착하지 않고 미관을 최우선으로 두고 제작하게 된다.
하지만 안드로이드/휴먼로이드 로봇 등 다양한 로봇에 사용되어지는 안구는 카메라를 장착하는 경우가 많은데 지금까지의 기술로는 카메라를 장착하면서 미관이 아름다운 안구의 제작이 어렵다. 안구를 제작함에 있어 미관의 아름다움을 유지하면서 카메라를 장착하는 우선적으로 필요하며, 장착된 카메라를 구동시켜 대상을 인식할 때 카메라에서 보이는 대상의 외곡현상을 최대한 줄여 인식률을 높이는 것이 필요하다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 카메라 및 마이크를 구비하여 영상과 음성을 수신하고, 저장된 시나리오에 따라 상기 영상과 음성에 대응되는 상황을 결정하고, 상기 상황에 따라 LED 모듈의 광원을 출력하는 영상/음성 기반 로봇용 안구를 제공하는 것이다.
또한, 본 발명의 목적은 카메라, 마이크, 및 LED 모듈 등을 안구 내에 장착하고, 시나리오 데이터 및 이를 통해 인식 또는 추론 기능을 처리하는 제어모듈도 안구 내에 구비하는 영상/음성 기반 로봇용 안구를 제공하는 것이다.
또한, 본 발명의 목적은 결정된 상황에 따라 저장 및 생성된 음성 및 영상을 외부장치로 전송하여, 상기 외부장치에서 표출이 가능한 영상/음성 기반 로봇용 안구를 제공하는 것이다.
또한, 본 발명의 목적은 다수의 로봇용 안구를 구비하고, 호스트 장치(또는 외부장치)로 다른 다수의 로봇용 안구와 통신이 가능하여, 호스트 장치에서 다수의 안구(10)를 통하여 수집된 영상, 음성을 획득하고, 이들을 재가공 또는 재처리하여 보다 정확한 음향/영상을 출력할 수 있는 영상/음성 기반 로봇용 안구를 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 영상/음성 기반 로봇용 안구에 관한 것으로서, 반구형이고, 중앙에 반구형의 홈(이하 동공 홈)을 구비하는 본체; 상기 동공 홈에 삽입되어 설치되는 카메라; 상기 동공 홈의 내측에 부착되는 다수의 LED 모듈; 본체의 상단에 맞닿는 상기 동공 홈의 원형 테두리에 설치되는 마이크; 및, 상기 카메라 및 상기 마이크로부터 각각 영상 및 음성을 수신하고, 상기 LED 모듈의 광원의 색 및 세기를 제어하여 표시하는 제어부를 포함하는 것을 특징으로 한다.
또, 본 발명은 영상/음성 기반 로봇용 안구에 있어서, 상기 로봇용 안구는, 상기 동공 홈을 덮는 반구형의 투명파트를 더 포함하는 것을 특징으로 한다.
또, 본 발명은 영상/음성 기반 로봇용 안구에 있어서, 상기 제어부는 상기 영상 및 음성에 대응하는 상황을 상기 시나리오 데이터베이스에서 검색하고, 상기 상황에 대응되는 LED 모듈의 제어 데이터를 상기 시나리오 데이터에서 검색하여, 검색된 제어 데이터에 따라 상기 LED 모듈을 제어하는 것을 특징으로 한다.
또, 본 발명은 영상/음성 기반 로봇용 안구에 있어서, 상기 제어부는, 상기 카메라 및 상기 마이크를 통해 데이터를 입력받거나, 상기 LED 모듈의 광원을 출력하는 입출력부; 상기 입출력부에서 입력되거나 출력되는 데이터를 재처리하는 전후 처리부; 음성, 영상, 감정, 통신을 처리하고, 처리결과를 메모리에 저장하고, 합성기에 의해 합성된 영상 또는 음성 데이터를 상기 전후 처리부로 전송하는 처리부; 음성, 영상, 감정, 통신을 처리하기 위한 시나리오를 저장하는 메모리부; 및, 안구 내부 온도 및 전압, 통신 상태를 모니터링하는 모니터링부를 포함하는 것을 특징으로 한다.
또, 본 발명은 영상/음성 기반 로봇용 안구에 있어서, 상기 제어부는, 외부장치와 통신을 하여 영상/음성 데이터를 상기 외부장치에 전송하게 하는 것을 특징으로 한다.
또, 본 발명은 영상/음성 기반 로봇용 안구에 있어서, 다른 로봇용 안구와 연결되어 구성되는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 영상/음성 기반 로봇용 안구에 의하면, 자체 메모리에 저장되는 시나리오 데이터를 이용하여 호스트에 의존하지 않고, 자체적으로 영상 및 음성을 분석하여 LED 모듈을 통해 다양한 안구의 감정을 표출할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 영상/음성 기반 로봇용 안구에 의하면, 카메라를 안구의 내측에 장착하고 상단에 투명파트를 설치함으로써, 카메라를 설치하되 미관상 아름다음을 유지할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 영상/음성 기반 로봇용 안구에 의하면, 마이크, 및 LED 모듈, 시나리오 데이터, 제어모듈 등을 안구 내에 장착함으로써, 안구 자체적으로 독립적인 반응을 하게 하여 안구의 회로 또는 배선 작업의 복잡성을 줄이고 전체적인 로봇 복잡도를 낮출 수 있는 효과가 얻어진다.
도 1은 본 발명의 일실시예에 따른 영상/음성 기반 로봇용 안구의 분해 사시도이다.
도 2는 본 발명의 일실시예에 따른 영상/음성 기반 로봇용 안구의 평면도이다.
도 3은 본 발명에 따라 안구형상에서 동공홈을 방사 형태로 굴곡을 만들어 실제감을 높인 일례 및, 동공홈에 도색을 한 일례를 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 로봇용 안구의 제어부의 구성에 대한 블록도이다.
도 5는 본 발명에 따라 로봇용 안구를 로봇에 적용시 안구의 이미지를 도시한 것이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명의 일실시예에 따른 영상/음성 기반 로봇용 안구의 구성을 도 1 내지 도 3을 참조하여 설명한다.
도 1 및 도 2에서 보는 바와 같이, 본 발명에 따른 영상/음성 기반 로봇용 안구(10)는 본체(11), 카메라(12), 마이크(13), LED 모듈(14), 및, 제어부(15)로 구성된다. 추가적으로, 투명파트(16)를 더 포함하여 구성될 수 있다.
본체(11)는 전체적으로 반구형이고, 중앙에 동공홈(11a)이 형성된다. 동공홈(11a)도 내측으로 오목하게 들어간 작은 반구형이다. 본체(11)는 안구를 형상화한 것으로서, 동공홈(11a)은 안구의 동공에 해당되는 부분이다.
카메라(12)는 동공홈(11a)에 삽입되어 설치된다. 특히, 카메라(12)는 동공홈(11a)의 중앙에 설치되는 것이 바람직하다.
마이크(13)는 본체의 상단에 맞닿는 동공홈(11a)의 원형 테두리 상에 설치된다. 마이크(13)는 안구의 가장 앞쪽에 설치하기 위한 것이다. 가장 앞쪽에 설치되어야 앞쪽에서 발생하는 소리(또는 음성)를 센싱할 수 있기 때문이다.
LED 모듈(14)은 동공홈(11a)의 내측에 부착된다. 다수의 LED 모듈(14)이 동공홈(11a)의 내측에 촘촘히 배열된다. 바람직하게는, 다수의 LED 모듈(14)은 동공홈(11a)의 내측에 원형으로 일정한 간격으로 배열된다.
LED 모듈(14)은 다양한 색상을 발광하는 모듈로서, 제어부(15)에 의해 출력될 색상, 세기 등이 제어된다.
한편, 도 1에서 보는 바와 같이, 투명파트(16)는 투명한 반구형의 덮개로서, 동공홈(11a)을 보호할 뿐만 아니라, 카메라(12)에서 촬상되는 영상을 왜곡하거나, LED 모듈(14)에서 출력되는 LED 광원을 왜곡할 수 있다. 따라서 카메라(12)가 왜곡되지 않도록 일정한 각도로 가공되어야 한다.
제어부(15)는 카메라(12) 및 마이크(13)로부터 각각 영상 및 음성을 수신한다. 또한, 제어부(15)는 LED 모듈(14)의 광원의 색 및 세기를 제어하여 표시하게 한다. 제어부(15)는 본체(11)의 하단 내부 또는 뒷면에 설치되는 것이 바람직하다.
제어부(15)는 마이크로프로세서 및 메모리 등으로 구성되는 프로세서 모듈로서, 메모리에 저장된 프로그램에 의해 실행된다. 제어부(15)는 카메라(12) 및 마이크(13)로부터 영상 및 음성 데이터를 수신하고, 상기 영상 및 음성을 분석하여 현재 주변 상황을 판단하고, 판단된 주변 상황에 대하여 LED 모듈(14)에 의해 반응한다.
즉, 제어부(15)는 상기 영상 및 음성에 대응하는 상황을 상기 시나리오 데이터베이스에서 검색하고, 상기 상황에 대응되는 LED 모듈의 제어 데이터를 상기 시나리오 데이터에서 검색하여, 검색된 제어 데이터에 따라 상기 LED 모듈을 제어한다.
이를 위해, 제어부(15)는 시나리오 데이터를 메모리에 저장한다.
한편, 도 3a에서 보는 바와 같이, 로봇용 안구(10)의 본체(11)에서 동공홈(11a)이 위치한 부위를 방사형태의 굴곡(18)을 만들어 실제감을 높였다.
또한, 3a에서 보는 바와 같이, 로봇용 안구(10)의 본체(11)에서 동공홈(11 a)의 부위 및 본체(11)의 외부 표면(17)에는 도색 처리를 한다.
한편, 상기 로봇용 안구(10)는 다른 로봇용 안구(10)들과 연결되어 구성될 수 있다. 즉, 로봇용 안구(10)를 2개 이상, 즉, n개를 서로 접속하는 것이 가능하다. 기본적인 처리는 각 로봇용 안구(10) 내에서 수행된다. 그리고 추가적인 처리가 필요로 할 때, 각 로봇용 안구(10)는 자신이 수집하거나 합성한 데이터를 다른 호스트(Host) 장치(또는 외부장치), 예를 들어, PC 등에 전송한다. 호스트 장치에서 다수의 안구(10)를 통하여 수집된 영상, 음성을 획득하고, 이들을 재가공 또는 재처리하여 보다 정확한 음향/영상을 출력할 수 있다.
다음으로, 본 발명의 일실시예에 따른 로봇용 안구(10)의 제어부(15)에 대하여 도 4를 참조하여 보다 구체적으로 설명한다.
도 4에서 보는 바와 같이, 본 발명에 따른 로봇용 안구의 제어부(15)는 입출력부(21), 전후 처리부(22), 처리부(23), 메모리부(24), 및, 모니터링부(25)로 구성된다.
입출력부(21)는 카메라(12) 및 마이크(13)를 통해 데이터를 입력받거나, LED 모듈(14)의 광원을 출력한다.
안구의 입출력부(21)에서는 인식부 및 출력부로 구분된다. 인식부에서는 카메라(12)를 통한 영상인식을 하는 영상인식부 및, 복수 마이크로폰 등 마이크(13)를 통한 음향 인식을 하는 음향인식부로 구성된다.
또한, 출력부에서는 LED 모듈(14)을 통해 안구의 감정을 표출하는 안구 감정 표출부, 및, 음향 또는 영상을 표출하기 위한 음향영상 출력부가 존재한다.
또한, 출력부에는 외부와 통신하기 위한 통신부가 존재한다. 상기 통신부를 통해서 복수의 안구 조합을 할 수 있다. 복수 안구를 통하여 좀 더 정밀한 음성 좌표 및 영상 데이터를 획득할 수 있다.
예를 들어, 안구의 기본 화각이 120도이면, 3-4개 안구 조합을 하여 360도 영상(또는 음성 좌표)이 획득될 수 있다.
마이크 수량은 음향 좌표 및 노이즈 필터를 위하여 다수에 마이크 입력으로 사용하며, 영상입력은 CMOS 기반 카메라(또는 CMOS 컬러 기반 카메라)를 사용한다. LED 또한 눈에 다양한 감정을 표출하기 위하여 다수를 포함한다.
또한, 입출력부(21)는 외부장치와 통신을 할 수 있는 외부통신부를 구비한다. 지원되는 통신은 네트워크, 직/병렬 통신을 지원하며 직렬 통신은 제어용 통신으로 CAN,UART,SPI 등으로 구현된다. 기본적으로 네트웍으로 연결되면 직,병렬 통신 연결되지 않아도 된다.
외부장치는 외부의 스피커, 디스플레이 장치, PC(개인용 컴퓨터) 등이다. 따라서 외부장치와 통신할 수 있어 영상/음성 합성된 데이터를 다른 외부장치에 전송하여, 해당 외부장치에 상기 합성된 데이터를 표시한다.
한편, 외부통신부는 안구 간에 통신도 지원한다. 인간형 로봇 외에 다른 로봇에서 이용시 좀 더 정밀하고 정확한 판단이 필요한 경우가 있다. 이때, 로봇 안구를 다수 장착할 수 있다. 이를 안구의 캐스케이딩(cascading)이라 한다. 다른 호스트 장치에서 다수의 영상/음성 데이터를 재가공할 수 있다.
전후 처리부(22)는 입출력부(21)에서 입력되거나 출력되는 데이터를 재처리한다. 즉, 전/후 처리는 I/O 또는 입출력부(21)에서 입력되거나 출력되는 데이터를 재처리하는 과정으로서, 대표적으로 노이즈 필터 및 영상/음향 생성 작업 등을 수행한다. 즉, 입출력부(21)를 통한 각종 데이터를 재가공한다.
구체적으로, 음성/음향(Sound)이 들어오면 각 음성/음향(Sound)에 크기 및 노이즈 정도를 1차 판단하고, 판단된 데이터를 기반으로 노이즈 필터 이득(gain)을 조절한다. 이를 통해, 노이즈 영역의 노이즈를 감쇠시키는 1차 목적이 있다.
또한, 각 마이크(Mic)별로 음성/음향(Sound)의 크기를 판단하여 1차 좌표를 획득한다. 해당 좌표 기준으로 지연시간(Time Delay) 및 위상 검출(Phase Detect)을 수행하여 좀 더 정밀한 좌표를 추출한다.
전후 처리부(22)는 이러한 과정을 처리부(23)의 처리 이전에 수행한다. 즉, 이것은 최대한 노이즈가 없는 최상에 음성/음향(Sound) 데이터를 처리부(23)에 넘겨 주기 위한 것이다.
또한, 전후 처리부(22)는 영상에 입력되는 데이터(Data) 품질을 판단하며 영상 처리 이전에 최상의 데이터를 입력받을 수 있도록 감도를 추적한다. 그리고 전후 처리부(22)는 추적된 데이터를 기반으로 안구의 LED 모듈(14)을 이용한 밝기 조절 및 카메라 센서에 각종 이득(Gain)을 조절하여 최상의 영상을 획득할 수 있다.
한편, 전후 처리부(22)는 처리부(23)로부터 받은 합성된 영상과 음성을 실제로 생성한다. 즉, 전후 처리부(22)는 음성/음향(Sound) 및 영상 데이터를 외부 장치(또는 입출력 장치)에 표출하는데 있어서, 1차 합성된 데이터 기반으로 실제 영상과 음성을 생성한다.
입출력부(21)에서는 디지털(Digital) 형식 또는 아날로그 형식으로 생성된 데이터를 변환만 진행한다. 예를 들어, 음성은 아날로그 음성 또는 I2S, 영상은 CVBS(NTSC),CCIR656,601)으로 변환되어 생성된다.
처리부(23)는 음성, 영상, 감정, 통신을 처리하고, 처리결과를 메모리에 저장하고, 합성기에 의해 합성된 영상 또는 음성 데이터를 전후 처리부(22)로 전송한다.
도 4와 같이, 처리부(23)는 음성/영상을 합성하기 위한 음향/영상 합성부, 통신 지원을 위한 통신처리부, 감정을 처리하는 감정처리부 등을 포함한다
즉, 처리부(23)에서는 음향, 영상, 감정, 통신을 처리한다. 처리된 결과는 메모리 및 통신에 적재된다. 또한, 음향/영상 합성부는 영상/음향 처리부에서 처리된 데이터를 합성부에서 합성하여 전후처리부(22)로 전송한다.
특히, 처리부(23)의 통신처리부는 통신 프로토콜을 생성하거나 분석한다. 즉, 외부 및 안구 사이 통신시 여러 통신 형식을 지원하기 위한 프로토콜 생성을 하여야 한다. 처리부(23)의 통신처리부는 입출력부(21)의 외부통신부를 통해 통신을 수행하되, 통신을 위한 프로토콜 생성 작업 등을 수행한다.
앞서 설명한 바와 같이, 지원되는 통신은 네트워크의 직/병렬 통신을 지원하며 직렬 통신은 제어용 통신으로 CAN,UART,SPI 등이 있다. 기본적으로 네트웍으로 연결되면 직,병렬 통신 연결하지 않아도 된다. 직 병렬 통신은 보조 통신으로 사용된다.
메모리부(24)는 음성, 영상, 감정, 통신을 처리하기 위한 시나리오를 저장한다. 메모리에서는 각종 DB Data 읽기/쓰기가 가능하며 저장된 DB기반 음향, 영상, 감정, 통신 처리를 하는데 DB데이터를 참조하여 처리한다.
메모리부(24)는 RAM, Flash Memory(PC HDD 역할 수행) 등으로 구현된다. 메모리부(24)에는 각종 프로그램이 적재되며 프로그램 이외 각종 DB가 적재되며 안구 처리기에서 필요로 하는 각종 DB 및 파라메터를 저장 및 Load 할 수 있다.
모니터링부(25)는 안구 내부 온도 및 전압, 통신 상태를 모니터링한다.
즉, 모니터링부(25)는 전원 관리 및 기타 부분을 관리하는 것으로서, 안구 내부 온도 및 전압을 모니터링한다. 또한, 외부와 연결되는 통신을 통해서도 모니터링 한다.
한편, 모니터링부(25)에서 다른 안구와 캐스케이딩(cascading)으로 연결할 수 있어 다수 안구와 접속하는 것을 모니터링 한다. 즉, 앞서 설명한 바와 같이, 외부통신부를 통해 안구 간에 통신을 수행한다. 좀 더 정밀하고 정확한 판단을 위해, 로봇 안구를 캐스케이딩(cascading)하여 다수 장착할 수 있다. 모니터링부(25)에서 다른 호스트 장치에서 다수의 영상/음성 데이터를 재가공할 수 있도록 자신의 영상/음성 데이터를 전송하게 한다.
도 5는 로봇용 안구(10)를 로봇에 적용시켰을 경우 이미지를 도시한 것이다. 인간/동물의 눈과 거의 비슷한 결과 및 다양한 안구 감정 표현을 할 수 있다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 로봇용 안구 11 : 본체
11a : 동공홈
12 : 카메라 13 : 마이크
14 : LED 모듈 15 : 제어부
16 : 투명파트 17 : 표면
18 : 굴곡
21 : 입출력부 22 : 전후 처리부
23 : 처리부 24 : 메모리부
25 : 모니터링부

Claims (6)

  1. 반구형이고, 중앙에 반구형의 홈(이하 동공홈)을 형성하는 본체;
    상기 동공홈에 삽입되어 설치되는 카메라;
    본체의 상단에 맞닿는 상기 동공홈의 원형 테두리에 설치되는 마이크;
    상기 동공홈의 내측에 부착되는 다수의 LED 모듈; 및,
    상기 카메라 및 상기 마이크로부터 각각 영상 및 음성을 수신하고, 상기 LED 모듈의 광원의 색 및 세기를 제어하여 표시하는 제어부를 포함하고,
    상기 제어부는,
    상기 카메라 및 상기 마이크를 통해 데이터를 입력받거나, 상기 LED 모듈의 광원을 출력하는 입출력부;
    상기 입출력부에서 입력되거나 출력되는 데이터를 재처리하는 전후 처리부;
    음성, 영상, 감정, 통신을 처리하고, 처리결과를 메모리에 저장하고, 합성기에 의해 합성된 영상 또는 음성 데이터를 상기 전후 처리부로 전송하는 처리부;
    음성, 영상, 감정, 통신을 처리하기 위한 시나리오를 저장하는 메모리부; 및,
    안구 내부 온도 및 전압, 통신 상태를 모니터링하는 모니터링부를 포함하는 것을 특징으로 하는 영상/음성 기반 로봇용 안구.
  2. 제1항에 있어서,
    상기 로봇용 안구는, 상기 동공 홈을 덮는 반구형의 투명파트를 더 포함하는 것을 특징으로 하는 영상/음성 기반 로봇용 안구.
  3. 제1항에 있어서,
    상기 제어부는 상기 영상 및 음성에 대응하는 상황을 시나리오 데이터베이스에서 검색하고, 상기 상황에 대응되는 LED 모듈의 제어 데이터를 상기 시나리오 데이터베이스에서 검색하여, 검색된 제어 데이터에 따라 상기 LED 모듈을 제어하는 것을 특징으로 하는 영상/음성 기반 로봇용 안구.
  4. 삭제
  5. 제1항에 있어서,
    상기 제어부는, 외부장치와 통신을 하여 영상/음성 데이터를 상기 외부장치에 전송하게 하는 것을 특징으로 하는 영상/음성 기반 로봇용 안구.
  6. 제1항에 있어서,
    다른 로봇용 안구와 연결되어 구성되는 것을 특징으로 하는 영상/음성 기반 로봇용 안구.
KR1020120024274A 2012-03-09 2012-03-09 감정표현이 가능한 영상/음성 기반 로봇용 안구 KR101334646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120024274A KR101334646B1 (ko) 2012-03-09 2012-03-09 감정표현이 가능한 영상/음성 기반 로봇용 안구

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120024274A KR101334646B1 (ko) 2012-03-09 2012-03-09 감정표현이 가능한 영상/음성 기반 로봇용 안구

Publications (2)

Publication Number Publication Date
KR20130103001A KR20130103001A (ko) 2013-09-23
KR101334646B1 true KR101334646B1 (ko) 2013-11-29

Family

ID=49452505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024274A KR101334646B1 (ko) 2012-03-09 2012-03-09 감정표현이 가능한 영상/음성 기반 로봇용 안구

Country Status (1)

Country Link
KR (1) KR101334646B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746908B1 (ko) 2014-11-28 2017-06-14 금오공과대학교 산학협력단 애견 감정 표현 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200386045Y1 (ko) * 2005-01-03 2005-06-07 정재영 임베디드 시스템기반의 감정표현 휴먼노이드 로봇
KR100813668B1 (ko) * 2006-12-20 2008-03-14 한국생산기술연구원 안드로이드 로봇의 감정표현 방법
KR20110076429A (ko) * 2009-12-29 2011-07-06 한국생산기술연구원 피부색 변화를 이용한 안드로이드 로봇의 감정 표현 장치 및 방법 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200386045Y1 (ko) * 2005-01-03 2005-06-07 정재영 임베디드 시스템기반의 감정표현 휴먼노이드 로봇
KR100813668B1 (ko) * 2006-12-20 2008-03-14 한국생산기술연구원 안드로이드 로봇의 감정표현 방법
KR20110076429A (ko) * 2009-12-29 2011-07-06 한국생산기술연구원 피부색 변화를 이용한 안드로이드 로봇의 감정 표현 장치 및 방법 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
http://www.trust.com/products/product.aspx?artnr=16428 (2010.01.28.). *

Also Published As

Publication number Publication date
KR20130103001A (ko) 2013-09-23

Similar Documents

Publication Publication Date Title
US10733992B2 (en) Communication device, communication robot and computer-readable storage medium
US10433044B2 (en) Headphones with interactive display
US9479736B1 (en) Rendered audiovisual communication
JP6030582B2 (ja) 視覚障害を有する個人のための光学装置
US20230045237A1 (en) Wearable apparatus for active substitution
US20170303052A1 (en) Wearable auditory feedback device
US11626127B2 (en) Systems and methods for processing audio based on changes in active speaker
CN117234332A (zh) 头戴式计算系统
JP2007069302A (ja) 動作表出装置
AU2018329647B2 (en) Headphones with interactive display
US11929087B2 (en) Systems and methods for selectively attenuating a voice
US11967018B2 (en) Inferred shading
US11580727B2 (en) Systems and methods for matching audio and image information
US11432067B2 (en) Cancelling noise in an open ear system
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2017056520A1 (ja) ロボット装置
KR101334646B1 (ko) 감정표현이 가능한 영상/음성 기반 로봇용 안구
US20190232501A1 (en) Communication robot and control program therefor
WO2021142242A1 (en) Systems, and programs for visualization of auditory signals
EP4037338A1 (en) Systems and methods for transmitting audio signals with varying delays
US20220172736A1 (en) Systems and methods for selectively modifying an audio signal based on context
US20220261587A1 (en) Sound data processing systems and methods
US11234090B2 (en) Using audio visual correspondence for sound source identification
KR20220060535A (ko) 사용자 귀의 식별된 특징들을 사용한 오디오 출력의 개인화된 균등화
US11830182B1 (en) Machine learning-based blood flow tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 7