KR100591465B1 - 광학 판독 장치에 의해 선택된 동작 포함 멀티미디어콘텐츠를 재생하는 네트워크 기반 로봇 시스템 - Google Patents

광학 판독 장치에 의해 선택된 동작 포함 멀티미디어콘텐츠를 재생하는 네트워크 기반 로봇 시스템

Info

Publication number
KR100591465B1
KR100591465B1 KR1020060002553A KR20060002553A KR100591465B1 KR 100591465 B1 KR100591465 B1 KR 100591465B1 KR 1020060002553 A KR1020060002553 A KR 1020060002553A KR 20060002553 A KR20060002553 A KR 20060002553A KR 100591465 B1 KR100591465 B1 KR 100591465B1
Authority
KR
South Korea
Prior art keywords
publication
code
robot
robot terminal
server
Prior art date
Application number
KR1020060002553A
Other languages
English (en)
Inventor
김경진
Original Assignee
주식회사 아이오. 테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이오. 테크 filed Critical 주식회사 아이오. 테크
Application granted granted Critical
Publication of KR100591465B1 publication Critical patent/KR100591465B1/ko
Priority to US11/640,884 priority Critical patent/US20070166004A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/14—Disinfection, sterilisation or deodorisation of air using sprayed or atomised substances including air-liquid contact processes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/01—Deodorant compositions
    • A61L9/013—Deodorant compositions containing animal or plant extracts, or vegetable material
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2209/00—Aspects relating to disinfection, sterilisation or deodorisation of air
    • A61L2209/10—Apparatus features
    • A61L2209/13—Dispensing or storing means for active compounds
    • A61L2209/134—Distributing means, e.g. baffles, valves, manifolds, nozzles

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Botany (AREA)
  • Zoology (AREA)
  • Toys (AREA)

Abstract

본 발명은 광학 판독 장치에 의해 선택된 동작 포함 멀티미디어 콘텐츠를 재생하는 네트워크 기반 로봇 시스템에 관한 것이다.
본 발명은, 로봇 단말기와 서비스 서버와 광학 코드 인식장치를 포함하는 네트워크 기반 로봇 시스템에 있어서,
상기 광학 코드 인식 장치는 사용자가 선택한 출판물의 제목 또는 내용과 관련되게 출판물에 인쇄된 코드를 인식하여 상기 로봇 단말기로 송신하고;
상기 로봇 단말기는 상기 코드를 수신하여 상기 서버로 송신하며;
상기 서비스 서버는 로봇 단말기로부터 원격지에 설치되고, 서로 동기되는 동작 제어 데이터, 음성 데이터 또는 영상 데이터들이 하나의 패킷에 포함되도록 각 출판물 제목 또는 각 출판물의 내용에 대응하는 동작 포함 멀티미디어 데이터 패킷들을 형성하여 저장하며;
상기 서버는, 상기 코드를 통해, 사용자가 선택한 출판물의 제목 또는 내용에 대응하는 동작 포함 멀티미디어 데이터 패킷들을 독출하여 상기 로봇 단말기로 송신하고, 상기 로봇 단말기는 상기 서버에서 송신된 동작 포함 멀티미디어 데이터 패킷들을 다운 버퍼에 차례로 저장하고 일정 시간 간격으로 상기 다운 버퍼에서 상기 동작 포함 멀티미디어 데이터 패킷을 차례로 독출하여 재생하는 것을 특징으로 한다.
이상과 같은 본 발명을 이용하면, 저가의 홈로봇의 제공이 가능하게 하며, 이 홈로봇에 의해 광학 인식 장치가 지정한 그림의 코드에 대응하는 음성/영상 재생과 함께 관련 동작이 이루어지게 하며, 출판물이 변경되더라도 제대로 관련 음성/영상/동작 재생이 가능하게 된다.
로봇 단말기, 광학 판독 장치, 출판물

Description

광학 판독 장치에 의해 선택된 동작 포함 멀티미디어 콘텐츠를 재생하는 네트워크 기반 로봇 시스템{ Network Based Robot System Playing Multimedia Content having Motion Information Selected by the Optical Identification Device}
도1은 종래기술에 따른 홈로봇 시스템.
도2는 종래기술에 따른 광학 판독 장치에 의한 교육 시스템.
도3은 본 발명의 전체적인 구성도.
도4는 본 발명에서 사용되는 바코드 체계.
도5는 본 발명에 따라 서버에 저장되는 바코드에 따른 데이터 형태.
도6는 본 발명에 따른 동작 순서도.
도7은 본 발명에서 적용되는 복합 전송 방식을 도시함.
도8은 도7의 복합 전송 방식에서 사용되는 패킷 데이터 형태를 도시함.
도9은 동작 제어 데이터의 형태를 도시함.
도10은 본 발명에서 형성되는 동작 포함 멀티미디어 패킷 데이터들을 도시함.
도11은 본 발명에서 사용되는 동작 포함 멀티미디어 패킷 데이터를 형성하는 과정을 도시함.
도12는 출판물 변경 메뉴가 포함된 본 발명에 따른 출판물의 표지를 도시함.
본 발명은 광학 판독 장치에 의해 선택된 동작 포함 멀티미디어 콘텐츠를 재생하는 네트워크 기반 로봇 시스템에 관한 것이다.
미래에는 다양한 홈로봇이 각 가정마다 보급되어, 홈로봇을 이용하여 다양한 기능을 수행하게 되는데, 그 대표적인 이용분야의 하나가 구연동화 들려주기, 영어 교육 등의 음성 및 영상 콘텐츠(이하 멀티미디어 콘텐츠)의 재생에 의한 교육 분야이다.
그리고, 이러한 구연동화 및 영어 학습용 음성과 영상의 재생시에 홈로봇이 음성 및 영상 재생 뿐만 아니라, 이 음성 및 영상과 관련된 동작(예를 들면, "안녕하세요?"라는 음성이 나오면 홈로봇이 인사하는 동작을 하거나, 문장을 발성시 문장에 맞게 입을 개폐하는 동작 등)을 하게 하여, 구연동화나 영어학습용 콘텐츠를 이용하는 유아나 어린이에게 보다 더 흥미를 유발하도록, 멀티미디어 콘텐츠에 동작 제어 데이터를 삽입한 동작 포함 멀티미디어 콘텐츠 서비스도 가능하다.
그런데, 이러한 동작 포함 멀티미디어 서비스를 위한 종래의 네트워크 기반 홈로봇 시스템(도1)에서는, 사용자가 홈로봇(31) 또는 PC를 통해 서비스 서버(32)에 접속하여 홈페이지에서 특정 구연동화나 영어 학습 콘텐츠 서비스를 선택하거나 홈로봇(31)을 통해 음성 명령을 하여 서비스 서버(32)의 음성 인식 엔진(33)에 의 해 음성명령이 인식되어 특정 구연동화나 영어 학습 콘텐츠 서비스를 선택하면, 이 서비스 서버(32)에 저장된 이 콘텐츠를 위한 음성파일(문장의 경우에는 음성 합성 엔진(TTS엔진)(34)에 의해 음성파일로 변환됨)과 영상 파일과 동작 파일이 홈로봇(31)에 전달되어 음성파일로 발성을 하면서 영상 파일로 영상을 재생하면서 동작을 하게 하여 구연동화나 영어학습 콘텐츠를 재생해 주며, 홈로봇(31) 자신이 홈로봇(31)의 상태를 감시하여 예를 들어, 장애물 근접시에는 내장된 장애물 회피 알고리즘에 의해 장애물을 회피하도록 제어하고, 배터리 방전시에는 내장된 음성 경고 파일에 의해 경고 발성을 하는 제어를 담당한다.
결국, 도1에 따른 종래기술에서는 홈로봇(31)이 전송 받은 음성/영상/동작 파일을 통해 음성/영상/동작 재생을 하면서, 홈로봇(31) 자신의 상태를 감시하여 필요한 조치를 해야 하기 때문에, 전송 받은 대용량의 음성/영상/동작 파일의 저장 및 재생과, 홈로봇(31)의 상태 감시와 조치를 위해서는 거의 PC수준의 대용량의 처리장치와 저장장치(메모리, HDD 등)가 필요하게 되어 홈로봇의 가격이 상당히 고가이게 된다.
한편, 도2에서와 같이 출판물(35)에 다양한 대상의 그림들(예를들면, 각종 사람의 동작에 관한 그림, 동물 형상에 대한 그림, 글자 그림 등)을 인쇄하고 특정 그림마다 대응하는 미세한 바코드를 이 특정 그림마다 함께 인쇄하여, 사용자가 광학적인 판독 장치(36)(예를들면, 2D 바코드 판독장치나 미국특허출원번호 2003/0133164A1에 기재된 SONIX TECHNOLOGY사의 판독장치)를 이 출판물의 특정 그림에 근접하거나 접촉하여 선택을 하면, 이 특정 그림에 함께 인쇄된 바코드를 인 식함으로써, 이 인식된 바코드의 정보가 음성 및/또는 영상 재생 장치(37)로 전달되어 이 바코드에 대응하는 음성 및/또는 영상이 스피커(38) 또는 모니터(39)에 표시되어 예를 들어 "선택한 그림은 인사하는 동작입니다. 인사는 영어로 greeting입니다. 자 greeting이라고 따라 해 보세요"라는 스피커 발성과 함께 인사를 하는 동작을 모니터 영상으로 재생되게 하는 교육 시스템이 있다.
그러나, 이러한 종래기술에 따른 교육 시스템에서도 발성 및/또는 영상 재생만 할뿐 관련 동작을 실물에 의해 재현해 주지 않아 보다 현장감 있는 교육이 되지 못한다.
그리고, 이러한 교육 시스템에서는 각 출판사에서 자체적으로 개발한 음원과 영상이 음성/영상 재생 장치(37) 내에 존재하기 때문에, 사용자는 책과 함께 고가의 음성/영상 재생 장치(37)를 구매해야 하므로, 사용자에게 부담을 가중시킨다.
또한, 출판사마다 또는 출판물마다 상이한 바코드 체계를 사용하기 때문에 출판물(35)은 이에 대응하는 특정 음성/영상 재생장치(36)를 사용해야 제대로 재생이 된다. 그래서, 동일한 음성/영상 재생 장치(36)에 다른 회사의 출판물을 사용하면 엉뚱한 음성/영상 재생이 되게 된다.
본 발명은 상기의 종래기술의 문제점을 감안하여, 저가의 홈로봇의 제공이 가능하게 하며, 이 홈로봇에 의해 광학 인식 장치가 지정한 그림/문장의 코드에 대응하는 음성/영상 재생과 함께 관련 동작이 이루어지게 하며, 출판물이 변경되더라도 제대로 관련 음성/영상/동작 재생이 가능하게 하는 방법을 제시한다.
먼저, 본 발명의 시스템의 전체적인 구성 및 동작을 도3을 참고로 하여 설명하기로 한다. 그리고, 본 발명에 따른 홈로봇은 재생과 구동을 위한 기본적인 구성만 가지고 있기 때문에 컴퓨터 시스템에서 단말기와 같은 역할을 하므로, 이하에서는 로봇 단말기라고 칭한다.
각 가정의 로봇 단말기(1-1, 1-2 .... 1-N)에는 관절이나 바퀴를 구동하기 위한 모터(2-1, 2-2 .... 2-N)와, 모터 및 릴레이(2-1, 2-2 .... 2-N)를 구동하기 위한 구동회로(3-1, 3-2 .... 3-N)와, 마이크 등의 센서들(4-1, 4-2 .... 4-N)과, 센서들(4-1, 4-2 .... 4-N)에서의 센싱 신호를 서버(7)로 전송하고 서버(7)에서의 데이터를 로봇 단말기(1-1, 1-2 .... 1-N)에서 수신하며 바코드 수신장치(11-1, 11-2....11-N)에서 수신된 바코드를 서버(7)로 전송하는 송수신 장치(5-1, 5-2 .... 5-N)와, 서버(7)에서 전달되는 음성 파일을 발성하기 위한 D/A 변환기(6-1, 6-2 .... 6-N)와 스피커(10-1, 10-2 ... 10-N), 출판물(P1, P2 .... Pn)에서 광학 판독장치(D1, D2 ....Dn)을 통해 판독된 바코드를 무선/유선으로 수신하는 바코드 수신 장치(11-1, 11,2, 11-N), 로봇 단말기(1-1, 1-2 .... 1-N)에 영상 재생용 모니터(미도시)를 가지고 있을 때 전달되는 영상 파일을 모니터에 표시하기 위한 영상 표시 제어 장치(미도시)를 포함하고 있다.
이러한 각각의 로봇 단말기(1-1, 1-2 .... 1-N)의 송수신 장치(5-1, 5-2 .... 5-N)는 무선으로 각각에 IP주소가 할당된 홈게이트웨이(8-1, 8-2 .... 8-N)에 연결되고 홈게이트웨이(8-1, 8-2 .... 8-N)는 서버(7)에 접속된다.
서버(7)는 바코드에 대응하는 음성/영상/동작 파일을 저장하고, 홈게이트웨이(8-1, 8-2 .... 8-N)를 통해 각 로봇 단말기(1-1, 1-2 .... 1-N)의 각종 센서(4-1, 4-2 .... 4-N)에서의 센싱신호를 수신하여 필요한 처리와 분석을 하며, 로봇 단말기(1-1, 1-2 .... 1-N)의 바코드 수신장치(11-1, 11-2....11-N)를 통해 수신된 바코드 정보에 대응하는 음성 파일과 영상 파일을 전송하고 이 음성/영상 파일과 동기되는 동작 제어 데이터(아래에서 설명하는 각각의 패킷 재생 시간 간격 동안, 입술 및 각 관절의 움직임을 제어하는 모터 또는 릴레이의 구동 제어 데이터)를 송신한다.
그래서, 송수신 장치(5-1, 5-2 .... 5-N)를 통해 동작 제어 데이터를 수신한 로봇 단말기(1-1, 1-2 .... 1-N)는, 이 동작 제어 데이터를 입술, 관절 또는 바퀴용 모터/릴레이 구동회로(3-1, 3-2 .... 3-N)에 보내서, 이 모터/릴레이 구동회로(3-1, 3-2 .... 3-N)에서 모터/릴레이(2-1, 2-2 .... 2-N)를 구동하여 로봇 단말기(1-1, 1-2 .... 1-N)가 적절한 동작을 하게 한다.
또한, 서버(7)는 TTS 엔진(9)에 의해 문자를 음성 파일로 변환하거나 녹음을 하여 음성 파일을 형성하여, 형성된 음성 파일을 로봇 단말기(1-1, 1-2 .... 1-N)로 전송하면, 이 음성 파일을 수신한 로봇 단말기(1-1, 1-2 .... 1-N)가 D/A 변환기(6-1, 6-2 .... 6-N)에 의해 음성 파일을 아날로그 음성 신호로 변환하여 스피커(10-1, 10-2 ... 10-N)에 의해 발성을 하게 된다.
또한, 동작 또는 발성 관련 영상이 있는 경우에는 수신된 영상 파일을 영상 표시 제어 장치로 송신하여 로봇 단말기(1-1, 1-2 .... 1-N)의 모니터에 관련 영상 을 표시한다.
이상과 같이, 로봇 단말기(1-1, 1-2 .... 1-N)에는 서버(7)와의 데이터 송수신을 위한 송수신 장치(5-1, 5-2 .... 5-N)와, 마이크 등의 센서들(4-1, 4-2 .... 4-N)과, 모터/릴레이(2-1, 2-2 .... 2-N)와, 모터/릴레이 구동회로(3-1, 3-2 .... 3-N)와, D/A변환기(6-1, 6-2 .... 6-N)와, 스피커(10-1, 10-2 ... 10-N)와, 바코드 수신장치(11-1, 11-2....11-N) 및/ 또는 영상 표시 제어장치와 모니터만을 설치하고, 로봇 단말기(1-1, 1-2 .... 1-N)의 동작을 위한 동작 제어 데이터의 형성, 음성파일 및/또는 영상 파일의 형성을 위한 대용량의 데이터 처리는 서비스 서버(7)에서 수행하게 한다면, 로봇 단말기(1-1, 1-2 .... 1-N)에는 대용량의 중앙처리장치나 메모리가 필요 없게 되어, 저렴한 가격의 홈로봇을 제공하는 것이 가능해진다.
다음으로, 출판물이 변경되더라도 제대로 관련 음성/영상/동작 재생이 가능하게 하는 바코드 체계에 대해 설명하기로 한다.
위에서 설명한 바와 같이, 종래기술에 따른 바코드 체계는 출판사마다 또는 출판물 마다 상이하고 음성/영상 재생 장치에는 바코드에 대응하는 음성/영상이 저장되어 있기 때문에, 예를 들어 동일한 음성/영상 재생 장치에 다른 회사의 출판물을 사용하면 이 출판물의 해당 바코드와 전혀 관련이 없는 음성/영상 재생이 된다.
따라서, 출판물이 변경되더라도 이렇게 변경된 출판물을 서버(7)가 인식하 여, 서버(7)가 변경된 출판물에 대응하는 음성/영상/동작 데이터를 로봇 단말기(1)로 전송하여 재생되게 할 수 있는 바코드 체계가 필요하다.
이제, 본 발명에서 사용되는 바코드 체계에 대해 설명하기로 한다.
본 발명을 적용하는 출판물은 주로 유아 또는 아동 교육용이기 때문에, 그 페이지가 수십 페이지(약7비트(128가지)로 구별 가능) 이내이고, 출판물의 개수도 많아야 수백 종류(10비트(1024가지)로 구별 가능)이며, 각 페이지에서의 그림 또는 문장의 라인 수는 많아야 30-50개 (6비트(64가지)로 구별 가능)하다.
그래서, 특정 출판물의 특정 페이지에 있는 특정 그림/문장을 광학 인식 장치(D)로 선택했을 때, 바로 특정 출판물의 특정 페이지에 있는 특정 그림/문장이라는 것을 인식하기 위한 바코드는 최악의 경우에 23 비트(7비트+10비트+6비트)의 바코드가 필요하다. 물론, 출판사를 구별하기 위한 비트를 추가하면 23비트보다 더 많은 비트수를 가진 바코드가 필요하다.
그러나, 23비트의 바코드를 인식하기 위해서는 바코드가 출판물의 표면에 정밀하게 인쇄되어야 하고, 매우 정밀한 광학 판독장치(D)가 필요하게 된다.
또한, 이러한 정밀한 광학 판독장치(D)를 사용하기 위하여 정밀하게 인쇄를 하더라도 출판물이 시간이 지나면 노후화되어 인쇄 상태가 나빠지게 되어 이렇게 정밀한 광학 판독장치(D)를 사용해도 바코드 판독이 불가능해지게 된다.
따라서, 통상의 광학 판독 장치(12-20 비트 정도를 판독함)로도 특정 출판물을 구별하고, 특정 그림 또는 문장 라인을 구별하는 방법이 필요하다.
예를 들어, 12비트(4096가지를 구별함)의 바코드를 판독하는 광학 판독장치(D)를 사용하는 경우에는 도4에서와 같은 바코드 영역 테이블이 사용된다.
도4에 도시된 바와 같이, 바코드 0 에서 99까지는 서비스와 관련된 공통적인 제어를 위한 제어 바코드로 사용되는 영역이고 예를들면 소리의 크기와 뮤트 기능, 언어의 종류, 음성 안내, 동작정지/실행 등의 각종 제어용 바코드가 존재한다. 바코드 100에서 1999까지는 출판물의 내용(출판물의 각 페이지에 있는 그림 또는 문장)을 구별하는 내용 바코드 영역이고, 바코드 2000에서 4095까지는 출판물을 구별하는 출판물 바코드 영역이다.
그래서, 출판물의 표지 또는 내용의 각 페이지의 여백에는 출판물을 구별하기 위하여 2000에서 4095 까지의 값을 가지는 출판물 바코드(Cp)가 인쇄되고, 각 페이지의 그림 또는 문장에는 이 그림 또는 문장을 구별하기 위하여 이 그림 또는 문장과 함께 100에서 1999 까지의 값을 가지는 내용 바코드(Cm)가 인쇄되며, 표지 또는 내용의 각 페이지의 특정 부분에는 언어를 선택하거나 소리 음량을 제어하기 위하여 이 제어를 위한 그림 또는 문장과 함께 0에서 99까지의 값을 가지는 제어 바코드(Cc)가 인쇄된다.
또한 서버(7)에는 출판물 바코드(Cp)마다에 대응하는 동작 포함 멀티미디어 파일(Fp)와, 각종 내용 바코드(Cm)에 대응하는 동작 포함 멀티미디어 파일(관련 음성과 영상과 동작 관련 데이터가 저장된 파일을 칭함)(Fm)이 도5(a)와 같은 형식으로 저장된다. 한편, 다양한 언어 지원 기능이 있는 경우에는 각 페이지의 특정 부분에 언어 선택용 그림을 설치하고, 도5(a)와 같은 파일이 언어마다 형성되어야 한다.
도5(a)에서 Cp(k)는 k(2000<k<4095) 값을 가지는 출판물 바코드(Cp)를 의미하고, Fp(k)는 출판물 바코드(Cp)가 k인 출판물의 표지에 대응하는 동작 포함 멀티미디어 파일을 의미하며, Fm1(k), Fm2(k), Fm3(k).... 은 출판물 바코드(Cp)가 k인 출판물의 1, 2, 3....번째 내용(각 페이지에 있는 그림 또는 문장)에 대응하는 동작 포함 멀티미디어 파일을 의미한다.
그리고, 사용자에게 다양한 안내(예를 들면, 오류를 지적하고 바른 사용법을 동작/음성/영상으로 안내함)를 하기 위한 제어 바코드에 대응하는 동작 포함 멀티미디어 데이터 패킷들이 도5(b)와 같은 형식으로 저장된다.
여기서 Cc(k)는 k(0<k<99) 값을 가지는 제어 바코드(Cc)를 의미하고, Fc(k)는 제어 바코드(k)에 대응하는 안내용 동작 포함 멀티미디어 데이터 패킷을 의미한다.
이제, 이상과 같이 출판물 바코드(Cp)와 내용 바코드(Cm)가 삽입된 각각의 출판물을 사용자가 광학 판독장치(D)를 사용하여 지칭하였을 때, 지칭된 출판물, 내부 그림 또는 문장에 해당하는 음성/영상/동작 재생이 이루어지는 과정을 도 3 내지 도6을 참고로 하여 설명하기로 한다.
먼저, 사용자가 광학 판독 장치(D)로"동물의 세계"에 대한 출판물(P(2500))의 표지 또는 각 페이지의 여백을 선택하지 않고 바로 내용의 특정 그림/문장을 선택하면, 인식된 바코드가 무선으로 로봇 단말기(1)를 거쳐 서버(7)로 전달된다. 그 러면, 서버(7)는 이 바코드가 먼저 선택되어야 하는 출판물 바코드가 아니라 내용 바코드이므로, 사용자가 먼저 표지 또는 각 페이지의 여백을 선택하도록 안내를 하기 위하여 서버(7)에 저장된 안내용 동작 포함 멀티미디어 데이터 패킷을 로봇 단말기(1)로 전송한다(S1).
이제, 사용자가 이 안내용 동작 포함 멀티미디어 패킷에 따른 동작/음성/영상에 순응하여 "동물의 세계"에 대한 출판물(P(2500))의 표지 또는 각 페이지의 여백을 광학 판독 장치(D)로 선택하면 광학 판독장치(D)에 의해 인식된 바코드가 무선으로 로봇 단말기(1)에 전달되어 다시 무선으로 서버(7)로 전달된다(S2). 서버(7)는 이 바코드의 값을 판독하면 바코드 값이 출판물 바코드를 나타내는 2000에서 4095사이의 값인 2500 이므로 서버(7)에서는 출판물 바코드(Cp)로 인식한다(S3).
그러면, 서버(7)는 출판물(P(2500))의 제목에 대응하는 동작 포함 멀티미디어 파일(Fp(2500))을 로봇 단말기(1)에 전송하여 로봇 단말기(1)에서 "동물의 세계에 대해 공부해 볼까요?"라는 음성과 함께 관련 영상(예를들면, 동물이 있는 평야 영상)과 동작(예를 들면, 소개할 때의 제스처에 해당하는 동작)을 재생되게 한다(S4).
다음으로, 사용자가 특정 출판물(P(2500))의 특정 페이지의 특정 그림 또는 문장(예를 들어, 바코드 값이 1000인 사자 그림)바코드를 광학 인식 장치(D)로 선택하면 광학 인식 장치(D)에 의해 인식된 바코드가 로봇 단말기(1)를 거쳐 서버(7)로 전달되면(S5). 서버(7)에서는 이 바코드 값이 내용 바코드를 나타내는 100-1999의 값인 1000 이므로 내용 바코드(Cm)로 인식하여(S6), 이 내용 바코드에 대응하는 동작 포함 멀티미디어 파일(Fm1000(2500))이 로봇 단말기(1)로 전송되어 로봇 단말기(1)에서 "사자는 용맹하고 무서운 동물입니다. 사자는 초원에 무리를 지어 살고 있습니다. ~ ~ ~"라는 사자에 대한 안내 음성이 나오면서 관련 영상(예를들면, 사자 영상)과 동작(예를들면, 용맹과 무서움에 관련된 동작)이 재생되게 된다.(S7).
이와 같은 방식으로 이 출판물(P(2500))의 다른 그림 또는 문장(예를 들어, 바코드가 1500인 호랑이 그림)을 선택하면 이 그림 또는 문장과 함께 인쇄된 바코드가 서버(7)로 전달되어 서버(7)가 이 바코드가 내용 바코드(Cm)값에 해당하는 100에서 1999사이의 값이므로 내용 바코드(Cm)이라고 인식하여 이전에 인식된 출판물 바코드(Cp(2500))에서 이 내용 바코드에 대응하는 내용 바코드용 동작 포함 멀티미디어 파일(Fm1500(2500))이 재생되게 된다.
이때, 출판물(P(2500))의 표지나 여백을 선택하더라도 이전에 인식된 출판물 바코드(Cp(2500))와 동일하므로 동일한 출판물로 인식을 하여 출판물 제목에 대응하는 동작 포함 멀티미디어 파일(Fp(2500))의 재생을 하지 않게 된다.
다음으로, 사용자가 "식물의 세계"에 대한 학습 출판물(P(3000))을 학습을 위해 식물 학습 출판물(P(3000))의 표지 또는 각 페이지의 여백을 광학 판독 장치(D)로 선택하면, 위의 출판물(P(2500)에서와 동일한 방식으로 서버(7)는 이 바코드가 출판물 바코드라는 것을 인식하여 이 출판물 바코드(Cp(3000))가 직전에 인식된 출판물 바코드(Cp(2500))와 상이한 경우에는 출판물이 변경되었다고 인식을 하여 이 출판물(P(3000))의 제목에 대응하는 동작 포함 멀티미디어 파일(Fp(3000))이 로봇 단말기(1)로 전송되어 예를들면 "식물의 세계에 대해 공부해 볼까요"라는 음성과 함께 관련 영상(예를들면, 숲의 영상)과 동작(예를들면, 소개할 때의 제스처에 해당하는 동작)을 한다.
이어서, 이 출판물(P(3000))내의 다양한 그림 또는 문장(예를 들어 바코드 800에 해당하는 사과 그림)을 선택하면 서버(7)는 인식된 바코드가 내용 바코드(Cm)이므로 이 내용 바코드(Cm)에 해당하는 동작 포함 멀티미디어 파일(Fm800(3000))을 로봇 단말기(1)로 전송하면 로봇 단말기(1)에서는"사과나무는 우리에게 맛있는 사과를 주는 나무입니다.~ ~ ~"라는 사과나무에 대한 안내 음성이 나오면서 관련 영상(사과나무 영상)과 동작(맛있다에 관련된 동작)이 재생되게 된다.
이상과 같은 방식으로, 사용자가 광학 판독 장치(D)를 이용하여 출판물의 표지/여백과 내용의 그림/문장을 자유자재로 선택하더라도, 서버(7)가 자동적으로 출판물을 인식할 수 있게 되어, 현재 사용자가 선택한 출판물의 제목에 대한 동작 포함 멀티미디어 파일(Fp)과, 사용자가 선택한 그림/문장에 대응하는 동작 포함 멀티미디어 파일(Fm)이 로봇 단말기(1)로 전송되어 재생이 되므로, 출판물이 변경되더라도 로봇 단말기(1)(음성/영상/동작 재생 장치가 포함됨)에서 제대로 관련 음성/영상/동작이 재생되게 된다.
다음으로, 음성 및/또는 영상과 동기된 동작을 수행하기 위하여, 본 발명에서 수행되는 서비스 서버(7)와 로봇 단말기(1)간의 데이터 송수신 방법에 대해 설명하기로 한다.
일반적인 로봇과 달리 네트워크에 연결된 로봇 단말기(1)를 서비스 서버(7)에서 원격제어 하기 위해서는 두 가지 측면이 고려되어야 한다. 첫째 네트워크를 통한 데이터 전송시 발생하는 시간지연과 도착시간의 불균일성이고, 둘째는 로봇 단말기(1)가 이동하거나 사람과의 상호 작용시에, 실시간적으로 반응하여 필요한 동작을 하도록 처리하는 문제이다.
예를 들어, 로봇 단말기(1)가 발성을 하면서 해당하는 동작을 하기 위해서는, 서비스 서버(7)의 TTS엔진(9)에 의해 음성 파일로 변환된 음성정보와 동작 제어 데이터 파일인 동작정보(예를들면, 입술 및 관절의 움직임을 위한 동작 제어 데이터)를 따로 따로 전송한다면, 음성 정보와 동작 정보의 도착시간이 시간적으로 불일치하게 되기 때문에, 발성을 하면서 동작을 하게 할 수가 없다.
이를 방지하기 위해 큰 버퍼 메모리를 로봇 단말기(1)의 내부에 설치하여 음성 정보와 동작 정보 전체를 수신하여 저장하였다가 발성을 하면서 동작을 하게 하는 방법도 생각할 수 있는데, 이 방법은 음성 정보와 동작 정보 전체를 수신한 후 재생하는 방법을 사용하므로 실시간적으로 반응하지 못하는 단점이 있다.
따라서, 본 발명에서는 로봇 단말기(1)와 서비스 서버(7)간의 데이터를 동기데이터(Synchronous Data)와 비동기데이터(Asynchronous Data)로 구분하고 각 데이터의 특성에 맞는 도7에서와 같은 복합 전송방식을 사용한다.
여기서, 동기데이터는 로봇 단말기(1)의 동작과 발성과 영상표시를 연속적으로 끊임이 없도록 하게 하기 위한 데이터로서, 주로 동작(입술의 움직임과 얼굴의 표정, 몸동작 등)데이터와, 이 동작 데이터와 일치되는 발성 및/또는 영상 표시를 하기 위한 음성 데이터 및/또는 영상 데이터 등(이들을 총칭하여 멀티미디어 데이터라고 함)을 말한다. 또한 동기데이터는 주변 환경 또는 인간과의 상호작용이 아닌, 미리 만들어져서 서비스 서버(7)에 저장되어 있는 자료를 뜻한다. 비동기데이터는 미리 저장된 멀티미디어 데이터가 아닌 실시간으로 전송되는 센서(4)의 출력들과 서비스 서버(7)로부터 긴급히 전송되는 실시간 제어 데이터인 시스템 커멘드(System command)를 지칭한다.
시스템 커멘드는 전송되는 즉시 실행되어야 한다. 시스템 커멘드의 종류를 크게 분류하면 다음과 같다.
1. 네트워크에 관련된 명령 : MAC 주소, 무선 동작 모드, AP 관련 데이터 등
2. 인증 및 보안 관련 데이터
3. 멀티미디어 재생에 관련된 명령 : 재생속도, 화면크기, Mono/Stereo, 8bit/16bit 등
4. 버퍼 제어명령 : 버퍼 내용 지우기, 채우기, 현재 남아있는 크기, 버퍼 크기 조절 등
5. Sensor Table의 설정 : 감지하고자 하는 센서의 종류 및 전송주기를 설정
도8에는 도7의 통신 방식을 위한 전송 데이터 패킷의 형태가 도시되어 있다. 여기서 헤더 영역(영역(V) 내지 영역(XL))에는, 이 동작 포함 멀티미디어 데이터 패킷 데이터의 프로토콜 버전 번호(Protocol Version Number)를 나타내는 버전 번호 영역(V)과, 패킷에 포함된 데이터의 타입들(오디오 데이터, 비디오 데이터, 동작 데이터, 시스템 커멘드, ACK 등)을 나타내는 데이터 타입 영역(DT)과, 이 패킷이 전송되는 순서를 나타내는 시퀸스 영역(SEQ)과, 이 패킷이 전송되는 시간을 나타내는 타임 스탬프 영역(TS)과, 현재 통신 중인 세션의 구별 및 보안을 위한 세션 ID 영역(SID)과, 아래에서 설명하는 다운 패킷 전송시의 동작 제어 데이터의 길이 영역(ML) 또는 업 패킷 전송시에 로봇 단말기(1)에 있는 거리 센서 등의 각종 센서 값의 길이 영역(SL), 음성 데이터 길이 영역(AL), 영상 데이터 길이 영역(VL)과, 시스템 커멘드 등의 기타 데이터의 길이를 나타내는 보조 데이터 길이 영역(XL)이 있다.
또한, 동작 제어 데이터 영역(MD) 또는 센서 데이터 영역(SD)에는 로봇 단말기(1)의 원하는 동작을 수행하기 위한 각 모터/릴레이 등의 동작 제어 데이터 또는 로봇 단말기(1)의 센서들에서 측정된 센서 값들(광학 판독장치(D)에 의해 판독된 바코드 데이터도 포함됨)이 들어가고, 음성 데이터 영역(AD)에는 동작을 하면서 발성하는 경우 또는 동작이 없이 발성만 하는 경우와 같이 발성을 위한 음성 데이터 또는 로봇 단말기(1)의 마이크에서 입력된 음성에 대한 음성 데이터가 들어가며, 영상 데이터 영역(VD)에는 동작 및/또는 발성과 함께 모니터에 표시되어야 하는 영상 데이터 또는 로봇 단말기(1)의 카메라에서 검출된 영상 데이터가 들어가 며, 보조 데이터 영역(XD)에는 시스템 커멘드 등의 기타 데이터가 들어간다. 마지막으로, 상기 동작 데이터(MD)/센서 데이터(SD)와 음성데이터(AD)와 영상 데이터(VD)와 보조 데이터(XD)의 유효성을 나타내는 체크-썸(Check-Sum :CS)이 들어간다.
한편, 동작 제어 데이터 영역(MD)은 도9에 도시된 바와 같이, 각 구동 장치(모터/릴레이등)를 나타내는 ID와 이 구동장치를 제어하는 명령 데이터(Control Data : CD)와 각 구동장치들을 구분하는 구분자(ST)의 반복으로 구성된다.
다시 도7로 돌아와서, 서비스 서버(7)로부터 전송되는 데이터는 다운 스트림 패킷(down stream packet)형태로 TCP/IP 또는 UDP/IP protocol로 로봇 단말기(1)로 전달되고, 로봇 단말기(1)의 처리장치(미도시)에서는 각각의 패킷이 전달될 때마다, 패킷의 헤더에서 데이터 타입(DT)을 판독하여, 이 패킷에 동기 데이터(오디오/비디오/동작 데이터)가 포함되어 있으면 이 동기 데이터는 순서대로 버퍼(down)(버퍼 하나의 크기는 주어진 패킷 재생 시간(Ts) 내에 재생이 끝나도록 크기가 정해져 있음)에 저장하고, 이 패킷에 비동기 데이터(시스템 커멘드)가 포함되어 있으면 이 비동기 데이터인 시스템 커멘드는 버퍼(down)에 저장되지 않고 바로 전달하여 로봇 단말기(1)가 시스템 커멘드에 대응하는 작동을 바로 실행하게 한다.
이렇게 패킷 단위로 버퍼(down)에 저장된 동기데이터는 로봇 단말기(1)의 처리장치에 의해 버퍼(down)에서 패킷 재생 시간 간격(Ts)마다 하나씩 독출되어, 헤더에 포함된 데이터 크기 영역(ML, AL, VL)을 검사하여 동작, 음성, 영상 데이터가 모두 포함된 것이면 동작 데이터 영역(MD), 음성 데이터 영역(AD), 영상 데이터 영 역(VD)에서 해당하는 데이터를 독출하여, 동작 데이터(MD)는 모터 /릴레이 구동회로(3)로 전달되어 모터/릴레이(2)를 구동하여 동작을 실현하게 하고, 음성 데이터(AD)는 디코더와 D/A변환기(6)를 거쳐 아날로그 음성 신호로 변환되어 스피커(10)에서 발성을 하며, 영상 데이터(VD)는 디코더를 거쳐 영상 표시 제어장치를 거쳐 모니터에 표시되게 된다. 결국 각각의 패킷 재생 시간 간격(Ts)마다 재생이 필요한 발성/ 영상 표시/동작 제어 데이터가 버퍼(down)에서 하나씩 독출되어 재생되므로, 음성과 영상과 동작이 동기된 동작 포함 멀티미디어 재생이 가능해진다.
이제, 로봇 단말기(1)를 Ts = 40 ms (초당 25회) 주기로 동작시키고, 음성 데이터(AD)는 16 bit, 16,000 Hz(초당 32,000bytes)의 ADPCM(Adaptive differential Pulse coded modulation) 데이터로 하며, 영상 데이터(VD)는 없으며, 50개의 버퍼를 가진 경우를 상정하여 보다 구체적으로 설명을 하기로 한다.
로봇 단말기(1)의 버퍼(down)는 40ms x 50 = 2.0 초의 동기 데이터의 저장이 가능하므로, 예기치 못한 2초 이내의 통신장애를 극복하고 끊김이 없는 동작 및 발성을 보장한다. 이때 필요한 음성 데이터용 메모리의 크기는 압축률 1/4의 ADPCM 알고리즘을 사용한다면 버퍼 하나에 32,000bytes/4/25 = 8,000/25 = 320 bytes의 음성 데이터가 저장되므로 320bytes x 50 = 16 Kbytes이다. 이 음성 데이터(AD)의 크기는 통신의 상태, 음성 데이터의 질 등에 따라 가감되어야 한다.
다음으로, 로봇 단말기(1-1, 1-2 .... 1-N)에서 서비스 서버(7)로의 업 스트 림 패킷(up stream packet) 대해 설명하면, 마이크(Mic)에서 입력되는 아날로그 음성 데이터(명령 음성 데이터 등)는 A/D변환기(미도시)에 의해 디지털 데이터 형태로 변환되고 인코더에 의해 압축되고, 각종 센서(S1...Sk)(이동시 장애물 인지 센서 등)에서의 출력과 함께, 버퍼(up)(상기의 다운 스트림(down stream)시의 버퍼에 비해서는 상당히 적은 크기임)에 저장된 후, 도7의 포맷으로 패킷 스트림 형태로 서비스 서버(7)로 전송된다.
이제, 로봇 단말기(1)에서 서비스 서버(7)로 전송되는 up stream packet의 센서 값에 대하여 구체적으로 설명하기로 한다.
네트워크에 의해 제어되는 통상의 로봇 원격 제어 시스템에서는, 명령을 내려 보낸 후 그에 반응하는 센서의 값을 확인하게 된다. 그러나 이 방법에서는 네트워크 시간 지연으로 인하여, 수신된 센서 값이 현재의 센서 값과 차이가 나게 되어, 예를 들어 로봇이 이동 중에 예기치 못한 장애물이 있는 경우에는 이러한 네트워크 시간 지연으로 인하여 수신된 센서 값에 따른 긴급한 조치(예를들면, 서비스 서버에서 긴급 정지 명령을 로봇에 내림)를 취하더라도 로봇이 장애물에 충돌해 버린 후가 될 가능성이 있다. 또한 로봇이 원을 그리며 이동하는 경우, 센서 값의 도착시간이 일정하지 않아 정확한 궤도 추종이 이루어 지지 않게 된다.
본 발명에서는 이러한 종래기술에서의 문제점을 개선하고자, 서비스 서버(7)의 요청과 관계없이 특정한 센서 값은 주기적으로 전송하게 된다. 다시 말하면, 서비스 서버(7)의 지시가 없더라도 필요하다고 판단되는 특정 센서 값, 예를 들면 이동시에는 거리/초음파/인체감지 센서 값을 정해진 주기로 연속으로 전송하게 된다. 이 방식은 통신 대역폭을 계속 점유하는 단점은 있지만, 예기치 못한 장애에 재빠른 대처가 가능하다. 한편, TCP통신 방식 대신에 UDP통신 방식을 사용하면 수신 여부에 관계없이 계속해서 송신을 하므로 약간의 패킷이 손실될 가능성이 있지만, 전송 주기가 짧기 때문에 이러한 약간의 손실이 있어도 큰 문제가 발생하지 않는다. 결국, 센서 값을 매우 짧고 미리 정해진 주기로 전송되므로 다음 주기의 센서 값 또는 손실된 값을 예측하기 매우 용이해진다. 실용적으로 센서의 전송주기는 20msec에서 100ms이하가 적절하며, 이 전송주기는 통신상태, 로봇 단말기(1)의 동작속도와 정밀도에 의해 가변되어야 한다.
결국, 로봇 단말기(1) 내에 장착된 각종센서의 모든 변화 값을 위와 같이 빠른 주기로 전송한다면 매우 비효율적이기 때문에, 온도, 습도 등 환경 센서는 그 변화가 느리기 때문에 전송주기가 느리게 하고, 거리센서, 음원 관련 센서는 특성상 매우 빠른 전송주기로 한다.
본 발명에서는 서비스 서버(7)에서 필요한 센서 값의 종류와 센서 값의 전송 주기를 시스템 커멘드(SC)를 이용하여 로봇 단말기(1)에 설정하여 로봇 단말기(1)에 센서 테이블(sensor table)의 형태로 서비스 서버(7)가 필요로 하는 센서들의 종류와 전송 주기가 저장되게 된다. 로봇 단말기(1)는 이 센서 테이블을 통해 서비스 서버(7)로 센서 값을 전송해야 하는 센서들과 해당 전송 주기를 파악하여 해당 센서에서 해당 전송주기로 센서 값을 읽어서 서비스 서버(7)로 전송하게 된다. 설정된 센서 테이블은 다음 설정이 있기 전까지 지속적으로 유효하다.
마지막으로, 이상에서와 같이 패킷 단위로 동작 포함 멀티미디어 파일을 서버(7)에서 로봇 단말기(1)로 송수신하기 위하여, 서버(7) 또는 로봇 단말기(1)에서 동작 포함 멀티미디어 파일 패킷을 어떻게 형성하는지를 "안녕하세요?"라는 발성/영상과 함께 관련 동작을 하는 실시예인 도10, 11을 참고로 하여 살펴보기로 한다.
먼저, 출판물의 표지 또는 특정 페이지의 그림 또는 문장 라인에 대응하는 음성 및 영상 파일을 입수한다(S11). 이러한 음성 및 영상 파일은 비디오 카메라 등의 영상 촬영수단에 의한 실제 영상 또는 컴퓨터 그래픽 영상에 음성을 더빙하여 형성하거나, 기존의 일반적인 멀티미디어 콘텐츠 파일(상호 동기되는 음성파일과 영상파일로 구성됨)을 이용한다. 패킷 단위로 전송하고 동작 데이터를 결합시키기 위해 패킷 재생 시간 간격(Ts=40ms) 단위로 음성 파일(AD)와 영상 파일(VD)을 절단하여 전체 음악파일(AD)이 AD1, AD2 ... ADn으로 분리되고, 전체 영상 파일(VD)이 VD1, VD2 ... VDn으로 분리된다(S12).
이제, 예를 들면 "안녕하세요?" 라는 인사말에 대응하는 음성 및 영상(2초 정도)이 각각 AD1 .... AD50과 VD1 .. VD50에 대응하고, 이러한 "안녕하세요?"라는 로봇 단말기(1)에서의 발성과 영상 표시를 하면서, 로봇 단말기(1)가 인사동작(입을 개폐하는 동작과 함께, 머리를 숙이고 팔을 안으로 모아서 인사 동작을 시작하여 머리를 드는 인사동작)을 하도록 하기 위해서는, 서버(7)에서는 50개의 패킷 재생 시간(Ts=40ms) 각각에 대하여 입과 머리와 팔을 구동하는 모터 또는 릴레이가 어떻게 제어 되어야 하느냐에 대한, 각각의 동작 제어 데이터(MD1 ... MD50)를 형성하여 각각 AD1 .... AD50과 VD1 .. VD50에 부가시킨다(S13). 각각의 쌍((AD1,VD1,MD1) .... (AD50/VD50/MD50))에 대하여 헤드부분과 체크썹 영역을 형성하여 부가시켜(S14), 도10에서와 같은 50개의 패킷을 형성한다(S15).
이상과 같은 방식으로 각 출판물 표지와 그림/문장라인에 대응하는 동작 포함 멀티미디어 콘텐츠 데이터 패킷들을 형성하여 서버(7)의 저장장치(미도시)에 저장한다. 이때, 로봇 단말기(1)가 한 종류가 아니라 다양한 종류가 존재한다면, 각각의 다양한 종류별의 모델명에 따라 동작 제어 데이터가 형성되어 멀티미디어 콘텐츠에 동기되게 삽입되어 완성된 모델별 동작 포함 멀티미디어 콘텐츠 데이터가 서버(7)에 저장되어야 한다.
이상에서는 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명은 이 실시 예에 한정되는 것이 아니라 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다는 점을 유의해야 한다.
예를들면, 이상에서는 특정 그림/문장을 선택하면 이 그림/문장과 관련된 동작 포함 멀티미디어 데이터 패킷들이 모두 한번에 로봇단말기(1)로 전달되어 재생되는 것으로 기재하였으나, 이 그림/문장 관련 동작/음성/영상이 너무 길어 한번에 재생을 하면 너무 긴 동작/음성/영상 재생이 되어 사용자가 그 그림/문장에 대한 설명을 잘 이해할 수 없게 될 수도 있다.
따라서, 이와 같은 경우에는 동일 그림/문장 관련 전체의 동작 포함 멀티미디어 패킷들(예를들면 도 5에서의 Fm1)을 적절한 단위(예를들면, 음성의 문장 단위)로 분할(Fm1을 다시 Fm1-1, Fm1-2 ......으로 분할)하여 사용자가 광학 판독장치에서 동일한 내용을 선택할 때마다 차례로 분할된 패킷을 로봇 단말기(1)에서 재생하게 하는 것도 가능하다.
또한, 출판물의 제목이 동일하더라도 1권이 아니라 여러 권으로 분할되는 출판물의 경우에는 각 권마다 동일한 출판물 코드를 부여하게 한다면, 서버(7)에서 동일 출판물로 인식을 하여 출판물 제목 관련 동작 포함 멀티미디어 데이터 패킷의 재생을 하지 않고, 바로 내용 관련 동작 포함 멀티미디어 데이터 패킷 재생을 하게 된다.
한편, 이상에서는 바코드체계를 도4에서와 같이, 0-99까지의 제어바코드(Cc)와, 100-1999까지의 내용바코드(Cm)와, 2000-4095까지의 출판물 바코드(Cp)로 구분하였으나, 이와 같은 방법은 내용이 다른 1900개의 그림/문장만을 구별하고 출판물도 2096개의 출판물만을 구별하여, 그림/문장이 1900가지 이상인 경우(특히, 위에서 설명한 바와 같이, 여러 권으로 분할된 출판물 각각에 동일한 출판물 코드를 부여하여 여러 권에 1900개가 넘는 그림/문장이 있는 경우) 또는 출판물이 2096개가 넘는 경우에 적용하기가 어렵다.
그리고, 동일한 출판물이라도 출판사(또는 동작 포함 멀티미디어 제작업체)마다, 자신의 고유한 음성과 영상과 동작으로 구성된 동작 포함 멀티미디어 콘텐츠 를 제공하고자 하는 경우도 많아, 동일한 출판물이라도 출판사를 구별하기 위하여 출판사 마다 상이한 바코드를 부여해야 하는 경우도 있다.
따라서, 이와 같은 경우에는 출판사, 출판물, 내용(그림/문장) 각각이, 제어바코드(Cc)를 제외한 영역(100-4095)을 모두 사용 가능하도록 하고, 도12에서와 같이, 출판물의 표지에 출판물 변경 메뉴를 두고, 이 메뉴 영역들에 특정 제어 바코드(Cc)를 인쇄하여, 사용자가 출판물 변경 메뉴를 선택하여 다음과 같은 과정을 수행하여 사용자가 선택한 출판사, 출판물의 제목, 출판물의 내용을 인식하게 된다.
1. 사용자가 광학 판독장치(D)로 출판물 변경 메뉴를 선택하면, 이 선택 정보가 로봇 단말기(1)를 통해 서비스 서버(7)로 전달되어 서비스 서버(7)에서는 이 출판물 변경 제어 바코드에 의해 사용자가 출판물을 변경하고자 한다는 것을 인식한다.
2. 서비스 서버(7)에서 "출판사를 선택하세요?"라는 음성안내를 위한 멀티미디어 데이터 패킷을 로봇단말기(1)로 전송하여 사용자가 출판사를 선택하도록 음성 안내를 한다.
3. 이 출판사 선택 음성 안내에 따라 사용자가 표지의 출판사 이름(국민서적)을 선택하면, 서비스 서버(7)에서는 이때에 수신된 바코드를 출판사 바코드로 인식한다.
4. 서비스 서버(7)에서 "출판물 제목을 선택하세요?"라는 음성안내를 위한 멀티미디어 데이터 패킷을 로봇단말기(1)로 전송하여 사용자가 출판물의 제목을 선택하도록 음성 안내를 한다.
5. 이 출판물 제목 선택 음성 안내에 따라 사용자가 표지의 출판물 이름(동물의 세계)을 선택하면, 서비스 서버(7)에서는 이때에 수신된 바코드를 출판물 제목으로 인식한다.
6. 이러한 과정을 거치면 서비스 서버(7)는 새로운 출판물의 출판사 및 출판물 제목을 알게 되고, 서비스 서버(7)에서 "이제 공부를 시작해 볼까요?"라는 음성안내를 위한 멀티미디어 데이터 패킷을 로봇단말기(1)로 전송을 하면, 이때부터 사용자가 선택하는 출판물 내용(그림/문장)에 대응하는 동작 포함 멀티미디어 데이터 패킷이 로봇 단말기(1)로 전송이 되어, 해당 동작, 음성, 영상 재생이 이루어지게 된다.
7. 출판물을 변경하고자 하는 경우에는 위의 단계 1-6을 반복한다.
한편, 본 발명의 새로운 코드체계를 이용하면, 도2에서와 같은 기존의 출판물(35)이 사용될 수 없는 문제점이 있다.
이 문제점을 해결하기 위해서는, 각 출판사에서의 기존의 바코드체계와 본 발명의 바코드체계를 매칭시키는 테이블이 서비스 서버(7)에 존재해야 하고, 위의 단계1에서 선택되는 출판물 변경 메뉴에 해당하는 스티커를 배포하여 기존 출판물(35)의 표지에 부착하게 하여, 직전의 단계1-6을 수행하여, 선택된 출판사, 출판물 제목, 내용에 따른 기존의 바코드를 이 테이블을 통해 본 발명의 바코드로 변환하여, 해당하는 바코드에 대응하는 제어 또는 재생이 이루어지게 하면 된다. 이때, 단계1에서 사용되는 출판물 변경 바코드는 기존의 출판물들에서는 거의 사용하지 않는 코드(예를들면 마지막 바코드인 4095번 바코드)를 사용하는 것이 바람직하다.
이상과 같은 본 발명을 이용하면, 저가의 홈로봇의 제공이 가능하게 하며, 이 홈로봇에 의해 광학 인식 장치가 지정한 그림의 코드에 대응하는 음성/영상 재생과 함께 관련 동작이 이루어지게 하며, 출판물이 변경되더라도 제대로 관련 음성/영상/동작 재생이 가능하게 된다.

Claims (12)

  1. 로봇 단말기와 서비스 서버와 광학 코드 인식장치를 포함하는 네트워크 기반 로봇 시스템에 있어서,
    상기 광학 코드 인식 장치는 사용자가 선택한 출판물의 제목 또는 내용과 관련되게 출판물에 인쇄된 코드를 인식하여 상기 로봇 단말기로 송신하고;
    상기 로봇 단말기는 상기 코드를 수신하여 상기 서버로 송신하며;
    상기 서비스 서버는 로봇 단말기로부터 원격지에 설치되고, 서로 동기되는 동작 제어 데이터, 음성 데이터 또는 영상 데이터들이 하나의 패킷에 포함되도록 각 출판물 제목 또는 각 출판물의 내용에 대응하는 동작 포함 멀티미디어 데이터 패킷들을 형성하여 저장하며;
    상기 서버는, 상기 코드를 통해, 사용자가 선택한 출판물의 제목 또는 내용에 대응하는 동작 포함 멀티미디어 데이터 패킷들을 독출하여 상기 로봇 단말기로 송신하고, 상기 로봇 단말기는 상기 서버에서 송신된 동작 포함 멀티미디어 데이터 패킷들을 다운 버퍼에 차례로 저장하고 일정 시간 간격으로 상기 다운 버퍼에서 상기 동작 포함 멀티미디어 데이터 패킷을 차례로 독출하여 재생하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  2. 제1항에 있어서, 상기 서비스 서버와 로봇 단말기간의 데이터 송수신은 인터넷에 의해 이루어지는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  3. 제1항에 있어서, 상기 코드는 출판물을 구별하는 출판물 코드 영역과 출판물의 내용을 구별하는 내용 코드 영역을 가지는 코드 체계를 가지는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  4. 제3항에 있어서, 상기 코드 체계는 서비스와 관련된 공통적인 제어를 위한 제어 코드 영역을 더 포함하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  5. 제3항 또는 제4항에 있어서, 상기 서버는 상기 코드가 출판물 코드 영역 값을 가지면 출판물 코드로 판정하고 상기 코드가 내용 코드 영역 값을 가지면 내용 코드로 판정하여, 해당 출판물 코드 또는 내용 코드에 대응하는 출판물 제목 또는 내용 관련 동작 포함 멀티미디어 데이터 패킷을 독출하여 로봇 단말기로 송신하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  6. 제5항에 있어서, 상기 서버는 직전의 출판물 코드를 저장하고, 이후에 신규 출판물 코드와 비교하여 동일하면, 상기 신규 출판물 코드에 대응하는 출판물 제목 관련 동작 포함 멀티미디어 패킷 데이터를 로봇 단말기로 송신하지 않고, 상이하면 상기 신규 출판물 코드에 대응하는 출판물 제목 관련 동작 포함 멀티미디어 패킷 데이터를 로봇 단말기로 송신하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  7. 제6항이 있어서, 동일 출판물이 다수 권으로 분할된 경우에는 각 권마다 동일한 출판물 코드를 부여하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  8. 제5항에 있어서, 상기 서버에는 사용자에게 안내를 하기 위한 안내용 동작 포함 멀티미디어 데이터 패킷을 더 저장하고 있으며, 필요시 이 안내용 동작 포함 멀티미디어 데이터 패킷을 로봇 단말기로 송신하여 사용자에게 안내를 하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  9. 제4항에 있어서, 상기 내용 관련 동작 포함 멀티미디어 데이터 패킷들이 적절한 단위로 분할되어 있어 사용자가 직전과 동일한 내용을 재선택하면 분할된 내용 관련 동작 포함 멀티미디어 데이터 패킷이 차례로 독출되어 로봇 단말기로 송신되는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  10. 로봇 단말기와 서비스 서버와 광학 코드 인식장치를 포함하는 네트워크 기반 로봇 시스템에 있어서,
    상기 광학 코드 인식 장치는 사용자가 선택한 출판사와 출판물의 제목과 관련되게 출판물에 인쇄된 코드를 인식하여 상기 로봇 단말기로 송신하고, 이후에 사용자가 선택한 출판물의 내용과 관련되게 출판물에 인쇄된 코드를 인식하여 상기 로봇 단말기로 송신하며;
    상기 로봇 단말기는 상기 코드들을 수신하여 상기 서버로 송신하며;
    상기 서비스 서버는 로봇 단말기로부터 원격지에 설치되고, 서로 동기되는 동작 제어 데이터, 음성 데이터 또는 영상 데이터들이 하나의 패킷에 포함되도록, 각 출판사의 각 출판물 제목 또는 출판물의 내용에 대응하는 동작 포함 멀티미디어 데이터 패킷들을 형성하여 저장하며;
    상기 서버는, 상기 코드를 통해, 사용자가 선택한 출판사, 출판물의 제목 또는 내용에 대응하는 동작 포함 멀티미디어 데이터 패킷들을 독출하여 상기 로봇 단말기로 송신하고, 상기 로봇 단말기는 상기 서버에서 송신된 동작 포함 멀티미디어 데이터 패킷들을 다운 버퍼에 차례로 저장하고 일정 시간 간격으로 상기 다운 버퍼에서 상기 동작 포함 멀티미디어 데이터 패킷을 차례로 독출하여 재생하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  11. 제10항에 있어서, 상기 출판사와 출판물의 제목의 선택은,
    출판물 표지에 인쇄된 출판물 변경 메뉴에 인쇄된 코드를 사용자가 상기 광학 코드 인식 장치로 선택한 후에 수행되는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
  12. 제11항에 있어서, 상기 출판물 변경 메뉴는 상기 출판물의 표지에 부착되는 스티커에 존재하는 것을 특징으로 하는 네트워크 기반 로봇 시스템.
KR1020060002553A 2005-09-26 2006-01-10 광학 판독 장치에 의해 선택된 동작 포함 멀티미디어콘텐츠를 재생하는 네트워크 기반 로봇 시스템 KR100591465B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/640,884 US20070166004A1 (en) 2006-01-10 2006-12-19 Robot system using menu selection card having printed menu codes and pictorial symbols

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050089104 2005-09-26
KR20050089104 2005-09-26

Publications (1)

Publication Number Publication Date
KR100591465B1 true KR100591465B1 (ko) 2006-06-21

Family

ID=37182964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060002553A KR100591465B1 (ko) 2005-09-26 2006-01-10 광학 판독 장치에 의해 선택된 동작 포함 멀티미디어콘텐츠를 재생하는 네트워크 기반 로봇 시스템

Country Status (1)

Country Link
KR (1) KR100591465B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973573B1 (ko) 2007-11-28 2010-08-02 (주)보아에듀 2차원그래픽코드인식을 통한2차원그래픽코드데이터연동화면 표시시스템 및 이를 이용한2차원그래픽코드데이터연동화면 표시방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973573B1 (ko) 2007-11-28 2010-08-02 (주)보아에듀 2차원그래픽코드인식을 통한2차원그래픽코드데이터연동화면 표시시스템 및 이를 이용한2차원그래픽코드데이터연동화면 표시방법

Similar Documents

Publication Publication Date Title
KR100497310B1 (ko) 네트워크 기반의 로봇 시스템에서 동작 정보 포함멀티미디어 콘텐츠의 선택 및 재생 방법
US20060146776A1 (en) Network-based robot control system
JP4295846B2 (ja) 音声装置及び音声装置の自己初期化方法
JP4783449B2 (ja) 符号列を整合させる方法および装置、ならびにデコーダ
US7440819B2 (en) Animation system for a robot comprising a set of movable parts
CN110832579A (zh) 最后一英里均衡
KR20080085049A (ko) 메시지 전송 방법, 메시지 전송 디바이스 및 메시지 렌더링디바이스
CN109036374B (zh) 数据处理方法和装置
JP4622384B2 (ja) ロボット、ロボット制御装置、ロボットの制御方法およびロボットの制御用プログラム
EP1988493A1 (en) Robotic system and method for controlling the same
JP5020593B2 (ja) 外国語学習通信システム
KR20010016530A (ko) 컴퓨터와 연동되는 완구 시스템
KR20160131505A (ko) 음성 변환 방법 및 음성 변환 장치
KR100591465B1 (ko) 광학 판독 장치에 의해 선택된 동작 포함 멀티미디어콘텐츠를 재생하는 네트워크 기반 로봇 시스템
US20240221718A1 (en) Systems and methods for providing low latency user feedback associated with a user speaking silently
DE19960544A1 (de) Steuerbares Objekt und System zum Steuern eines derartigen Objekts
JP2008119442A (ja) 動作含みのマルチメディアコンテンツの再生が可能なオーディオ装置互換のロボット端末機（ＡｕｄｉｏＤｅｖｉｃｅＣｏｍｐａｔｉｂｌｅＲｏｂｏｔＴｅｒｍｉｎａｌＣａｐａｂｌｅｏｆＰｌａｙｉｎｇＭｕｌｔｉｍｅｄｉａＣｏｎｔｅｎｔｓＦｉｌｅＨａｖｉｎｇＭｏｔｉｏｎＤａｔａ）
JP6172770B2 (ja) 要約筆記支援システム、情報配信装置、要約筆記支援方法、及びプログラム
KR100983127B1 (ko) 방송 컨텐츠와 연계되어 동작하는 컨텐츠 로봇 및 그 제어 방법
US20220208190A1 (en) Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal
KR20090074810A (ko) 방송 컨텐츠와 연계되어 동작하는 컨텐츠 로봇 및 그 제어 방법
JP2005321443A (ja) 発音学習支援方法、学習者端末及び処理プログラム並びに該プログラムを記録した記録媒体
JP2001195419A (ja) 情報提供システム
JP2005167362A (ja) リアルタイム通信システムおよびメディアエンド端末
KR20200085433A (ko) 탈부착형 스피커를 포함한 음성합성 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120613

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130613

Year of fee payment: 8

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20150611

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160613

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170613

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180612

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 14