KR101378362B1 - Robot controlled by optical identification - Google Patents

Robot controlled by optical identification Download PDF

Info

Publication number
KR101378362B1
KR101378362B1 KR1020120070541A KR20120070541A KR101378362B1 KR 101378362 B1 KR101378362 B1 KR 101378362B1 KR 1020120070541 A KR1020120070541 A KR 1020120070541A KR 20120070541 A KR20120070541 A KR 20120070541A KR 101378362 B1 KR101378362 B1 KR 101378362B1
Authority
KR
South Korea
Prior art keywords
optical code
printed
content
data file
image
Prior art date
Application number
KR1020120070541A
Other languages
Korean (ko)
Other versions
KR20140003063A (en
Inventor
신광섭
이재수
Original Assignee
김포대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김포대학교산학협력단 filed Critical 김포대학교산학협력단
Priority to KR1020120070541A priority Critical patent/KR101378362B1/en
Publication of KR20140003063A publication Critical patent/KR20140003063A/en
Application granted granted Critical
Publication of KR101378362B1 publication Critical patent/KR101378362B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0007—Signalling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Toys (AREA)

Abstract

본 발명은 광학코드 식별 펜에 의하여 제어되는 어학학습기에 관한 것으로, 적외선 광원과, 적외선 광원을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서와, 상기 광학코드를 무선으로 송신하는 무선송신기를 구비한 광학코드 식별 펜; 일정한 콘텐츠와 맵핑 될 영역에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 인쇄물; 상기 광학코드 식별 펜의 무선송신기로부터 광학코드를 수신하는 무선수신기와, 마이크로부터 입력된 사용자 음성을 코덱을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 출력하는 음성인식 디지털신호처리기(DSP)와, 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일과, 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된 저장 장치(storage)와, 상기 주프로그램을 실행하는 마이크로콘트롤러 유닛(MCU)과, 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 표시하는 LCD 디스플레이를 포함한 로봇;으로 구성된다.The present invention relates to a language learner controlled by an optical code identification pen, comprising: an infrared light source, an image sensor for converting an optical image reflected by irradiating the infrared light source into a digital image, and processing the digital image to extract an optical code An optical code identification pen having an image processor and a wireless transmitter for wirelessly transmitting the optical code; A printed matter which is repeatedly printed in a region to be mapped with a constant content by an infrared absorbing ink in a size and brightness which are difficult to visually recognize, and printed on the upper portion thereof by infrared transmitting ink; A wireless receiver for receiving an optical code from a wireless transmitter of the optical code identification pen, and a voice recognition digital signal for encoding a user voice input from a microphone through a codec and outputting voice data recognized according to a predetermined speech recognition algorithm. A map data file including a processor (DSP), a content data file including a text data file, a sound data file, or video data associated with content printed on the printed matter, a mapping table between the optical code and content data; A storage device storing a main program for controlling output of the content data according to an optical code received from the wireless receiver and a user voice input through the microphone and processed by the voice recognition digital signal processor; Microcontroller for executing the main program And a robot including a unit (MCU) and an LCD display for displaying text, sound, or moving images associated with content printed on the printed matter under the control of the main program.

Figure R1020120070541
Figure R1020120070541

Description

광학코드 식별 펜에 의하여 제어되는 어학학습기{ROBOT CONTROLLED BY OPTICAL IDENTIFICATION}ROBOT CONTROLLED BY OPTICAL IDENTIFICATION

본 발명은 광학코드 식별 펜에 의하여 제어되는 어학학습기에 관한 것으로, 더 상세하게는 학습자가 인쇄물과 연계하여 콘텐츠(영어문장, 노래, 동영상 등)를 로봇을 통해 출력하고, 로봇과의 대화를 통하여 외국어 연습을 할 수 있는 광학코드 식별 펜에 의하여 제어되는 어학학습기에 관한 것이다.
The present invention relates to a language learner controlled by an optical code identification pen. More specifically, the learner outputs contents (English sentence, song, video, etc.) through a robot in conjunction with a printed material, and communicates with the robot. The present invention relates to a language learner controlled by an optical code identification pen capable of practicing a foreign language.

대부분의 어학학습기는 일방적으로 듣고 혼자서 따라하는 방식이어서 말하기 훈련에 효과적이지 못하며, 이에 따라 원어민과 대화할 경우 자신감이 결여되어 말문이 막히는 경우가 많다. 이에 원어민을 대체하여 원어민과 대화하듯이 대화가 가능한 대화형 양방향 음성인식 어학 학습기의 개발이 필요하다.
Most language learners are unilaterally listening and following themselves, so they are not effective in speaking training. Therefore, when they talk with native speakers, they often have a lack of confidence. Therefore, it is necessary to develop an interactive two-way speech recognition language learner that can talk like a native speaker instead of a native speaker.

한국공개특허공보 특2001-67934호에는 완구를 이용한 언어 학습 시스템이 개시되어 있다. 특2001-67934호 발명에 따른 언어 학습 시스템은 사용자와 완구의 대화(dialogue) 내용을 텍스트파일로 포맷(format)하여 저장한 텍스트 파일 데이터베이스(text file database) 및 완구의 응답을 음성 합성하기 위한 완구 응답용 음성파일 데이터베이스(speech file database)가 저장되고, 인터페이스를 통하여 다른 장치에 탈착될 수 있는 메모리카드와, 음성입출력장치, 음성 인식/합성 프로그램을 실행하고 음성입출력장치를 제어하기 위한 마이크로콘트롤러 유닛, 연산 및 프로그램 저장을 위한 메모리 및 상기 메모리카드를 상기 마이크로콘트롤러 유닛에 접속하기 위한 메모리카드용 인터페이스를 구비한 음성 인식/합성 장치 본체와, 상기 음성 인식/합성 장치 본체를 내부에 수용할 수 있는 완구와, 상기 메모리카드에 저장된 것과 동일한 대화(dialogue) 내용이 인쇄되어, 상기 메모리카드와 함께 사용자에게 주기적으로 제공되는 언어학습지를 포함하여 구성되어 있다. 특2001-67934호 발명에 의하면 사용자는 대화 내용이 미리 인쇄된 언어학습지를 보고 완구와 대화하면서 말하기와 듣기를 연습할 수 있다.
Korean Patent Laid-Open No. 2001-67934 discloses a language learning system using toys. The language learning system according to the present invention is a text file database in which a dialogue content between a user and a toy is formatted into a text file and stored therein, and a toy for speech synthesis of the toy's response. A memory card that stores a speech file database for response and can be attached to or detached from another device through an interface, and a microcontroller unit for executing a voice input / output device, a voice recognition / synthesis program, and controlling the voice input / output device. And a voice recognition / synthesis device body having a memory for operation and program storage and an interface for a memory card for connecting the memory card to the microcontroller unit, and the voice recognition / synthesis device body internally. Toys and the same dialogue content as those stored on the memory card are printed. For example, the memory card includes a language learning paper that is periodically provided to a user. According to the present invention, a user can practice speaking and listening while talking with a toy while looking at a language learning paper preprinted with conversation contents.

그러나, 특2001-67934호는 인쇄된 텍스트를 읽을 수 없는 아동들에게는 큰 효용이 없는 단점이 있다. 완구에서 출력되는 대화가 언어학습지의 기재 내용 중 어느 부분에 해당하는지를 알 수 없기 때문이다.
However, Japanese Patent No. 2001-67934 has a disadvantage in that it does not have great utility for children who cannot read printed text. This is because the dialogue output from the toy does not correspond to which part of the description of the language learning paper.

또한, 특2001-67934호 발명은 사용자가 완구와 미리 정한 대화 내용을 서로 한 구절씩 주고 받으면서 발성하고 듣는 것에 불과하여, 사용자가 대화 내용을 선택하는 데 제약이 있고, 완구와 상호 작용적이지 못하여 쉽게 싫증을 내게 되고, 장기간 사용하지 못하는 단점이 있었다. 더구나, 언어학습지를 보지 않는 경우에도 완구는 정해진 순서에 따라 대화가 진행되므로, 언어학습지와의 연계성도 떨어지는 단점이 있다.
In addition, the invention No. 2001-67934 is only a utterance and listening while the user exchanges the predetermined conversation contents with the toys one by one, there is a restriction in the user to select the contents of the conversation, it is not interactive with the toys I get tired easily, and have a disadvantage of not using for a long time. Moreover, even when the language learning paper is not viewed, the toys are in dialogue in a predetermined order, and thus the connection with the language learning paper is also inferior.

본 발명은 상술한 종래 언어 학습 시스템의 단점을 해결하고자 이루어진 것으로, 본 발명이 해결하고자 하는 제1과제는 사용자가 인쇄물에서 특정 문장, 캐릭터, 도형, 사진, 그림, 부호 등을 선택하면, 여기에 매칭된 콘텐츠(문장에 대한 구술, 캐릭터에 할당된 대화의 구술, 도형에 대한 설명, 사진에 대한 설명, 그림에 대한 설명, 부호에 연결된 동영상 플레이)를 로봇이 출력하고, 그 과정에서 사용자가 대화중의 특정 문장의 구술, 캐릭터에 할당된 대화의 구술 등을 통해 로봇과 상호 작용할 수 있는 광학코드 식별 펜에 의하여 제어되는 어학학습기를 제공하는 데 있다.
The present invention is made to solve the above-mentioned disadvantages of the conventional language learning system, and the first problem to be solved by the present invention is that when a user selects a specific sentence, character, figure, photo, picture, sign, etc. in a printed matter, The robot outputs the matched content (oral dictation of sentences, dictation of dialogues assigned to characters, descriptions of figures, descriptions of pictures, descriptions of pictures, video play linked to symbols), and in the process the user is talking. The present invention provides a language learner controlled by an optical code identification pen that can interact with a robot through dictation of a specific sentence and dictation of a dialogue assigned to a character.

상술한 본 발명의 과제는, 적외선 광원과, 적외선 광원을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서와, 상기 광학코드를 무선으로 송신하는 무선송신기를 구비한 광학코드 식별 펜; 일정한 콘텐츠와 맵핑 될 영역에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 인쇄물; 상기 광학코드 식별 펜의 무선송신기로부터 광학코드를 수신하는 무선수신기와, 마이크로부터 입력된 사용자 음성을 코덱을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 출력하는 음성인식 디지털신호처리기(DSP)와, 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일과, 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된 저장 장치(storage)와, 상기 주프로그램을 실행하는 마이크로콘트롤러 유닛(MCU)과, 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 표시하는 LCD 디스플레이를 포함한 로봇;으로 구성된 광학코드 식별 펜에 의하여 제어되는 어학학습기에 의하여 해결된다.
The object of the present invention described above is an infrared light source, an image sensor for converting the reflected optical image by irradiating the infrared light source into a digital image, an image processor for processing the digital image to extract the optical code, and the optical code An optical code identification pen having a wireless transmitter for transmitting wirelessly; A printed matter which is repeatedly printed in a region to be mapped with a constant content by an infrared absorbing ink in a size and brightness which are difficult to visually recognize, and printed on the upper portion thereof by infrared transmitting ink; A wireless receiver for receiving an optical code from a wireless transmitter of the optical code identification pen, and a voice recognition digital signal for encoding a user voice input from a microphone through a codec and outputting voice data recognized according to a predetermined speech recognition algorithm. A map data file including a processor (DSP), a content data file including a text data file, a sound data file, or video data associated with content printed on the printed matter, a mapping table between the optical code and content data; A storage device storing a main program for controlling output of the content data according to an optical code received from the wireless receiver and a user voice input through the microphone and processed by the voice recognition digital signal processor; Microcontroller for executing the main program A language learner controlled by an optical code identification pen comprising a unit (MCU) and a robot including an LCD display displaying text, sound, or video associated with content printed on the printed matter under control of the main program. Is solved.

상술한 구성을 갖는 본 발명에 의하면, 사용자가 인쇄물에서 특정 문장, 캐릭터, 도형, 사진, 그림, 부호 등을 선택하면, 여기에 매칭된 콘텐츠(문장에 대한 구술, 캐릭터에 할당된 대화의 구술, 도형에 대한 설명, 사진에 대한 설명, 그림에 대한 설명, 부호에 연결된 동영상 플레이)를 로봇이 출력하고, 그 과정에서 사용자가 대화중의 특정 문장의 구술, 캐릭터에 할당된 대화의 구술 등을 통해 로봇과 상호 작용함으로써, 글자를 익히지 못한 유아 등도 인쇄물 및 로봇과 양방향으로 작용하면서 즐겁게 콘텐츠를 학습하거나 즐길 수 있는 효과가 있다.
According to the present invention having the above-described configuration, when the user selects a specific sentence, character, figure, picture, picture, sign, etc. in the printed matter, the content (the dictation of the sentence, the dictation of the dialogue assigned to the character, The robot outputs a description of the figure, a description of the picture, a description of the picture, and a video play connected to the code.In the process, the robot dictates the specific sentence in the conversation, or the conversation assigned to the character. By interacting with the children, children who have not learned the letters can interact with printed materials and robots, and have fun learning or enjoying content.

도 1은 본 발명에 따른 광학코드 식별 펜에 의하여 제어되는 어학학습기의 구성도이다.
도 2는 본 발명에 따른 광학코드 식별 펜에 의하여 제어되는 어학학습기의 사용상태도이다. 1 is a block diagram of a language learner controlled by an optical code identification pen according to the present invention.
2 is a state diagram used in the language learner controlled by the optical code identification pen according to the present invention.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

우선, 도 2를 참조하면, 본 발명에 따른 광학코드 식별 펜에 의하여 제어되는 어학학습기(1)은 광학코드 식별 펜(1)과 인쇄물(201)과 로봇(200)으로 구성된다. First, referring to FIG. 2, the language learner 1 controlled by the optical code identification pen according to the present invention includes an optical code identification pen 1, a printed matter 201, and a robot 200.

도 1을 참조하면 알 수 있는 바와 같이, 광학코드 식별 펜(1)은 적외선 광원(13)과, 적외선 광원(13)을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서(11)와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서(9)와, 상기 광학코드를 무선으로 송신하는 무선송신기(7)를 구비한다.
As can be seen with reference to Figure 1, the optical code identification pen 1 is an infrared light source 13, the image sensor 11 for irradiating the infrared light source 13 and converts the reflected optical image into a digital image and And an image processor 9 for processing the digital image to extract the optical code, and a wireless transmitter 7 for wirelessly transmitting the optical code.

도 1 및 도 2를 참조하면 알 수 있는 바와 같이, 상기 인쇄물은 일정한 콘텐츠와 맵핑 될 콘텐츠맵핑영역(a ~ i)에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 미세 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 것이다. 이렇게 할 경우, 부호 이미지는 육안으로 보이지 않지만, 적외선을 조사할 경우 적외선을 흡수하여 상기 이미지센서(11)에서는 반사광으로 부호 이미지에 대응하는 광학이미지를 획득할 수 있다. 도 2에 도시된 바와 같이, 각 콘텐츠맵핑영역(a ~ i)에는 특정 문장(text), 캐릭터, 도형, 사진, 그림, 부호 등이 적외선 투과성 잉크에 의하여 육안으로 식별할 수 있게 인쇄된다. 적외선 투과성 잉크는 상기 부호 이미지에 입사된 적외선에 의하여 형성된 광학이미지를 그대로 투과시키므로, 이들 특정 문장(text), 캐릭터, 도형, 사진, 그림, 부호 등은 상기 이미지센서(11)에서 부호 이미지에 의하여 형성된 광학 이미지를 인식하는 것을 방해하지 못한다. As can be seen with reference to Figs. 1 and 2, the printed matter is adjacent to a content mapping area (a to i) to be mapped with a constant content with fine size and brightness that are difficult to visually identify the coded image by infrared absorbing ink. To print repeatedly, and the content is printed on the upper portion by infrared permeable ink. In this case, the signed image is not visible to the naked eye, but when irradiated with infrared rays, the infrared light is absorbed, and the image sensor 11 may acquire an optical image corresponding to the signed image with reflected light. As illustrated in FIG. 2, a specific text, a character, a figure, a picture, a picture, a sign, and the like are printed on each content mapping area a through i so as to be visually distinguished by infrared ray transmitting ink. Since the infrared transmissive ink transmits the optical image formed by the infrared rays incident on the coded image as it is, these specific texts, characters, figures, pictures, drawings, and the like are transmitted by the coded image by the image sensor 11. It does not interfere with recognizing the formed optical image.

상기 로봇(200)은 무선수신기(131)와, 디지털신호처리기(DSP)(103)와, 저장 장치(107)와, 마이크로콘트롤러 유닛(MCU)(101)과 LDC 디스플레이(119)를 포함한다.
The robot 200 includes a wireless receiver 131, a digital signal processor (DSP) 103, a storage device 107, a microcontroller unit (MCU) 101, and an LDC display 119.

무선수신기(131)는 상기 광학코드 식별 펜(1)의 무선송신기(7)로부터 광학코드를 수신하여 마이크로콘트롤러 유닛(101)에 보낸다. 디지털신호처리기(DSP)(103)는 마이크(129)로부터 입력된 사용자 음성을 코덱(123)을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 상기 마이크로콘트롤러 유닛(101)에 출력한다. 저장 장치(storage)(107)에는 상기 인쇄물(201)에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일(110)과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일(111)과, 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된다. 상기 마이크로콘트롤러 유닛(MCU)(101)는 로봇(200) 내의 모든 부속 장치를 상기 주프로그램에 따라 제어하고, 콘텐츠를 출력한다. 상기 LCD 디스플레이(119)는 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 출력한다.
The radio receiver 131 receives the optical code from the radio transmitter 7 of the optical code identification pen 1 and sends it to the microcontroller unit 101. The digital signal processor (DSP) 103 encodes the user voice input from the microphone 129 through the codec 123 and receives the voice data recognized according to a predetermined voice recognition algorithm to the microcontroller unit 101. Output The storage 107 includes a content data file 110 including a text data file, a sound data file, or video data associated with the content printed on the printed matter 201, and a mapping between the optical code and the content data. A main program for outputting and controlling the content data according to a map data file 111 including a table, an optical code received from the wireless receiver, and a user voice input through the microphone and processed by the voice recognition digital signal processor; main program). The microcontroller unit (MCU) 101 controls all accessory devices in the robot 200 according to the main program, and outputs contents. The LCD display 119 outputs text, sound, or moving pictures associated with content printed on the printed matter under the control of the main program.

상기 로봇(200)의 목과 몸통 사이 관절, 몸통과 어깨 사이 관절 및 몸통과 다리 사이의 관절에는 모터들을 더 구비하고, 상기 인쇄물에는 상기 로봇(200)의 다양한 동작을 나타내는 캐릭터들을 인쇄하고, 사용자가 로봇 캐릭터를 선택할 경우, 상기 마이크로콘트롤러 유닛(101)이 상기 로봇(200)을 선택된 로봇 캐릭터의 동작을 행하도록 제어할 수 있다. 이렇게 할 경우, 말을 못하는 유아들이 인쇄물의 캐릭터를 통하여 로봇에 명령을 할 수 있다.
The robot 200 is further provided with motors in the joint between the neck and torso, the joint between the torso and shoulder and the joint between the torso and leg, and prints the characters representing various operations of the robot 200 in the printed matter, and the user When selecting a robot character, the microcontroller unit 101 may control the robot 200 to perform an operation of the selected robot character. In this case, non-speaking infants can command the robot through the printed characters.

도 1에 도시된 바와 같이, 상기 콘텐츠 데이터 화일(110)은 연속되는 일대일 외국어 대화 문장의 텍스트 파일 및 그 구술(口述) 음원 파일을 포함하는 다이얼로그 데이터 파일과, 외국 노래 가사 텍스트 파일 및 그 실연(實演) 음원을 포함하는 사운드 데이터 파일과, 동영상 대화 텍스트 파일과 동영상 압축 파일이 저장된 동영상 데이터 파일을 포함할 수 있다. 상기 저장 장치(107)는 후레시 메모리카드(107) 등 이 사용될 수 있다.
As shown in FIG. 1, the content data file 110 includes a dialog data file including a text file of consecutive one-to-one foreign language dialogue sentences and a dictation sound source file, a foreign song lyrics text file, and a demonstration thereof. Iii) a sound data file including a sound source, and a video data file in which a video dialogue text file and a video compressed file are stored. The storage device 107 may be a flash memory card 107 or the like.

상기 마이크로콘트롤러 유닛(101)에는 주변 장치로 음성인식 디지털신호처리기(103)와, 메모리카드 인터페이스(105) 또는 무선수신기(131), 각종 콘텐츠 압축화일 디코더(115, 116, 117) 등이 연결된다. 상기 무선수신기(131)를 통하여 광학코드 식별 펜으로부터 광학코드를 수신한 후, 상기 맵 데이터 화일을 조회하여, 해당 광학코드에 맵핑된 음성출력 또는 화상출력을 하게 된다. 상기 무선송신기(7)와 무선수신기는 블루투수 모듈인 것이 바람직하다.
The microcontroller unit 101 is connected to a voice recognition digital signal processor 103, a memory card interface 105 or a wireless receiver 131, and various content compression file decoders 115, 116, 117 as peripheral devices. . After receiving the optical code from the optical code identification pen through the wireless receiver 131, the map data file is inquired to perform audio output or image output mapped to the corresponding optical code. It is preferable that the radio transmitter 7 and the radio receiver are blue permeable modules.

상기 음성인식 디지털신호처리기(103)는 마이크(129)로 부터 입력되고 코덱(123)을 통하여 부호화된 사용자 음성으로 부터 명령을 인식하거나 구술 대화 문장을 인식하게 된다. 또한 상기 주프로그램은 스피커(127)를 통하여 메뉴를 음성으로 출력하고 사용자가 음성으로 선택한 메뉴에 따라 상기 다이얼로그 데이터 파일에 저장된 외국어 대화 문장을 사용자와 일대일 대화식으로 연속하여 음성 출력하거나 상기 사운드 데이터 파일에 저장된 압축 파일을 디코딩하여 음악(실연)을 재생하거나, 상기 동영상 데이터 파일에 저장되 동영상 압축 파일을 재생하는 게 된다.
The voice recognition digital signal processor 103 recognizes a command or an oral dialogue sentence from a user voice input from the microphone 129 and encoded through the codec 123. In addition, the main program outputs a menu by voice through the speaker 127, and outputs a foreign-language dialogue sentence stored in the dialog data file in a one-to-one dialogue with the user according to a menu selected by the user in voice or in the sound data file. Decode the stored compressed file to play music (demo), or play the video compressed file stored in the video data file.

이를 위해, 본 발명은 마이크(129)와, 마이크에 입력되는 음성 아날로그 신호를 디지털 값으로 변환하여 상기 마이크로콘트롤러 유닛(101)에 전송하기 위하여 코덱(123)과 코덱 인터페이스(121)를 구비한다. 코덱(123)은 통상 음성입력용 A/D 컨버터, 음성출력용 D/A컨버터등을 구비하여 구성된다. 또한, 본 발명은 구술된 대화 문장이나 음악을 출력하기 위한 스피커(127)와, 스피커(127)에 출력되는 아날로그 신호를 증폭하기 위한 OP앰프(증폭기)(125)를 구비한다. 상기 코덱(123) 및 코덱 인터페이스(121)는 상기 마이크로콘트롤러 유닛(101)에서 출력되는 구술 대화 문장 또는 음악(실연)의 디지털 신호를 전달하여 아날로그 값으로 변환하게 한다.
To this end, the present invention includes a microphone 129 and a codec 123 and a codec interface 121 for converting a voice analog signal input to the microphone into a digital value and transmitting the digital value to the microcontroller unit 101. The codec 123 is usually provided with a voice input A / D converter, a voice output D / A converter, and the like. The present invention also includes a speaker 127 for outputting spoken dialogue sentences and music, and an OP amplifier (amplifier) 125 for amplifying an analog signal output to the speaker 127. The codec 123 and the codec interface 121 transmit a digital signal of an oral dialogue sentence or music (practice) output from the microcontroller unit 101 to convert the digital signal into an analog value.

상기 다이얼로그 데이터 파일에 포함된 구술 음원은 학습하고자 하는 언어의 네이티브 스피커(native speaker)의 구술을 녹음하여 MP3 포맷(MPEG1 Layer3 format)한 것이다. 상기 주프로그램은 일대일 외국어 대화 문장 실행시 상기 음성 인식 프로그램에 의하여 사용자 명령 또는 사용자 구술 내용을 인식하고 거기에 대응되는 대화 문장을 구술 음원에서 찾아 출력하게 된다. 또한, 상기 사운드 데이터 파일에 저장된 실연 음원은 가수의 실연(實演)을 녹음하여 예를 들어 MP3 포맷(MPEG1 Layer3 format)한 것이다. 본 발명은 이들 파일을 디코딩하여 재생하기 위하여 MP3 디코더(115)를 구비한다. 가수 실연 압축 파일은 WMA(Windows Media Audio:미국 MS사 압축 포맷) 파일로 압축하여 저장된 것도 많은 데, 이들 파일도 재생할 수 있게 하기 위하여 WMA 디코더(117)를 더 구비하는 것이 바람직하다. 또한, 상기 동영상 데이터 파일에 저장된 동영상 압축 파일은 대화가 있는 만화 등의 동영상을 MPEG4 포멧, avi(audio vedio interleaving) 포멧 등으로 압축한 것이다. 도 1에는 특히 MPEG4로 포멧한 경우를 예시적으로 도시하고 있으며, MPEG4 포멧으로 압축된 동영상을 재생하기 위하여 MPEG4 디코더(116)를 구비한다.
The dictation sound source included in the dialogue data file is recorded in the MP3 format (MPEG1 Layer3 format) by recording the dictation of a native speaker of a language to be learned. The main program recognizes a user command or user dictation content by the voice recognition program when executing a one-to-one foreign language dialogue sentence and finds and outputs a dialogue sentence corresponding thereto in the dictation sound source. In addition, the demonstration sound source stored in the sound data file is recorded in the MP3 format (MPEG1 Layer3 format) by recording the demonstration of the singer. The present invention includes an MP3 decoder 115 to decode and play these files. The singer demonstration compressed files are often compressed and stored as WMA (Windows Media Audio: MS Compressed Format) files, and it is preferable to further include a WMA decoder 117 in order to be able to reproduce these files. In addition, the moving picture compression file stored in the moving picture data file is a moving picture such as a cartoon having a conversation compressed in an MPEG4 format, an avi (audio vedio interleaving) format, or the like. FIG. 1 exemplarily illustrates a case of MPEG4 format, and includes an MPEG4 decoder 116 to reproduce a video compressed in MPEG4 format.

도 1에 도시된 바와 같이 본 발명에 따른 광학코드 식별 펜에 의하여 제어되는 어학학습기은 LCD 디스플레이(119)를 구비하고, 상기 다이얼로그 데이터 파일(111)에 포함된 대화 텍스트 파일, 사운드 데이터 파일에 포함된 가사 텍스트 파일 또는 동영상 데이터 파일에 포함된 대화 텍스트 파일을 이들 구술, 노래 또는 동영상의 출력과 동기시켜 LCD 디스플레이(119)에 표시하게 한다. 상기 LCD 디스플레이(119)에는 음성으로 출력하는 메뉴 또는 상기 음성 인식 프로그램에 의하여 인식한 사용자의 음성 입력을 문자로 더 표시하는 것이 바람직하다.
As shown in FIG. 1, the language learner controlled by the optical code identification pen according to the present invention includes an LCD display 119 and includes a dialogue text file and a sound data file included in the dialog data file 111. The dialogue text file included in the lyrics text file or the moving image data file is displayed on the LCD display 119 in synchronization with the output of these dictations, songs or moving images. In the LCD display 119, it is preferable to further display, as text, a voice output menu or a voice input of a user recognized by the voice recognition program.

도 1 및 도 2를 참조하면, 상기 마이크로콘트롤러 유닛(101), 음성인식 디지털신호처리기(103), 무선수신기(131), 스피커(127), 마이크(129), 코덱(123), 코덱인터페이스(121), 메모리카드(107) 및 그 인테페이스(105)등의 구성요소는 단일의 PCB(printed circuit card)에 실장하여 로봇(200) 내부에 장치하고, 상기 LCD 디스플레이(119)는 로봇(200) 전면에 장치하는 것이 바람직하다.
1 and 2, the microcontroller unit 101, a voice recognition digital signal processor 103, a wireless receiver 131, a speaker 127, a microphone 129, a codec 123, and a codec interface ( 121, components such as the memory card 107 and the interface 105 thereof are mounted on a single printed circuit card (PCB) and mounted inside the robot 200, and the LCD display 119 is mounted on the robot 200. It is preferable to install it on the front side.

이상, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 예시적으로 설명하였으나, 본 발명의 보호 범위를 이에 한정하는 것은 아니며, 본 발명의 보호 범위는 특허청구범위의 각 청구항에 기재낸 사항에 의하여 결정되어야 한다.
As mentioned above, although exemplary embodiments of the present invention have been described with reference to the accompanying drawings, the scope of protection of the present invention is not limited thereto, and the scope of protection of the present invention is based on the matters described in the claims of the claims. It must be decided by

1 : 광학코드 식별 펜 3 : 밧데리
5 : DC-DC 컨버터 7 : 무선송신기
9 : 이미지 프로세서 11 : 이미지 센서
13 : 적외선 광원 15 : 렌즈
17 : 도광판 100 : PCB
101 : 마이크로콘트롤러 유닛 103 : 음성인식 디지털신호처리기
105 : 메모리카드 인테페이스 107 : 메모리 카드
109 : 프로그램 파일 110 : 컨텐츠 데이터 파일
111 : 맵 데이터 파일 115 : MP3 디코더
116 : MP4 디코더 117 : WMA 디코더
119 : LCD 디스플레이 121 : 코덱 인터페이스
123 : 코덱 125 : OP 앰프(증폭기)
127 : 스피커 129 : 마이크
131 : 무선수신기(RF RECEIVER) 200 : 로봇
201 : 인쇄물1: optical code identification pen 3: battery
5 DC-DC Converter 7 Wireless Transmitter
9: image processor 11: image sensor
13: infrared light source 15: lens
17: light guide plate 100: PCB
101: microcontroller unit 103: speech recognition digital signal processor
105: memory card interface 107: memory card
109: program file 110: content data file
111: Map Data File 115: MP3 Decoder
116: MP4 decoder 117: WMA decoder
119 LCD display 121 codec interface
123: codec 125: op amp (amplifier)
127: speaker 129: microphone
131: RF receiver 200: robot
201: printed matter

Claims (3)

적외선 광원과, 적외선 광원을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서와, 상기 광학코드를 무선으로 송신하는 무선송신기를 구비한 광학코드 식별 펜;
일정한 콘텐츠와 맵핑 될 영역에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 인쇄물; 및
상기 광학코드 식별 펜의 무선송신기로부터 광학코드를 수신하는 무선수신기와, 목과 몸통 사이 관절, 몸통과 어깨 사이 관절 및 몸통과 다리 사이의 관절을 움직이는 모터들과, 상기 무선수신기와 상기 모터들을 제어하는 마이크로콘트롤러 유닛을 구비한 로봇;을 포함하고,
상기 인쇄물에는 상기 로봇의 다양한 동작을 나타내는 캐릭터들을 인쇄하고,
사용자가 로봇 캐릭터를 선택할 경우, 상기 마이크로콘트롤러 유닛은 상기 로봇이 선택된 로봇 캐릭터의 동작을 행하도록 상기 모터들을 제어하는 것을 특징으로 하는 광학코드 식별 펜에 의하여 제어되는 어학학습기.
An infrared light source, an image sensor for irradiating the infrared light source to convert the reflected optical image into a digital image, an image processor for processing the digital image to extract the optical code, and a wireless transmitter for wirelessly transmitting the optical code One optical code identification pen;
A printed matter which is repeatedly printed in a region to be mapped with a constant content by an infrared absorbing ink in a size and brightness which are difficult to visually recognize, and printed on the upper portion thereof by infrared transmitting ink; And
A wireless receiver for receiving an optical code from a wireless transmitter of the optical code identification pen, motors for moving a joint between a neck and a body, a joint between a body and a shoulder, and a joint between a body and a leg, and controlling the wireless receiver and the motors A robot having a microcontroller unit;
In the printed matter, characters representing various operations of the robot are printed,
When the user selects a robot character, the microcontroller unit is controlled by an optical code identification pen, characterized in that for controlling the motors so that the robot performs the operation of the selected robot character.
제 1 항에 있어서,
상기 로봇에는 마이크로부터 입력된 사용자 음성을 코덱을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 출력하는 음성인식 디지털신호처리기(DSP)와, 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일과, 상기 마이크로콘트롤러 유닛에 의하여 실행되어 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된 저장 장치(storage)와, 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 표시하는 LCD 디스플레이를 더 포함하는 광학코드 식별 펜에 의하여 제어되는 어학학습기.
The method of claim 1,
The robot includes a voice recognition digital signal processor (DSP) for encoding a user's voice input from a microphone through a codec and outputting voice data recognized according to a predetermined voice recognition algorithm, and the content printed on the printed matter. A content data file including a text data file, a sound data file, or moving image data, a map data file including a mapping table between the optical code and content data, and an optical signal received by the wireless receiver executed by the microcontroller unit. A storage device having a main program for controlling the output of the content data according to a code and a user voice input through the microphone and processed by the voice recognition digital signal processor, and by the control of the main program Content printed on the printed matter The text, sound, or language learning machine to be controlled by the LCD display for displaying a video to the optical code further comprises identifying the pen connection.
제 1 항에 있어서,
상기 무선송신기 및 무선수신기는 블루투스 모듈인 것을 특징으로 하는 광학코드 식별 펜에 의하여 제어되는 어학학습기.


The method of claim 1,
The wireless transmitter and the wireless receiver is a language learner controlled by an optical code identification pen, characterized in that the Bluetooth module.


KR1020120070541A 2012-06-29 2012-06-29 Robot controlled by optical identification KR101378362B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120070541A KR101378362B1 (en) 2012-06-29 2012-06-29 Robot controlled by optical identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070541A KR101378362B1 (en) 2012-06-29 2012-06-29 Robot controlled by optical identification

Publications (2)

Publication Number Publication Date
KR20140003063A KR20140003063A (en) 2014-01-09
KR101378362B1 true KR101378362B1 (en) 2014-03-28

Family

ID=50139755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070541A KR101378362B1 (en) 2012-06-29 2012-06-29 Robot controlled by optical identification

Country Status (1)

Country Link
KR (1) KR101378362B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151367A1 (en) * 2017-02-20 2018-08-23 상명대학교서울산학협력단 Method for representing graphics for teaching materials
KR102072944B1 (en) * 2019-07-23 2020-02-03 (주)스타원코퍼레이션 Learning device using pen

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160111672A (en) * 2015-03-17 2016-09-27 한밭대학교 산학협력단 System and method for driving printed matter with regularly printed micro-code and manufacturing method thereof
KR102251867B1 (en) * 2019-06-04 2021-05-14 주식회사 지니로봇 System and method for providing coding education using star topology in Internet of things
KR102213354B1 (en) * 2019-06-19 2021-02-09 주식회사 지니로봇 Saypen to provide coding training by pairing with robot and method of the same
KR102278291B1 (en) * 2019-07-08 2021-07-19 주식회사 지니로봇 System and method for providing coding training using peer terminals connected to the cloud platform
KR102308026B1 (en) * 2019-12-05 2021-10-01 윤상철 Electronic Pen to Enhance Learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200421555Y1 (en) * 2006-05-03 2006-07-12 김포대학산학협력단 Interactive robot for exercising foreign language
KR100732839B1 (en) * 2004-10-19 2007-06-27 강철 Digital Code Recorded Media, Apparatus for Remote-Controlling Electronic Devices and Apparatus for recognizing and executing Digital Code

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100732839B1 (en) * 2004-10-19 2007-06-27 강철 Digital Code Recorded Media, Apparatus for Remote-Controlling Electronic Devices and Apparatus for recognizing and executing Digital Code
KR200421555Y1 (en) * 2006-05-03 2006-07-12 김포대학산학협력단 Interactive robot for exercising foreign language

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151367A1 (en) * 2017-02-20 2018-08-23 상명대학교서울산학협력단 Method for representing graphics for teaching materials
KR102072944B1 (en) * 2019-07-23 2020-02-03 (주)스타원코퍼레이션 Learning device using pen

Also Published As

Publication number Publication date
KR20140003063A (en) 2014-01-09

Similar Documents

Publication Publication Date Title
KR101378362B1 (en) Robot controlled by optical identification
WO2003030150A1 (en) Dialogue apparatus, dialogue parent apparatus, dialogue child apparatus, dialogue control method, and dialogue control program
KR101819459B1 (en) Voice recognition system and apparatus supporting voice recognition error correction
KR20200090355A (en) Multi-Channel-Network broadcasting System with translating speech on moving picture and Method thererof
TW201314638A (en) Learning machine with augmented reality mechanism
KR101789057B1 (en) Automatic audio book system for blind people and operation method thereof
CN200962258Y (en) A multi-functional digital learning pen
US9087512B2 (en) Speech synthesis method and apparatus for electronic system
JP2009503628A (en) Multimedia digital code printing apparatus and printing method
KR101125618B1 (en) Supplementary apparatus to learning multi languages
KR100716058B1 (en) Apparatus for interactive study using microphone having position sensor
KR20140087956A (en) Apparatus and method for learning phonics by using native speaker's pronunciation data and word and sentence and image data
CN203179314U (en) English listening trainer
KR20200030228A (en) Electronic pen system interlocked with artificial intelligent speaker
KR200421555Y1 (en) Interactive robot for exercising foreign language
WO2006001204A1 (en) Automatic translation device and automatic translation method
KR20170122616A (en) Hangul learning system based internet of things
KR20200054153A (en) Electronic pen system interlocked with artificial intelligent speaker with microphone
KR20200054152A (en) Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker
KR20200054154A (en) Electronic pen system for controlling function of artificial intelligent speaker
KR102488893B1 (en) Educational learning tool system
KR200279383Y1 (en) Language school system using barcode
KR20150136309A (en) Language learning tool and learning method of using it
KR20180016195A (en) Korean language self-learning system and method using text-to-speech technology
KR20140094237A (en) Multimedia Language Study Device Scanning With Index Tag

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180111

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200122

Year of fee payment: 7