KR20140003063A

KR20140003063A - 광학코드 식별 펜에 의하여 제어되는 로봇

Info

Publication number: KR20140003063A
Application number: KR1020120070541A
Authority: KR
Inventors: 신광섭; 이재수
Original assignee: 김포대학교산학협력단
Priority date: 2012-06-29
Filing date: 2012-06-29
Publication date: 2014-01-09
Also published as: KR101378362B1

Abstract

본 발명은 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기에 관한 것으로, 적외선 광원과, 적외선 광원을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서와, 상기 광학코드를 무선으로 송신하는 무선송신기를 구비한 광학코드 식별 펜; 일정한 콘텐츠와 맵핑 될 영역에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 인쇄물; 상기 광학코드 식별 펜의 무선송신기로부터 광학코드를 수신하는 무선수신기와, 마이크로부터 입력된 사용자 음성을 코덱을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 출력하는 음성인식 디지털신호처리기(DSP)와, 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일과, 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된 저장 장치(storage)와, 상기 주프로그램을 실행하는 마크로콘트롤러 유닛(MCU)과, 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 표시하는 LCD 디스플레이를 포함한 로봇;으로 구성된다.

Description

광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기{VOICE RECOGNITION BI-DIRECTIONAL LANGUAGE LEARNING DEVICE USING OPTICAL IDENTIFICATION}

본 발명은 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기에 관한 것으로, 더 상세하게는 학습자가 인쇄물과 연계하여 콘텐츠(영어문장, 노래, 동영상 등)를 로봇을 통해 출력하고, 로봇과의 대화를 통하여 외국어 연습을 할 수 있는 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기에 관한 것이다.

대부분의 어학학습기는 일방적으로 듣고 혼자서 따라하는 방식이어서 말하기 훈련에 효과적이지 못하며, 이에 따라 원어민과 대화할 경우 자신감이 결여되어 말문이 막히는 경우가 많다. 이에 원어민을 대체하여 원어민과 대화하듯이 대화가 가능한 대화형 양방향 음성인식 어학 학습기의 개발이 필요하다.

한국공개특허공보 특2001-67934호에는 완구를 이용한 언어 학습 시스템이 개시되어 있다. 특2001-67934호 발명에 따른 언어 학습 시스템은 사용자와 완구의 대화(dialogue) 내용을 텍스트파일로 포맷(format)하여 저장한 텍스트 파일 데이터베이스(text file database) 및 완구의 응답을 음성 합성하기 위한 완구 응답용 음성파일 데이터베이스(speech file database)가 저장되고, 인터페이스를 통하여 다른 장치에 탈착될 수 있는 메모리카드와, 음성입출력장치, 음성 인식/합성 프로그램을 실행하고 음성입출력장치를 제어하기 위한 마크로콘트롤러 유닛, 연산 및 프로그램 저장을 위한 메모리 및 상기 메모리카드를 상기 마크로콘트롤러 유닛에 접속하기 위한 메모리카드용 인터페이스를 구비한 음성 인식/합성 장치 본체와, 상기 음성 인식/합성 장치 본체를 내부에 수용할 수 있는 완구와, 상기 메모리카드에 저장된 것과 동일한 대화(dialogue) 내용이 인쇄되어, 상기 메모리카드와 함께 사용자에게 주기적으로 제공되는 언어학습지를 포함하여 구성되어 있다. 특2001-67934호 발명에 의하면 사용자는 대화 내용이 미리 인쇄된 언어학습지를 보고 완구와 대화하면서 말하기와 듣기를 연습할 수 있다.

그러나, 특2001-67934호는 인쇄된 텍스트를 읽을 수 없는 아동들에게는 큰 효용이 없는 단점이 있다. 완구에서 출력되는 대화가 언어학습지의 기재 내용 중 어느 부분에 해당하는지를 알 수 없기 때문이다.

또한, 특2001-67934호 발명은 사용자가 완구와 미리 정한 대화 내용을 서로 한 구절씩 주고 받으면서 발성하고 듣는 것에 불과하여, 사용자가 대화 내용을 선택하는 데 제약이 있고, 완구와 상호 작용적이지 못하여 쉽게 싫증을 내게 되고, 장기간 사용하지 못하는 단점이 있었다. 더구나, 언어학습지를 보지 않는 경우에도 완구는 정해진 순서에 따라 대화가 진행되므로, 언어학습지와의 연계성도 떨어지는 단점이 있다.

본 발명은 상술한 종래 언어 학습 시스템의 단점을 해결하고자 이루어진 것으로, 본 발명이 해결하고자 하는 제1과제는 사용자가 인쇄물에서 특정 문장, 캐릭터, 도형, 사진, 그림, 부호 등을 선택하면, 여기에 매칭된 콘텐츠(문장에 대한 구술, 캐릭터에 할당된 대화의 구술, 도형에 대한 설명, 사진에 대한 설명, 그림에 대한 설명, 부호에 연결된 동영상 플레이)를 로봇이 출력하고, 그 과정에서 사용자가 대화중의 특정 문장의 구술, 캐릭터에 할당된 대화의 구술 등을 통해 로봇과 상호 작용할 수 있는 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기를 제공하는 데 있다.

상술한 본 발명의 과제는, 적외선 광원과, 적외선 광원을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서와, 상기 광학코드를 무선으로 송신하는 무선송신기를 구비한 광학코드 식별 펜; 일정한 콘텐츠와 맵핑 될 영역에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 인쇄물; 상기 광학코드 식별 펜의 무선송신기로부터 광학코드를 수신하는 무선수신기와, 마이크로부터 입력된 사용자 음성을 코덱을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 출력하는 음성인식 디지털신호처리기(DSP)와, 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일과, 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된 저장 장치(storage)와, 상기 주프로그램을 실행하는 마크로콘트롤러 유닛(MCU)과, 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 표시하는 LCD 디스플레이를 포함한 로봇;으로 구성된 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기에 의하여 해결된다.

상술한 구성을 갖는 본 발명에 의하면, 사용자가 인쇄물에서 특정 문장, 캐릭터, 도형, 사진, 그림, 부호 등을 선택하면, 여기에 매칭된 콘텐츠(문장에 대한 구술, 캐릭터에 할당된 대화의 구술, 도형에 대한 설명, 사진에 대한 설명, 그림에 대한 설명, 부호에 연결된 동영상 플레이)를 로봇이 출력하고, 그 과정에서 사용자가 대화중의 특정 문장의 구술, 캐릭터에 할당된 대화의 구술 등을 통해 로봇과 상호 작용함으로써, 글자를 익히지 못한 유아 등도 인쇄물 및 로봇과 양방향으로 작용하면서 즐겁게 콘텐츠를 학습하거나 즐길 수 있는 효과가 있다.

도 1은 본 발명에 따른 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기의 구성도이다.
도 2는 본 발명에 따른 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기의 사용상태도이다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.

우선, 도 2를 참조하면, 본 발명에 따른 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기(1)은 광학코드 식별 펜(1)과 인쇄물(201)과 로봇(200)으로 구성된다.

도 1을 참조하면 알 수 있는 바와 같이, 광학코드 식별 펜(1)은 적외선 광원(13)과, 적외선 광원(13)을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서(11)와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서(9)와, 상기 광학코드를 무선으로 송신하는 무선송신기(7)를 구비한다.

도 1 및 도 2를 참조하면 알 수 있는 바와 같이, 상기 인쇄물은 일정한 콘텐츠와 맵핑 될 콘텐츠맵핑영역(a ~ i)에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 미세 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 것이다. 이렇게 할 경우, 부호 이미지는 육안으로 보이지 않지만, 적외선을 조사할 경우 적외선을 흡수하여 상기 이미지센서(11)에서는 반사광으로 부호 이미지에 대응하는 광학이미지를 획득할 수 있다. 도 2에 도시된 바와 같이, 각 콘텐츠맵핑영역(a ~ i)에는 특정 문장(text), 캐릭터, 도형, 사진, 그림, 부호 등이 적외선 투과성 잉크에 의하여 육안으로 식별할 수 있게 인쇄된다. 적외선 투과성 잉크는 상기 부호 이미지에 입사된 적외선에 의하여 형성된 광학이미지를 그대로 투과시키므로, 이들 특정 문장(text), 캐릭터, 도형, 사진, 그림, 부호 등은 상기 이미지센서(11)에서 부호 이미지에 의하여 형성된 광학 이미지를 인식하는 것을 방해하지 못한다.

상기 로봇(200)은 무선수신기(131)와, 디지털신호처리기(DSP)(103)와, 저장 장치(107)와, 마이크로콘트롤러 유닛(MCU)(101)과 LDC 디스플레이(119)를 포함한다.

무선수신기(131)는 상기 광학코드 식별 펜(1)의 무선송신기(7)로부터 광학코드를 수신하여 마이크로콘트롤러 유닛(101)에 보낸다. 디지털신호처리기(DSP)(103)는 마이크(129)로부터 입력된 사용자 음성을 코덱(123)을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 상기 마이크로콘트롤러 유닛(101)에 출력한다. 저장 장치(storage)(107)에는 상기 인쇄물(201)에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일(110)과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일(111)과, 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된다. 상기 마크로콘트롤러 유닛(MCU)(101)는 로봇(200) 내의 모든 부속 장치를 상기 주프로그램에 따라 제어하고, 콘텐츠를 출력한다. 상기 LCD 디스플레이(119)는 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 출력한다.

상기 로봇(200)의 목과 몸통 사이 관절, 몸통과 어깨 사이 관절 및 몸통과 다리 사이의 관절에는 모터들을 더 구비하고, 상기 인쇄물에는 상기 로봇(200)의 다양한 동작을 나타내는 캐릭터들을 인쇄하고, 사용자가 로봇 캐릭터를 선택할 경우, 상기 마이크로콘트롤러 유닛(101)이 상기 로봇(200)을 선택된 로봇 캐릭터의 동작을 행하도록 제어할 수 있다. 이렇게 할 경우, 말을 못하는 유아들이 인쇄물의 캐릭터를 통하여 로봇에 명령을 할 수 있다.

도 1에 도시된 바와 같이, 상기 콘텐츠 데이터 화일(110)은 연속되는 일대일 외국어 대화 문장의 텍스트 파일 및 그 구술(口述) 음원 파일을 포함하는 다이얼로그 데이터 파일과, 외국 노래 가사 텍스트 파일 및 그 실연(實演) 음원을 포함하는 사운드 데이터 파일과, 동영상 대화 텍스트 파일과 동영상 압축 파일이 저장된 동영상 데이터 파일을 포함할 수 있다. 상기 저장 장치(107)는 후레시 메모리카드(107) 등 이 사용될 수 있다.

상기 마크로콘트롤러 유닛(101)에는 주변 장치로 음성인식 디지털신호처리기(103)와, 메모리카드 인터페이스(105) 또는 무선수신기(131), 각종 콘텐츠 압축화일 디코더(115, 116, 117) 등이 연결된다. 상기 무선수신기(131)를 통하여 광학코드 식별 펜으로부터 광학코드를 수신한 후, 상기 맵 데이터 화일을 조회하여, 해당 광학코드에 맵핑된 음성출력 또는 화상출력을 하게 된다. 상기 무선송신기(7)와 무선수신기는 블루투수 모듈인 것이 바람직하다.

상기 음성인식 디지털신호처리기(103)는 마이크(129)로 부터 입력되고 코덱(123)을 통하여 부호화된 사용자 음성으로 부터 명령을 인식하거나 구술 대화 문장을 인식하게 된다. 또한 상기 주프로그램은 스피커(127)를 통하여 메뉴를 음성으로 출력하고 사용자가 음성으로 선택한 메뉴에 따라 상기 다이얼로그 데이터 파일에 저장된 외국어 대화 문장을 사용자와 일대일 대화식으로 연속하여 음성 출력하거나 상기 사운드 데이터 파일에 저장된 압축 파일을 디코딩하여 음악(실연)을 재생하거나, 상기 동영상 데이터 파일에 저장되 동영상 압축 파일을 재생하는 게 된다.

이를 위해, 본 발명은 마이크(129)와, 마이크에 입력되는 음성 아날로그 신호를 디지털 값으로 변환하여 상기 마크로콘트롤러 유닛(101)에 전송하기 위하여 코덱(123)과 코덱 인터페이스(121)를 구비한다. 코덱(123)은 통상 음성입력용 A/D 컨버터, 음성출력용 D/A컨버터등을 구비하여 구성된다. 또한, 본 발명은 구술된 대화 문장이나 음악을 출력하기 위한 스피커(127)와, 스피커(127)에 출력되는 아날로그 신호를 증폭하기 위한 OP앰프(증폭기)(125)를 구비한다. 상기 코덱(123) 및 코덱 인터페이스(121)는 상기 마크로콘트롤러 유닛(101)에서 출력되는 구술 대화 문장 또는 음악(실연)의 디지털 신호를 전달하여 아날로그 값으로 변환하게 한다.

상기 다이얼로그 데이터 파일에 포함된 구술 음원은 학습하고자 하는 언어의 네이티브 스피커(native speaker)의 구술을 녹음하여 MP3 포맷(MPEG1 Layer3 format)한 것이다. 상기 주프로그램은 일대일 외국어 대화 문장 실행시 상기 음성 인식 프로그램에 의하여 사용자 명령 또는 사용자 구술 내용을 인식하고 거기에 대응되는 대화 문장을 구술 음원에서 찾아 출력하게 된다. 또한, 상기 사운드 데이터 파일에 저장된 실연 음원은 가수의 실연(實演)을 녹음하여 예를 들어 MP3 포맷(MPEG1 Layer3 format)한 것이다. 본 발명은 이들 파일을 디코딩하여 재생하기 위하여 MP3 디코더(115)를 구비한다. 가수 실연 압축 파일은 WMA(Windows Media Audio:미국 MS사 압축 포맷) 파일로 압축하여 저장된 것도 많은 데, 이들 파일도 재생할 수 있게 하기 위하여 WMA 디코더(117)를 더 구비하는 것이 바람직하다. 또한, 상기 동영상 데이터 파일에 저장된 동영상 압축 파일은 대화가 있는 만화 등의 동영상을 MPEG4 포멧, avi(audio vedio interleaving) 포멧 등으로 압축한 것이다. 도 1에는 특히 MPEG4로 포멧한 경우를 예시적으로 도시하고 있으며, MPEG4 포멧으로 압축된 동영상을 재생하기 위하여 MPEG4 디코더(116)를 구비한다.

도 1에 도시된 바와 같이 본 발명에 따른 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기은 LCD 디스플레이(119)를 구비하고, 상기 다이얼로그 데이터 파일(111)에 포함된 대화 텍스트 파일, 사운드 데이터 파일에 포함된 가사 텍스트 파일 또는 동영상 데이터 파일에 포함된 대화 텍스트 파일을 이들 구술, 노래 또는 동영상의 출력과 동기시켜 LCD 디스플레이(119)에 표시하게 한다. 상기 LCD 디스플레이(119)에는 음성으로 출력하는 메뉴 또는 상기 음성 인식 프로그램에 의하여 인식한 사용자의 음성 입력을 문자로 더 표시하는 것이 바람직하다.

도 1 및 도 2를 참조하면, 상기 마크로콘트롤러 유닛(101), 음성인식 디지털신호처리기(103), 무선수신기(131), 스피커(127), 마이크(129), 코덱(123), 코덱인터페이스(121), 메모리카드(107) 및 그 인테페이스(105)등의 구성요소는 단일의 PCB(printed circuit card)에 실장하여 로봇(200) 내부에 장치하고, 상기 LCD 디스플레이(119)는 로봇(200) 전면에 장치하는 것이 바람직하다.

이상, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 예시적으로 설명하였으나, 본 발명의 보호 범위를 이에 한정하는 것은 아니며, 본 발명의 보호 범위는 특허청구범위의 각 청구항에 기재낸 사항에 의하여 결정되어야 한다.

1 : 광학코드 식별 펜 3 : 밧데리
5 : DC-DC 컨버터 7 : 무선송신기
9 : 이미지 프로세서 11 : 이미지 센서
13 : 적외선 광원 15 : 렌즈
17 : 도광판 100 : PCB
101 : 마크로콘트롤러 유닛 103 : 음성인식 디지털신호처리기
105 : 메모리카드 인테페이스 107 : 메모리 카드
109 : 프로그램 파일 110 : 컨텐츠 데이터 파일
111 : 맵 데이터 파일 115 : MP3 디코더
116 : MP4 디코더 117 : WMA 디코더
119 : LCD 디스플레이 121 : 코덱 인터페이스
123 : 코덱 125 : OP 앰프(증폭기)
127 : 스피커 129 : 마이크
131 : 무선수신기(RF RECEIVER) 200 : 로봇
201 : 인쇄물

Claims

적외선 광원과, 적외선 광원을 조사하여 반사된 광학이미지를 디지털 이미지로 변환하는 이미지센서와, 상기 디지털 이미지를 처리하여 광학코드를 추출하는 이미지프로세서와, 상기 광학코드를 무선으로 송신하는 무선송신기를 구비한 광학코드 식별 펜;
일정한 콘텐츠와 맵핑 될 영역에 적외선 흡수성 잉크에 의하여 부호 이미지를 육안으로 식별하기 어려운 크기와 밝기로 인접하여 반복하여 인쇄하고, 그 상부에 적외선 투과성 잉크에 의하여 해당 콘텐츠를 인쇄한 인쇄물;
상기 광학코드 식별 펜의 무선송신기로부터 광학코드를 수신하는 무선수신기와, 마이크로부터 입력된 사용자 음성을 코덱을 통하여 부호화하여 입력받고 소정의 음성 인식 알고리즘에 따라 인식한 음성 데이터를 출력하는 음성인식 디지털신호처리기(DSP)와, 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트 데이터 화일, 사운드 데이터 화일, 또는 동영상 데이터을 포함하는 콘텐츠 데이터 파일과, 상기 광학코드와 콘덴츠 데이터간의 맵핑 테이블을 포함하는 맵데이터 화일과, 상기 무선수신기에서 수신한 광학코드 및 상기 마이크를 통해 입력되고 상기 음성인식 디지털신호처리기에서 처리된 사용자 음성에 따라 상기 콘텐츠 데이터를 출력 제어하는 주프로그램(main program)이 저장된 저장 장치(storage)와, 상기 주프로그램을 실행하는 마크로콘트롤러 유닛(MCU)과, 상기 주프로그램의 제어에 의하여 상기 인쇄물에 인쇄된 콘텐츠에 연계된 텍스트, 사운드, 또는 동영상을 표시하는 LCD 디스플레이를 포함한 로봇;으로 구성된 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기.
제 1 항에 있어서,
상기 로봇의 목과 몸통 사이 관절, 몸통과 어깨 사이 관절 및 몸통과 다리 사이의 관절에는 모터들을 더 구비하고, 상기 인쇄물에는 상기 로봇의 다양한 동작을 나타내는 캐릭터들을 인쇄하고, 사용자가 로봇 캐릭터를 선택할 경우, 상기 마이크로콘트롤러 유닛은 상기 로봇이 선택된 로봇 캐릭터의 동작을 행하도록 상기 모터들을 제어하는 것을 특징으로 하는 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기.
제 1 항에 있어서,
상기 무선송신기 및 무선수신기는 블루투스 모듈인 것을 특징으로 하는 광학코드 식별 펜을 활용한 음성인식 양방향 어학학습기.