KR20150088564A - 음성인식에 기반한 애니메이션 재생이 가능한 전자책 단말기 및 그 방법 - Google Patents

Abstract

음성인식에 기반한 애니메이션 재생이 가능한 전자책 단말기 및 그 방법이 개시된다. 본 발명의 전자책 단말기는, 사용자에게 표시된 전자책 내용 중에서 사용자가 읽은 부분을 음성인식에 기반하여 인식한 다음, 그 인식 부분에 따라 지정된 애니메이션이 재생되도록 할 수 있다. 이를 위해, 전자책 단말기는 전자책 페이지의 표시 중에 마이크로폰을 통해 사용자의 음성신호를 생성하여 음성 인식을 수행한 다음, 해당 페이지의 기 설정된 텍스트가 음성인식되는 것을 재생 조건으로 하여 애니메이션을 재생한다.

Description

음성인식에 기반한 애니메이션 재생이 가능한 전자책 단말기 및 그 방법{E-Book Apparatus Capable of Playing Animation on the Basis of Voice Recognition and Method thereof}

본 발명은 사용자에게 표시된 전자책 내용 중에서 사용자가 읽은 부분을 음성인식에 기반하여 인식한 다음, 그 부분에 미리 매핑된 애니메이션 등을 재생하여 표시하는 전자책 단말기 및 그 방법에 관한 것이다.

소위 '이북(E-book)'이라고 불리는 전자책은 휴대기기(스마트폰, 태블릿 등)나 컴퓨터로 볼 수 있는 책이며, 휴대기기나 컴퓨터에는 전자책을 표시부를 통해 사용자에게 표시할 수 있는 프로그램 등이 설치되어 있다. 최근에는 아마존의 킨들(Kindle)처럼 전자책 전용의 장치(Reader)도 보급되고 있다.

전자책 솔루션에 따라 조금씩 다르지만 일반적으로 메모, 줄 긋기, 검색 기능을 지원하는 경우도 있다. 나아가 대한민국 공개특허 제10-2003-0030328호의 경우, 전자책 데이터를 사용자의 의사에 따라 화면의 형태나 내장된 음성합성엔진(Text To Speech)을 이용한 음성출력의 형태로 변환하여 사용자에게 제공하는 휴대용 정보 단말기를 개시한다. 이 발명은 사용자가 입력한 텍스트를 음성합성엔진을 이용하여 음성의 형태로 출력하는 특징이 있다.

그러나, 유아용, 미취학 어린이 도서의 경우, 어머니가 직접 읽어주는 것이 일반적이며, 그 방법이 녹음된 음성을 재생하여 아이들에게 들려주는 것보다 교육적 효과나 어머니와 아이 사이의 교감에 더 도움이 된다. 따라서 음성을 재생해 주는 기능은 특별히 유아용 도서나 아동용 도서에는 도움이 되지 않는다.

[관련 기술 문헌]

1. 음성합성엔진을 이용한 전자책 브라우저 시스템 (대한민국 공개특허 제10-2003-0030328호)

이 발명은

2.전자책의 녹음 내용을 저장하는 이동통신 단말기 및 방법 (대한민국 등록특허 제10-0695209호)

본 발명의 목적은, 사용자에게 표시된 전자책 내용 중에서 사용자가 읽은 부분을 음성인식에 기반하여 인식한 다음, 그 부분에 미리 매핑된 애니메이션 등을 재생하여 표시하는 전자책 단말기 및 그 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 전자책을 표시할 수 있는 단말기는, 표시부에 상기 전자책의 페이지를 표시하면서 전자책 기능을 수행하는 중에, 애니메이션 재생 조건이 완성되는지를 판단하되, 상기 재생조건은 상기 페이지의 기 설정된 텍스트가 음성인식되는 것인 전자책 기능부; 사용자의 음성을 수집하여 음성신호로 생성하는 마이크로폰; 및 상기 페이지가 표시되는 중에 상기 마이크로폰이 제공하는 음성신호를 텍스트로 인식하는 음성인식부를 포함한다.

여기서, 상기 전자책기능부는, 상기 음성인식부가 인식한 텍스트가 상기 재생 조건의 텍스트와 일치하는 경우에 상기 재생 조건이 완성된 것으로 판단하고 상기 페이지가 애니메이션으로 동작하도록 한다.

애니메이션 재생의 실시 예에 따라, 상기 전자책은 상기 페이지의 애니메이션용 페이지를 더 포함할 수 있다. 이 경우, 상기 전자책기능부는 상기 재생 조건이 완성된 경우에, 상기 애니메이션용 페이지를 표시함으로써 상기 애니메이션 동작을 제공할 수 있다.

애니메이션 재생의 다른 실시 예에 따라, 전자책 단말기는 애니메이션 콘텐츠를 재생하는 콘텐츠 재생부를 더 포함하고, 상기 전자책기능부는 상기 재생 조건에 매핑된 상기 콘텐츠의 식별자를 상기 전자책 파일로부터 추출하여 상기 콘텐츠 재생부에게 제공하고, 상기 콘텐츠 재생부가 상기 식별자를 가지는 콘텐츠를 재생하는 영상 정보를 상기 페이지 상에 표시함으로써, 상기 애니메이션을 재생할 수도 있다.

다른 실시 예에 의하면, 상기 전자책기능부는, 상기 재생조건이 상기 페이지의 기 설정된 문장이 음성인식되는 경우에, 상기 음성인식부가 인식한 텍스트가 상기 재생 조건의 문장과 일치하거나 상기 문장 중에 포함된 복수 개의 단어와 일치하는 경우에 상기 재생 조건이 완성된 것으로 판단할 수 있다.

본 발명의 또 다른 실시 예에 따른 전자책 단말기의 애니메이션 재생방법은, 표시부에 전자책의 페이지를 표시하면서 전자책 기능을 수행하는 단계; 상기 페이지가 표시되는 중에, 마이크로폰이 수집하여 제공하는 사용자의 음성신호를 텍스트로 인식하는 단계; 상기 인식된 텍스트를 기초로 저장매체에 저장된 애니메이션 콘텐츠의 재생 조건이 완성되는지를 판단하되, 상기 재생조건은 상기 페이지의 기 설정된 텍스트가 음성인식되는 것인 단계; 및 상기 재생조건이 완성된 경우에 상기 애니메이션 콘텐츠를 재생하여 상기 페이지 상에 표시하는 단계를 포함한다.

여기서 상기 판단하는 단계는, 상기 음성인식부가 인식한 텍스트가 상기 재생 조건의 텍스트와 일치하는 경우에 상기 재생 조건이 완성된 것으로 판단한다.

본 발명에 따른 전자책 단말기는 사용자에게 표시된 전자책 내용 중에서 사용자가 읽은 부분을 음성인식에 기반하여 인식한 다음, 그 부분에 미리 매핑된 애니메이션 등을 재생하여 표시할 수 있다.

또한, 사용자가 전자책을 읽고 있는 상황이므로, 본 발명의 음성인식은 전자책 페이지의 텍스트에 기초하여 이루어지게 되어 그 인식률이 상대적으로 높다.

도 1은 본 발명의 전자책 단말기의 블록도,
도 2는 본 발명의 전자책 단말기의 애니메이션 재생방법의 설명에 제공되는 흐름도, 그리고
도 3은 본 발명에 따라 애니메이션이 제공되는 화면을 도시한 도면이다.

이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1을 참조하면, 본 발명의 단말기(100)는 다양한 포맷의 이-북(E-Book)을 전자책의 형태로 표시할 수 있는 단말기가 해당한다. 단말기(100)에 따라서, 최근에 널리 사용되는 휴대전화기, 스마트 폰(Smart Phone) 또는 태블릿(Tablet) 컴퓨터처럼 본 발명이 제시하는 기능 이외에 다양한 기능(전화, 카메라 등)을 수행하기 위한 각종 구성을 포함할 수 있다. 다만, 이러한 구성 중 본 발명의 설명에 필수적이지 않은 구성에 대하여는 도면에 도시하지 않고 설명하지도 않는다.

도 1을 참조하면, 단말기(100)는 본 발명의 특징적인 전자책 표시방법을 수행하기 위하여, 표시부(101), 입력부(103), 마이크로폰(Microphone)(105), 저장매체(107) 및 제어부(110)를 포함한다.

표시부(101)는 엘시디(LCD), 오엘이디(OLED) 등과 같이 각종 정보를 시각적으로 인식할 수 있도록 표시하는 장치이고, 입력부(103)는 사용자의 제어명령을 입력받기 위한 장치이다. 예컨대, 단말기(100)가 스마트 폰 또는 태블릿 컴퓨터인 경우, 표시부(101)와 입력부(103)가 하나의 터치 스크린(Touch Screen) 형태로 마련될 수도 있다.

마이크로폰(105)은 아래에서 설명되는 것처럼, 사용자의 음성으로부터 음성신호로 생성하여 제어부(110)에게 제공한다.

저장매체(107)에는 본 발명의 다양한 전자책 파일과 함께, 전자책 상에서 재생될 애니메이션 콘텐츠가 저장된다. 여기서 전자책 파일은 전자책의 내용이 되는 텍스트와 이미지 이외에도 전자책 파일 포맷에 따른 다양한 정보가 포함된다.

애니메이션 콘텐츠는 각각 식별자(ID: Identification)를 가지며, 식별자는 아래에서 설명되는 재생 조건에 매핑될 수 있다. 전자책 파일은 그 매핑 정보도 포함하고 있다. 예컨대, 도 3의 (a)와 같은 전자책 페이지(P1)에서, '오늘 밤 저걸 다 부숴버려야지'라는 문장(재생 조건)에는 제1 애미메이션 파일이 매핑되어 있으며, 도 3의 (b)의 페이지(P2)는 제1 애니메이션 재생 화면이다. 그러나 페이지(P1)와 페이지(P2)는 전자책의 같이 페이지에 해당한다.

제어부(110)는 단말기(100)의 전반적인 동작을 제어하며, 본 발명의 전자책 표시 기능을 수행하기 위하여 특별히 전자책기능부(111), 음성인식부(113) 및 콘텐츠 재생부(115)를 포함한다.

제어부(110)는 본 발명을 위해 특별히 설치된 구성으로 해석될 수도 있으나, 실시 예에 따라 단말기(100)의 주된 또는 기본 기능(예컨대, 전화, 통신 등)을 수행하기 위해 설치된 구성일 수도 있다. 이처럼 제어부(110)가 단말기(100)의 기본 기능을 수행하기 위해 설치된 구성일 경우, 제어부(110)는 단말기(100)가 기본적으로 보유하는 하드웨어인 프로세서 칩(Processor Chip)과, 그 칩에 기반하여 동작하는 운영체제 프로그램(OS: Operating System)으로 구현되는 구성을 기능적으로 지시한 것일 수 있다. 다시 말해, 본 발명이 수행되지 않는 종래의 단말기 역시 제어부(110)를 구비할 수 있다.

이러한 경우, 전자책기능부(111), 음성인식부(113) 및 콘텐츠 재생부(115)는 그 운영체제 프로그램상에서 동작하는 소프트웨어인 어플리케이션(Application)으로서 본 발명의 실시를 위해 종래의 단말기에 설치된 것일 수 있다. 다시 말해 종래의 단말기에 본 발명의 전자책기능부(111), 음성인식부(113) 및 콘텐츠 재생부(115)가 설치되면 본 발명의 단말기(100)가 되는 것이다. 한편, 이러한 어플리케이션은 '프로그램 분배 서버(미도시)'가 구비한 컴퓨터로 읽을 수 있는 저장매체에 기록된 프로그램일 수 있으며, 단말기(100)가 인터넷을 통해 분배 서버(미도시)에 접속하여 해당 어플리케이션을 다운로드 받아 설치할 수도 있다.

이하에서는, 도 2 및 도 3을 참조하여, 전자책기능부(111)의 동작을 중심으로 음성인식부 및 콘텐츠 재생부(115)의 동작도 함께 설명한다. 이해와 설명의 편리를 위해, 사용자가 전자책을 동작시킨 다음에 표시부(101)에 표시된 페이지의 텍스트 전부 또는 일부를 소리 내어 읽는 상황을 가정한다. 도 3에는 전자책기능부(111)가 표시하는 페이지가 도시되어 있다. 도 3의 (a), (b) 및 (c)에 도시된 페이지(P1, P2, P3)은 해당 전자책의 동일한 페이지이다.

<전자책 페이지 표시: S201>

전자책기능부(111)는 저장매체(107)에 저장된 전자책 파일 중 하나를 표시부(101)에 전자책의 형태로 표시한다. 도 3의 (a)에는 표시부(101)에 표시되는 전자책의 페이지(P1)가 예시적으로 도시되어 있다. 페이지(P1)이 전체 전자책 중 4 페이지라 가정한다.

또한 전자책기능부(111)는 입력부(103)를 통해 입력되는 사용자 제어명령에 따라 전자책의 페이지(P1) 표시 중에 전자책 기능을 수행한다. 다시 말해 전자책기능부(111)는 통상의 이-북 리더기(Reader)의 기능을 수행한다. 따라서 사용자의 제어명령에 따라 페이지의 넘김, 페이지 스크롤(Scroll), 단어 검색 등의 기능을 제공하며, 실시 예에 따라 밑줄 긋기, 메모 등의 부가적인 기능도 수행할 수 있다. 전자책기능부(111)의 동작 중에서 여기서 설명하는 본 발명의 특징적인 동작을 제외한 기본 기능은 종래의 다양한 이-북 리더기에 적용된 기능 및 방법을 사용할 수 있다.

<음성신호 수집: S203>

전자책기능부(111)가 전자책의 페이지(P1)를 표시하는 중에, 마이크로폰(105)은 사용자의 음성을 수집하여 음성신호로 생성한다. 사용자가 전자책을 보면서 전자책을 소리 내어 읽게 되면, 마이크로폰(105)이 사용자의 음성신호를 생성하게 되는 것이다.

<음성신호를 텍스트로 인식: S205>

음성인식부(113)는 S201 단계에서 전자책기능부(111)가 전자책의 페이지(P1)를 표시하는 중에 마이크로폰(105)이 제공하는 음성신호를 텍스트로 인식한다.

음성인식부(113)의 음성 인식 방법은 종래에 알려진 음성인식 방법을 그대로 사용할 수 있다. 한편, 사용자는 전자책을 보고 읽는 것이므로, 음성인식부(113)는 표시부(101)에 표시되는 페이지의 텍스트를 기초로 음성인식을 수행함으로써 음성 인식률을 높일 수 있다.

예컨대, S201 단계에서 도 3의 (a)와 같은 전자책 페이지(P1)가 표시되는 중에, 사용자가 페이지(P1)에 표시된 텍스트인 '오늘 밤 저걸 다 부숴버려야지'라는 문장을 읽으면, S203 단계에서 마이크로폰(105)이 해당 음성을 음성신호로 생성하고, S205 단계에서 음성인식부(113)는 페이지(P1)의 텍스트를 기초로 음성인식을 수행한다.

음성인식부(113)는 도 1에 도시되고 앞에서 설명된 것처럼 제어부(110)의 내부 구성으로 마련될 수도 있지만, 제어부(110)와 구분되는 별도의 하드웨어적 구성으로 마련될 수도 있다.

<인식된 텍스트에 기초하여 애니메이션 콘텐츠 재생조건 확인: S207>

전자책기능부(111)는 음성인식부(13)가 음성신호로부터 인식한 텍스트를 기초로 애니메이션 재생 조건이 완료되었는지 여부를 판단한다.

여기서, 애니메이션 재생 조건은 설정에 따라 특정 단어가 입력되면 완성될 수도 있고, 단어 조합이나 구, 절 또는 문장이 입력되어야지 완성된 것으로 판단할 수도 있다.

전자책기능부(111)는 음성인식부(13)가 인식한 단어, 구, 절 또는 문장과 동일한 부분이 현재 표시부(101)에 표시중인 페이지에 있는지 판단하고, 동일한 부분을 중심으로 재생 조건이 완성되었는지 판단한다.

도 3의 (b)는 '오늘 밤 저걸 다 부숴버려야지'라는 문장이 제1 재생 조건인 예이다. 이 경우, 인식된 음성이 '오늘 밤 저걸 다 부숴버려야지'라는 문장이어야 조건이 완성된 것이 된다. 한편, 실시 예에 따라, '오늘', '밤', '부숴'라는 단어 조합이 제1 재생 조건일 수도 있다. 이 경우, 전자책기능부(111)는 문장 전체가 아닌 문장 내의 몇 개 단어 조합이 인식된 경우에도 '오늘 밤 저걸 다 부숴버려야지'가 인식된 것으로 판단할 수 있다.

또한, 도 3의 (c)의 경우는, 음성인식부(113)가 '발로 퍽퍽 차서'라는 음성 인식을 한 경우로서, 실시 예에 따라 '발로'와 '퍽퍽'을 인식하더라도 제2 재생 조건이 완성될 수 있다.

이때 전자책기능부(111)는 도 3의 (b)나 (c)에서처럼 재생 조건이 완성된 부분(x, y)을 다른 부분과 다르게 표시할 수 있다.

<콘텐츠 재생: S209, S211 >

전자책기능부(111)는 재생 조건이 완료된 부분에 기 매핑된 애니메이션 콘텐츠의 식별자를 추출하고(S209), 콘텐츠 재생부(115)를 통해 해당 콘텐츠를 재생한다(S211).

S209 단계에서, 재생 조건이 완성된 부분이 있으면, 전자책기능부(111)는 해당 부분에 매핑된 콘텐츠의 식별자를 전자책 파일로부터 추출하고, 해당 식별자를 가진 콘텐츠(예컨대, 제1 애니메이션 파일)를 저장매체(107)에서 추출하여 콘텐츠 재생부(115)에게 제공한다.

S211 단계에서, 콘텐츠 재생부(115)가 전자책기능부(111)로부터 제공받은 콘텐츠를 재생하면 전자책기능부(111)는 도 3의 (b)에서처럼 페이지(P2) 상에 콘텐츠 재생부(115)가 재생하여 제공하는 영상 정보를 함께 표시한다. 그러나 페이지(P2)는 페이지(P1)와 동일한 4 페이지이다.

마찬가지로, 사용자가 페이지(P2)를 보고'발로 퍽퍽 차서'라고 읽으면, 그 음성을 인식하여 '발로 퍽퍽 차서'에 매핑된 제2 애니메이션 파일을 재생하여 도 3의 (c)와 같은 페이지(P3)가 표시된다. 페이지(P3)도 페이지(P1)와 동일한 4 페이지이다.

이상의 방법으로 본 발명의 전자책 표시방법이 수행된다.

만약에, '페이지 넘김' 제어명령이 입력되면, 전자책기능부(111)는 위 도 2의 어느 단계를 수행 중이던 관계없이 사용자의 제어명령에 따라 다음 페이지를 표시하고, 음성 인식 중인 처리 결과는 무시된다.

<실시 예>

실시 예에 따라, 재생조건에 의해 재생되는 것이 별도의 애니메이션 콘텐츠가 아니라, 사용자의 페이지 넘김 명령이 없는 상태에서 애니메이션 효과를 낼 수 있도록 전자책의 여러 페이지를 넘기는 동작이 될 수 있다. 이 경우, 콘텐츠 재생부(115)가 불필요하다.

예컨대, 도 3의 (a), (b) 및 (c)는 전자책 내의 동일한 페이지(예컨대, 4 페이지)를 위한 것이며, 다만 페이지(P2)는 페이지(P1)의 애니메이션용 페이지이고, 페이지(P3)는 페이지(P2)의 애니메이션용 페이지이다. 이 경우, 전자책 파일은 애니메이션 콘텐츠의 식별자 정보를 가지고 있을 필요가 없고, 저장매체(107)에는 애니메이션 콘텐츠를 저장할 필요가 없다.

이 실시 예에 의할 경우에도, 도 2의 S201 내지 S207 단계는 그대로 수행되며 애니메이션 재생 조건은 동일하게 설정되고 완성될 수 있다. 다만, 도 2의 S209와 S211 단계를 대신하여, 페이지(P1) 상태에서 제1 재생 조건이 완성되면 애니메이션용 페이지(P2)를 표시한다. 마찬가지로 제2 재생조건이 완성되면 애니메이션용 페이지(P3)을 표시하여 애니메이션 효과를 낼 수 있다.

만약, 페이지(P1, 예컨대 4 페이지) 상태에서 제1 재생 조건 또는 제2 재생 조건이 수행되지 않은 상태에서 페이지 넘김 제어가 입력되면, 전자책기능부(111)는 애니메이션용 페이지(P2, P3, 4 페이지)를 표시하지 않고 다른 페이지(예컨대 5 페이지)를 표시한다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (5)

1. 전자책을 표시할 수 있는 단말기에 있어서,
   표시부에 상기 전자책의 페이지를 표시하면서 전자책 기능을 수행하는 중에, 애니메이션 재생 조건이 완성되는지를 판단하되, 상기 재생조건은 상기 페이지의 기 설정된 텍스트가 음성인식되는 것인 전자책 기능부;
   사용자의 음성을 수집하여 음성신호로 생성하는 마이크로폰; 및
   상기 페이지가 표시되는 중에 상기 마이크로폰이 제공하는 음성신호를 텍스트로 인식하는 음성인식부를 포함하고,
   상기 전자책기능부는,
   상기 음성인식부가 인식한 텍스트가 상기 재생 조건의 텍스트와 일치하는 경우에 상기 재생 조건이 완성된 것으로 판단하고 상기 페이지가 애니메이션으로 동작하도록 하는 전자책 단말기.
   
2. 제1항에 있어서,
   상기 전자책은 상기 페이지의 애니메이션용 페이지를 더 포함하고,
   상기 전자책기능부는,
   상기 재생 조건이 완성된 경우에 상기 애니메이션용 페이지를 표시함으로써 상기 애니메이션 동작을 제공하고, 상기 재생조건이 완성되지 않은 상태에서 사용자의 페이지 넘김 제어명령이 있으면 상기 애니메이션용 페이지의 표시 없이 다른 페이지를 바로 표시하는 전자책 단말기.
   
3. 제1항에 있어서,
   애니메이션 콘텐츠를 재생하는 콘텐츠 재생부를 더 포함하고,
   상기 전자책기능부는,
   상기 재생 조건에 매핑된 상기 콘텐츠의 식별자를 상기 전자책 파일로부터 추출하여 상기 콘텐츠 재생부에게 제공하고, 상기 콘텐츠 재생부가 상기 식별자를 가지는 콘텐츠를 재생하는 영상 정보를 상기 페이지 상에 표시함으로써, 상기 애니메이션을 재생하는 것을 특징으로 하는 전자책 단말기.
   
4. 제1항에 있어서,
   상기 전자책기능부는,
   상기 재생조건이 상기 페이지의 기 설정된 문장이 음성인식되는 경우에, 상기 음성인식부가 인식한 텍스트가 상기 재생 조건의 문장과 일치하거나 상기 문장 중에 포함된 복수 개의 단어와 일치하는 경우에 상기 재생 조건이 완성된 것으로 판단하는 전자책 단말기.
   
5. 전자책 단말기의 애니메이션 재생방법에 있어서,
   표시부에 전자책의 페이지를 표시하면서 전자책 기능을 수행하는 단계;
   상기 페이지가 표시되는 중에, 마이크로폰이 수집하여 제공하는 사용자의 음성신호를 텍스트로 인식하는 단계;
   상기 인식된 텍스트를 기초로 저장매체에 저장된 애니메이션 콘텐츠의 재생 조건이 완성되는지를 판단하되, 상기 재생조건은 상기 페이지의 기 설정된 텍스트가 음성인식되는 것인 단계; 및
   상기 재생조건이 완성된 경우에 상기 애니메이션 콘텐츠를 재생하여 상기 페이지 상에 표시하는 단계를 포함하고,
   상기 판단하는 단계는,
   상기 음성인식부가 인식한 텍스트가 상기 재생 조건의 텍스트와 일치하는 경우에 상기 재생 조건이 완성된 것으로 판단하는 전자책 단말기의 애니메이션 재생방법.
   

Images