KR101467852B1 - 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜 - Google Patents

코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜 Download PDF

Info

Publication number
KR101467852B1
KR101467852B1 KR1020130054026A KR20130054026A KR101467852B1 KR 101467852 B1 KR101467852 B1 KR 101467852B1 KR 1020130054026 A KR1020130054026 A KR 1020130054026A KR 20130054026 A KR20130054026 A KR 20130054026A KR 101467852 B1 KR101467852 B1 KR 101467852B1
Authority
KR
South Korea
Prior art keywords
code image
musical instrument
index
sound
sound source
Prior art date
Application number
KR1020130054026A
Other languages
English (en)
Other versions
KR20140134188A (ko
Inventor
최성묵
서문환
Original Assignee
(주) 아인전자
서문환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아인전자, 서문환 filed Critical (주) 아인전자
Priority to KR1020130054026A priority Critical patent/KR101467852B1/ko
Publication of KR20140134188A publication Critical patent/KR20140134188A/ko
Application granted granted Critical
Publication of KR101467852B1 publication Critical patent/KR101467852B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/02—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/08—Practice keyboards
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data

Abstract

본 발명은 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법으로, 코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 상기 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 악기 선택 인식단계(S10); 코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 음 터치/연주 인식단계(S20); 추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 악기 연주단계(S30);를 포함하여, 상기 음 터치/연주 인식단계(S20)는 특정 음원에 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속되는 지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 터치가 지속 되는 동안 상기 음원을 재생하는 것을 특징으로 한다.

Description

코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜 {Controlling method for reproduction of sound from playing musical instrument by electronic pen using prints code image is printed there on and Electronic pen performing therof}
본 발명은 전자펜의 음향 재생 제어방법 및 이를 수행하는 전자펜에 관한 것으로, 보다 상세하게는, 도트 코드 등 코드 이미지가 인쇄된 인쇄물을 이용하여 각 인덱스 값을 추출하여 이를 이용하여 악기 연주 기능을 제공하는 전자펜의 악기 연주 음향 재생제어방법 및 이를 수행하는 전자펜에 관한 것이다.
최근 이는 기존의 CD 플레이어, MP3플레이어와는 다르게 인쇄물과 연계하여 단어나 문장 등을 인쇄물에 대한 터치로 관련된 음원을 재생하여 주는 기기로서, 도트 코드 등 코드 이미지 형태로 인쇄된 인덱스 값을 인식하여 해당 인덱스가 할당된 메모리에 저장된 음원파일을 재생하는 전자펜이 널리 보급되고 있다.
또한, 이러한 전자펜은 단순한 저장된 음원파일의 재생 기능뿐만 아니라, 코드 이미지 내지 코드와 이와 연관된 인덱스를 사용하여 외부 입력음향을 녹음하거나, 내부 재생음향을 음원파일로 저장하여 재생할 수 있는 형태로 구현될 수 있으며, 이때 각 인덱스는 상기 녹음과 재생을 위한 각종 설정 정보의 입력, 명령어의 입력, 및 메모리의 특정 주소에 저장된 음원을 검색하거나 특정 주소에 저장하기 위한 식별자 또는 식별자를 구성하기 위한 데이터로 사용된다.
인쇄물로서는 각 교육목적에 따라, 도트 코드 등 코드 이미지가 인쇄물로서 유아용 서적, 어학 교육용 서적 등이 주로 활용되어, 언어 교육의 목적으로 사용되고 있으며, 인쇄물의 형태는, 일반적인 서적뿐만 아니라, 스티커, 단일 인쇄지 등 용도에 따라 다양한 방식으로 구현되고 있다.
한편, 유아 및 성인의 음악교육 또는 취미의 목적으로 특정 악기를 연주하거나 연주법을 배우는 것이 보편화 되어 있으며, 이를 위하여, 통상 신디사이저등 전자 악기를 포함하는 실제 악기를 사용하는 방법이 일반적이며, 악기의 연주나 연습에 있어, 컴퓨터 또는 스마트 기기를 활용하는 방식도 사용되고 있다.
이러한 환경에서, 악기 연주 및 이를 녹음 재생하는 도구로서 도트 코드 등 코드 이미지가 인쇄물과 전자펜을 활용하는 방안이 고려될 수 있으며, 이 경우 상대적으로 사용이 용이한 전자펜과 다양한 음악교육 자료 및 사용자 인터페이스(UI)의 인쇄가 가능한 인쇄매체를 활용하므로 악기의 연주나 연습 등 효율적인 음악교육이 가능하다.
이에 따라, 이러한 목적에 맞는 형태의 코드 이미지가 인쇄된 인쇄물과 이를 이용하는 전자펜의 악기 연주 음향재생 제어방법의 구현 및 개발이 요구되고 있다.
대한민국 특허공보 등록번호 10-0912118호(공고일자 2009년08월13일 "콘텐츠에 연동된 학습 시스템 및 이를 이용한 학습 방법") 대한민국 특허공보 등록번호 10-0523892호(공고일자 2005년10월24일 "디지털 펜을 사용하여 상용 악보 표기(ＣＭＮ)를 기록하기 위한 방법 및 시스템")
따라서, 본 발명은 코드 이미지가 인쇄된 인쇄물과 이를 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 전자펜의 구현 및 개발하는 것을 목적으로 한다.
또한, 악기 연주 음향재생 제어에 있어, 사용자가 입력하는 음의 장단을 인식하여 재생 및 저장할 수 있는 전자펜의 악기 연주 음향재생 제어방법 및 전자펜을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은 일 측면에 있어서, 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법으로, 코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 상기 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 악기 선택 인식단계(S10); 코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 음 터치/연주 인식단계(S20); 추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 악기 연주단계(S30);를 포함하여, 상기 음 터치/연주 인식단계(S20)는 특정 음원에 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속되는 지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 터치가 지속되는 동안 상기 음원을 재생하는 것을 특징으로 한다.
바람직하게는, 코드 이미지가 연주될 음의 하나 이상의 음계별로 할당된 음계선택 이미지영역(220)의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음계에 할당된 음계 인덱스를 추출하는 연주음계선택 인식단계(S11)를 더 포함하여, 상기 연주 재생단계는, 추출된 상기 선택된 악기에 할당된 악기 인덱스, 상기 선택된 음에 할당된 음원 인덱스, 및 상기 특정 음계에 할당된 음계 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음계의 선택된 음의 음원을 검색하여, 상기 음원을 재생한다.
또한, 바람직하게는 재생되는 일련의 음을 저장하도록 제어하는 연주 녹음 명령에 할당된 연주 녹음 명령 코드 이미지영역(241)의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 연주녹음 명령에 할당된 녹음명령 인덱스를 추출하여 이에 따라 재생되는 일련의 음을 연주곡으로 메모리에 저장하는 연주 녹음단계(S40)를 포함하여 수행된다.
아울러 바람직하게는, 재생되는 일련의 음을 각 북마크에 사전 설정된 식별정보를 부가하여 북마크로서 저장하도록 제어하는 북마크저장 명령에 할당된 북마크저장 명령 코드 이미지영역(242)과 저장될 북마크의 식별정보를 포함하는 북마크코드 이미지영역(250)의 각 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 북마크저장 명령에 할당된 북마크저장 명령 인덱스 및 북마크 식별정보에 할당된 북마크 인덱스를 추출하여 이에 따라 재생되는 일련의 음을 연주곡으로 상기 북마크 식별정보에 따라 메모리에 저장하는 북마크 저장단계(S50)를 포함하여 수행된다.
여기서 터치가 지속 되는 시간 측정하는 과정을 수행하여 재생되는 일련의 음을 연주곡으로 저장시 상기 터치가 지속되는 시간을 재생되는 음의 장단정보로서 부가하여 메모리에 저장하는 것이 바람직하며, 상기 음의 장단정보에 따라 저장된 일련의 음이 재생되는 것이 더욱 바람직하다.
한편, 바람직하게는 상기 음 터치/연주 인식단계는, 코드 이미지가 인쇄된 인쇄물의 코드 이미지영역의 일부 이미지를 캡쳐하는 과정, 캡쳐된 이미지로부터 정상적으로 코드 이미지가 검출되었는지를 판단하는 과정, 정상적인 코드 이미지가 검출된 경우 코드 이미지를 출력하는 과정, 상기 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 인덱스를 추출하는 과정, 상기 추출된 인텍스가 정상인지를 판단하는 과정, 및 상기 인덱스가 정상인 경우, 상기 인덱스가 특정 음에 할당된 음원 인덱스 인지를 판단하는 과정을 수행하여, 상기 인덱스가 특정 음에 할당된 음원 인덱스인 경우 이를 특정 음에 할당된 코드 이미지영역의 전자펜의 터치로 인식하여 상기 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 것을 특징으로 한다.
여기서, 상기 음 터치/연주 인식단계에 있어, 상기 터치가 인식된 시점에서, 상기 정상적인 코드 이미지가 검출되지 않는 시점까지의 시간이 상기 전자펜의 터치가 지속하는 시간으로 설정되는 것이 바람직하다.
또한, 상기 음 터치/연주 인식단계에 있어, 상기 터치가 인식된 시점에서, 상기 추출된 인덱스가 정상이 아닌 것으로 판단되는 시점까지의 시간이 상기 전자펜의 터치가 지속하는 시간으로 설정되는 것이 바람직하다.
아울러, 상기 악기 연주 인식 단계에 있어, 상기 인덱스가 정상인 경우, 추출된 인덱스 값과 현재 재생중인 음의 음원 인덱스 값이 동일한 지 여부를 판단하는 인덱스 비교 과정을 수행하여, 동일한 인덱스 값인 경우 상기 사용자의 터치가 지속하는 것으로 판단하고, 상이한 인덱스 값인 경우 상기 사용자의 터치가 종료된 것으로 판단하는 것이 바람직하다.
나아가, 바람직하게는 상기 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치 및 이탈을 감지하는 센서로부터 코드 이미지가 인쇄된 인쇄물의 터치에 따른 신호를 수신하여 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치로 인식하는 전자펜 터치감지 과정, 센서입력부를 통해 코드 이미지가 인쇄된 인쇄물의 일부분의 이미지를 캡쳐하는 과정, 캡쳐된 이미지로부터 정상적으로 코드 이미지가 검출되었는지를 판단하는 과정, 코드 이미지가 검출된 경우 코드 이미지를 출력하는 과정, 상기 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 인덱스를 추출하는 과정, 상기 추출된 인텍스가 정상인지를 판단하는 과정 및 상기 인덱스가 정상인 경우, 상기 인덱스가 특정 음에 할당된 음원 인덱스 인지를 판단하는 과정을 수행하여, 상기 인덱스가 특정 음에 할당된 음원 인덱스인 경우 상기 음원 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생을 개시하며, 상기 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치 및 이탈을 감지하는 센서로부터 코드 이미지가 인쇄된 인쇄물로부터의 전자펜의 이탈 신호를 수신하여, 이를 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치의 종료로 인식하는 인쇄물의 터치 종료 인식과정을 수행하여, 상기 터치감지시 터치종료 감지시까지의 시간을 사용자의 터치가 지속 되는 시간으로 설정하여 상기 음원을 재생한다.
또 다른 측면에서, 본 발명은 악기선택 이미지영역 및 연주음입력 이미지영역을 포함하여 각 코드 이미지가 인쇄된 인쇄물을 이용하여 악기연주 음향재생을 제어하는 전자펜에 있어서, 상기 인쇄물에 인쇄된 이미지를 캡쳐하고 코드 이미지를 추출하여 출력하는 센서입력부(110); 상기 센서입력부(110)으로부터 출력되는 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 할당된 인덱스를 추출하는 디지털 신호처리부(120); 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스로 식별하고, 상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스를 기초로 메모리(140)를 검색하여 검색된 음원을 재생하여 음성출력부(160)를 통해 출력하도록 제어하는 제어부(130); 상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스와 연관되어 음원이 저장된 메모리(140); 스피커와 증폭기회로를 포함하여, 제어부로부터 전송되는 재생된 음원을 스피커를 통해 출력하는 음성출력부(150)를 포함하며, 상기 제어부(130)는 음계입력 이미지영역의 터치 지속여부를 인식하여 상기 터치가 지속되는 동안 검색된 음원을 재생하여 전자펜의 음성출력부(150)을 통해 출력하도록 제어하는 것을 특징으로 한다.
바람직하게는, 상기 인쇄물에는 음계선택 이미지영역이 더 포함되어 이에 해당하는 코드 이미지가 인쇄되고, 제어부(130)는 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 특정 악기에 할당된 악기 인덱스, 특정 음에 할당된 음원 인덱스 및 선택된 음계에 할당된 음계 인덱스로 식별하고, 상기 특정 악기에 할당된 악기 인덱스, 특정 음에 할당된 음원 인덱스 및 선택된 음계에 할당된 음계 인덱스를 기초로 메모리(140)를 검색하고 검색된 음원을 재생하여 음성출력부(160)를 통해 출력하도록 제어하며, 상기 메모리에는 특정 악기에 할당된 악기 인덱스, 특정 음에 할당된 음원 인덱스 및 선택된 음계에 할당된 음계 인덱스와 연관하여 음원이 저장된 것을 특징으로 한다.
또한, 상기 인쇄물에는 재생되는 일련의 음을 저장하도록 제어하는 연주 녹음 명령에 할당된 연주녹음 명령 코드 이미지영역(241)이 포함되어 이에 해당하는 코드 이미지가 인쇄되고, 제어부(130)는 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 연주녹음 명령에 할당된 연주녹음 명령 인덱스로 식별하고, 이에 따라, 재생되는 일련의 음을 연주곡으로 메모리에 저장하도록 제어하는 것이 바람직하다.
아울러, 상기 인쇄물에는 재생되는 일련의 음을 각 북마크에 사전 설정된 식별정보를 부가하여 북마크로서 저장하도록 제어하는 북마크저장 명령에 할당된 북마크저장 명령 코드 이미지영역(241)과 저장될 북마크의 식별정보를 포함하는 북마크코드 이미지영역(250)이 포함되어 각각에 해당하는 코드 이미지가 인쇄되고, 제어부(130)는 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 북마크저장 명령에 할당된 북마크저장 명령 인덱스와 저장될 북마크의 식별정보를 포함하는 북마크 인덱스로 식별하고, 이에 따라, 재생되는 일련의 음을 연주곡으로 상기 북마크 식별정보에 따라 메모리에 저장하도록 제어하는 것이 바람직하다.
여기서, 재생되는 일련의 음을 연주곡으로 저장시 상기 터치가 지속 되는 시간을 재생되는 음의 장단정보로서 부가하여 저장하는 것이 바람직하다.
상술한 바와 같은 본 발명에 의하면, 터치펜의 사용시 도트 코드 등 코드 이미지가 인쇄된 인쇄물과 전자펜을 사용하여 악기를 연주하고, 이를 녹음 또는 재생하는 것이 가능하여, 비교적 단순한 방법으로 사용자가 사용하기 편리한 악기 연주 또는 연습 솔루션의 구현이 가능해져, 전자펜의 활용분야를 확대하고, 음악교육과 연관된 다양한 솔루션의 제공이 가능해지는 효과가 있다.
또한, 악기 연주 음향재생 제어에 있어, 사용자가 입력하는 음의 장단을 인식하여 재생 및 저장할 수 있으며, 인덱스 저장 등 다양한 부가 기능을 사용하여 고품질 사용자 친화적 악기 연주 또는 음악교육 솔루션을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 인쇄물과 연계한 전자펜의 악기 연주 음향재생 제어 시스템의 개념도.
도 2는 본 발명의 일 실시예에 따른 전자펜의 구성도.
도 3a 및 도 3b는 본 발명의 실시예에 따른 인덱스 할당을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 전자펜의 악기 연주 음향재생 제어방법의 흐름도.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 전자펜의 악기 연주 음향재생 제어방법의 악기 연주 및 저장 과정의 세부 흐름도.
도 6은 본 발명의 일 실시예에 따른 전자펜의 악기 연주 음향재생 제어방법의 연주녹음 재생 및 북마크 재생 과정의 세부 흐름도.
이하, 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 실시예에 기초하여 설명한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에 있어서 스티커 상에 인쇄된 코드 이미지는 도트 코드, 바 코드, 기타 코드의 인쇄된 이미지뿐만 아니라, 공지의 기술로서 인식가능한 숫자, 문자 등의 이미지를 포함하는 의미로서 사용된다. 본 명세서에 있어서 코드 이미지 관련 정보 또는 데이터는 촬영된 이미지, 촬영된 이미지로부터 인식된 코드 관련 정보나 데이터를 의미하며, 이들에 기타 필요 정보나 데이터 및 제어명령의 생성에 필요한 데이터를 부가하거나 가공한 정보나 데이터를 포함한다. 인식된 코드 데이터로부터 추출되는 인덱스 또는 인덱스 값은 코드 데이터로부터 얻어지는 별개의 값에 한정되지 않고, 코드 데이터 자체일 수 있다.
본 명세서에 있어서 전자펜의 인쇄물 또는 인쇄물의 특정 영역에 대한 터치는 반드시 물리적인 터치에 한정되지 않고, 전자펜이 사용자에 의하여 코드 이미지의 캡쳐가 가능한 인접 부근까지 접근되거나 이로 인식되는 상태를 포함하는 개념으로 사용된다.
먼저, 본 발명의 인쇄물과 연계한 전자펜으로 구성되는 악기 연주 음향재생 제어 시스템과 본 발명의 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법을 수행하는 전자펜의 실시예를 설명한다.
도 1은 본 발명의 인쇄물과 연계한 전자펜의 악기 연주 음향재생 제어 시스템의 개념도이다.
도 1을 참조하면, 전자펜(100)은 인쇄된 코드 이미지를 캡쳐하여 인쇄된 코드로부터 인덱스 값을 추출하여 이에 따라 음향의 녹음 및 재생을 제어하며, 음향재생기능과 재생되는 음향의 저장기능을 필수적으로 가지며, 각 기능은 코드 이미지를 분석하여 변환된 코드 데이터로부터 추출되는 하나 이상의 인덱스 값에 의하여 수행된다.
이외 통상적인 전자펜의, 마이크를 통한 사용자 음향 입력 저장기는, USB 포트 등 외부 인터페이스를 통한 PC 등 외부 기기와의 데이터 통신기능 및 사용자 버튼 입력에 따른 사용자 제어기능 등 부가적 기능을 가지게 된다.
인쇄물(200)에는 코드 이미지로서 확대부분에서와 같은 형태의 도트 코드 이미지가 도트 코드의 패턴의 형식으로 인쇄되어 상기 패턴의 분석하여 인덱스 값이 추출되며, 추출되는 하나 이상 또는 일련의 인덱스 값에 의하여, 악기 연주에 따른 음향재생 및 저장, 저장된 연주의 재생이 제어된다. 이에 따라, 악기 연주에 따른 음향재생 및 저장, 저장된 연주의 재생을 제어하기 위한 코드 이미지가 악기 이미지(미도시), 건반 이미지 등 사용자가 각 기능을 인식하는 데 필요한 심볼 이미지와 함께 인쇄되어 있으며, 각 코드 이미지는 영역별로 구분되어, 악기선택 이미지영역(210), 음계선택 이미지영역(220), 연주음입력 이미지영역(230), 제어명령 이미지 영역(240), 북마크코드 이미지 영역(250)으로 구분되어 각 심볼 이미지와 함께 인쇄된다.
악기선택 이미지영역(210)에는, 다수의 코드 이미지가 연주가능한 악기별로 할당되어 인쇄되며, 피아노에 할당된 코드 이미지 영역(211), 바이올린에 할당된 코드 이미지 영역(212), 섹소폰에 할당된 코드 이미지 영역(213) 등과 같이 각 악기에 할당된 코드 이미지 영역이 구분되어 필수적으로 인쇄된다. 각 코드 이미지 영역에는 각 악기의 심볼 이미지(미도시)가 함께 인쇄된다. 전자펜(100)의 코드 이미지영역(211~21n)에 대한 터치 또는 접근에 의하여 상기 코드 이미지를 캡쳐되고, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스가 추출된다.
음계선택 이미지영역(220)은 기본음계에 할당된 음계 코드 이미지영역(221), 기본음계의 한 옥타브 아래의 음계(222), 및 기본음계의 한 옥타브 위의 음계 코드 이미지 영역(223) 등으로 각 음계에 할당된 코드 이미지 영역으로 구분되어 인쇄된다. 전자펜(100)의 음계선택 이미지영역(220)에 대한 터치 또는 접근에 의하여 상기 코드 이미지를 캡쳐되고, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 각 음계에 할당된 음계 인덱스가 추출된다.
실시예에 따라서, 기본음계만으로 악기 연주가 구현되는 경우에는 음계선택 이미지영역(220)은 생략될 수 있으며, 다른 실시예에 따라서는, 음계선택 이미지영역(220)에 대한 터치 또는 접근에 의한 사용자의 음계선택이 없는 경우 기본음계의 선택으로 인식하여, 메모리의 검색시 기본 설정으로 기본음계에 할당된 인덱스를 사용하도록 구현될 수 있다.
또한, 3개 이상의 음계를 지원하도록 구현되는 실시예의 경우 "Octave -"(222) 및 "Octave +"(223) 등에는 연속된 일련의 터치에 따라 기본음계에서 터치 당 한 음계씩 아래 음계로 내려가거나, 한 음계씩 위의 음계로 올라가도록 하는 제어명령 코드 이미지 영역으로 인쇄될 수 있다.
연주음입력 이미지영역(230)에는 사용자의 악기 연주 입력을 받는 부분으로 연주되는 각 음별로 할당된 코드 이미지 영역이 구분되어 필수적으로 인쇄되며, 본 실시예의 경우 대표적인 악기인 피아노 건반이 심볼 이미지로서 인쇄되어, 각 음별로 할당된 코드 이미지 영역은 피아노의 각 건반 부분으로 구분된다. 전자펜(100)의 연주음입력 이미지영역(230)의 각 건반 부분에 대한 터치 또는 접근에 의하여 건반에 함께 인쇄된 코드 이미지를 캡쳐되고, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 각 음에 할당된 음원 인덱스가 추출된다.
제어명령 이미지 영역(240)은 각 제어명령에 할당된 코드 이미지 영역으로 구분되어 인쇄된다. 전자펜(100)의 제어명령 이미지영역(240)에 대한 터치 또는 접근에 의하여 상기 코드 이미지를 캡쳐되고, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 각 명령에 할당된 명령 인덱스가 추출되어 해당 명령 인덱스에 따라 사전 설정된 전자펜의 기능제어가 개시된다. 본 실시예의 경우, 사전 설정된 기능에 따라 재생되는 일련의 음을 저장하도록 제어하는 연주 녹음 명령에 할당된 녹음명령 이미지영역(241), 재생되는 일련의 음을 각 북마크에 사전 설정된 식별정보를 부가하여 북마크로서 저장하도록 제어하는 북마크저장 명령에 할당된 북마크저장 명령 코드 이미지영역(242), 직전 연주된 일련의 음 즉, 연주곡을 재생하도록 제어하는 연주재생 명령에 할당된 연주재생 명령 이미지영역(243), 사전 설정된 식별정보가 부가되어 북마크 저장된 연주곡을 재생하도록 제어하는 북마크 재생명령 이미지영역(244)이 구분되어 있다.
북마크코드 이미지 영역(250)은 북마크저장 명령과 북마크 재생명령의 수행에 필요한 다수의 북마크 코드에 대한 이미지 영역이 구분되어 인쇄되며, 북마크 저장 명령 이미지영역(242) 또는 북마크 재생명령 이미지영역(244)의 터치 또는 접근에 따라, 해당 명령 인덱스가 추출된 후 특정 북마크코드 이미지 영역의 터치 또는 접근에 의하여 특정 북마크 식별정보에 할당된 북마크 인덱스가 추출되어 재생되는 일련의 음을 상기 북마크 식별정보를 통해 특정 북마크로서 메모리에 저장되거나, 특정 북마크로서 메모리에 저장된 일련의 음 즉, 연주곡이 상기 북마크 식별정보를 통해 검색되어 재생된다.
도 2는 본 발명의 일 실시예에 따른 전자펜의 구성도이다.
본 전자펜(100)의 끝단의 센서입력부의 인쇄물(200)에 대한 터치 또는 접근에 의하여, 인쇄된 코드 이미지를 캡쳐하여 해당 코드를 인식할 수 있도록 제작되며, 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 터치 또는 접근 상태의 지속이 감지되어, 상기 터치 지속 시간 동안 검색된 음원을 재생하거나 이를 해당음의 장단정보로 저장 및 재생할 수 있도록 구성된다.
도 2를 참조하면, 본 실시예의 전자펜(100)은 센서입력부(110), 디지털 신호처리부(120), 제어부(130), 메모리(140), 음성출력부(150), 음성입력부(160), 버튼입력부(170), 및 외부 인터페이스(180) 등으로 구성된다.
센서입력부(110)는 상기 인쇄물(200)의 인쇄된 이미지를 주기적 또는 지속적으로 캡쳐하고 악기선택 이미지영역(210), 음계선택 이미지영역(220), 연주음입력 이미지영역(230), 제어명령 이미지 영역(240), 북마크코드 이미지 영역(250)에 인쇄된 코드 이미지를 추출하여 출력하는 기능을 수행한다. 상기 인쇄물(200)의 인쇄면 상의 도트 코드 패턴의 이미지를 반복적으로 스캔 혹은 캡쳐하며, 센서입력부(110)에서 정상적인 도트 코드 이미지 내지 도트 코드 패턴이 인식되면 도트 코드 이미지 데이터를 디지털 신호처리부(120)로 출력한다.
센서입력부(110)는 실시예에 따라서는 압력센서(미도시) 또는 근접센서(미도시)를 포함하여, 인쇄물(200)의 인쇄면에 대한 터치 내지 근접이 이루어졌는 지 또는 이탈이 이루어졌는지 검출하여 이를 구분하는 별도의 신호를 생성하여 디지털 신호처리부(120)로 출력도록 구현되어 검출결과가 신호처리부를 통하여 제어부로 전달되거나 직접 제어부로 전달되도록 구현될 수도 있다.
디지털 신호처리부(120)는 센서입력부(120)에 의하여 캡쳐된 코드 이미지를 수신하며 이를 분석하여 코드 데이터로 변환하며 이로부터 인덱스를 추출하여 제어부(100)로 출력하는 기능을 수행한다. 실시예에 따라서는, 추출된 인덱스의 출력이전에 캡쳐된 이미지로부터 정상적으로 코드 이미지가 검출되었는지를 판단하는 과정, 코드 이미지가 검출된 경우 코드 이미지를 출력하는 과정, 상기 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 인덱스를 추출하는 과정, 추출된 인덱스가 정상 인덱스 인지를 판단하는 과정을 수행하도록 구현되며, 인덱스 출력 이전의 각 판단 결과는 제어부에 전달된다.
제어부(130)는 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 전달받아 연주음입력 이미지영역(230)에 대한 전자펜의 일련의 터치에 따른 악기의 연주 기능 즉, 도 3a 및 도 3b와 같이 코드 이미지에 할당된 일련의 음원의 재생 및 출력을 위하여 필요한 추출된 악기 인덱스, 음계 인덱스, 음원 인덱스, 명령 인덱스, 및 북마크 인덱스 를 식별하며, 악기 인덱스, 음계 인덱스, 및 음원 인덱스의 하나 이상에 기초하여, 메모리(140)를 조회하여, 음원을 검색하고 재생하여 음성출력부(150)를 통해 출력한다. 이를 위해, 사용되는 하나 이상의 인덱스와 메모리내 음원의 위치를 연관시키는 연관 테이블(미도시) 또는 알고리즘이 제어부에 내장되거나 메모리에 저장되어 호출되어 사용된다.
연주녹음 명령 인덱스, 또는 북마크 저장 명령 인덱스가 추출되는 경우, 해당 인덱스에 할당된 제어 명령에 따라, 연주 녹음을 위한 설정, 북마크 저장을 위한 설정 등을 수행하고, 이후 연주되는 즉, 재생되는 일련의 음을 메모리(140)에 사전 설정된 영역에 저장하거나, 북마크 인덱스에 포함된 식별정보를 이용하여 북마크로서 저장하도록 제어한다. 또한, 연주재생 명령, 북마크재생 명령에 따라, 연주곡으로서 메모리에 저장된 음원을 재생하여 출력하도록 메모리(140) 및 이외 전자펜의 각 구성부분 및 이들의 기능을 제어한다.
또한, 특정 연주 음별로 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속하는지 여부를 판단하여, 터치가 지속 되는 동안 상기 음원을 재생하도록 제어한다.
전자펜의 터치가 지속하는지 여부를 판단에 있어, 터치의 개시는 디지털 신호처리부(120)로부터 전달된 인덱스가 특정 음원 인덱스로 식별되어, 유효하게 음원이 검색 재생되는 시점으로 설정될 수 있다. 실시예에 따라서는, 정상적으로 코드 이미지가 검출된 시점, 추출된 인덱스가 정상 인덱스로 판단된 시점이 터치의 개시 시점으로 설정될 수도 있다.
한편, 압력센서(미도시) 또는 근접센서(미도시)를 포함하는 실시예의 경우에는 인쇄면에 대한 터치 내지 근접이 이루어졌는 지 또는 이탈이 이루어졌는지 검출하여 인쇄면에 대한 터치 내지 근접의 검출 신호의 수신시가 터치의 개시시로 설정될 수도 있다.
터치의 종료는 음원의 재생 중 디지털 신호처리부(120)로부터 전달된 인덱스가 현재 재생중인 음원의 음원 인덱스와 동일한지 여부를 판단하여, 상이한 것으로 판단되는 시점을 터치의 종료 시로 설정할 수 있으며, 마찬가지로 실시예에 따라서는, 정상적으로 코드 이미지가 검출되지 않은 시점, 추출된 인덱스가 정상 인덱스가 아닌 것으로 판단되는 시점이 터치의 종료 시점으로 설정될 수 있다.
한편, 압력센서(미도시) 또는 근접센서(미도시)를 포함하는 실시예의 경우에는 압력센서(미도시) 또는 근접센서(미도시)에 의하여 인쇄면에 대한 터치 내지 근접이 이루어졌는 지 또는 이탈이 이루어졌는지 검출하며, 음원의 재생중 이탈의 검출 신호의 수신시가 터치의 종료시로 설정될 수도 있다.
제어부(130)는 마이크로 프로세서(미도시) 및 내장 메모리를 포함하여, 도 4 내지 도 6에서와 같은 본 발명의 실시예에 따른 전자펜의 제어방법을 구현하도록 하는 프로그램을 내장하여 실행하거나, 메모리(140)에 저장된 프로그램을 호출하여 실행한다.
또한, 제어부(130)는 저장된 음원을 재생하고 입력음향을 음원파일로 변환하기 위한 오디오 코덱 및 관련 프로그램이 내장하거나 메모리(140)에 저장된 프로그램을 호출하여 실행할 수 있도록 구현된다.
메모리(140)는 음원을 파일 형태로 저장하는 기능을 수행하며, 음원은 상기 악기 인덱스, 음계 인덱스, 및 음원 인덱스의 하나 이상에 기초하여 검색이 가능하도록 식별되는 메모리의 지정된 위치에 저장된다. 도 3a 및 도 3b는 본 발명의 실시예에 따른 인덱스 할당을 설명하기 위한 도면으로, 상술한 본 발명의 일실시예에 따른 인덱스 할당을 예시하고 있으며, 연주가능한 악기의 수인 악기 인덱스의 수(n) x 음원 인덱스의 수에 해당되는 음원이 기본적으로 악기의 연주를 위한 음원으로 각각 저장되며, 실시예에 따라 하나 이상의 음계의 연주가 가능하도록 구현된느 경우 음계 인덱스의 수에 따라 저장되는 음원의 수가 증가하게 된다.
또한, 재생되는 일련의 음이 연주곡으로 메모리에 지정된 위치에 저장되며, 북마크 저장의 경우 재생되는 일련의 음을 연주곡으로 상기 각 북마크 식별정보에 따라 메모리에 지정된 위치에 저장되며, 북마크재생 명령의 실행에 따라 선택된 북마크의 북마크 인덱스로부터 추출되는 북마크 식별정보에 의해 연주곡으로서 메모리에 저장된 연주곡의 검색이 가능하도록 저장된다. 실시예에 따라서는 북마크 인덱스는 북마크 식별정보에 할당될 수도 있고, 북마크 인덱스 자체가 식별정보로 사용될 수도 있다.
음성출력부(150)는 스피커와 증폭기 회로를 포함하여, 제어부(130)로부터 전송되는 재생된 음향을 스피커를 통해 출력한다.
음성입력부(160)는 마이크와 음향처리회로를 포함하여, 마이크를 통해 입력되는 음향을 처리하여 제어부로 전송하는 기능을 수행하며, 음향처리회로는 입력되는 음향의 디지털 변환을 위한 회로가 포함될 수 있으며, 버튼입력부(170)는 녹음 및 재생기능을 포함한 전자펜의 다양한 기능에 대한 사용자의 버튼입력을 수신하며, 사용자의 버튼입력에 따라 상이한 신호를 발생하여 제어부(130)으로 전송하며, 제어부는 이를 분석하여 사용자의 버튼입력에 따른 기능을 수행하도록 해당 구성부분을 제어한다. 외부 인터페이스(180)는 USB통신 포트 등 전자펜과 외부 기기 또는 저장매체와의 데이터 통신을 가능하게 하는 기능을 수행하며, 경우에 따라 오디오 신호의 출력을 위한 이어폰 포트 등을 포함한다.
이하, 본 발명의 전자펜의 악기 연주 음향재생 제어방법의 실시예를 설명한다.
도 4는 본 발명의 일 실시예에 따른 전자펜의 악기 연주 음향재생 제어방법의 흐름도이며, 도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 전자펜의 악기 연주 음향재생 제어방법의 악기 연주 및 저장 과정의 세부 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 전자펜의 악기 연주 음향재생 제어방법의 연주녹음 재생 및 북마크 재생 과정의 세부 흐름도이다.
도 4를 참조하면, 본 발명은, 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법으로 기본적으로, 악기 선택 인식단계(S10), 음 터치/연주 인식단계(S20), 및 악기 연주단계(S30)를 포함하여 악기 연주기능을 수행하며, 연주음계 선택 인식단계(S11)을 더 포함하여 수행될 수 있다. 상술한 전자펜의 각 구성부분과 이들에 대한 제어부의 기능제어에 의하여 수행된다.
악기 선택 인식단계(S10)는 코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 과정이다. 연주 과정에서 한 번의 악기 선택이 이루어지며, 악기 선택이 없는 경우 또는 인덱스가 추출되지 않은 경우는 실시예에 따라서는, 기본 설정된 악기 인덱스를 설정 또는 추출하는 과정으로서 수행된다.
음 터치/연주 인식단계(S20)는, 코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 과정으로, 연주 과정에서 전자펜의 특정 음에 할당된 코드 이미지영역의 터치는 일련의 과정으로 반복되며, 이에 따라 연주 과정에서 반복적으로 음 터치/연주 인식단계(S20)가 수행된다.
악기 연주단계(S30)는 음 터치/연주 인식단계(S20)가 수행에 따라, 추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 과정이다.
상기 음 터치/연주 인식단계(S20)에 있어서는 특정 음에 할당된 연주 음원 코드 이미지영역에 대한 전자펜의 터치가 지속되는지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 사용자의 터치가 지속 되는 시간 동안 상기 음원을 재생하도록 수행된다.
연주음계 선택 인식단계(S11)는 코드 이미지가 연주될 음의 하나 이상의 음계별로 할당된 음계선택 이미지영역(220)의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음계에 할당된 음계 인덱스를 추출하는 과정으로, 상기 음 터치/연주 인식단계(S20) 이전에 연주음계 선택 인식단계(S11)가 수행된 경우, 상기 연주 재생단계는, 추출된 상기 선택된 악기에 할당된 악기 인덱스, 상기 선택된 음에 할당된 음원 인덱스, 및 상기 특정 음계에 할당된 음계 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음계의 선택된 음의 음원을 검색하여,재생하게 된다. 연주 과정에서 한 번의 음계 선택이 이루어진다. 음계 선택이 없는 경우 또는 인덱스가 추출되지 않은 경우에는 실시예에 따라서는, 기본 설정된 음계 인덱스를 설정 또는 추출하는 과정으로서 수행된다.
부가적으로 본 발명의 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법은, 재생되는 일련의 연주음을 저장하기 위하여 연주 녹음단계(S40), 북마크 저장단계(S50)를 포함하여 수행된다.
연주 녹음단계(S40)는 재생되는 일련의 음을 저장하도록 제어하는 연주 녹음 명령에 할당된 연주 녹음 명령 코드 이미지영역(241)의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 연주녹음 명령에 할당된 녹음명령 인덱스를 추출하여 이에 따라 재생되는 일련의 음을 연주곡으로 메모리에 저장하는 과정으로, 상기 음 터치/연주 인식단계(S20) 이전 즉, 연주 개시 이전에 수행되어, 전체의 재생되는 일련의 음을 연주곡으로 저장하도록 사전 설정된다.
북마크 저장단계(S50)는 재생되는 일련의 음을 각 북마크에 사전 설정된 식별정보를 부가하여 북마크로서 저장하도록 제어하는 북마크저장 명령에 할당된 북마크저장 명령 코드 이미지영역(242)과 저장될 북마크의 식별정보를 포함하는 북마크코드 이미지영역(250)의 각 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 북마크저장 명령에 할당된 북마크저장 명령 인덱스 및 북마크 식별정보에 할당된 북마크 인덱스를 추출하여 이에 따라 재생되는 일련의 음을 연주곡으로 상기 북마크 식별정보에 따라 메모리에 저장하는 과정으로, 상기 음 터치/연주 인식단계(S20) 이전 즉, 연주 개시 이전에 수행되어, 전체의 재생되는 일련의 음을 연주곡으로 저장하도록 사전 설정되며, 연주 종료 이후, 수행되어 상기 연주 녹음단계(S40)의 수행에 의하여 연주곡으로 저장된 일련의 음을 북마크 식별정보를 부가하거나, 북마크 식별정보에 따라 메모리의 지정된 위치에 다시 저장하는 과정으로 수행될 수 있다.
재생되는 일련의 음을 연주곡으로 저장시 상기 터치가 지속되는 시간을 재생되는 음의 장단정보로서 부가하여 메모리에 저장되며, 이를 위하여, 터치가 지속 되는 시간 측정하는 과정이 상기 음 터치/연주 인식단계(S20) 및/또는 악기 연주단계(S30)에 포함되어 수행될 수 있다. 이 경우 연주곡의 저장에 소요되는 메모리 영역이 작아지고, 해당 음원 파일의 재처리시 음의 장단정보를 이용하여 각 음별로 장단을 조절하는 것이 가능한 장점이 있다.
한편, 실시예에 따라서는 터치가 지속 되는 시간을 측정하는 과정 없이 각음에 대한 상기 터치가 되어 각 터치가 지속되는 동안 재생되는 일련의 음을 그대로 연주곡으로 메모리에 저장하는 방식으로 수행될 수 있으며, 음의 장단정보로서 부가하는 방식에 비하여 프로세스가 단순해 지는 장점이 있으나, 연주곡의 저장에 소요되는 메모리 영역이 커지는 단점이 있다.
또한, 본 발명의 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법은 저장된 연주의 재생을 수행하는 녹음연주 재생단계(S41) 및 북마크 재생단계(S60)를 포함하며, 녹음연주 재생단계(S41)는 연주 녹음단계(S40)의 수행에 의하여 연주곡으로 저장된 일련의 음을 재생하는 과정으로, 상술한, 연주 종료 이후, 전자펜의 터치에 의하여, 제어명령 이미지 영역(240)의 연주 재생명령에 할당된 코드 이미지 영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 연주재생 명령에 할당된 인덱스가 추출된 경우 이에 따라, 저장된 연주곡으로 일련의 음을 재생하는 과정이다. 통상 직전 연주되어 저장된 연주곡이 재생되도록 설정되며, 저장된 모든 연주곡 또는 일부 연주곡이 재생되도록 설정될 수 있다.
북마크 재생단계(S60)는 연주 종료 이후, 전자펜의 제어명령 이미지 영역(240) 북마크 재생에 할당된 코드 이미지 영역과, 북마크코드 이미지 영역(250)의 특정 북마크에 대한 코드 이미지 영역의 일련의 터치에 의하여, 각 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 북마크재생 명령에 할당된 인덱스와 특정 북마크에 할당된 북마크 인덱스가 추출된 경우 이에 따라, 북마크 저장된 연주곡의 일련의 음을 재생하는 과정이다.
상기 녹음연주 재생단계(S41) 및 북마크 재생단계(S60)에 있어, 상기 음의 장단 정보가 부가되어 저장된 경우 상기 음의 장단정보에 따라 저장된 일련의 음이 재생된다.
상술한 실시예에 따른 전자펜의 악기 연주 음향재생 제어방법의 주요 세부과정을 설명한다,
전자펜의 악기 연주 음향재생 제어방법의 각 단계의 수행에 있어 전자펜의 터치에 의하여 추출된 인덱스를 식별하는 과정이 필수적이다.
도 5a는 전자펜의 악기 연주 음향재생 제어방법의 악기 연주 및 저장 과정 중 각 인덱스를 식별하는 과정을 중심으로 도시하고 있다.
도 5a를 참조하면, 전자펜(100)의 특정 기능버튼을 통한 사용자의 기능 입력과 인쇄물(200)의 특정 영역의 터치 또는 접근에 의하여 전자펜의 악기 연주 음향재생 제어 프로세스가 시작되며(510), 센서입력부를 통해 인쇄물(200)의 일부분의 이미지를 캡쳐하는 과정(520), 캡쳐된 이미지로부터 정상적으로 코드 이미지가 검출되었는지를 판단하는 과정(521), 코드 이미지가 검출된 경우 코드 이미지를 출력하는 과정(522), 상기 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 인덱스를 추출하는 과정(523) 및 상기 추출된 인텍스가 정상인지를 판단하는 과정(524)을 수행되며, 상기 인덱스가 정상인 것으로 판단되는 경우 추출된 인덱스가 제어부(130)로 출력된다. 상기 과정은 디지털 신호처리부(120)에 의하여 수행되며, 상기 추출된 인텍스가 정상인지를 판단하는 과정(524)은 제어부(130)에 의하여 수행될 수도 있다.
제어부(130)에서 인덱스를 수신하면, 해당 인덱스가 녹음 명령 인덱스 인지를 판단하는 과정(530), 북마트 저장 명령 인덱스인지를 판단하는 과정(540), 악기 인덱스인지를 판단하는 과정(550), 및 음계 인덱스인지를 판단하는 과정(560), 음원 인덱스인지를 판단하는 과정(530)를 수행하며, 또한, 6을 참조하면, 전자펜의 악기 연주 음향재생 제어방법의 저장된 연주곡의 재생과정의 수행을 위한, 연주재생 명령 인덱스인지를 판단하는 과정(630), 북마크 재생 명령 인덱스인지를 판단하는 과정(640)이 인덱스의 식별을 위하여 동시에 수행하여 각 인덱스를 식별하게 된다.
제어부에서 인덱스가 식별되면, 각 인덱스에 따라 녹음 명령 인덱스인 경우 연주 녹음 과정의 제어를 위한 연주 녹음 설정(531)을 수행하고, 북마트 저장 명령 인덱스인 경우 북마크 인덱스가 추출되어 입력되는지 여부를 판단(541)하고, 북마크 인덱스의 입력이 있으면, 북마크 저장 과정의 제어를 위한 설정 북마크 저장 설정(542)을 수행하며, 일정시간 입력이 없는 경우 사용자에게 북마크 선택 입력을 요청하는 메시지 즉, 북마크 영역의 터치를 요청하는 메시지를 출력하도록 수행될 수 있다.
악기 인덱스인 경우 해당 악기 인덱스를 임시 저장(551)하며, 음계 인덱스 인 경우 해당 음계 인덱스를 임지 저장(561)하고, 음원 인덱스인 경우 해당 음원 인덱스를 임시 저장(572)한다. 음계의 선택이 구현되지 않는 실시예의 경우에는 음계 인덱스인지를 판단하는 과정(560) 및 저장과정(561)은 생략된다.
도 5b는 추출되어 식별된 각 인덱스를 사용하여 연주되는 음원을 재생하는 과정을 도시하고 있다.
도 5b를 참조하면, 연주되는 음원의 재생 즉, 음원의 검색을 위하여, 사용자가 연주 전 악기를 선택하였는지 여부를 판단하기 위하여 저장된 악기 인덱스가 있는지를 판단(580)하며, 사용자가 연주 전 음계를 선택하였는지 여부를 판단하기 위하여 저장된 음계 인덱스가 있는 지를 판단(581)한다. 음계의 선택이 구현되지 않는 실시예의 경우에는 음계 인덱스가 있는 지를 판단하는 과정(581)은 생략된다.
저장된 악기 인덱스가 있는 경우, 해당 악기 인덱스가 사용되며, 저장된 악기 인덱스가 없는 경우 기본 설정된 악기의 인덱스가 사용되도록 구현되며, 실시예에 따라서는 에러 메시지를 출력하도록 구현될 수도 있다.
저장된 음계 인덱스가 있는 경우, 해당 음계 인덱스가 사용되며, 저장된 음계 인덱스가 없는 경우 기본 설정된 음계 인덱스가 사용되도록 구현될 수 있다
이어 저장된 음원 인덱스와 악기 인덱스 및/또는 음계 인덱스를 기초로 메모리를 조회하여 선택되거나 설정된 악기의 선택되거나 설정된 음계의 선택된 음의 음원을 검색하여(582), 상기 검색된 음원을 재생(583)한다. 음계의 선택이 구현되지 않는 실시예의 경우에는 음원 인덱스와 악기 인덱스만을 기초로 메모리를 조회하여 선택되거나 설정된 악기의 선택된 음의 음원을 검색하여(582), 상기 검색된 음원을 재생(583)한다.
상기 음원의 재생은 터치의 종료여부를 판단(590)하여 터치의 종료가 판단되면 종료(591)하도록 하여 전자펜의 터치의 종료시까지 음원의 재생이 지속 된다. 터치의 종료가 인식되지 않으면 터치 지속시간이 카운트되어 측정되며, 터치 지속시간은 터치 종료시 재생 음원의 장단정보로 저장(593)된다. 실시예에 따라서는 상기 터치가 지속되는 동안 재생되는 일련의 음을 그대로 연주곡으로 메모리에 저장하는 방식으로 구현되는 경우, 터치 지속시간을 터치 종료시 재생 음원의 장단정보로 저장(593)하는 과정은 생략된다.
도 5c는 전자펜의 악기 연주 음향재생 제어방법의 악기 연주 및 저장 과정 중 터치의 지속 여부를 판단하는 과정의 다양한 구현방법을 도시하고 있다.
도 5c(a)는 센서입력부(110)가 압력센서(미도시) 또는 근접센서(미도시) 등 터치를 인식하는 별도의 센서 없이 터치의 지속 여부를 판단하는 과정의 다양한 실시예를 도시한다, 도 5c(a)를 참조하면, 앞서 살핀 바와 같이, 터치의 개시는 디지털 신호처리부(120)로부터 전달된 인덱스가 특정 음원 인덱스로 식별되어, 유효하게 음원이 검색 재생되는 시점으로 설정될 수 있다. 실시예에 따라서는, 정상적으로 코드 이미지가 검출된 시점, 추출된 인덱스가 정상 인덱스로 판단된 시점이 터치의 개시 시점으로 설정될 수도 있다.
터치가 개시되어 음원의 재생 개시 이후에도 코드 이미지의 캡쳐가 주기적 또는 연속적으로 이루어지며, 이에 따라, 캡쳐된 이미지로부터 정상적으로 코드 이미지가 검출되었는지를 판단하는 과정, 코드 이미지가 검출된 경우 코드 이미지를 출력하는 과정, 상기 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 인덱스를 추출하는 과정 및 상기 추출된 인텍스가 정상인지를 판단하는 과정이 수행되며, ① 정상적으로 코드 이미지가 검출되지 않은 시점, ②추출된 인덱스가 정상 인덱스가 아닌 것으로 판단되는 시점이 터치의 종료 시점으로 설정될 수 있다. 또한, 부가적으로 ③ 디지털 신호처리부(120)로부터 전달된 인덱스가 현재 재생중인 음원의 음원 인덱스와 동일한지 여부를 판단하여, 상이한 것으로 판단되는 시점을 터치의 종료 시로 설정할 수 있다.
한편, 실시예에 따라서는, 정상적으로 코드 이미지가 검출되는 경우, 추출된 인덱스가 정상 인덱스인 것으로 판단되는 경우는 터치가 지속되는 것으로 설정될 수 있으며, 부가적으로 디지털 신호처리부(120)로부터 전달된 인덱스가 현재 재생중인 음원의 음원 인덱스와 동일한지 여부를 판단하여, 동일한 것으로 판단되는 경우 등을 터치가 개시된 시로 설정하거나, 음원 재생중 터치가 지속되는 것으로 설정하도록 구현할 수도 있다.
도 5c(b)는 센서입력부(110)가 압력센서(미도시) 또는 근접센서(미도시) 등 터치 또는 이탈을 인식하는 별도의 센서를 포함하여 구성된 경우 터치의 지속 여부를 판단하는 과정의 실시예에 관한 것이다.
도 5c(b)를 참조하면, 압력센서(미도시) 또는 근접센서(미도시)에 의하여 인쇄면에 대한 터치 내지 근접이 이루어졌는 지 또는 이탈이 이루어졌는지 검출하며, 인쇄면에 대한 터치 내지 근접의 검출 신호의 수신시가 터치의 개시시로 설정되고 음원의 재생중 이탈의 검출 신호의 수신시가 터치의 종료시로 설정될 수 있다.
이탈의 감지 신호가 수신되지 않으면, 터치의 지속으로 판단하여 터치 지속 시간을 카운트하며, 이탈의 감지 신호가 수신되면 터치의 종료로 인식하고, 터치의 종료까지 측정 또는 카운트 된 터치 지속 시간을 저장한다. 저장된 터치 지속 시간정보를 기초로 음의 장단 정보가 생성된다.
그러나 이 경우에도, 음원의 재생 개시는 음원의 검색에 필요한 인덱스가 정상적으로 추출되어 제어부에 입력되어 이를 기초로 음원을 검색하여 재생하여야 하므로, 터치의 개시 시점의 설정은 상기 센서 신호와 무관하게 추출된 음원 인덱스가 정상 인덱스로 판단되는 시점을 터치의 개시 시점으로 설정할 수도 있을 것이다.
위와 같은 다양한 방법에 의하여 터치의 종료 여부를 판단하여 터치의 종료시 음원의 재생을 종료하며, 터치의 개시 시점과 종료 시점을 통해 터치 지속 시간을 카운트 또는 측정하게 된다.
도 6은 전자펜의 악기 연주 음향재생 제어방법의 저장된 연주곡의 재생과정을 도시하고 있다.
도 6을 참조하면, 도 5a와 관련하여 설명된 바와 같이, 추출되어 입력되는 인덱스가 연주저장 명령 인덱스인지를 판단(630)하여 연주저장 명령 인덱스인 경우 메모리를 조회하여 연주 녹음의 존재 여부를 판단(631)하여 연주 녹음이 존재하는 경우 해당 연주 녹음된 음향파일을 재생하는 과정으로 수행되며, 추출되어 입력되는 인덱스가 북마크 재생 명령 인덱스인지를 판단(630)하는 과정(640)에 따라 북마크 재생 명령인 경우 북마크 인덱스가 입력되는지 여부를 판단(641)하여 북마크 인덱스가 입력되면 해당 북마크에 저장된 음향파일을 재생하도록 제어하는 과정으로 수행된다.
이상에서와 같이, 본 발명의 구성 또는 단계의 특별한 조합들이 상기 실시예를 통하여 상세히 설명되었으나 이러한 구성 및 단계의 다른 조합들이 마찬가지로 가능하다. 본 발명은 여기에 개시된 특정한 실시예에 제한되지 않으며, 이러한 다른 조합들을 본 발명의 권리범위에 통합된다. 따라서, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
100: 디지털펜 200: 스티커
110: 센서입력부 120: 디지털 신호처리부
130: 제어부 140: 메모리
150: 음성출력부 160: 음성입력부

Claims (16)

  1. 삭제
  2. 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법에 있어서,
    코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 상기 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 악기 선택 인식단계(S10);
    코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 음 터치/연주 인식단계(S20);
    추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 악기 연주단계(S30);를 포함하여,
    상기 음 터치/연주 인식단계(S20)는 특정 음원에 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속되는 지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 터치가 지속 되는 동안 상기 음원을 재생하며,
    코드 이미지가 연주될 음의 하나 이상의 음계별로 할당된 음계선택 이미지영역(220)의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음계에 할당된 음계 인덱스를 추출하는 연주음계선택 인식단계(S11)를 더 포함하여,
    상기 악기 연주단계는, 추출된 상기 선택된 악기에 할당된 악기 인덱스, 상기 선택된 음에 할당된 음원 인덱스, 및 상기 특정 음계에 할당된 음계 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음계의 선택된 음의 음원을 검색하여, 상기 음원을 재생하는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  3. 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법에 있어서,
    코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 상기 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 악기 선택 인식단계(S10);
    코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 음 터치/연주 인식단계(S20);
    추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 악기 연주단계(S30);를 포함하여,
    상기 음 터치/연주 인식단계(S20)는 특정 음원에 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속되는 지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 터치가 지속 되는 동안 상기 음원을 재생하며,
    재생되는 일련의 음을 저장하도록 제어하는 연주 녹음 명령에 할당된 연주 녹음 명령 코드 이미지영역(241)의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 연주녹음 명령에 할당된 녹음명령 인덱스를 추출하여 이에 따라 재생되는 일련의 음을 연주곡으로 메모리에 저장하는 연주 녹음단계(S40)를 포함하는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  4. 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법에 있어서,
    코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 상기 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 악기 선택 인식단계(S10);
    코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 음 터치/연주 인식단계(S20);
    추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 악기 연주단계(S30);를 포함하여,
    상기 음 터치/연주 인식단계(S20)는 특정 음원에 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속되는 지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 터치가 지속 되는 동안 상기 음원을 재생하며,
    재생되는 일련의 음을 각 북마크에 사전 설정된 식별정보를 부가하여 북마크로서 저장하도록 제어하는 북마크저장 명령에 할당된 북마크저장 명령 코드 이미지영역(242)과 저장될 북마크의 식별정보를 포함하는 북마크코드 이미지영역(250)의 각 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 북마크저장 명령에 할당된 북마크저장 명령 인덱스 및 북마크 식별정보에 할당된 북마크 인덱스를 추출하여 이에 따라 재생되는 일련의 음을 연주곡으로 상기 북마크 식별정보에 따라 메모리에 저장하는 북마크 저장단계(S50)를 포함하는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  5. 제 3항 또는 제 4항에 있어서,
    터치가 지속 되는 시간 측정하는 과정을 수행하여 재생되는 일련의 음을 연주곡으로 저장시 상기 터치가 지속된 시간을 재생되는 음의 장단정보로서 부가하여 메모리에 저장하는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  6. 제 5항에 있어서,
    상기 음의 장단정보에 따라 저장된 일련의 음이 재생되는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  7. 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법에 있어서,
    코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 상기 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 악기 선택 인식단계(S10);
    코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 음 터치/연주 인식단계(S20);
    추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 악기 연주단계(S30);를 포함하여,
    상기 음 터치/연주 인식단계(S20)는 특정 음원에 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속되는 지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 터치가 지속 되는 동안 상기 음원을 재생하며,
    상기 음 터치/연주 인식단계는,
    코드 이미지가 인쇄된 인쇄물의 코드 이미지영역의 일부 이미지를 캡쳐하는 과정,
    캡쳐된 이미지로부터 정상적으로 코드 이미지가 검출되었는지를 판단하는 과정,
    정상적인 코드 이미지가 검출된 경우 코드 이미지를 출력하는 과정,
    상기 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 인덱스를 추출하는 과정,
    상기 추출된 인텍스가 정상인지를 판단하는 과정, 및
    상기 인덱스가 정상인 경우, 상기 인덱스가 특정 음에 할당된 음원 인덱스 인지를 판단하는 과정을 수행하여,
    상기 인덱스가 특정 음에 할당된 음원 인덱스인 경우 이를 특정 음에 할당된 코드 이미지영역의 전자펜의 터치로 인식하여 상기 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  8. 제 7항에 있어서,
    상기 음 터치/연주 인식단계에 있어, 상기 터치가 인식된 시점에서, 상기 정상적인 코드 이미지가 검출되지 않는 시점까지의 시간이 상기 전자펜의 터치가 지속하는 시간으로 설정되는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  9. 제 7항에 있어서,
    상기 음 터치/연주 인식단계에 있어, 상기 저장된 음원의 재생 개시 후, 상기 터치가 인식된 시점에서, 상기 추출된 인덱스가 정상이 아닌 것으로 판단되는 시점까지의 시간이 상기 전자펜의 터치가 지속하는 시간으로 설정되는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  10. 제 7항에 있어서,
    상기 음 터치/연주 인식단계에 있어, 상기 인덱스가 정상인 경우, 추출된 인덱스 값과 현재 재생중인 음의 음원 인덱스 값이 동일한 지 여부를 판단하는 인덱스 비교 과정을 수행하여, 동일한 인덱스 값인 경우 전자펜의 터치가 지속하는 것으로 판단하고, 상이한 인덱스 값인 경우 전자펜의 터치가 종료된 것으로 판단하는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  11. 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기연주 음향재생 제어방법에 있어서,
    코드 이미지가 연주가능한 악기별로 할당되어 인쇄된 악기선택 이미지영역(210)의 특정 악기에 할당된 코드 이미지영역(211~21n)의 상기 코드 이미지를 캡쳐하며, 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 악기에 할당된 악기 인덱스를 추출하는 악기 선택 인식단계(S10);
    코드 이미지가 연주되는 각 음별로 인쇄된 연주음입력 이미지영역(230)의 특정 음에 할당된 코드 이미지영역의 코드 이미지를 캡쳐하며, 상기 캡쳐된 코드 이미지를 분석하여 코드 데이터로 변환하며, 변환된 코드 데이터로부터 상기 특정 음에 할당된 음원 인덱스를 추출하는 음 터치/연주 인식단계(S20);
    추출된 상기 선택된 악기에 할당된 악기 인덱스와 선택된 음에 할당된 음원인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생하는 악기 연주단계(S30);를 포함하여,
    상기 음 터치/연주 인식단계(S20)는 특정 음원에 할당된 코드 이미지영역에 대한 전자펜의 터치가 지속되는 지 여부를 판단하는 과정을 수행하여, 상기 악기 연주단계(S30)는 터치가 지속 되는 동안 상기 음원을 재생하며,
    상기 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치 및 이탈을 감지하는 센서로부터 코드 이미지가 인쇄된 인쇄물의 터치에 따른 신호를 수신하여 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치로 인식하는 전자펜 터치감지과정,
    센서입력부를 통해 코드 이미지가 인쇄된 인쇄물의 일부분의 이미지를 캡쳐하는 과정,
    캡쳐된 이미지로부터 정상적으로 코드 이미지가 검출되었는지를 판단하는 과정,
    코드 이미지가 검출된 경우 코드 이미지를 출력하는 과정,
    상기 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 인덱스를 추출하는 과정,
    상기 추출된 인텍스가 정상인지를 판단하는 과정 및
    상기 인덱스가 정상인 경우, 상기 인덱스가 특정 음에 할당된 음원 인덱스 인지를 판단하는 과정을 수행하여, 상기 인덱스가 특정 음에 할당된 음원 인덱스인 경우 상기 음원 인덱스를 기초로 메모리를 조회하여 선택된 악기의 선택된 음의 음원을 검색하여, 저장된 음원을 재생을 개시하며,
    상기 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치 및 이탈을 감지하는 센서로부터 코드 이미지가 인쇄된 인쇄물로부터의 전자펜의 이탈 신호를 수신하여, 이를 전자펜의 코드 이미지가 인쇄된 인쇄물의 터치의 종료로 인식하는 인쇄물의 터치 종료 인식과정을 수행하여, 상기 터치 감지시부터 터치종료 감지시까지의 시간을 사용자의 터치가 지속 되는 시간으로 설정하여 상기 음원을 재생하는 것을 특징으로 하는 전자펜의 악기연주 음향재생 제어방법.
  12. 삭제
  13. 악기선택 이미지영역 및 연주음입력 이미지영역을 포함하여 각 코드 이미지가 인쇄된 인쇄물을 이용하여 악기연주 음향재생을 제어하는 전자펜에 있어서,
    상기 인쇄물에 인쇄된 이미지를 캡쳐하고 코드 이미지를 추출하여 출력하는 센서입력부(110);
    상기 센서입력부(110)으로부터 출력되는 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 할당된 인덱스를 추출하는 디지털 신호처리부(120);
    상기 디지털 신호처리부(120)로부터 추출된 인덱스를 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스로 식별하고, 상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스를 기초로 메모리(140)를 검색하여 검색된 음원을 재생하여 음성출력부(160)를 통해 출력하도록 제어하는 제어부(130);
    상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스와 연관되어 음원이 저장된 메모리(140);
    스피커와 증폭기회로를 포함하여, 제어부로부터 전송되는 재생된 음원을 스피커를 통해 출력하는 음성출력부(150)를 포함하며,
    상기 제어부(130)는 음계입력 이미지영역의 터치 지속여부를 인식하여 상기 터치가 지속되는 동안 검색된 음원을 재생하여 전자펜의 음성출력부(150)을 통해 출력하도록 제어하며,
    상기 인쇄물에는 음계선택 이미지영역이 더 포함되어 이에 해당하는 코드 이미지가 인쇄되고, 제어부(130)는 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 특정 악기에 할당된 악기 인덱스, 특정 음에 할당된 음원 인덱스 및 선택된 음계에 할당된 음계 인덱스로 식별하고, 상기 특정 악기에 할당된 악기 인덱스, 특정 음에 할당된 음원 인덱스 및 선택된 음계에 할당된 음계 인덱스를 기초로 메모리(140)를 검색하고 검색된 음원을 재생하여 음성출력부(160)를 통해 출력하도록 제어하며, 상기 메모리에는 특정 악기에 할당된 악기 인덱스, 특정 음에 할당된 음원 인덱스 및 선택된 음계에 할당된 음계 인덱스와 연관하여 음원이 저장된 것을 특징으로 하는 악기연주 음향재생을 제어하는 전자펜.
  14. 악기선택 이미지영역 및 연주음입력 이미지영역을 포함하여 각 코드 이미지가 인쇄된 인쇄물을 이용하여 악기연주 음향재생을 제어하는 전자펜에 있어서,
    상기 인쇄물에 인쇄된 이미지를 캡쳐하고 코드 이미지를 추출하여 출력하는 센서입력부(110);
    상기 센서입력부(110)으로부터 출력되는 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 할당된 인덱스를 추출하는 디지털 신호처리부(120);
    상기 디지털 신호처리부(120)로부터 추출된 인덱스를 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스로 식별하고, 상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스를 기초로 메모리(140)를 검색하여 검색된 음원을 재생하여 음성출력부(160)를 통해 출력하도록 제어하는 제어부(130);
    상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스와 연관되어 음원이 저장된 메모리(140);
    스피커와 증폭기회로를 포함하여, 제어부로부터 전송되는 재생된 음원을 스피커를 통해 출력하는 음성출력부(150)를 포함하며,
    상기 제어부(130)는 음계입력 이미지영역의 터치 지속여부를 인식하여 상기 터치가 지속되는 동안 검색된 음원을 재생하여 전자펜의 음성출력부(150)을 통해 출력하도록 제어하며,
    상기 인쇄물에는 재생되는 일련의 음을 저장하도록 제어하는 연주 녹음 명령에 할당된 연주녹음 명령 코드 이미지영역(241)이 포함되어 이에 해당하는 코드 이미지가 인쇄되고, 제어부(130)는 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 연주녹음 명령에 할당된 연주녹음 명령 인덱스로 식별하고, 이에 따라, 재생되는 일련의 음을 연주곡으로 메모리에 저장하도록 제어하는 것을 특징으로 하는 악기연주 음향재생을 제어하는 전자펜.
  15. 악기선택 이미지영역 및 연주음입력 이미지영역을 포함하여 각 코드 이미지가 인쇄된 인쇄물을 이용하여 악기연주 음향재생을 제어하는 전자펜에 있어서,
    상기 인쇄물에 인쇄된 이미지를 캡쳐하고 코드 이미지를 추출하여 출력하는 센서입력부(110);
    상기 센서입력부(110)으로부터 출력되는 코드 이미지를 분석하여 코드 데이터로 변환하며 변환된 코드 데이터로부터 할당된 인덱스를 추출하는 디지털 신호처리부(120);
    상기 디지털 신호처리부(120)로부터 추출된 인덱스를 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스로 식별하고, 상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스를 기초로 메모리(140)를 검색하여 검색된 음원을 재생하여 음성출력부(160)를 통해 출력하도록 제어하는 제어부(130);
    상기 특정 악기에 할당된 악기 인덱스 및 특정 음에 할당된 음원 인덱스와 연관되어 음원이 저장된 메모리(140);
    스피커와 증폭기회로를 포함하여, 제어부로부터 전송되는 재생된 음원을 스피커를 통해 출력하는 음성출력부(150)를 포함하며,
    상기 제어부(130)는 음계입력 이미지영역의 터치 지속여부를 인식하여 상기 터치가 지속되는 동안 검색된 음원을 재생하여 전자펜의 음성출력부(150)을 통해 출력하도록 제어하며,
    상기 인쇄물에는 재생되는 일련의 음을 각 북마크에 사전 설정된 식별정보를 부가하여 북마크로서 저장하도록 제어하는 북마크저장 명령에 할당된 북마크저장 명령 코드 이미지영역(241)과 저장될 북마크의 식별정보를 포함하는 북마크코드 이미지영역(250)이 포함되어 각각에 해당하는 코드 이미지가 인쇄되고, 제어부(130)는 상기 디지털 신호처리부(120)로부터 추출된 인덱스를 북마크저장 명령에 할당된 북마크저장 명령 인덱스와 저장될 북마크의 식별정보를 포함하는 북마크 인덱스로 식별하고, 이에 따라, 재생되는 일련의 음을 연주곡으로 상기 북마크 식별정보에 따라 메모리에 저장하도록 제어하는 것을 특징으로 하는 악기연주 음향재생을 제어하는 전자펜.
  16. 제 14항 또는 제 15항에 있어서,
    재생되는 일련의 음을 연주곡으로 저장시 상기 터치가 지속 되는 시간을 재생되는 음의 장단정보로서 부가하여 저장하는 것을 특징으로 하는 악기연주 음향재생을 제어하는 전자펜.
KR1020130054026A 2013-05-13 2013-05-13 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜 KR101467852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130054026A KR101467852B1 (ko) 2013-05-13 2013-05-13 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130054026A KR101467852B1 (ko) 2013-05-13 2013-05-13 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜

Publications (2)

Publication Number Publication Date
KR20140134188A KR20140134188A (ko) 2014-11-21
KR101467852B1 true KR101467852B1 (ko) 2014-12-02

Family

ID=52455397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130054026A KR101467852B1 (ko) 2013-05-13 2013-05-13 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜

Country Status (1)

Country Link
KR (1) KR101467852B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625906B1 (ko) * 2016-07-04 2024-01-23 김용한 전자펜을 이용하여 음성을 메모하는 점착성 메모지
KR102270856B1 (ko) 2020-06-12 2021-06-29 주식회사 알로하아이디어스 북코드 스티커를 이용한 음원 기록 및 재생 시스템
KR102525276B1 (ko) * 2021-05-04 2023-04-24 김미래 로봇시스템 및 그에 대한 스마트 코딩방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328207A (ja) * 2006-06-09 2007-12-20 Dainippon Printing Co Ltd 電子ペンを用いた電子楽器の演奏指示システム、方法、コンピュータプログラム、および、楽譜
JP2011123888A (ja) * 2009-12-08 2011-06-23 Samsung Electronics Co Ltd 端末機のタッチ面積変化率による運用方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328207A (ja) * 2006-06-09 2007-12-20 Dainippon Printing Co Ltd 電子ペンを用いた電子楽器の演奏指示システム、方法、コンピュータプログラム、および、楽譜
JP2011123888A (ja) * 2009-12-08 2011-06-23 Samsung Electronics Co Ltd 端末機のタッチ面積変化率による運用方法及び装置

Also Published As

Publication number Publication date
KR20140134188A (ko) 2014-11-21

Similar Documents

Publication Publication Date Title
US7189912B2 (en) Method and apparatus for tracking musical score
CN104239392B (zh) 与显示内容关联地记录音频
US8536437B2 (en) Musical score playing device and musical score playing program
KR20060120476A (ko) 재생 장치, 프로그램 및 재생 제어방법
US20120007884A1 (en) Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
CN101149812A (zh) 基于纸面书写的互动信息服务方法、服务系统及互动读物
TWI554984B (zh) 電子裝置
CN106971723A (zh) 语音处理方法和装置、用于语音处理的装置
WO2016197708A1 (zh) 一种录音方法及终端
WO2020015411A1 (zh) 一种训练改编水平评价模型、评价改编水平的方法及装置
CN104078035A (zh) 一种演奏乐曲的方法及装置
KR101789057B1 (ko) 시각 장애인을 위한 자동 오디오 북 시스템 및 그 운영 방법
KR101467852B1 (ko) 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜
US20210064327A1 (en) Audio highlighter
CN106531202A (zh) 一种音频处理方法及装置
CN105489209A (zh) 一种电声乐器节奏可控的方法及其对卡拉ok的改进
JP2006155157A5 (ko)
US20100222905A1 (en) Electronic apparatus with an interactive audio file recording function and method thereof
JP2015091077A (ja) 情報表示装置、方法及びプログラム
JP2009283020A (ja) 記録装置、再生装置、及びプログラム
KR101432801B1 (ko) 전자펜의 원 터치 음향 녹음 및 재생 제어방법 및 이를 수행하는 전자펜
JP6365520B2 (ja) 音声出力装置、音声出力方法、およびプログラム
JP6950180B2 (ja) 楽音データ処理方法及び楽音データ処理装置
US20200349912A1 (en) Interactive Music Audition Method, Apparatus and Terminal
KR101790998B1 (ko) 악보전환방법 및 악보전환장치

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191230

Year of fee payment: 6