KR20090125700A - 재생되는 음악과 상호 작용이 가능한 휴대 장치 및 그 방법 - Google Patents

재생되는 음악과 상호 작용이 가능한 휴대 장치 및 그 방법 Download PDF

Info

Publication number
KR20090125700A
KR20090125700A KR1020090045513A KR20090045513A KR20090125700A KR 20090125700 A KR20090125700 A KR 20090125700A KR 1020090045513 A KR1020090045513 A KR 1020090045513A KR 20090045513 A KR20090045513 A KR 20090045513A KR 20090125700 A KR20090125700 A KR 20090125700A
Authority
KR
South Korea
Prior art keywords
music
vector
streaming
user
portable device
Prior art date
Application number
KR1020090045513A
Other languages
English (en)
Inventor
에훗 라브스키
모쉐 엠. 베러드
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20090125700A publication Critical patent/KR20090125700A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • G10H2220/151—Musical difficulty level setting or selection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/261—Numeric keypad used for musical purposes, e.g. musical input via a telephone or calculator-like keyboard
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/021—Mobile ringtone, i.e. generation, transmission, conversion or downloading of ringing tones or other sounds for mobile telephony; Special musical data formats or protocols herefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056—MIDI or other note-oriented file format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/061—MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 휴대 장치의 사용자가 자신의 휴대 장치상에서 재생되는 음악과 상호작용할 수 있도록 하는 방법 및 장치에 관한 것이다.
본 발명에 따른 휴대 장치상에서 재생되는 음악과 상호작용하는 방법은, 상기 휴대 장치상에서 스트리밍(streaming) 음악을 재생하는 단계와, 상기 스트리밍 음악이 재생되는 동안에 인터페이스부를 통하여 사용자로부터 입력 신호를 수신하는 단계와, 상기 입력 신호에 대응하는 벡터(vector) 음악을 생성하는 단계와, 상기 생성된 벡터 음악을 상기 스트리밍 음악에 오버레이(overlay) 시키는 단계, 및 상기 벡터 음악이 오버레이된 상기 스트리밍 음악을 출력하는 단계를 포함한다.
휴대 장치, 스트림, 벡터, 미디, 상호 작용, stream, vector music, MIDI

Description

재생되는 음악과 상호 작용이 가능한 휴대 장치 및 그 방법{MOBILE DEVICE FOR INTERACTING WITH MUSIC PLAYED AND METHOD USING THE SAME}
본 발명은 디지털 음악에 관한 것으로, 휴대 장치, 특히 휴대 전화와 같은 휴대 장치의 사용자가 자신의 휴대 장치상에서 재생되는 음악과 상호작용할 수 있도록 하는 방법 및 장치에 관한 것이다.
현대의 휴대 장치들은 음악 시스템들을 갖추고 있고, 이러한 음악 시스템들은 사용자가 미리 녹음된 음악 스트림들을 재생시킬 수 있도록 하고, 또한 그 음악적 노트(note)들과 그 시퀀스(sequence)들을 생성할 수 있도록 한다. 그 결과 휴대 장치들의 사용자가 상기 장치상에서 재생 및/또는 생성된 음악과 더욱 효과적으로 상호작용할 수 있도록 하는 요구가 증가하고 있다. 몇몇 음악 게임들이 이러한 요구를 만족시키기 위하여 해당 기술분야에서 개발되었다.
음악/리듬 게임은 사용자가 한 부분의 음악을 즐길 수 있는 장르의 게임이다. 상기 사용자는 음악의 노트/비트(note/beat)에 따라 버튼을 누르거나 게임동작 을 수행해야 한다. 음악 게임들은 본질적으로 아래 두 가지 범주에 속한다.
1.음악연주 게임(Music play games)
이러한 음악연주 게임들에서 사용자는 표준 콘솔/PC 제어기나 악기를 모방한 전용 제어기를 통해 모의 악기를 연주한다. 또 다른 형태로는 마이크로폰을 통해 사용자의 목소리로 노래하는 것이 있다.
이러한 게임들은 보통 연주 악기 이외에도 전체적인 음악을 위해 미리 녹음된 배경음악 트랙과, 악기 그 자체를 위한 또 다른 트랙을 포함한다. 또한 노래를 부르는 게임에 있어서는 사용자의 목소리가 마이크로폰을 통하여 게임 속으로 주입된다.
기타 히어로(Guitar hero) 게임은 사용자가 특별한 기타 제어기를 사용하여 기타를 연주하는 게임이다. 여기에 쓰이는 음악은 미리 녹음된 악기들과 기타를 제외한 음성들을 포함하는 하나의 트랙과, 오직 기타를 위한 다른 트랙으로 구성되어 있다.
락밴드(Rock band) 게임은 기타, 베이스, 드럼 및 마이크로폰 주변장치들을 사용하는 밴드로서 4명의 연주자들이 연주를 하는 게임이다. 여기서 음악을 만들기 위해 결합되는 각각의 악기에 대한 트랙들이 존재한다.
싱스타(Singstar) 게임은 마이크로폰을 통하여 노래에 따라 사용자가 노래를 부르면 그의 수행결과에 따라 점수가 매겨지는 게임이다. 미리 녹음된 원작(original) 노래가 재생되고, 사용자의 목소리는 원작 가수의 목소리를 따라 들리게 된다.
간결함을 위해 여기에서 상세히 개시하지는 않았지만, 그 외에 다른 유사한 게임들이 해당 기술분야에서 잘 알려져 있다.
2.리듬 게임(Rhythm-based games)
이러한 리듬 게임들에서 음악은 미리 녹음되어 있고, 사용자는 특정한 비트/노트(beat/note)에 맞추어 제어기/전용 주변장치에 존재하는 버튼을 눌러야 된다. 이러한 게임들에서 사용자는 연주되는 실제 음악에 대해 어떤 통제도 할 수 없고, 사용자가 노트에 맞춰 버튼을 누르는데 성공하거나 실수하였는지 여부가 소리나 그래픽에 의해 표시될 뿐이다.
이 같은 리듬 게임들의 일례로, 노래가 연주되고 사용자는 비트/노트에 맞추어 버튼을 눌러야 되는 게임인 "댄스 댄스 리볼루션(Dance Dance Revolution)"게임이 있다. 상기 게임은 표준 게임 제어기 상에서 실행되거나 또는, 댄스 매트(mat) 제어기를 이용하여 실행될 수 있다. 그러나, 사용자의 행동으로 인하여 미리 녹음된 음악이 변경되지는 않는다. 간결함을 위해 여기에서는 개시되지 않았으나, 이러한 유형의 다른 유명한 게임들에는 디제이 맥스(DJ Max)와 댄스 팩토리(Dance Factory)가 있다. 이러한 게임들에서도 역시 사용자의 행동이 미리 녹음된 음악을 변경시키지는 않는다.
휴대 전화상의 음악 게임들은 다음의 두 가지 솔루션들 중 하나를 사용하는 경향이 있고, 이들 각각은 그것이 제공하는 기능에 제한이 있다.
⑴합성기 기반의 생음악(Synthesizer-based live music)
합성기 기반의 생음악은 작은 파일 사이즈와 실제 악기를 연주할 수 있는 자 유로움 때문에 사용된다. 그러나 이 방법의 단점으로서는 사용자에게 풍부한 소리를 제공하지 못하고 차갑고 기계적인 소리를 들려준다는 점이 있다. 이 방법을 사용한 게임의 실례로 "Guitar Legends"가 있고, 이 게임은 기타를 연주하는 느낌을 즐길 수 있도록 합성기 기반의 생음악을 사용하지만 풍부한 소리를 제공하지 못한다. "Dance Revolution Mobile", "Groove Fever" 및 "Taiko Drum Master"와 같은 게임들 역시 마찬가지로 풍부한 소리를 제공하지 못한다.
⑵미리 녹음된 음악(Prerecorded music)
미리 녹음된 음악은 풍부하고, 보다 현실적인 음악 소리를 제공하며 인간의 목소리를 포함시킬 수 있다. 그러나, 이것의 단점으로는 미리 녹음된 음악의 부분들 또는 소리들로 인하여 파일 용량이 매우 크며, 미리 녹음된 음악을 재생하는 것이므로, 사용자가 악기를 연주하는 것이 아니어서 재생되는 음악과 상호작용하는데 자유로움이 적다는 것이다. 이러한 종류는 예를 들어 "DJ Max"라는 게임에서 사용되는데, 여기에서는 노래가 재생되고 사용자는 비트/노트에 맞춰서 버튼을 눌러야 한다. 이러한 사용자의 행동은 미리 녹음된 음악을 변경시키지는 않는다.
그러므로, 휴대장치에서 이용할 수 있도록 작은 파일 크기를 갖으면서도, 동시에, 미리 녹음된 음악에 대하여 더욱 풍부하면서도 현실적인 사운드(sound)를 유지하면서도 인간의 노래 소리를 포함시킬 수 있도록 하는 실질적인 합성기 기반 음악을 재생하는 자유로움을 제공할 수 있는 솔루션이 요구된다.
따라서, 본 발명의 목적은 위와 같은 종래 기술의 문제점들을 해결할 수 있는 방법 및 장치를 제공하는 데 있다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은 사용자(또는 연주자)가 휴대 장치에서 재생되는 음악과 상호작용하는데 있어서의 자유로움 및 휴대 장치에서 재생되는 음악의 풍부함을 제공할 수 있는 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 휴대 장치상에서 재생되는 음악과 상호작용하는 방법은, 상기 휴대 장치상에서 스트리밍(streaming) 음악을 재생하는 단계와, 상기 스트리밍 음악이 재생되는 동안에 인터페이스부를 통하여 사용자로부터 입력 신호를 수신하는 단계와, 상기 입력 신호에 대응하는 벡터(vector) 음악을 생성하는 단계와, 상기 생성된 벡터 음악을 상기 스트리밍 음악에 오버레이(overlay) 시키는 단계, 및 상기 벡터 음악이 오버레이된 상기 스트리밍 음악을 출력하는 단계를 포함한다.
상기 벡터 음악은 MIDI(Musical Instrument Digital Interface)인 것을 특징으로 한다.
또한, 상기 스트리밍 음악은 PCM(pulse code modulation) 또는 MP3(MPEG Audio Layer-3) 방식으로 제공되는 것을 특징으로 한다.
또한, 상기 휴대 장치상에서 재생되는 음악과 상호작용하는 방법은, 상기 벡터 음악과 상기 스트리밍 음악의 재생 시간은 서로 동기화시키는 단계를 더 포함할 수 있다.
나아가, 상기 휴대 장치는 휴대 전화(cellular phone)로 이루어질 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 재생되는 음악과 상호 작용이 가능한 휴대 장치는, 스트리밍(streaming) 음악을 디코딩(decoding)하는 디코더와, 키패드를 포함하며 사용자에 의한 상기 키패드에 포함된 키(key)의 누름에 의해 입력신호가 입력되는 사용자 인터페이스와, 상기 입력신호에 대응하여 벡터(vector) 음악을 합성하는 합성기, 및 상기 디코더로부터 출력되는 스트리밍 음악에 상기 합성기로부터 출력되는 벡터 음악을 오버레이(overlay)시키는 음악 엔진부를 포함한다.
또한, 상기 음악 엔진부는, 상기 사용자에 의해 상기 키가 부정확하게 눌려질 시, 불협화음(out-of-tune)의 노트(note) 또는 어코드(accord)가 출력되도록 제어하는 것을 특징으로 한다.
본 발명에 따르면, 휴대 장치 상에서 재생되는 스트리밍 음악에 사용자 입력신호에 대응하는 벡터 음악을 오버레이(overlaid)시킴으로써, 재생되는 스트리밍 음악과 사용자간에 충분한 상호작용(full interaction)을 할 수 있고, 또한 이로 인하여 휴대장치에서 재생될 수 있는 파일 크기의 제한에도 불구하고, 더욱 풍부하고 현실감 있는 음악을 제공할 수 있을 뿐만 아니라, 미리 녹음된 음악에 대하여 더욱 풍부하면서도 현실적인 사운드(sound)를 유지하면서도 인간의 노래 소리를 포 함시킬 수 있도록 하는 실질적인 합성기 기반 음악을 재생하는 자유로움을 제공할 수 있는 이점이 있다.
본 발명은 스트리밍 음악(streaming music, 예를 들면, PCM이나 MP3 포맷으로 제공되는)에 오버레이(overlaid)된 벡터 음악(vector music, 예를 들면, MIDI 포맷으로 제공되는)을 이용함으로써, 종래 기술의 시스템에 존재하는 문제들을 해결한다. 본 발명은 휴대 장치상에서 스트림 방법(stream-like methods)을 이용함과 동시에, 연주자(즉, 사용자)와 충분한 상호작용(full interaction)을 할 수 있도록 하는 벡터 음악(예를 들어, 특정한 악기의 노트)의 유연성(flexibility)을 이용함으로써, 미리 녹음된 음악(예를 들어, 보컬)에 대한 풍부함(richness)을 얻을 수 있다.
본 발명의 바람직한 일 실시 예에 따른 시스템은 다음과 같은 구성요소들을 포함한다.
표준 아키텍처(architecture)에서는 MP3 또는 MIDI가 동시가 아닌 개별적으로 재생되도록 한다. 반면에 본 발명에서는 MP3 및 MIDI를 동시 재생하는 "동시 작업"을 수행하기 위해, MP3 디코더에 적분기(integrator)가 추가로 사용된다. 본 발명의 바람직한 일 실시 예에 따르면, 상기 적분기는 CPU에 의하여 상기 합성기와 상기 MP3 디코더가 쉽게 운용될 수 있도록, 칩(chip) 기반의 하드웨어 형태로 제공될 수 있다. 종래 기술에 따른 방법들 및 그에 기반한 게임들은 추가적인 적분기를 채용하거나 요구하지도 않았다는 것을 주목할 필요가 있다.
본 발명의 상세한 설명에서 "전화기" 또는 "휴대 전화기"라는 용어는 본 발명에 따른 휴대 장치에 포함되며, 나아가 상기 휴대 장치에는 휴대전화, PDA 또는 게임기와 같은 모든 휴대 장치가 포함하나 이에 한정되지는 않는다.
도 1은 본 발명에 따른 스티리밍 파일(101)과 벡터 음악(103, MIDI)간의 대응관계를 보여주는 도면이다.
하기의 방식에서 적분기의 추가적인 사용은 악기의 연주 경험(Musical instrument playing experience)을 높여준다. 즉, 사용자가 상기 전화기의 키패드(key pad)에 포함된 키를 정확히 누르면, 상기 키에 대응하는 특정 노트(note) 또는 어코드(accord)가 재생되고 실제 음악 키보드를 연주하는 것처럼 상기 노트 또는 어코드의 소리가 출력된다. 이것은 본 발명에 따라서 사용자가 연주하는 음악에 대하여 전반적인 제어가 이루어지기 때문이다. 이는 사용자의 연주 경험이 실제 연주와 매우 유사하다는 것을 의미한다. 예를 들면, 연주자가 아주 짧은 시간 동안 키들을 누른다면 음악의 노트(musical note)들을 짧게 할 수 있고, 이는 "실제 연주"와 가까운 또 다른 상호작용을 형성한다.
반면, 사용자가 키를 누르지 않을 때에는, 연주되어야 할 특정 노트가 합성기에 보내지지 않기 때문에, 게임에 연결된 특정 노트 또는 어코드는 출력되지 않고, 이로 인하여 사용자에게 들리지 않는다.
사용자가 잘못된 키를 눌렀을 때에는, 사용자의 실수를 지적하기 위해 불협 화음(out-of-tune)의 음악 노트(musical note)가 출력되어 사용자에게 들리게 된다.
휴대용 단말기(mobile handsets) 내의 공간은 매우 제한적이기 때문에, 벡터 음악이나 게임용 데이터를 위한 기본 포맷으로 MIDI를 사용하고, 스트리밍 음악을 위한 압축된 포맷으로서 MP3를 이용하는 것이 바람직하다. MIDI(벡터) 합성기와 MP3(스트림) 디코더를 구현함에 있어서, 각각 다른 메카니즘들(mechanism)들이 사용된다. 또한 스트림을 재생하는 스트리밍 버퍼링(streaming buffering)에 따라 상기 스트리밍 버퍼링의 재생 시작시간에 맞춰지도록 조정되기 위하여, MIDI 데이터는 적어도 하나의 지연된 시작 매개변수(delayed start parameter)를 갖는다. 당해 기술이 속하는 분야에서 통상의 지식을 가지는 자라면 이러한 동기화를 수행하기 위해 필요한 적절한 매개변수를 용이하게 선택해낼 수 있을 것이다.
도 2는 본 발명에 따라 합성기에 의해 생성된 벡터 시퀀스가 음악 스트림과 동시에 재생되는 방법을 설명하는 도면이다. 먼저, 사용자가 사용자 인터페이스(201)를 통해 특정 음악트랙을 선택하면, 상기 사용자 인터페이스(201)는 상기 특정 음악트랙 선택 신호를 음악 엔진부(203)로 전송한다(S211). 여기서, 상기 사용자 인터페이스(201)는 사용자로부터 입력신호를 입력받기 위해 복수의 키(key)가 형성된 키패드, 마우스와 같은 입력장치 및 현재 재생중인 음악의 상태를 시각적으로 표시하는 디스플레이부를 포함한다. 또한, 상기 사용자 인터페이스(201)에는 상기 입력장치와 출력장치가 서로 결합된 터치스크린이 포함될 수도 있다.
음악 엔진부(203)에 위와 같이 사용자 인터페이스(201)로부터 특정 음악트랙 선택 신호가 수신되면, 상기 음악 엔진부(203)는 상기 선택된 음악트랙을 로드하기 위한 준비상태가 된다(S213).
이어서, 상기 음악 엔진부(203)는 디코더(205)로부터 스트림 음악을 로드하기 위한 로드신호를 상기 디코더(205)로 전송한다(S221). 이와 같이, 음악 엔진부(203)로부터 스트림 음악을 로드하기 위한 로드신호가 수신되면, 상기 디코더(205)는 스트리밍 음악을 재생하기 위한 준비가 되었음을 상기 음악 엔진부(203)에 알린다(S223).
또한, 상기 음악 엔진부(203)는 합성기(207)로부터 벡터 음악(vector music)을 로드하기 위한 로드신호를 상기 합성기(207)로 전송한다(S231). 이와 같이, 음악 엔진부(203)로부터 벡터음악을 로드하기 위한 로드신호가 수신되면, 상기 합성기(207)는 사용자로부터 벡터음악을 수신하기 위한 준비가 되었음을 상기 음악 엔진부(203)에 알린다(S233).
이어서, 사용자 인터페이스(201)로부터 상기 디코더(205)에 스트림 음악의 재생 시작을 명령하는 신호가 전송되면(S225), 상기 디코더(205)는 상기 선택된 특정 음악 트랙을 디코딩하여 상기 음악 엔진부(203)로 제공한다(S227).
또한, 사용자 인터페이스(201)로부터 사용자의 키 누름에 의하여 키 누름 신호가 상기 합성기(207)로 입력되면, 상기 합성기(207)는 상기 키 누름 신호에 대응하는 벡터 음악을 생성하여 상기 음악 엔진부(203)로 제공한다(S237).
그러면, 상기 음악 엔진부(203)는 상기 스트리밍 음악상에 상기 벡터 음악을 동기화 및 오버레이(overlay)시켜 출력시킴으로써, 사용자는 자신의 키 누름 동작에 대응하는 상기 벡터 음악이 오버레이된 스트리밍 음악을 들을 수 있게 된다.
도 3은 본 발명에 따른 휴대 장치 내에서의 데이터의 흐름을 개략적으로 보여주는 도면이다.
도 3에 도시된 바와 같이, 음악 엔진부(203)는 적분기(331) 및 증폭기(333)를 포함한다. 스트림 음악(101)은 디코더(205)를 통하여 디코딩된 후 적분기(331)에 입력된다. 그리고, 벡터 음악(103)은 합성기(207)에 의해 합성된 후 적분기(331)에 입력된다.
그러면, 상기 적분기(331)는 상기 디코더(205)로부터 수신된 스트리밍 음악에 상기 합성기(207)로부터 수신된 벡터 음악을 오버레이 시킨다.
이와 같이 벡터 음악이 오버레이된 스트리밍 음악은 증폭기(333)에 입력되어, 상기 증폭기(333)에 의해 증폭되어 출력된다.
도 4는 본 발명에 따른 실시 예들에서의 상태들(states)을 보여주는 도면이다.
도 4에 도시된 바와 같이, 대표적인 시스템에서 MP3 재생기(디코더) 및 MIDI 재생기(합성기)에 요구되는 사항은 다음과 같다.
각 재생기는 재생 준비전 상태(S411,S421, NotReady)로부터 정확하고 짧은 시간(0.5초 이하) 이내에 재생 준비 상태(S413, S423, READY TO PLAY)가 되어야 한 다. 그러므로 MP3가 재생(S425)되기 시작할 때, 본 발명의 실시 예에서 로딩(loading) 및 버퍼링(buffering)을 하는 데에는 항상 일정한 시간(예를 들어 120ms)이 걸려야 하고, 상기 MIDI가 사용자의 연주에 의해 재생(S415)될 때에는, 상기 합성기는 즉시 재생을 시작하여야 하며, 바람직하게는, 재생준비 상태(S413)에서 재생(S415)까지 1ms 이내가 되어야 한다. 이러한 이유는 적어도 4.8ms 이내에서 차례로 변환될 수 있도록, 음악에 대한 파형의 지터(jitter, 디지털 싱크 문제로 일어나는 잡음)가 208bpm의 최고 비율의 비트 이내가 될 수 있도록 하기 위함이다. 예를 들어, 4명의 연주자로 구성된 "밴드"를 구성하고, 각 연주자가 하나씩의 지터를 갖고 있으며, 각 지터가 길어봐야 1ms씩이 된다면, 밴드의 총 지터는 4ms가 될 수 있다.
또한, 두 재생 메카니즘을 정확하게 유지시키는(예를 들어, 총 연주 시간 동안 5ms 이상의 시간을 잃지 않도록) 것 또한 고려될 수 있다. 재생률(play rate)을 변경시키는 경우, 정확한 진행 클락(progress clock)과 원격측정된 값들이 밀리초(milli-second) 단위의 정확한 범위 안에서 제공됨으로써, 상기 벡터 음악이 고정(fix)되고 현재 재생 비율에 재조정될 수 있도록 해야 한다. 당해 기술 분야에서 통상의 기술을 가진 자에게 명백한 바와 같이, 일부 MP3 재생기는 일정치 않은 재생률을 나타내며, 더구나 데이터 손실까지 발생하게 되나, 인간의 귀에는 이러한 "음악적" 결함들이 들리지 않는다.
본 발명의 실시 예는 상기 MIDI가 음악 및 게임 시퀀스에 모두 적용될 수 있 는 방식에 대해 설명하고 있고, 해당 컨텐츠는 다음과 같이 음악 파트와 게임 시퀀스(sequence)로 구성된다. 상기 게임 시퀀스는 상기 음악 시퀀스(MIDI)에 의존적이지만 어떠한 노트(note)에도 기초할 수 있다.
1.음악 파트
1.1. MP3 파일(스트림)과, 음악에서의 4개의 담당 파트들(드럼, 베이스, 기타 및 키보드/misc/lead)을 표현하는 적어도 4개의 MIDI 트랙들(벡터)이 포함되며, 각 연주 담당 파트에 대해 각각의 추가적인 채널을 리믹싱(remixing)함으로써 음악적인 감성을 증대시키기 위한 추가적인 MIDI 채널들이 부가될 수 있다.
MP3: 사용되는 특정 휴대장치의 제약 조건에 영향을 받는 어떠한 비트율(bit rate)의 MP3도 포함된다.
MIDI:(유형1) 제네럴 미디(General Midi)에 기반하여, 11채널까지 구성될 수 있다.
1.2. 예상되는 음악의 길이:약 2분
2.게임 파트
상기 게임 파트는 연주자가 음악을 연주하는 것과 같은 "감성(feel)"을 만들어 주어야 한다.
각각의 음악 담당 파트에는 음악과 게임이 재생됨에 따라 생성될 기타, 드럼, 베이스, 키보드/리드(lead)에 따른 4개의 게임 시퀀스가 수반될 수 있다.
각 게임 시퀀스는 미디 채널과 음악 채널에 해당하며, 미디 채널은 각 노트(음악 키(musical key) 및 강약(velocity))가 예상되는 키 누름(key press)으로 변환되고, 음악 채널은 사용자가 정확하게 또는 부정확하게 키를 누르는 것에 의해 작동된다. 음악 파트상의 특정 노트에 대한 상관관계(correlation)는 틱카운트(tick count, 즉, MIDI상의 단위 유닛들)에 동기화함으로써 수행된다.
상기 개시된 것들로부터, 본 발명에 따른 방법은 종래 기술의 문제 및 결점에 대한 편리하면서도 효과적인 해결책을 제공한다는 점이 당해 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 한 곡당 약 10 내지 100KB의 벡터 뮤직을 채용하고, 압축된 스트림 스테레오-폰(stereo-phone) 음악 채널을 채용한다. 벡터 음악의 저장소는 음악 게임에 기반한 스트림의 저장소에 근접하여 형성될 수 있으나, 벡터 뮤직의 유연성을 갖는다.
추가적으로, 벡터 뮤직을 사용함으로써, 게임을 하는데 요구되는 가능한 많은 수의 채널들을 가질 수 있다. 또한, 본 발명의 방법을 사용함으로써 각 게임 역할(game role)이나 난이도(difficulty level)에 따라 서로 다른 음악 소리가 나오도록 만드는 것이 가능하다.
상기 상세한 설명과 실시 예는 본 발명에 대한 설명을 위하여 제공되었지만, 본 발명의 범위를 한정하는 것은 아니다. 본 발명의 사상을 벗어나지 않는 범위 내에서, 다양한 휴대 장치들을 사용함으로써 본 발명의 많은 다른 변형들이 제공될 수 있다.
도 1에 스트림 음악과 MIDI 벡터의 대응관계를 개략적으로 도시한 도면.
도 2는 합성기에 의해 생성된 벡터의 시퀀스와 음악 스트림이 동시에 시작되는 방법을 개략적으로 보여주는 도면.
도 3은 휴대 장치에서의 데이터 흐름을 개략적으로 보여주는 도면.
도 4는 본 발명에 따른 실시 예들에서의 상태들(states)을 보여주는 도면.

Claims (8)

  1. 휴대 장치상에서 재생되는 음악과 상호작용하는 방법에 있어서,
    상기 휴대 장치상에서 스트리밍(streaming) 음악을 재생하는 단계;
    상기 스트리밍 음악이 재생되는 동안에 인터페이스부를 통하여 사용자로부터 입력 신호를 수신하는 단계;
    상기 입력 신호에 대응하는 벡터(vector) 음악을 생성하는 단계;
    상기 생성된 벡터 음악을 상기 스트리밍 음악에 오버레이(overlay) 시키는 단계; 및
    상기 벡터 음악이 오버레이된 상기 스트리밍 음악을 출력하는 단계를 포함하는 것을 특징으로 하는 휴대 장치상에서 재생되는 음악과 상호작용하는 방법.
  2. 제 1항에 있어서,
    상기 벡터 음악은 MIDI(Musical Instrument Digital Interface)인 것을 특징으로 하는 휴대 장치상에서 재생되는 음악과 상호작용하는 방법.
  3. 제 1항에 있어서,
    상기 스트리밍 음악은 PCM(pulse code modulation) 또는 MP3(MPEG Audio Layer-3) 방식으로 제공되는 것을 특징으로 하는 휴대 장치상에서 재생되는 음악과 상호작용하는 방법.
  4. 제 1항에 있어서, ;
    상기 벡터 음악과 상기 스트리밍 음악의 재생 시간은 서로 동기화시키는 단계를 더 포함하는 것을 특징으로 하는 휴대 장치상에서 재생되는 음악과 상호작용하는 방법.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 휴대 장치는 휴대 전화(cellular phone)인 것을 특징으로 하는 휴대 장치상에서 재생되는 음악과 상호작용하는 방법.
  6. 스트리밍(streaming) 음악을 디코딩(decoding)하는 디코더;
    키패드를 포함하며, 사용자에 의한 상기 키패드에 포함된 키(key)의 누름에 의해 입력신호가 입력되는 사용자 인터페이스;
    상기 입력신호에 대응하여 벡터(vector) 음악을 합성하는 합성기; 및
    상기 디코더로부터 출력되는 스트리밍 음악에, 상기 합성기로부터 출력되는 벡터 음악을 오버레이(overlay)시키는 음악 엔진부를 포함하는 것을 특징으로 하는 재생되는 음악과 상호 작용이 가능한 휴대 장치.
  7. 제 6항에 있어서,
    상기 음악 엔진부는, 상기 사용자에 의해 상기 키가 부정확하게 눌려질 시, 불협화음(out-of-tune)의 노트(note) 또는 어코드(accord)가 출력되도록 제어하는 것을 특징으로 하는 재생되는 음악과 상호 작용이 가능한 휴대 장치.
  8. 제 6항 내지 제 7항 중 어느 한 항에 있어서,
    상기 휴대 장치는 휴대 전화(cellular phone)인 것을 특징으로 하는 재생되는 음악과 상호 작용이 가능한 휴대 장치.
KR1020090045513A 2008-06-02 2009-05-25 재생되는 음악과 상호 작용이 가능한 휴대 장치 및 그 방법 KR20090125700A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/131,166 US20090293705A1 (en) 2008-06-02 2008-06-02 Mobile musical gaming with interactive vector hybrid music
US12/131,166 2008-06-02

Publications (1)

Publication Number Publication Date
KR20090125700A true KR20090125700A (ko) 2009-12-07

Family

ID=41378164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090045513A KR20090125700A (ko) 2008-06-02 2009-05-25 재생되는 음악과 상호 작용이 가능한 휴대 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20090293705A1 (ko)
KR (1) KR20090125700A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8506404B2 (en) * 2007-05-07 2013-08-13 Samsung Electronics Co., Ltd. Wireless gaming method and wireless gaming-enabled mobile terminal
US8821209B2 (en) * 2009-08-06 2014-09-02 Peter Sui Lun Fong Interactive device with sound-based action synchronization
US9573049B2 (en) * 2013-01-07 2017-02-21 Mibblio, Inc. Strum pad

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525825B2 (ja) * 1999-09-28 2004-05-10 ヤマハ株式会社 電子楽器の遠隔操作機能付き移動無線端末装置
JP4483043B2 (ja) * 2000-07-19 2010-06-16 ヤマハ株式会社 楽曲データ提供装置、方法、及び記録媒体
JP2003058453A (ja) * 2001-08-10 2003-02-28 Yamaha Corp ネットワークサービスシステム、コンテンツ提供サービス装置、および、中継サービス装置
AUPR947701A0 (en) * 2001-12-14 2002-01-24 Activesky, Inc. Digital multimedia publishing system for wireless devices
US7498504B2 (en) * 2004-06-14 2009-03-03 Condition 30 Inc. Cellular automata music generator
US20070155427A1 (en) * 2005-12-30 2007-07-05 Tran Bao O Wireless mobile video
US8019451B2 (en) * 2006-11-22 2011-09-13 Target Brands, Inc. Financial transaction product with media player
US20090044686A1 (en) * 2007-08-14 2009-02-19 Vasa Yojak H System and method of using metadata to incorporate music into non-music applications

Also Published As

Publication number Publication date
US20090293705A1 (en) 2009-12-03

Similar Documents

Publication Publication Date Title
JP4174940B2 (ja) カラオケ装置
JP4166438B2 (ja) 音楽ゲーム装置
KR20090125700A (ko) 재생되는 음악과 상호 작용이 가능한 휴대 장치 및 그 방법
JP4700351B2 (ja) マルチユーザ環境の制御
JP4182590B2 (ja) 携帯カラオケシステム
JP3861381B2 (ja) カラオケ装置
JP2007089896A (ja) 音楽再生装置および音楽再生プログラム
JP4107212B2 (ja) 楽曲再生装置
KR101041622B1 (ko) 사용자 입력에 따른 반주 기능을 갖는 음원 재생 장치 및 그 방법
KR100841047B1 (ko) 곡 데이터 편집 기능 및 mp3기능이 내장된 휴대용 플레이어
JP4085471B2 (ja) カラオケ装置およびマイクロホン
JP4161714B2 (ja) カラオケ装置
JP2002108375A (ja) カラオケ曲データ変換装置及びカラオケ曲データ変換方法
US20230343313A1 (en) Method of performing a piece of music
JP3592373B2 (ja) カラオケ装置
JP2008233926A (ja) 据置型のカラオケ装置、携帯カラオケ装置および携帯カラオケシステム
JP2002041070A (ja) イントロ当てゲーム機能付きカラオケ装置
JP3565065B2 (ja) カラオケ装置
KR100270625B1 (ko) 콤팩트디스크 가요반주기에서의 엠펙 오디오 합성장치
JP2002196760A (ja) 楽音生成装置
WO2007105534A1 (ja) ゲーム機
JP3598842B2 (ja) カラオケ装置
JP2000122672A (ja) カラオケ装置
JPH11119785A (ja) カラオケ装置
JP4259422B2 (ja) 演奏制御装置及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid