KR100736222B1

KR100736222B1 - 무선통신망과 인터넷을 통해 쌍방향 미디어 컨텐츠를실시간으로 생성하고 배포하는 방법 및 장치

Info

Publication number: KR100736222B1
Application number: KR1020037014710A
Authority: KR
Inventors: 코베트 월
Original assignee: 프론토 월드와이드 리미티드; 코베트 월
Priority date: 2001-05-15
Filing date: 2002-05-13
Publication date: 2007-07-06
Also published as: US20030027591A1; US6640086B2; JP5033756B2; TW511365B; JP2009112000A; KR20040007554A

Abstract

휴대폰과 같은 장치를 사용해, 조작자는 이 장치로 노래를 부르거나 장치가 제공하는 배경음악을 들으면서 장치의 버튼을 눌러 메시지를 생성할 수 있다. 버튼을 누르면, 악기를 연주하는 것처럼 사운드를 생성할 수 있다. 원격서버는 조작자의 음성이나 촉각 입력 표현을 저장하고, 조작자의 입력과 배경음악에 있어서는 조작자가 처음 관찰한 시간관계를 보존하도록 하여 수신자에게 메시지를 전송한다.

Description

무선통신망과 인터넷을 통해 쌍방향 미디어 컨텐츠를 실시간으로 생성하고 배포하는 방법 및 장치{Method and apparatus for creating and distributing real-time interactive media content through wireless communication networks and the internet}

본 발명은 컴퓨터나 통신망을 이용해 메시지를 생성하고 배포하는 것에 관한 것으로, 구체적으로는 이동전화기와 같은 핸드헬드 장치를 이용해 조작자(operator)가 생성한 오럴 또는 비주얼 컨텐츠를 갖는 메시지를 배포하는 방법과 시스템에 관한 것이다.

PDA(Personal Digital Assistants), 휴대폰, 핸드헬드 컴퓨터와 같은 모바일장치의 이용속도는 겨우 몇년전의 낙관적 예상을 크게 뛰어넘는 속도로 성장하고 있다. 휴대폰은 저렴하면서도 이동중에 오락물 등에 자유롭게 접속할 수 있다는 이유로 널리 사용되고 있다. 음악이나 동영상을 작동시키고 기록하는 기타 모바일장치도 오락이나 즐거움을 제공하는 용도로서 널리 사용되고 있다.

모바일장치는 모든 연령대의 사람들이 전세계적으로 사용하고 있지만, 특히 "대중문화" 트렌드나 라이프스타일을 갖는 사람들에게 아주 인기가 있다. 대중문화는 특히 젊은이들 사이에 인기가 있고 전세계적으로 쉽게 받아들여진다.

전문적인 소스에 의해 기록되고 배포되는 음악이나 동영상은 대중문화의 중요한 일부분이다. 그러나, 자신의 오럴 또는 비주얼 컨텐츠를 만들어 이것을 친구들과 공유하려고 하는 추세가 점점 증가하고 있다. 불행히도, 음악이나 동영상과 같은 오럴/비주얼 컨텐츠의 생성과 배포에는, 휴대폰처럼 쉽게 다룰 수 없거나 휴대하기에 불편한 장치를 이용해야만 한다. 필요한 것은, 휴대폰같은 모바일장치를 이용해 오럴 및/또는 비주얼 컨텐츠를 생성하고 배포하는 능력이다.

본 발명의 목적은 모바일장치를 이용해 음악이나 동영상 등의 컨텐츠를 생성하고 배포하는데 있다.

본 발명에 따르면, 조작자는 핸드헬드 장치를 이용하여 제1 컨텐츠의 표현물(representation)의 표시(presentation)와 명령어를 수신하고, 핸드헬드 장치를 통하여 제1 컨텐츠의 표시와 시간적으로 중첩하는 제2 컨텐츠와 하나 이상의 수신자의 ID(identification)를 조작자에 의해 제어되는 시간적 관계에 따라 제공하며, 제2 컨텐츠의 표현물과 수신자 ID를 원격서버로 전달하고, 원격서버로 하여금 시간적 관계에 따라 배열된 제1 및 제2 컨텐츠를 표현하는 메시지를 수신자에게 전달하게 한다.
상기된 용어 표현물(representation)이라는 것은 컨텐츠를 표현하는 신호 또는 데이터로, 예를 들면, 컨텐츠가 노래이라면, 그 표현물은 노래의 실제 사운드를 표현하는 PCM 샘플을 지닌 디지털 신호 또는 아날로그 신호일 수 있다. 그리고, 표시(presentation)는 무엇인가를 인지가능하게 하는 것으로서, 예를 들어 이미지의 표시는 스크린에 이미지의 디스플레이일 수 있으며, 사운드의 표시는 라우드스피커에 의한 음향파의 생성일 수 있다.

본 발명의 다른 특징에 따르면, 시스템의 핸드헬드 장치에 구비된 무선송신기와 처리회로는 제1 컨텐츠의 표시와 명령어를 표현하는 출력을 조작자에게 제공하고, 조작자로부터 하나 이상의 수신자의 ID와 제1 컨텐츠의 표시와 시간적으로 중첩하는 제2 컨텐츠를 표현하는 입력을 조작자에 의해 제어되는 시간적 관계에 따라서 수신하고, 그리고 수신자의 ID와 제2 컨텐츠의 표현물을 무선송신기를 통하여 전달하며; 또한 시스템의 하위 서버시스템은 하나 이상의 수신자의 ID와 제2 컨텐츠의 표현물을 수신 및 저장하며, 하나 이상의 수신자에게 시간적 관계에 따라 배열된 제1 및 제2 컨텐츠를 표현하는 메시지를 전달한다.

본 발명의 또 다른 특징에 따른 서버시스템은 제1 컨텐츠의 ID, 조작자에 의해 제어되는 시간적 관계에 따라 핸드헬드 장치에 의해 제1 컨텐츠의 표시와 시간적으로 중첩하는 제2 컨텐츠, 그리고 하나 이상의 수신자의 ID를 전송하는 핸드헬드 장치의 조작자의 제어하에 생성된 핸드헬드 장치의 하나 이상의 신호를 수신하며, 시간적 관계를 식별하는 정보를 획득하고, 그리고 시간적 관계에 따라 배열된 제1 및 제2 컨텐츠를 표현하는 메시지를 하나 이상의 수신자에게 전달한다.

이하, 첨부 도면들을 참조하여 본 발명에 대해 자세히 설명하면 다음과 같다.

도 1은 휴대폰 조작자가 여러가지 네트웍과 통신경로에 연결된 서버와 통신할 수 있는 시스템의 블록도;

도 2는 휴대폰일 경우의 주요 구성요소의 블록도;

도 3은 휴대폰이나 PDA같은 장치를 이용해 오럴컨텐츠(aural content)를 갖는 메시지를 생성하고 배포할 수 있는 과정을 보여주는 순서도;

도 4는 데이타통신경로와 음성통신경로를 동시에 이용하지 않고 오럴컨텐츠를 갖는 메시지를 생성하고 배포할 수 있는 과정을 보여주는 순서도.

A. 개관

도 1은 모바일장치(10)의 조작자가 서버(30)와 연동하여 원래의 기존 오럴(aural) 및/또는 비주얼(visual) 컨텐츠를 갖는 메시지를 생성하고 수신자(42,52,62)에 대한 이들 메시지 배포를 제어하는 시스템의 개략도이다.

이하의 설명에서는 휴대폰, PSTN(공중전화교환망; public switched telephone network), 인터넷 등을 참고하여 설명한다. 이런 시설물들은 본 발명을 사용하는 방법에 대한 중요한 실례이지만, 본 발명은 이들에 한정되는 것은 아니고 훨씬 더 광범위한 시설물들에 사용될 수 있다. 휴대폰은 모바일장치(10)로 사용될 수 있는 일례일 뿐이다. 다른 적당한 예로는 PDA, 핸드헬드 컴퓨터를 포함한 휴대용 컴퓨터, 양방향 라디오 등이 있다. 본 발명은 고정식 데스크탑 전화기나 데스크탑 컴퓨터에도 적용될 수 있다. 기존의 표준이나 미래의 표준에 따르는 휴대폰기술은 모바일장치(10)에 사용될 수 있는 통신기술의 한가지 형태이다. 인터넷과 PSTN은 시스템 요소들 사이의 통신에 이용될 수 있는 시설의 일례이다. 기본적으로, 전선이나 광섬유와 같은 전송매체를 따라 또는 공중파로 초음파, 무선파, 광신호 등을 반송하는 방송, 점대점/다중점 통신채널들을 포함한 어떤 시설이나 기술에도 사용할 수 있다.

1. 응용례

본 발명의 두가지 응용례를 이하 SongMail과 MusicDIY(do it yourself)라 한다. SongMail과 MusicDIY를 통해 장치(10)의 조작자는 배경음악(background music)과 같은 기존 컨텐츠와, 조작자가 제공하는 추가 컨텐츠를 포함한 메시지를 만든 다음, 이 메시지를 수신자가 들을 수 있는 형태로 하나 이상의 수신자에게 보낼 수 있다. SongMail에서, 조작자는 목소리와 같은 음향 컨텐츠를 제공한다. MusicDIY에서, 조작자는 악기를 연주하듯이 장치(10)의 하나 이상의 입력장치를 작동시켜 오럴 컨텐츠를 제공한다.

SongMail 과 MusicDIY는 오럴 컨텐츠에 관련되지만, 본 발명은 비주얼 컨텐츠를 포함해 기본적으로 수신자가 인식할 수 있는 모든 컨텐츠의 표현을 포함한 메시지를 만드는데 이용될 수 있다. 또, SongMail 과 MusicDIY 자체는 예를 들어 비주얼 컨텐츠를 포함하도록 확장될 수 있다. 이런 응용례에 대해서는 뒤에 자세히 설명하되, 본 발명이 제공할 수 있는 응용례만을 예로 든다.

2. 통신

도 1에 따르면, 본 발명의 여러 특징들을 갖는 시스템은 서버(30)와 장치(10) 사이, 그리고 컴퓨터시스템(42), 전화기(52), 모바일장치(62)와 같은 잠재적 수신자와 서버(30) 사이의 통신시설을 포함한다. 컴퓨터시스템(41)과 전화기(51)에 나타나는 서비스나 컨텐츠의 제공자와 서버(30) 사이의 통신시설을 포함할 수도 있다. 예컨대, 서버(30)는 저장장치(33)의 자체 컨텐츠 데이타베이스에는 없는 기존의 컨텐츠를 컴퓨터시스템(41)에서 얻을 수 있다.

장치(10)의 조작자는 서버(30)와 장치(10) 사이의 통신시설을 이용해 메시지를 만들어 서버(30)에 보내며, 서버는 이 메시지를 하나 이상의 수신자에게 보낸다. 서버(30)는 서버와 수신자들 사이의 통신시설을 이용해 이 메시지를 수신자에게 배포한다. 사전기록된 음악이나 동영상과 같은 컨텐츠나 서비스의 제공자와 서버(30) 사이의 통신시설을 이용해 서버(30)는 이들 서비스나 컨텐츠를 얻는다.

아주 다양한 통신기술과 프로토콜들을 이용할 수 있다. 특정 통신시설은 전혀 중요하지 않으나, 도 1과 같은 통신시설은 본 발명을 상업적으로 구현하는데 중요하다고 할 수 있다.

3. 서버

프로세서(31), 저장장치(33), PSTN(50)과 같은 통신설비에 대한 접속장치, 휴대폰 시스템, 네트웍(40)을 포함한 종래의 하드웨어로 서버(30)를 구현할 수 있다. 네트웍(40)은 인터넷과 같은 글로벌 네트웍일 수도 있고, 또는 사내 인트라넷과 같은 제한된 네트웍일 수도 있다.

이하 설명하는 여러 응용례를 지원하는 환경은 Linux, Unix, 여러 버전의 Windows와 같은 기존의 운영체계로 제공될 수 있다. 본 발명을 실행하는데는 특정 소프트웨어 환경이 필수적이지 않다. 도 1의 서버(30)는 프로세서(31)가 하나인 하나의 컴퓨터시스템이지만, 각각의 컴퓨터시스템에 프로세서가 하나 이상 포함된 여러 개의 컴퓨터시스템으로 구현될 수도 있다. 이들 시스템은 서로 가까이 설치되거나, 넓게 분산될 수도 있다. 특정 구성이 중요한 것은 아니다.

서버(30)는 전술한 SongMail과 MusicDIY를 구현하는데 사용되는 여러 서비스들을 제공한다. 본 발명의 여러 실시예에서 서버(30)가 제공할 수 있는 서비스로는 전자메일(이메일), 대화식 음성응답(IVR; Interactive Voice Response), SMS(Short Message Services), MMS(Multimedia Messaging Service), WAP(Wireless Access Protocol), HTTP(Hypertext Transfer Protocol) 등이 있다. 이들 서비스는 현재 알 려진 서비스들로서, 향후 더 진보된 미래의 서비스들로 대체될 가능성이 충분하다. 본 발명에 따른 서버(30)는 이런 형태의 종래와 미래의 서비스들을 제공할 수 있다.

여러 개의 장치들을 포함할 수도 있는 저장장치(33)는 프로세서(31)가 실행하는 운영체계와 응용시스템 소프트웨어를 저장하고 이 소프트웨어가 사용하는 데이타도 저장한다. 이런 데이타의 3가지 예로는 조작자 프로파일, 컨텐츠 데이타베이스, 및 조작자가 만드는 메시지가 있다. 조작자 프로파일은 특정 조작자와 관련된 개인 선호도나 계좌정보와 같은 데이타를 포함할 수 있다. 조작자 선호도의 예로는, 선호하는 음악이나 아티스트의 ID일 수 있다. 조작자 프로파일은 잠재적 수신자의 주소록을 포함할 수도 있다. 컨텐츠 데이타베이스는 조작자가 자신의 컨텐츠와 함께 메시지에 포함되도록 선택할 수 있는 기존의 컨텐츠를 포함한다. 이 데이타베이스는 아티스트, 타이틀, 컨텐츠의 타입이나 스타일, 또는 컨텐츠가 전달하는 기본 메시지나 무드를 기준으로 선택을 용이하게 하도록 배열되는 것이 바람직하다.

서버(30)는 기본적으로 시스템의 다른 구성들과의 모든 형태의 통신을 이용할 수 있다. 도 1에 도시된 예에서, 서버(30)는 무선채널(60)을 통해 모바일장치(10,62)와 통신하고, PSTN(50)을 통해 전화기(51,52)와 통신하며, 네트웍(40)을 통해 컴퓨터시스템(41,42)과 통신한다. 신호는 수신기(35)와 송신기(36)에 의해 무선채널(60)을 통해 송수신되고, 상기 송수신기는 하나 이상의 안테나(37)에 연결되는 동시에 통신시설(34)을 통해 프로세서(31)에 연결된다. 수 신기(35)와 송신기(36)는 프로세서(31) 가까이 위치하거나, 넓게 분포될 수 있다. 일 실시예에서, 통신시설(34)은 다수의 수신기(35), 송신기(36) 및 안테나(37)를 포함한 휴대폰 시스템에 연결된다.

설명의 편의상, 이하 저장장치(33), PSTN(50), 네트웍(40), 수신기(35) 및 송신기(36)에 연결되는 프로세서(31)가 하나인 단일의 컴퓨터시스템으로 서버(30)를 구현한 경우를 예로 들어 설명한다. 많은 다른 구성도 가능함은 물론이다.

4. 핸드헬드 장치

도 1의 모바일장치(10)로는 핸드폰을 예로 들지만, 전술한 바와 같이 다른 형태의 장치를 사용할 수도 있다. 예시된 실시예의 경우에는 이 장치(10)가 다수의 입력장치와 출력장치를 갖는다. 입력장치로는 조작자가 작동할 수 있는 키패드와 같은 스위치 어레이(21)와, 조작자의 말이나 다른 음향을 입력할 수 있는 마이크로폰과 같은 음향입력 트랜스듀서(22)가 포함된다. 출력장치로는 확성기와 같은 음향출력 트랜스듀서(22)와, 비주얼정보가 표시되는 LCD와 같은 비주얼 디스플레이(24)가 있다. 예시되지 않은 다른 구현예로는, 입력장치로서 스위치 어레이(21)와 출력장치로서 비주얼 디스플레이(24)를 갖되 음향 입출력 트랜스듀서는 갖지 않는 PDA 를 모바일장치로 사용할 수도 있다.

모바일장치(10)로서 휴대폰을 사용하는 예가 도 2에 도시되어 있다. 이 경우, 프로세서(12)는 컴퓨팅리소스를 제공하는 회로이다. 메모리(13)는 RAM과 같은 휘발성/비휘발성 정보저장장치와 여러 형태의 ROM을 제공하는 회로이다. 입출력 제어기(18)는 키패드와 같은 스위치 어레이(21)와 압전소자와 같은 음향출력 트랜스 듀서(26) 등의 입출력 장치에 대한 인터페이스이다. 디스플레이 제어기(17)는 LCD 패널과 같은 디스플레이(24)에 대한 인터페이스이다. 코덱은 마이크로폰과 같은 음향입력 트랜스듀서(22)에서 수신된 오디오신호를 엔코딩 및 디코딩하여 확성기와 같은 음향출력 트랜스듀서(23)로 보내는 회로이다. 통신프로세서(14)는 안테나(25)에 연결되어 무선채널(60)을 통해 신호를 송수신하는 송신기(15)와 수신기(19)에 대한 인터페이스이다. 도시된 실시예에서 장치(10)의 여러 구성요소들은 버스(11)에 연결되는데, 이 버스는 하나 이상의 물리적인 버스일 수 있다. 버스 아키텍처 이외의 다른 아키텍처를 이용해 달리 구현할 수도 있다.

PDA일 경우에는, 코덱(16), 음향입력 트랜스듀서(22), 음향출력 트랜스듀서(23)와 같은 구성요소들은 생략할 수 있으며, 통신프로세서(14), 송신기(15), 수신기(19), 안테나(25)와 같은 다른 구성요소들은 장치(10)와 분리된 외장형으로 제공될 수도 있다. 이외 다른 많은 변형도 가능하다.

이들 구성요소들의 한가지 또는 그 이상의 기능들은 이산로직(discrete logic) 소자, 하나 이상의 ASIC 및/또는 프로그램제어 프로세서를 포함해 아주 다양하게 구현될 수 있다. 이런 구현 형태는 중요하지 않다.

실용적 구현에 중요할 수 있는 다른 요소, 예컨대 안테나 듀플렉서나 전원관리회로망 등은 원칙적으로 본 발명에 중요하지 않으므로 설명의 편의상 도면에서는 생략했다.

B. 응용례

SongMail과 MusicDIY의 상세한 사항은 장치(10), 서버(30) 및 수신자들을 연 결하는데 이용되는 통신기술과 장치(10)의 특징에 따라 일부 다를 수 있다. 이하의 설명에서는 실제 구현에 필요할 수 있는 자세한 사항들은 생략하고 각각의 응용례를 개관적으로 설명한다. 추가로 고려할 것은 여러 구현기술을 설명할 때 같이 설명한다.

1.SongMail

조작자는 음향 입출력 트랜스듀서가 달린 전화기나 기타 장치를 이용해 SongMail 메시지를 만들 수 있다. 바람직하게, 전화기에는 해당 버튼을 눌러 작동될 수 있는 스위치 어레이(21), 마이크로폰과 같은 음향입력 트랜스듀서(22), 확성기와 같은 음향출력 트랜스듀서(23), 및 LCD 패널과 같은 래스터화된 비주얼 디스플레이(24)가 달려있다. 조작자는 장치(10)의 버튼을 눌러 SongMail 과정을 시작한다. 장치(10)는 음향출력 트랜스듀서(23)를 통해 오럴정보를 제시하거나, 디스플레이(24)를 통해 비주얼정보를 제시하는 등, SongMail 과정을 통해 조작자를 안내하는 프롬프트나 기타 정보를 제시하는데 출력장치를 이용한다. 장치(10)가 핸드폰이면, 예컨대 비주얼디스플레이(24)에서는 조작자가 입력한 전화번호를 디스플레이하기만 해도, 후술하는 바와 같이 음성통신경로를 설정하는데 도움을 줄 수 있다. 응답에 있어서는, 조작자가 장치(10)의 입력장치를 이용해 메시지의 생성과 배포를 조정한다. 예컨대, 음향입력 트랜스듀서(22)를 통해 음성을 입력할 수 있고, 또는 바람직하게 버튼을 눌러 스위치 어레이(21)의 스위치를 작동시켜서 촉각입력을 할 수도 있다.

a) 셋업

SongMail 과정이 도 3에 개략적으로 도시되어 있다. 이 과정의 101 단계에서, 조작자는 특정예에 적합한 모든 방식으로 SongMail 응용례를 시작한다. 102 단계에서, 조작자를 안내할 프롬프트나 기타 정보를 제공하는데 사용할 시스템 언어를 선택한다. 103 단계에서, 조작자는 다음중 하나를 선택할 수 있다: (1) 새로운 메시지 생성, (2) 이전 메시지 듣기, (3) 이전 메시지 삭제, (4) 이전메시지 전송 또는 (5) 중단. 바람직한 구현예에서, 메시지 듣기, 삭제 또는 전송 등의 옵션은 이전메시지가 없을 경우는 제시되지 않는다. 새로운 메시지 생성을 선택하면 114 단계로 진행하며, 이전메시지 듣기를 선택하면 124 단계로 진행하고, 이전메시지 삭제를 선택하면 134 단계로 진행하며, 이전메시지 전송을 선택하면 144 단계로 진행하고, 중단을 선택하면 104 단계로 진행하여 과정을 중단하는데 필요한 행동을 한다.

b) 생성

114 단계에서, 조작자가 자기 메시지의 "배경음악(background music)"을 선택한다. 조작자는 타이틀, 아티스트, 음악의 형태, 음악과 같이 전달되는 메시지나 무드를 기준으로 배경음악을 선택할 수 있는 것이 바람직하다. 이 시스템은 또한, 저장장치(33)에 저장된 조작자의 선호도에 따라 여과되고 배열된 컨텐츠 데이타베이스에서 얻을 수 있는 컨텐츠의 일부만을 조작자에게 제시할 수 있다.

"배경음악(background music)"이란, 조작자가 제공하는 "조작자 컨텐츠"에 반대되는 것으로서 시스템이 제공하는 기존의 컨텐츠를 의미한다. 기존의 컨텐츠가 굳이 배경음악일 필요는 없지만, 배경음악을 많이 선택하는 편이다. 일 실시예에서, 서버(30)는 저장장치(33)의 데이타베이스에 기존 컨텐츠를 저장하고 조작자가 선택한 컨텐츠를 장치(10)로 전송한다. 한편, 탈착형 솔리드-스테이트 메모리 장치 (removable solid-state memory device) 등을 이용해 기존 컨텐츠를 장치(10)에 저장할 수도 있다.

115 단계에서, 시스템은 음향출력 트랜스듀서(23)를 통해 선택한 배경음악을 표시하고, 음향입력 트랜스듀서(22)를 통해서는 조작자로부터 컨텐츠를 받는다. 116 단계에서, 조작자는 예컨대 배경음악을 들으면서 노래를 할 수 있다. 이렇게 되면, 조작자는 배경음악의 표시(presentation)와 시간적으로 중첩하는 조작자 컨텐츠를 제공할 수 있고 또한 이런 중첩의 시간적 관계를 조정할 수 있다.

117 단계에서 조작자 컨텐츠의 생성이 완료될 때까지 115, 116 단계가 반복된다. 이 과정을 103 단계로 계속한다. 한편, 조작자가 하나 이상의 수신자를 확인하고 방금 생성된 조작자 컨텐츠를 포함한 메시지를 이들 수신자에게 전송할 수 있는 단계들과 함께 이 방법을 계속할 수도 있다. 메시지를 전송하는 한가지 방식을 이하 설명한다. 조작자가 메시지를 전송할 수 있는 단계들이 있으면, 조작자가 메시지 전송을 거부할 수 있는 단계도 있는 것이 바람직하다.

조작자 컨텐츠를 포함하지만 조작자에 의해 선택된 배경음악을 포함하지 않는 메시지의 표현물(representation)을 서버(30)가 저장장치(33)에 저장하는 것이 바람직하다. 서버(30)는 선택된 배경음악의 ID와 두개의 컨텐츠 사이의 시간적 관계의 표시만을 저장한다. 배경음악 자체는 컨텐츠 데이타베이스 어디에도 저장된다. 메시지가 수신자에게 또는 검토를 위해 조작자에게 전달될 때, 배경음악의 표시(presentation)들과 조작자 컨텐츠는, 조작자 컨텐츠를 제공한 때에 조작자에 의해 주시 되었던 이들 두 가지 컨텐츠 사이의 시간적 관계(temperal relationship)를 대체로 보존하는 방식으로 조합된다.

휴대폰 시스템과 같은 기술을 이용해 선택된 배경음악을 장치(10)로 조작자에게 표시를 위해 전송하고, 장치(10)로부터 조작자 컨텐츠를 수신할 때, 일반적으로 상당한 전송지연이 발생한다. 이들 지연을 결정할 수 없으면, 서버(10)는 배경음악의 표시와 조작자 컨텐츠 사이의 시간적 관계를 결정할 수 없으므로, 메시지를 수신자에게 전송할 때의 시간적 관계를 보존할 수 없다. 이들 지연을 결정할 수 있는 몇가지 방법에 대해 이하 설명한다. 원칙적으로, 지연을 결정할 수 있는 방법은 본 발명에서 중요하지 않다.

조작자가 휴대폰 서비스와 같은 통신서비스를 이용중이고 그 서비스 제공자가 전송지연의 추정값을 제공할 수 있다면, 조작자 컨텐츠를 제공했을 때 조작자가 인식한 시간적 관계를 추정하는데 추정된 왕복 지연을 이용할 수 있다.

서비스 제공자가 전송지연의 추정값을 제공할 수 없다면, 서버(30)는 일부 인식가능한 이벤트를 서버(30)로 회신하게 하는 장치(10)에 신호를 전송함으로써 지연을 측정할 수 있다. 장치(10)가 어떤 신호에 대해 자동응답하는 특징을 포함한다면, 서버(30)는 조작자의 관여(participation)를 요구하지 않고 지연을 측정할 수 있다. 그렇지 않으면, 서버(30)는 조작자가 버튼을 누르는 것과 같은 행위를 취하여 장치(10)로의 명령어의 전송과, 조작자가 그 동작을 취하였던 장치(10)로부터 일부 지시의 수신 사이의 시간 간격을 관찰함으로써 지연을 측정할 수 있다.

지연을 정확히 알지 못하면, 서버(30)는 조작자가 인식한 시간적 관계를 정확히 결정할 수 없고, 이는 메시지가 수신자에게 또는 검토를 위해 조작자에게 전달될 때의 시간적 관계를 시스템이 정확히 보존할 수 없게 한다. 그러나, 서버(30)가 상당한 정확도로 상기 지연을 결정할 수 있다면, 조작자 컨텐츠가 제공되었을 때 조작자에 의해 관찰되었던 시간적 관계를 상당히 보존할 수 있다.

c) 듣기

124 단계에서, 조작자는 재검토를 위해 이전 생성된 메시지를 선택한다. 125 단계에서, 장치(10)는 그 메시지를 위해 선택되었던 배경음악과 조작자 컨텐츠의 연주를 제시한다. 표시(presentation)는 조작자 컨텐츠의 연주와 선택된 배경음악의 연주를 상기 조작자 컨텐츠가 처음에 제공되었을 때 조작자에 의해 관찰되었던 시간적 관계를 상당히 보존하는 방식으로 중첩한다. 이러한 표시는 126 단계에서 표시가 종료하였는지 또는 조작자가 버튼을 누름으로써 표시의 종결을 요청하였는지를 결정할 때까지 계속된다. 이 과정은 103 단계에서 계속된다.

d) 삭제

134 단계에서, 조작자는 삭제를 위해 이미 생성된 메시지를 선택한다. 135 단계에서, 조작자는 삭제를 확인할 것을 요청받는다. 삭제가 확인되면, 136 단계에서 메시지가 삭제되고 이 과정은 103 단계에서 계속된다. 삭제가 확인되지 않으면, 과정은 103 단계로 계속된다.

e) 전송

144 단계에서, 조작자는 전달을 위해 이미 생성된 메시지를 선택한다. 145 단계에서, 조작자는 하나 이상의 수신자를 확인한다. 휴대폰을 사용할 경우, 조작자는 전화번호를 정하기 위해 휴대폰 위의 하나 이상의 버튼을 누르거나, 또는 조작자에 의해 이미 설정되어 서버(30)에 의해 저장 장치(33)에 저장된 전화번호 또는 이메일 주소의 목록으로부터 수신자를 선택할 수 있다. 한편, 영숫자 문자를 특정하는 공지된 기술에 따라 휴대폰의 버튼들을 눌러 이메일주소를 정할 수도 있다. 옵션단계인 146 단계에서는, 수신자에게 메시지를 소개하는 문장이나 비주얼 영상과 같은 메시지에 포함된 추가 컨텐츠를 조작자가 확인할 수 있다. 이 과정은 103 단계에서 계속된다.

147 단계에서, 서버(30)는 각각의 수신자에게 적합한 배달방법을 이용해 145 단계에서 확인된 각각의 수신자에게 메시지의 표현물(representation)을 전달한다. 메시지의 표현물은 다양한 방법으로 배달될 수 있다. "직접(direct)" 방법은 소위 음성메일을 음성메일 가입자에게 배달하는 것과 같은 방식으로 메시지의 오럴컨텐츠를 수신자에게 직접 배달하는 것이다. 이런 직접방법은 음향출력 트랜스듀서를 구비하되 처리성능은 거의 없는 종래의 전화기나 기타 장치에 배달하기에 적합하다.

"통지(notification)" 방법은 메시지를 검색(retrieve)하기 위한 명령어를 지닌 통지만을 배달하는 방법이다. 통지방법은 종래의 전화기를 포함한 임의 유형의 장치에 배달하기에 적합하지만, SMS에 의해 휴대폰이나 이메일에 의해 컴퓨터에 배달하기에 특히 적합하다. 음성통지가 종래의 전화기나 휴대폰에 전송될 수도 있다. 수신장치의 조작자는 통지에 포함된 명령어에 따라 실제 메시지 컨텐츠를 검색할 수 있다. 이들 배달방법에 대해서는 뒤에 자세히 설명한다.

배달방법은 145 단계에서 설명될 수 있으나, 어떤 경우에는 수신자의 ID로부터 올바른 방법을 유추할 수도 있다. 예컨대, 수신자의 이메일주소나 모바일장치의 전화번호로부터 통지방법을 유추할 수도 있다.

사용된 배달방법에 무관하게, 수신자가 궁극적으로 메시지의 오럴 컨텐츠를 수신하면, 메시지 컨텐츠의 표시는, 조작자 컨텐츠가 처음 제공되었을 때 조작자가 관찰한 시간적 관계를 상당히 보존하는 방식으로 조작자 컨텐츠의 연주와 선택된 배경음악의 연주를 포함된다. 다른 사항에 대해서는 후술한다.

2. MusicDIY

스위치와 같은 입력장치와 음향출력 트랜스듀서가 달린 전화기, PDA 또는 기타 장치를 이용하여 조작자는 MusicDIY 메시지를 생성할 수 있다. 해당 버튼의 배열을 눌러 작동될 수 있는 스위치 어레이(21), 확성기(loudspeaker)와 같은 음향출력 트랜스듀서(23), LCD 패널과 같은 래스터화된 비주얼 디스플레이(24)를 갖는 장치가 바람직하다. 조작자는, 예를 들어, 장치(10)의 하나 이상의 버튼을 누르는 등에 의해 MusicDIY 과정을 시작한다. 장치(10)는 하나 이상의 자체 출력장치를 이용해 디스플레이(24)를 통하여 비주얼 정보를 표시하는 것과 같은 MusicDIY 과정을 통해 조작자를 안내하는 프롬프트 또는 기타 정보를 표시한다. 장치(10)가 이동전화기일 경우, 비주얼 디스플레이(24)는 조작자가 입력한 전화번호만을 제공하여 음성통신경로를 설정하는데 있어서 조작자를 보조할 수 있는데, 이에 대해서는 후술한다. 응답시, 조작자는 장치(10)의 하나 이상의 입력장치를 이용해 메시지의 생성과 배포를 조정한다. 바람직하게, 촉각(tactile) 입력은 버튼을 눌러 스위치 어레이(21)의 하나 이상의 스위치를 작동시킴으로써 제공된다.

SongMail과 관련해 전술한바 있는 도 3의 방법은 MusicDIY 과정의 개념을 설명하는데에도 사용될 수 있다. SongMail에 관해서 상기된 각 단계의 설명은 MusicDIY에도 적용되므로, 115 단계에서의 차이점 이외에 다른 설명은 생략한다.

115 단계에서, 시스템은 SongMail에서 한 것과 같이 음향출력 트랜스듀서를 통해 선택된 배경음악의 연주(rendition)를 표시(present)하지만, MusicDIY를 위해서 조작자는 음향입력 트랜스듀서를 통해 직접 오럴 컨텐츠를 제공하는 대신 악기연주와 비슷하게 스위치 어레이(21)의 하나 이상의 스위치들을 작동시켜 오럴 컨텐츠를 직접 제공한다. 장치(10)는 스위치의 작동에 응하여 사운드를 생성하고 그 사운드를 음향출력 트랜스듀서(23)를 통해 조작자에게 제공한다. 이렇게 되면, 조작자는 장치(10)에서 생성된 음악을 들을 수 있고 배경음악의 표시와 조작자가 만든 음악 사이의 시간적 관계를 조정할 수 있다.

장치(10)는 종래의 악기를 연주하듯이 특정 스위치의 작동에 응답해 정해진 음표나 사운드를 생성할 수도 있지만, 특정 스위치의 작동에 응답해 생성된 사운드를 변화시키는 것이 바람직하다. 스위치 어레이의 임의의 스위치의 작동으로 장치(10)가 소정의 음악규칙을 따르는 사운드를 생성하도록 배경음악의 특징에 따라 사운드를 변경하는 것이 바람직하다. 다시 말해, 배경음악과 조합된 조작자 컨텐츠의 전반적인 효과가 어떤 스위치를 작동시키는가에 무관하게 만족할 수 있도록 스위치 어레이는 사운드에 적응적으로 매핑된다. 한편, 스위치-사운드 매핑들이 변화되는 방법이나 시간을 지시하는 제어정보가 배경음악과 함께 제공되기도 한다. 이에 대해서는 뒤에 자세히 설명한다.

C. 통신시설

이상 설명한 도 3의 과정에서는 각종 통신기술의 이용에 관련된 사항은 생략 했다. 이들 사항에 대해 이하 설명한다.

1. 서버-조작자 통신

장치(10)에 대한 특정 통신시설은 본 발명에서 중요하지 않지만, 휴대폰 시스템을 통한 통신은 많은 경우 상업적으로 중요하다고 할 수 있다. 여러가지 휴대폰 시스템에서 이용할 수 있는 기술에 대해 설명한다. 이들 기술중 많은 것은 아주 다양하게 조합되어 사용될 수 있음은 주지의 사실이다.

a) 데이타와 음성 통신시설의 순차 사용

첫번째 기술은 데이타와 음성 통신시설을 제공하는 하나 이상의 통신시스템과 이용될 수 있다. 첫번째 기술에 따르면, 조작자는 데이타 통신시설을 이용하는 어플리케이션을 셋업한 다음, 데이타 통신시설의 사용을 중단하고 음성통신시설을 사용해 메시지 컨텐츠를 생성한다. 이러한 첫번째 기술은, 예를 들면, 데이터와 음성 통신시설에 동시 접속을 제공하지 않는 휴대폰 시스템과 사용될 수 있다.

첫번째 기술을 구현하는 한가지 방법이 도 4에 예시되어 있다. 201 단계에서, 데이타 통신경로가 아직 없으면 이 경로를 개시하고 이 경로를 이용함으로써 어플리케이션 "세션(session)"을 설정하여 소정의 응용례(SongMail, MusicDIY 등), 언어, 배경음악과 같은 조작자의 선택을 전달한다. 한편, 201 단계에서 조작자는 곧 생성될 메시지에 대한 하나 이상의 수신자를 지정할 수 있다.

202 단계에서는 데이타 통신경로의 사용을 중단한다. 서버(30)는 세업 동안 조작자가 제공한 임의의 선택이나 기타 데이터를 보존하는 정보를 세션용 저장장치(33)에 저장한다. 이 정보는 세션의 나머지를 실행하는데 이용된다.

203 단계에서는, 음성통신경로를 아직 이용할 수 없을 경우 이 경로를 개시함으로써 세션을 계속한다. 이렇게 하는 여러 가지 실례에 대해 하기에 설명한다.

첫번째 예로, 데이타 통신 경로의 이용을 중단하기 전에, 서버(30)는 사용자가 전화할 전화번호를 정하고 세션을 확인하는 코드를 포함한 정보를 장치(10)로 전송한다. 예컨대, 정보가 입수되면, SMS를 이용해 정보를 전송할 수 있다. 조작자가 전화번호로 전화할 때 음성 통신 경로가 설정된다. 전화를 받으면, 서버(30)는 전화기의 버튼을 누르는 등의 행위로 조작자에게 세션 코드를 입력하도록 요청한다. 한편, 장치(10)는 세션을 식별하는 정보를 저장하여 DTMF 톤과 같은 가청신호를 서버(30)로 전송하여 세션을 자동으로 식별한다. 어떤 경우에는, 서버(30)는 예컨대 IVR을 이용해 음성통신채널로부터 세션 코드를 입수할 수 있다. 서버(30)가 유효한 세션 코드를 수신하면, 음성 통신 경로를 통해 세션을 지속한다.

두번째 예로, 데이타 통신 경로의 이용을 중단하기 전에, 서버(30)는 조작자에게 전화하는데 사용할 전화번호를 획득한다. 이 전화번호는 조작자에게서 직접 얻거나 조작자용 저장장치(33)에 저장된 프로파일 정보로부터 얻어질 수 있다. 서버(30)는 조작자가 이 전화번호를 확인할 것을 요청한다. 서버(30)가 이 전화번호를 사용하는 조작자에게 연락할 때 음성 통신 경로가 설정된다. 서버(30)는 조작자가 자신의 ID를 확인하거나 전술한 것과 비슷하게 특정 세션을 확인할 수 있는 코드를 입력하길 요청할 수 있다. 서버(30)가 조작자와 성공적으로 연락되면, 음성채널을 통한 세션을 계속한다.

세번째 예로, 장치(10)에서 실행하는 응용례에서 WTAI(Wireless Telephony Application Interface)를 통해 제공되는 서비스를 이용해 서버(30)를 호출하고, 음성통신경로를 설정하며, WAP과 같은 프로토콜을 이용해 DTMF와 같은 가청신호를 전송해 세션을 확인한다.

네번째 예로, 데이타통신경로의 사용을 중단하기 전에, 장치(10)는 사용자 식별자(identifier)를 포함한 정보를 서버(30)로 전송한다. 음성통신경로를 개시하는 전화에 응답해, 서버(30)는 자동으로 사용자 식별자를 결정하고 세션을 확인한다. 예컨대, 장치(10)가 전화번호와 관련되면, 장치(10)는 관련 전화번호를 서버(30)에 전송할 수 있고, 이 전화번호는 세션과 관련된 다른 정보와 함께 저장된다. 서버(30)는 "발신자 ID"와 같은 전화시스템이나 발신자 자동식별장치(ANI; automatic number identification)를 이용해 사용자 식별자를 자동으로 결정할 수 있다.

204 단계에서, 서버(30)는 원하는 프롬프트나 명령어를 제공할 수 있고, 배경음악의 표시를 자동으로 시작하거나 조작자가 전화기 버튼을 누르는 등에 의한 시작명령을 제공할 때까지 기다릴 수 있다.

205 단계에서, 서버(30)는 조작자 컨텐츠를 수신하고 그것을 저장장치(33)에 저장한다.

204, 205 단계를 반복하여, 206 단계에서는 생성과정 완료를 결정할 때까지 배경음악의 표시와 조작자 컨텐츠의 수신을 계속한다. 예컨대, 소정의 임계시간을 초과하여 어떠한 조작자 입력도 없는 시간간격(interval)을 검출하거나, 전화기의 특정 버튼을 누르는 것과 같이 조작자로부터 특정 명령어를 수신하거나, 또는 배경음악의 표시가 끝났을 때 상기 완료를 결정할 수 있다.

207 단계의 나머지 과정은 다양하게 구현될 수 있다. 일례로, 207 단계에서 셋업중에 확인된 수신자에게 생성 메시지를 전송한다. 이와 달리, 207 단계에서는 조작자가 메시지를 듣고 음성통신만을 이용하는 기술로 후술하는 바와 같이 다른 기능을 실행할 수 있다.

다른 경우로는, 207 단계에서 음성통신경로의 사용을 중단하고 데이타통신경로의 사용을 개시해 세션을 계속한다. 이때, 조작자는 데이타통신시설과 음성통신시설을 동시에 이용하는 후술하는 기술로 메시지를 전송할 수 있다.

첫번째 기술의 다른 구현으로서, 202, 203 단계들을 다른 방식으로 실행한다. 202 단계에서는, 조작자의 선택과 선택물을 나타내는 정보를 서버(30)가 아닌 장치(10)에 저장한다. 203 단계에서는, 장치(10)에서 실행하는 응용례로서, 서버(30)를 호출하며, 음성통신경로를 설정하고, WAP과 같은 프로토콜을 이용해 DTMF 톤과 같은 가청신호들을 전송하여 조작자의 선택과 선택물을 확인하는 WTAI를 통해 제공되는 서비스들을 이용한다.

b) 음성통신시설만 이용

두번째 기술은 음성통신시설을 제공하는 모든 통신시스템과 사용될 수 있다. 두번째 기술에 따르면, 조작자는 어플리케이션을 셋업하고 음성통신시설만을 이용해 메시지 컨텐츠를 생성한다.

두번째 기술을 구현할 수 있는 한가지 방식이 도 3에 예시되어 있다. 101 단계에서, 음성통신경로가 아직 이용가능하지 않다면 이 경로를 설정한다. 나머지 단계들은 조작자가 선택을 하거나 음성통신경로를 통하여 명령어를 입력함으로써 실행된다. 예컨대, 전화기의 버튼을 누르거나 음성 입력으로 나머지 단계들을 실행할 수 있다. 서버(30)는 음성인식 소프트웨어를 이용해 음성 입력을 번역한다. 편리한 구현예로는 종래의 DTMF(dual-tone multiple-fequency) 신호를 이용해 조작자의 선택과 명령어를 표현한다. 공지된 기술을 이용해 버튼으로 영숫자 문자를 입력할 수도 있다.

음성인식을 이용할 경우, 이 특징은 조작자가 조작자 컨텐츠를 SongMail 어플리케이션에 제공하는 동안 억제되거나 신중하게 제어되어야 한다. 예컨대, 이는 조작자에 의해 조작자 컨텐츠로서 말로 표현되지 않는 제한된 갯수의 예약단어로 음성인식을 한정함으로써 행하여진다. 이 과정중에 음성인식을 제한하고 DTMF 신호만 명령어로 인식하는 것이 바람직할 것이다.

DTMF 인식을 이용할 경우, 이 특징은 조작자가 조작자 컨텐츠를 MusicDIY 어플리케이션에 제공하는 동안 제한되거나 신중하게 제어되어야 한다. 장치(10)가 그것을 허용한다면, MusicDIY의 생성과정 동안 모든 DTMF 생성이 억제된다; 그러나, # 버튼이나 * 버튼과 같은 버튼은 생성과정을 중단하는 명령어를 나타내도록 예약될 수 있다. 한편, 조작자 컨텐츠의 입력에 모든 버튼을 이용할 수도 있고, 음성인식을 이용해 이 과정을 중단하는 명령어를 인식하게 할 수도 있다.

c) 데이타/음성 통신시설의 동시 이용

세번째 기술은 데이타와 음성 통신시설에 대한 동시접속을 허용하는 모든 통신시스템과 사용될 수 있다. 세번째 기술에 따르면, 조작자는 데이타 통신시설을 이용할 어플리케이션을 셋업한 다음, 데이타 통신시설의 이용을 중단하지 않고 음성통신시설을 사용해 메시지 컨텐츠를 생성한다.

세번째 기술을 구현할 수 있는 한가지 방식이 역시 도 3에 예시되어 있다. 101 단계에서는 데이타와 음성 통신경로를 둘다 필요에 따라 설정한다. 나머지 단계들은 조작자가 데이터 통신 경로를 통하여 선택을 하고 명령을 입력함으로써, 그리고 음성 통신 경로를 통하여 배경음악을 수신함으로써 실행된다.

d) 데이타통신시설만 이용

네번째 기술은 데이타 통신 경로를 통한 조작자 컨텐츠 전송을 허용하는 VoIP(Voice over IP)와 같은 특징들을 이용한다. 이 기술에서는, 데이타 통신 경로를 이용해 어플리케이션 셋업과 메시지 생성을 동시에 실행할 수 있다.

네번째 기술을 구현할 수 있는 한가지 방식이 역시 도 3에 예시되어 있다. 101 단계에서, 데이타통신경로가 아직 설정되지 않았으면 이 경로를 설정한다. 나머지 단계들은 조작자가 데이타 통신 경로를 통해 선택을 하며, 명령어를 입력하고, 배경음악을 수신하며, 조작자 컨텐츠를 제공함으로써 실행한다.

2) 서버-수신자 통신

서버(30)가 메시지 컨텐츠를 수신자에게 직접 배달할 수도 있지만, 바람직한 실시는 대신에 메시지의 통지문만을 배달하는 것이 예견되며, 이 통지문은 메시지 검색 명령어를 포함하고 메시지를 생성한 조작자로부터의 소개나 설명을 또한 포함할 수 있다. 이것은 다양하게 실행될 수 있다. 본 발명에서는 특정 방식이 중요한 것은 아니다.

SMS나 MMS 같은 전화기 시스템의 메시지서비스를 이용하는 것도 통지문을 보내는 한가지 방법이다. 예컨대, SMS 메시지의 컨텐츠는 길이가 제한되고 문장일 수 있다; 그러나, 장치(10)는 사용자가 메시지 중의 문장, 이를 테면 전화번호를 표시하고 그 표시된 문장으로 전화를 걸도록 할 수 있다. 메시지 코드나 세션 코드와 같은 다른 문장을 표시하고 서버(30)에 전송하여 검색할 메시지를 확인할 수도 있다. 이런 특징에 의해 메시지 검색에 필요한 수고가 줄어든다.

통지문을 전송하는 다른 방식은 SMS보다 우수한 성능을 제공하는 이메일을 이용하는 것이다. 이메일은 검색할 메시지를 포함한 네트웍(40)상의 파일에 대한 URL 링크를 포함할 수 있다. 일반적인 브라우저나 여러가지 이메일 소프트웨어를 이용해, 마우스와 같은 포인팅장치로 URL 링크를 클릭하기만 해도 수신자가 메시지를 찾을 수 있다. 이메일 메시지는 메시지를 생성한 조작자가 선택한 그래픽영상 등의 추가 컨텐츠를 포함할 수도 있다.

통지문을 전달하는 다른 방식으로는 오럴정보를 이용하는 것이 있다. 음성합성 소프트웨어를 이용해, 서버(30)는 전화기를 통해 수신자에게 전송되거나 수신자의 음성 메일박스에 직접 저장될 수 있는 통지문을 생성할 수 있다. 일례로, 전화를 걸 전화번호와, 검색할 메시지를 확인하는 코드가 통지문에 포함될 수 있다. 다른 예로는, 통지문은 수신자에게 이름으로 확인된 조작자가 메시지를 생성하였음을 설명하고 수신자가 메시지를 수신하기 원하는지를 요청한다. 수신자가 배달에 동의하면, 서버(30)는 전화기를 통해 메시지를 배달한다. 서버(30)는 수신지가 조작자에게 음성메시지로 답장을 보내거나, 그 메시지를 다른 사람에게 재전송하도록 할 수도 있다.

메시지 자체는 기본적으로 컨텐츠를 표현할 수 있는 모든 포맷으로 저장되거 나 전달된다.

D. 기타 특징

MusicDIY의 바람직한 예에서, 스위치 어레이의 어떤 스위치를 작동시켜도 장치(10)가 원하는 음악규칙을 따르는 사운드를 생성하도록 배경음악과 동기적으로 장치(10)를 적용한다. 이런 특징을 이용해, 배경음악과 결합되는 조작자 컨텐츠의 전반적인 효과는 어떤 스위치를 작동하는지와 무관하게 만족스럽게 된다.

스위치 어레이의 각각의 스위치를 특정 사운드나 음표에 연계하는 매핑을 변화시키도록 장치(10)를 구성한다. 이하 맵이라고 언급된 하나 이상의 매핑 관계는 우선적으로 장치(10)에 저장하거나, 배경음악과 같이 전송되는 정보로부터 얻을 수 있다.

1. 동기화

특정 시간에 유효한 맵은 배경음악이 조작자에게 제시됨에 따라 일련의 맵으로부터 변형되거나 선택된다. 사용할 맵과 이 맵을 사용할 시간의 확인은 배경음악이 수신되어 조작자에게 제시되는 동안이나 그 전에 수신되는 제어정보에 의해 이루어진다. 일반적으로, 배경음악 중의 음색이나 코드변화와 부합하는 시간에 매핑이 적합하게 될 것이다.

제어정보가 표시 이전에 수신되면, 사용할 맵과 맵을 사용할 시기를 정해야 한다. 맵 식별자(identifier)를 배경음악 내의 시간, 이를 테면 음악의 시작에 상대적인 오프셋과 관련지음으로써 소정의 맵과 해당 시간을 정할 수 있다. 예컨대, 7@37.2 를 나타내는 제어정보는, 배경음악이 시작한 뒤 37.2초내에 장치(10)가 이미 저장된 맵 세트중 7번째 맵을 이용하여 시작해야만 한다는 것을 의미한다.

배경음악의 표시 중에 제어음악이 수신되면, 그 시간은 제어정보가 수신되는 시간으로 의미되기 때문에 사용할 맵만을 확인할 수 있다.

2. 매핑

바람직하게, 이들 맵은 기본적으로 5개의 재즈/팝 음악코드인 장조, 딸림7화음, 단조(도리안), 반감화음(Half diminished)(로크리안), 감화음을 기초로 표준 음악이론에 따라 결정된 소정의 음계구조를 갖는다.

코드는 음계라 불리우는 일련의 음색를 의미한다. 특정 코드의 기본음색에 대한 협화/불협화의 정도 또는 "사운드"에 따라 다른 코드의 음계를 요구할 수도 있다. 임의의 특정 코드와 비교적 잘 어울리는 5개 또는 그 이상의 음계를 갖는 것은 드문 일이 아니다.

다음 표는 특정 코드(이하, "기본코드"라 함)와, 기본코드와 어울리는 다른 코드에 대한 두가지 예를 보여준다. 기본코드가 첫번째 열에서 보이며, 배경음악에서 생기는 코드를 표현한다. 기본코드의 음표가 두번째 열에서 보이고 있다. 기본코드와 잘 어울리는 다른 코드가 세번째 열에서 보이고 있다. 두가지 실시예에서, 협화코드는 기본코드와 일치하도록 선택한다. 협화코드의 음계의 음표가 네번째 열에서 보이고 있다.

기본코드	기본코드 음표	협화음계	협화음계 음표
C 장조 C 딸림7화음	C E G B D C E G Bb D	장조 딸림7화음	C D E F G A B C C D E F G A Bb C

장치(10)가 통상의 12-키패드(1-9, *, 0, #)를 갖는 휴대폰일 경우, 다음과 같이 키패드에 두가지 협화코드를 매핑할 수 있다.

C 장조
C	D	E
F	G	A
B	C	D
E	F	G

C 딸림7화음
C	D	E
F	G	A
Bb	C	D
E	F	G

배경음악에서 기본코드가 바뀔 때마다, 어떤 키도 불협화음이나 "잘못된" 음표를 생성하지 않도록 매핑을 변화시켜야 한다.

예컨대, 배경음악의 처음 4개 코드가 F장조, E7단조(Em7), A7, D7단조(Dm7)라 하자. 각각의 기본코드에 대해 선택된 협화음계는 기본코드 자체의 음계라 하자. 이들 4개 코드에 대한 키는 다음과 같이 매핑할 수 있다.

F
F	G	A
Bb	C	D
E	F	G
A	Bb	C

Em7
E	F#	G
A	B	C#
D	E	F#
G	A	B

A7
A	B	C#
D	E	F#
G	A	B
C#	D	E

Dm7
D	E	F
G	A	B
C	D	E
F	G	A

조작자가 "1" 키만을 눌러 맵을 바꾸면, F/E/A/D 순서로 음표가 발생한다.

유감스럽게도, 숙련된 뮤지션이라도 이런식으로 음계 작업을 하지는 못한다. 대신, 뮤지션이라면 배경음악에서의 코드가 코드/음계 관계, 리듬 구성, 음표 위치에 따라 변화하므로 일련의 적절한 음표를 선택할 수 있을 것이다. 전술한 바와 같은 코드 구조에 따른 키의 간단한 매핑은 음악적으로 숙련되지 않은 조작자에게 적절한 경험을 제공하기에는 불충분하다.

맵에 따른 논리적 흐름을 조정하면 경험이 상당히 향상될 수 있다. 두개의 서로 다른 매핑 관계들을 조합하여 사용하면 이를 이룰 수 있다. 첫번째 매핑관계는 전술한 코드/음계 매핑관계이다. 이 매핑은 뮤지션에 의해 미리 설정된다. 뮤지션이 어떤 노래에 가장 맞다고 믿는 것에 따라 뮤지션이 특정 관계를 선택할 수 있다. 한편, 각각 다른 음악스타일, 예컨대 재즈, 부르스, 포크, 팝, 기타 뮤지션의 원하는 스타일에 따라 여러가지 관계를 설정할 수 있다. 이렇게 되면 첫번째 코드/음계 매핑관계가 설정된다.

두번째 매핑 관계는 각각의 맵들 사이의 변화의 흐름을 조정하는 것이다. 두번째 흐름관계는 뮤지션이 설정할 수도 있고, 또는 서버(30)나 장치(10)가 자동설정할 수도 있다.

이상의 실시예를 이용해, 전술한 4개의 코드에 대한 코드/음계 맵들을 설정한다. 이들 맵 사이의 변화의 흐름은 "1" 키에 할당된 각각의 음계의 음표를 조작하여 제어한다. 특정 맵에 대해 "1" 키에 할당된 음표는 이전 맵에 대해 "1" 키에 할당된 전반부 음악적 단계의 음표와 동일하다. 이렇게 되면 다음과 같은 맵이 순차적으로 제공된다.

F
F	G	A
Bb	C	D
E	F	G
A	Bb	C

Em7
F#	G	A
B	C#	D
E	F#	G
A	B	C#

A7
F#	G	A
B	C#	D
E	F#	G
A	B	C#

Dm7
F	G	A
B	C	D
E	F	G
A	B	C

"1" 키를 눌러 이들 맵이 변하면, F/F#/F3/F의 순서로 음표가 생길 것이다. "4" 키를 누르면, Bb/B/B/B 순서의 음표가 생길 것이다.

매핑 변화의 흐름을 조정함으로써, 조작자는 특정 키를 누름으로써 생길 음표를 더 잘 예상할 수 있으며 키를 누르는 순서에 대응하는 음악을 만들 것이다.

맵 사이의 변화의 흐름을 조정함으로써 다른 관계가 이용될 수도 있다. 예컨대, 코드의 세번째, 다섯번째 또는 일곱번째 음표를 특정 맵에 대해 "1" 키에 할당하고, 동일한 음표를 전반부 음악단계에서 다음 맵을 위해 "1" 키에 할당할 수 있다. 조작자는 매핑 흐름관계를 선택할 수 있다. 예컨대, 매핑 흐름관계상 다섯번째 키에 다음 맵들이 할당되면, 앞에서 제시된 4개 코드의 맵들은 C, C#, C#, C 음표들에 "1" 키를 매핑할 것이다.

Claims

핸드헬드 장치의 조작자(operator)에게 출력을 표시하는 래스터화된(rasterized) 비주얼 디스플레이를 포함하는 하나 또는 그 이상의 출력장치와, 조작자로부터 입력을 수신하는 스위치들의 어레이를 포함한 하나 또는 그 이상의 입력장치, 무선 송신기, 및 상기 하나 또는 그 이상의 출력장치, 상기 하나 또는 그 이상의 입력장치, 그리고 상기 무선 송신기의 작동을 제어하는 처리회로를 구비한 핸드헬드 장치를 이용하는 방법에 있어서,

상기 핸드헬드 장치의 작동을 제어시 조작자를 지원하는 래스터화된 비주얼 디스플레이를 통하여 조작자에게 정보를 표시하는 단계;

하나 또는 그 이상의 출력장치를 통하여 조작자에게 제1 컨텐츠의 표현물(representation)의 표시(presentation)를 제공하는 단계;

상기 하나 또는 그 이상의 입력장치를 통하여 조작자로부터 제2 컨텐츠와 하나 또는 그 이상의 수신자의 ID(identification)를 수신하는데, 상기 제2 컨텐츠는 조작자에 의해 제어되는 제1 컨텐츠와 제2 컨텐츠 간의 시간적 관계에 따라 제1 컨텐츠의 표시와 시간적으로 중첩하는, 수신단계; 및

상기 무선 송신기를 통하여 제2 컨텐츠의 표현물과 상기 하나 이상의 수신자의 ID를 상기 핸드헬드 장치로부터 공간적으로 분리된 원격서버로 전달하고, 원격서버가 상기 하나 이상의 수신자에게 제1 컨텐츠와 제2 컨텐츠 간의 시간적 관계에 따라 배열된 제1 컨텐츠와 제2 컨텐츠를 표현하는 메시지를 전달하는 단계;

를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 제1 컨텐츠의 표현물을 전달하는 신호를 무선통신에 의해 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제2 컨텐츠의 표현물이 음성 통신 시설에 의해 원격서버로 전달되며, 상기 방법은 데이터 통신 시설을 이용하는 원격서버의 어플리케이션의 사용을 초기화하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제2 컨텐츠의 표현물이 음성 통신 시설에 의해 원격서버로 전달되며, 상기 방법은 상기 음성 통신 시설을 이용하는 원격서버의 어플리케이션의 사용을 초기화하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 컨텐츠는 음악을 포함하고, 상기 제2 컨텐츠는 조작자로부터 받은 음성사운드를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 스위치 어레이의 작동에 응답하여 하나 또는 그 이상의 출력장치를 통해 조작자에게 사운드를 제시하는 단계를 더 포함하고, 상기 제2 컨텐츠는 조작자에 의한 스위치 어레이의 작동 표시를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 스위치 어레이 내의 특정 스위치의 작동에 응답하여 생성된 사운드를 상기 제1 컨텐츠의 특성에 따라 적용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 스위치 어레이의 작동에 응답하여 DTMF(Dual Tone Multiple Frequency) 신호들을 생성하도록 핸드헬드 장치를 적절히 인에이블 및 디스에이블하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 원격서버로 하여금 제3 컨텐츠를 상기 메시지에 추가하는 단계를 더 포함하고, 상기 제3 컨텐츠는 조작자에 의해 제어되는 것을 특징으로 하는 방법.
⒜ 핸드헬드 장치의 조작자에게 출력을 표시하는 래스터화된 비주얼 디스플레이를 포함한 하나 또는 그 이상의 출력장치, 조작자로부터 입력을 수신하는 스위치들의 어레이를 포함한 하나 또는 그 이상의 입력장치, 제1 무선송신기, 및 핸드헬드 장치로 하여금 하기 (1) 내지 (4)의 동작을 수행케 하는 처리회로를 구비한 핸드헬드 장치:

⑴ 핸드헬드 장치의 조작을 제어시 조작자를 보조하는 래스터화된 비주얼 디스플레이를 통해 조작자에게 정보를 표시하는 동작,

⑵ 상기 하나 또는 그 이상의 출력장치를 통해 조작자에게 제1 컨텐츠의 표시를 제공하는 동작,

⑶ 상기 하나 이상의 입력장치를 통하여 조작자로부터 제2 컨텐츠를 표현하는 하나 또는 그 이상의 신호와 하나 또는 그 이상의 수신자의 ID를 수신하는데, 상기 제2 컨텐츠는 조작자에 의해 제어되는 제1 컨텐츠와 제2 컨텐츠 간의 시간적 관계에 따라 제1 컨텐츠의 표시와 시간적으로 중첩하는, 수신동작, 및

⑷ 상기 제1 무선 송신기를 통하여 상기 제2 컨텐츠의 표현물과 하나 또는 그 이상의 수신자의 ID를 전달하는 동작; 그리고

⒝ 무선수신기, 하나 또는 그 이상의 저장장치, 및 하기 (1) 내지 (2)의 동작을 수행하는 처리회로를 구비하는 하위 서버 시스템:

⑴ 상기 하나 또는 그 이상의 수신자의 ID와 제2 컨텐츠의 표현물을 상기 무선수신기를 통해 수신하고 상기 하나 또는 그 이상의 저장장치에 저장하는 동작, 및

⑵ 상기 하나 또는 그 이상의 수신자에게 상기 제1 컨텐츠와 제2 컨텐츠 간의 시간적 관계에 따라 배열된 제1 컨텐츠와 제2 컨텐츠를 표현하는 메시지를 전달하는 동작,

을 포함하는 것을 특징으로 하는 메시지 생성 시스템.
제10항에 있어서, 상기 하위 서버시스템이 제2 무선송신기를 포함하고, 상기 하위 서버시스템의 처리회로는 하위 서버시스템이 제1 컨텐츠의 표현물을 전달하는 신호를 상기 제2 무선송신기를 통해 핸드헬드 장치로 전달케 하는 것을 특징으로 하는 시스템.
제10항에 있어서, 상기 핸드헬드 장치의 처리회로는 상기 하위 서버시스템의 어플리케이션의 사용을 초기화하기 위해 데이터 통신 시설을 사용하며 상기 제2 컨텐츠의 표현물을 상기 하위 서버시스템으로 전달하기 위해 음성 통신 시설을 사용하는 것을 특징으로 하는 시스템.
제10항에 있어서, 상기 핸드헬드 장치의 처리회로는 상기 하위 서버시스템의 어플리케이션의 사용을 초기화하기 위해서 음성 통신 시설을 사용하고 상기 하위 서버시스템에서 상기 제2 컨텐츠의 표현물을 전달하기 위해서 상기 음성 통신 시설을 사용하는 것을 특징으로 하는 시스템.
제10항에 있어서, 상기 제1 컨텐츠는 음악을 포함하고 상기 제2 컨텐츠는 조작자로부터 수신된 음성사운드를 포함하는 것을 특징으로 하는 시스템.
제10항에 있어서, 상기 제2 컨텐츠는 조작자에 의한 스위치 어레이의 작동의 지시를 포함하며, 상기 핸드헬드 장치의 처리회로는 상기 핸드헬드 장치가 상기 스위치 어레이의 작동에 응답하여 상기 하나 또는 그 이상의 출력장치를 통하여 조작자에게 사운드를 제공하도록 하는 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 핸드헬드 장치의 처리회로는 상기 핸드헬드 장치가 상기 스위치 어레이 내에서 특정 스위치의 동작에 응답하여 생성되는 사운드를 제1 컨텐츠의 특성에 따라서 적응하도록 하는 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 핸드헬드 장치의 처리회로는 상기 핸드헬드 장치가 상기 스위치 어레이의 동작에 응답하여 DTMF(Dual Tone Multiple Frequency) 신호를 생성하도록 인에이블 또는 디스에이블하게 하는 것을 특징으로 하는 시스템.
제10항에 있어서, 상기 하위 서버시스템의 처리회로는 상기 하위 서버시스템이 상기 핸드헬드 장치로부터 수신된 정보에 응답하여 제3 컨텐츠를 상기 메시지에 추가하도록 하는 것을 특징으로 하는 시스템.
무선수신기, 하나 또는 그 이상의 저장장치, 및 하기 (a) 내지 (c)의 동작을 수행하는 처리회로:

⒜ 핸드헬드 장치의 조작자의 제어하에 생성되는데, (i) 제1 컨텐츠의 ID, (ⅱ) 핸드헬드 장치에 의해 상기 제1 컨텐츠의 표시와 시간적으로 중첩하는 제2 컨텐츠로서, 상기 중첩은 조작자에 의해 제어되는 제1 컨텐츠와 제2 컨텐츠 간의 시간적 관계에 따른 것인, 제2 컨텐츠, 및 (ⅲ) 하나 또는 그 이상의 수신자의 ID를 전송하는 하나 또는 그 이상의 신호를 무선수신기를 통해 핸드헬드 장치로부터 수신하는 동작;

⒝ 상기 시간적 관계를 확인하는 정보를 얻는 동작; 및

⒞ 상기 시간적 관계에 따라서 배열된 제1 컨텐츠 및 제2 컨텐츠를 표현하는 메시지를 하나 또는 그 이상의 수신자에게 전달하는 동작;

를 구비하는 것을 특징으로 하는 서버시스템.
제19항에 있어서, 상기 서버시스템은 무선송신기를 더 포함하고, 상기 서버시스템의 처리회로는 서버시스템이 상기 무선송신기를 통하여 핸드헬드 장치로 제1 컨텐츠의 표현물을 전송하는 신호를 전달하게 하는 것을 특징으로 하는 서버시스템.
제19항에 있어서, 상기 서버시스템의 처리회로는 상기 서버시스템이 데이터 통신 시설을 통하여 수신된 신호에 응답하여 상기 서버시스템의 어플리케이션의 사용을 초기화하고 음성 통신 시설을 통하여 제2 컨텐츠를 수신하도록 하게 하는 것을 특징으로 하는 서버시스템.
제19항에 있어서, 상기 서버시스템의 처리회로는 상기 서버시스템이 음성 통신 시설을 통하여 수신된 신호에 응답하여 상기 서버시스템의 어플리케이션의 사용을 초기화하고 음성 통신 시설을 통하여 제2 컨텐츠를 수신하도록 하게 하는 것을 특징으로 하는 서버시스템.
제19항에 있어서, 상기 제1 컨텐츠는 음악을 포함하고, 상기 제2 컨텐츠는 조작자에게서 수신한 음성사운드를 포함하는 것을 특징으로 하는 서버시스템.
제19항에 있어서, 상기 제1 컨텐츠는 음악을 포함하고, 상기 제2 컨텐츠는 조작자에 의해 상기 핸드헬드 장치의 스위치의 어레이의 작동을 표현하는 것을 특징으로 하는 서버시스템.
제19항에 있어서, 원격서버는 상기 핸드헬드 장치로부터 수신된 정보에 응답해 메시지에 제3 컨텐츠를 추가하는 것을 특징으로 하는 서버시스템.
핸드헬드 장치의 조작자에게 출력을 표시하는 래스터화된 비주얼 디스플레이를 포함한 하나 또는 그 이상의 출력장치, 조작자로부터 입력을 수신하는 스위치들의 어레이를 포함한 하나 또는 그 이상의 입력장치, 무선송신기, 및 상기 하나 또는 그 이상의 출력장치, 상기 하나 또는 그 이상의 입력장치 및 상기 무선송신기의 조작을 제어하는 처리회로를 구비한 핸드헬드 장치를 사용하기 위한 방법을 수행하기 위해서 하나 또는 그 이상의 기계에 의한 실행을 위한 명령 프로그램을 포함하는 기계 판독 가능한 매체로서, 상기 방법은:

상기 핸드헬드 장치의 조작을 제어시 조작자를 보조하는 정보를 래스터화된 비주얼 디스플레이를 통하여 조작자에게 표시하는 단계;

제1 컨텐츠의 표현물의 표시를 하나 또는 그 이상의 출력장치를 통하여 조작자에게 제공하는 단계;

상기 하나 이상의 입력장치를 통하여 조작자로부터 제1 컨텐츠와 하나 또는 그 이상의 수신자의 ID를 수신하되, 상기 제2 컨텐츠는 조작자에 의해 제어되는 제1 컨텐츠와 제2 컨텐츠 간의 시간적 관계에 따라 제1 컨텐츠의 표시와 시간적으로 중접하는, 수신 단계; 및

상기 무선송신기를 통하여 제2 컨텐츠의 표현물과 하나 또는 그 이상의 수신자의 ID를 상기 핸드헬드 장치로부터 공간적으로 떨어진 원격서버에 전달하고, 상기 원격서버가 상기 시간적 관계에 따라 배열된 상기 제1 컨텐츠와 제2 컨텐츠를 표현하는 메시지를 상기 하나 또는 그 이상의 수신자에게 전달하게 하는 단계;

를 포함하는 것을 특징으로 매체.
제26항에 있어서, 상기 제1 컨텐츠의 표현물을 전달하는 신호를 무선통신으로 수신하는 단계를 더 포함하는 것을 특징으로 하는 매체.
제26항에 있어서, 상기 제2 컨텐츠의 표현물은 음성 통신 시설에 의해 원격서버로 전달되며, 상기 방법은 데이터 통신 시설을 이용하는 원격서버의 어플리케이션의 사용을 초기화하는 단계를 포함하는 것을 특징으로 하는 매체.
제26항에 있어서, 상기 제2 컨텐츠의 표현물은 음성 통신 시설에 의해 원격서버로 전달되며, 상기 방법은 음성 통신 시설을 이용하는 원격서버의 어플리케이션의 사용을 초기화하는 단계를 포함하는 것을 특징으로 하는 매체.
제26항에 있어서, 상기 제1 컨텐츠는 음악을 포함하고, 상기 제2 컨텐츠는 조작자로부터 수신한 음성사운드를 포함하는 것을 특징으로 하는 매체.
제26항에 있어서, 상기 스위치 어레이의 작동에 응답하여 상기 하나 이상의 출력장치를 통해 조작자에게 사운드를 표시하는 단계를 더 포함하고, 상기 제2 컨텐츠는 조작자에 의한 상기 스위치 어레이의 작동 표시를 포함하는 것을 특징으로 하는 매체.
제31항에 있어서, 상기 스위치 어레이 내에서 특정 스위치의 동작에 응답하여 생성된 사운드를 상기 제1 컨텐츠의 특성에 따라서 적응하는 단계를 더 포함하는 것을 특징으로 하는 매체.
제31항에 있어서, 상기 핸드헬드 장치가 상기 스위치 어레이의 동작에 응답해 DTMF(Dual Tone Multiple Frequency) 신호들을 생성하도록 인에이블 및 디스에이블하는 단계를 더 포함하는 것을 포함하는 것을 특징으로 하는 매체.
제26항에 있어서, 상기 원격서버가 제3 컨텐츠를 메시지에 추가하는 단계를 더 포함하고, 상기 제3 컨텐츠는 조작자에 의해 제어되는 것을 특징으로 하는 매체.