KR20190033482A - 색상 데이터를 음표로 변환하는 방법 및 장치 - Google Patents

색상 데이터를 음표로 변환하는 방법 및 장치 Download PDF

Info

Publication number
KR20190033482A
KR20190033482A KR1020187037589A KR20187037589A KR20190033482A KR 20190033482 A KR20190033482 A KR 20190033482A KR 1020187037589 A KR1020187037589 A KR 1020187037589A KR 20187037589 A KR20187037589 A KR 20187037589A KR 20190033482 A KR20190033482 A KR 20190033482A
Authority
KR
South Korea
Prior art keywords
color
notes
canvas
colors
composition
Prior art date
Application number
KR1020187037589A
Other languages
English (en)
Inventor
지 하오 퀴우
Original Assignee
지 하오 퀴우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지 하오 퀴우 filed Critical 지 하오 퀴우
Publication of KR20190033482A publication Critical patent/KR20190033482A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H1/00—Measuring characteristics of vibrations in solids by using direct conduction to the detector
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43K—IMPLEMENTS FOR WRITING OR DRAWING
    • B43K27/00—Multiple-point writing implements, e.g. multicolour; Combinations of writing implements
    • B43K27/08—Combinations of pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43K—IMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00—Combinations of writing implements with other articles
    • B43K29/005—Combinations of writing implements with other articles with sound or noise making devices, e.g. radio, alarm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B44—DECORATIVE ARTS
    • B44D—PAINTING OR ARTISTIC DRAWING, NOT OTHERWISE PROVIDED FOR; PRESERVING PAINTINGS; SURFACE TREATMENT TO OBTAIN SPECIAL ARTISTIC SURFACE EFFECTS OR FINISHES
    • B44D3/00—Accessories or implements for use in connection with painting or artistic drawing, not otherwise provided for; Methods or devices for colour determination, selection, or synthesis, e.g. use of colour tables
    • B44D3/003—Methods or devices for colour determination, selection or synthesis, e.g. use of colour tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/145—Composing rules, e.g. harmonic or musical rules, for use in automatic composition; Rule generation algorithms therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/451—Scanner input, e.g. scanning a paper document such as a musical score for automated conversion into a musical file format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

색상 데이터를 하나 이상의 음표(musical notes)로 변환하는 접근법(approach)이 제시된다. 이 접근법은 복수의 묘화구(drawing instruments)에 의해 캔버스(canvas)에 적용된 각각의 색상들을 색상-판독 기기를 사용하여 색상 데이터로서 판독하는 것을 포함하고, 여기서 복수의 묘화구 각각은 색상 팔레트(color palette)의 각각의 색상들을 묘화하도록 구성되고, 상기 색상 팔레트의 각각의 색상들은 음표 세트(a set of musical notes)에 각각 대응한다. 이 접근법은 또한 색상 처리모듈을 사용하여, 색상 데이터 내의 각각의 색상들에 대응하는 상기 음표 세트에 기초하여 색상 데이터로부터 하나 이상의 음표의 작곡(composition)을 생성하도록 색상 데이터를 처리하는 것을 포함한다.

Description

색상 데이터를 음표로 변환하는 방법 및 장치
사용자들은 음악을 듣는 것뿐 아니라 음악을 작곡하는 것도 즐긴다. 그러나 엄청난 수의 음악적 개념들을 이해하고 인식하는 것의 어려움은 한정된 음악적 경험을 가진 사용자가 음악을 작곡하는 것을 어렵게 한다. 이에 상응하여, 음악적 경험이 없는 개인에게 음악 교육을 제공하는 것은 매우 어려울 수 있고, 이러한 어려움은 음악 교육이 아이들을 대상으로 할 때 더욱 심해진다. 서비스 제공자들에게 있어 하나의 큰 과제는 하나 이상의 음표(musical notes)를 식별하기 위한 효과적이고 효율적인 접근법(approach)을 제안하는 것으로서, 예를 들면, 음표들 각각과 개별적으로 상호연관될 수 있는 색상들에 의해서 이루어진다. 그 후, 이러한 색상들을 하나 이상의 음표로 변환한다.
따라서, 색상 데이터를 하나 이상의 음표로 변환하는 접근법이 필요하다.
일 실시예에 따르면, 시스템은 복수의 묘화구(drawing instruments)를 포함하고, 상기 복수의 묘화구 각각은 색상 팔레트(color palette)의 각각의 색상들을 묘화하도록 구성된다. 상기 색상 팔레트의 각각의 색상들은 음표 세트(a set of musical notes)에 각각 대응한다. 이 시스템은 또한 상기 복수의 묘화구가 상기 색상 팔레트의 상기 각각의 색상들을 적용하도록 구성된 캔버스(canvas)를 포함한다. 이 시스템은 상기 복수의 묘화구에 의해 상기 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독하도록 구성되는 색상-판독 기기(color-reading device)를 더 포함한다. 이 시스템은 상기 색상 데이터 내의 각각의 색상들에 대응하는 상기 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡(composition)을 생성하도록 상기 색상 데이터를 처리하도록 구성된 색상 처리 모듈(color processing module)을 더 포함한다.
일 실시예에 따르면, 방법은 색상-판독 기기를 사용하여, 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독하는 단계를 포함하고, 상기 복수의 묘화구 각각은 색상 팔레트의 각각의 색상들을 묘화하도록 구성되고, 상기 색상 팔레트의 상기 각각의 색상들은 음표 세트에 각각 대응한다. 이 방법은 또한 색상 처리 모듈을 사용하여, 상기 색상 데이터 내의 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리하는 단계를 포함한다.
다른 실시예에 따르면, 장치는 적어도 하나의 프로세서, 및 하나 이상의 컴퓨터 프로그램에 대한 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 적어도 부분적으로, 상기 장치로 하여금 색상-판독 기기를 사용하여 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독하도록 구성되고, 상기 복수의 묘화구 각각은 색상 팔레트의 각각의 색상들을 묘화하도록 구성되고, 상기 색상 팔레트의 상기 각각의 색상들은 각각의 음표 세트들에 대응한다. 상기 장치는 또한, 색상 처리 모듈을 사용하여, 상기 색상 데이터 내의 상기 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리하게 된다.
다른 실시예에 따르면, 컴퓨터 판독가능한 저장매체는 하나 이상의 프로세서들에 의해 실행될 때, 적어도 부분적으로, 장치로 하여금 색-판독 기기를 사용하여 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독하도록 야기하는 하나 이상의 명령어들의 하나 이상의 시퀀스(sequences)를 수행하고, 상기 복수의 묘화구 각각은 색상 팔레트의 각각의 색상들을 묘화하도록 구성되고, 상기 색상 팔레트의 상기 각각의 색상들은 음표 세트에 각각 대응한다. 이 장치는 또한 색상 처리 모듈을 사용하여, 상기 색상 데이터 내의 상기 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리하게 된다.
다른 실시예에 따르면, 장치는 색상-판독 기기를 사용하여, 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독하는 수단을 포함하고, 상기 복수의 묘화구 각각은 색상 팔레트의 각각의 색상들을 묘화하도록 구성되고, 상기 색상 팔레트의 상기 각각의 색상들은 음표 세트에 각각 대응한다. 이 장치는 또한, 색상 처리모듈을 사용하여, 상기 색상 데이터 내의 상기 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리하는 수단을 포함한다.
또한, 본 발명의 다양한 예시적인 실시예로서, 다음이 응용가능하다: (1) 데이터 및/또는 (2) 정보 및/또는 (3) 적어도 하나의 신호를 처리하는 것을 용이하게 하거나 및/또는 처리하는 것을 포함하는 방법으로서, 상기 (1) 데이터 및/또는 (2) 정보 및/또는 (3) 적어도 하나의 신호는, 적어도 부분적으로, 본 발명의 임의의 실시예와 관련하여 본 출원에서 개시된 방법들(또는 프로세스)의 임의의 하나 또는 임의의 조합에(또는 적어도 부분적으로 도출된) 기초한다.
본 발명의 다양한 예시적인 실시예들로서, 다음이 또한 응용 가능하다: 적어도 하나의 서비스에 접근하는 것을 허용하도록 구성된 적어도 하나의 인터페이스에 접근하는 것을 용이하게 하는 것을 포함하는 방법으로서, 상기 적어도 하나의 서비스는 본 출원에 개시된 네트워크 또는 서비스 제공자 방법들(또는 프로세스들)의 임의의 하나 또는 임의의 조합을 수행하도록 구성된다.
본 발명의 다양한 예시적인 실시예들로서, 다음이 또한 응용가능하다: (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능을 생성하는 것을 용이하게 하는 것 및/또는 수정하는 것을 용이하게 하는 것을 포함하는 방법으로서, 상기 (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능은, 적어도 부분적으로, 본 발명의 임의의 실시예와 연관된 본 출원에 개시된 방법들 또는 프로세스들의 하나 또는 임의의 조합으로부터 생성된 데이터 및/또는 정보, 및/또는 본 발명의 임의의 실시예와 연관된 본 출원에 개시된 방법들(또는 프로세스들)의 하나 또는 임의의 조합으로부터 생성된 적어도 하나의 신호에 기초한다.
본 발명의 다양한 예시적인 실시예로서, 다음이 또한 응용 가능하다: (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능을 생성하는 것 및/또는 수정하는 것을 포함하는 방법으로서, 상기 (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능은, 적어도 부분적으로, 본 발명의 임의의 실시예와 연관된 본 출원에 개시된 방법들(또는 프로세스들)의 하나 또는 임의의 조합으로부터 생성된 데이터 및/또는 정보, 및/또는 본 발명의 임의의 실시예와 연관된 본 출원에 개시된 방법들(또는 프로세스들)의 하나 또는 임의의 조합으로부터 생성된 적어도 하나의 신호에 기초한다.
다양한 예시적인 실시예에서, 방법들(또는 프로세스들)은 서비스 제공자측에서, 또는 모바일 기기측에서, 또는 양측에서 수행되는 동작을 가지고 서비스 제공자와 모바일 기기간 임의의 공유된 방식으로 수행될 수 있다.
다양한 예시적인 실시예들에서, 다음이 응용가능하다: 원래 출원된 청구항들 제11항 내지 제20항, 및 제32항 내지 제35항 중 소정의 방법을 수행하는 수단을 포함하는 장치.
본 발명의 또 다른 측면, 특징, 및 이점들은, 본 발명을 수행하기 위해 고려되는 최선의 모드를 포함하는 다수의 특정 실시예 및 구현들을 설명하는 것에 의해 다음의 상세한 설명으로부터 쉽게 명백해진다. 본 발명은 또한 별도의 다른 실시예들이 가능하고, 본 발명의 사상 및 범위를 벗어남 없이 다양하고 명백한 관점에서 몇몇 세부사항들이 수정될 수 있다. 따라서, 도면 및 설명은 본질적으로 예시적인 것으로 간주되어야 하며, 제한적인 것으로 간주되어서는 아니된다.
본 발명의 실시예들은 첨부의 도면들의 그림에서, 한정되는 방식이 아닌 예시적인 방식으로 도시된다.
도 1은 하나의 예시적인 실시예에 따라, 색상 데이터를 하나 이상의 음표로 변환할 수 있는 시스템의 도면이다.
도 2는 하나의 예시적인 실시예에 따르는, 이미지 처리 플랫폼(103)의 구성요소의 도면이다.
도 3은 하나의 예시적인 실시예에 따라, 색상 데이터를 하나 이상의 음표로 변환하는 프로세스의 흐름도이다.
도 4는 하나의 예시적인 실시예에 따라, 하나 이상의 음표의 작곡(composition)의 재생을 야기하는 프로세스의 흐름도이다.
도 5는 하나의 예시적인 실시예에 따라, 하나 이상의 음표에 대한 음표 지속시간 정보(note duration information)를 결정하는 프로세스의 흐름도이다.
도 6은 여기서 설명된 다양한 프로세스들에서 사용되는 피아노 키보드의 도면이다.
도 7a는 하나의 예시적인 실시예에 따라, 도 3 내지 5의 프로세스들에서 이용되는 도면이다.
도 7b는 하나의 예시적인 실시예에 따라, 상이한 포맷(format)으로 캔버스에 적용된 색상들을 표현하는 도면이다.
도 8은 하나의 예시적인 실시예에 따라, 도 3 내지 5의 프로세스들에서 이용되는 사용자 인터페이스 도면이다.
도 9는 본 발명의 일 실시예를 구현하는 데 사용될 수 있는 하드웨어(hardware)의 도면이다.
도 10은 본 발명의 일 실시예를 구현하는 데 사용될 수 있는 칩셋(chip set)의 도면이다.
도 11은 본 발명의 일 실시예를 구현하는 데 사용될 수 있는 모바일 단말기(예를 들어, 핸드셋)의 도면이다.
색상 데이터를 하나 이상의 음표(musical notes)로 변환하는 방법, 장치, 및 컴퓨터 프로그램의 예시(그리고 그 역도 같음)가 개시된다. 이하 기재에서는, 설명을 목적으로, 본 발명의 실시예에 대한 완전한 이해를 제공하기 위해 많은 특정 세부사항들이 개시된다. 그러나 당업자에 의해 본 발명의 이러한 실시예들이 이러한 특정 세부사항들 없이 또는 등가의 구성으로 실시될 수 있음은 명백하다. 다른 예들에서는, 공지된 구조 및 기기들은 본 발명의 실시예들을 불필요하게 모호하게 하는 것을 피하기 위하여 블록도 형태로 도시된다.
이러한 방법, 장치, 및 컴퓨터 프로그램의 다양한 실시예들은 그림(drawings)을 음표로 바꾸기 위한 이미지 변환기술에 관한 것이다. 다른 실시예에서, 이 방법은 음표를 시각적 표현(예를 들어, 캔버스 상에서의 색상 막대(color bar) 및 스케일 표시)으로 변형하는 것에 동일하게 적용될 수 있다. 예시적 방식으로, 이러한 실시예들은 통신, 비디오, 조립, 교육, 게임 및 다른 컴퓨터 관련 분야의 산업에 적용될 수 있다.
도 1은 일 실시예에 따라, 하나 이상의 음표를 색상 데이터로 변환할 수 있는 시스템의 도면이다. 위에서 언급한 것처럼, 음악을 작곡하는 것은 좋은 결과를 이루기 위해서는 음악 기술에 대한 전문지식을 요구한다. 평균적인 사용자는 전통적인 음악 표기법의 반-직관적(counter-intuitive) 특성으로 인해 쓰여진 음악(written music)을 이해하는 데 어려움을 겪을 수 있다. 또한, 젊은 사용자는 음악 구조의 복잡한 특성으로 인해 쓰여진 음악을 이해하는 데 어려움을 겪을 수 있다. 그 결과, 시스템(100)은 하나 이상의 시각적 표현(예를 들어, 색상)을 하나 이상의 음표와 연관시킨다. 이러한 색상들은 상기 음표의 음조(tonal) 또는 리드미컬한 특성(rhythmic qualities)에 기초하여 미리 정의된 색상 구성표(color scheme)에 따라 연관된다. 이로 인해 젊은 사용자들뿐 아니라 미숙한 사용자들도 색상들을 사용하여 음악을 작곡할 수 있으며, 동시에 직관적으로 음악 구조를 알 수 있게 된다. 이어서, 색상들이 음표로 변환된다. 색상 데이터를 음표로 변환하는 프로세스는 전통적으로 주관적인 만족 또는 "좋은" 결과를 이루기 위해 예술적 및 음악적 기술과 결합된 여러 분야에 걸친 예술적 개념들(예를 들어, 음악 이론, 작곡, 등)에서의 전문성에 의존해 왔다. 그러나 이러한 지식과 기술은 보통 평균 사용자에게는 도달할 수 없는 경우가 많아서, 이러한 사용자들의 능력으로 색상 데이터를 음표로 변환하는 것을 제한한다.
이러한 문제점에 비추어, 하나의 실시예에서, 도 1의 시스템(100)은 색상-판독 기기(125)에 의해 판독 또는 스캔될 수 있는 캔버스(canvas, 123)(예를 들어, 물리적 또는 가상의 캔버스) 상에 색상을 생성하도록 교정되는 묘화구(drawing instruments, 121)(예를 들어, 컴퓨터 어플리케이션 또는 소프트웨어에서 제공되는 가상의 묘화구뿐 아니라 펜, 페인트 등과 같은 물리적 묘화구) 세트를 포함하는 시스템을 소개한다. 일 실시예에서, 상기 묘화구(121) 각각은 특정 음표에 대응하는 상기 캔버스(123) 상의 색상을 적용하거나 생성하도록 구성된다. 예를 들어, 묘화구(121)의 제조자는 각각의 특정 색상(예를 들어, 팬톤(Pantone)과 같은 임의의 색상 시스템에 따라 정의된 각각의 색상)이 특정 음표에 매칭되는 색상 팔레트를 미리 결정할 수 있다. 따라서, 일 실시예에서, 각 기구(121)(예를 들어, 유색 펜)는 정의된 음표에 대응하고, 그 결과 사용자가 특정 색상의 기구(121)를 사용할 때, 상기 사용자는 상기 캔버스(123) 상에 대응하는 음표를 효과적으로 인코딩(encoding)한다. 상기 언급한 바와 같이, 표준 음악표기(예를 들어, 기보법(staff notation))를 사용하여 음악적 구성을 기록하는 데 익숙하지 않거나 숙련되지 않는 사용자들에 있어, 상기 사용자는 색상-교정된(color-calibrated) 기구(121)를 사용함으로써 상기 시스템(100)에 의해 음악적 구성 또는 음표 세트로 변환될 수 있는 작곡의 시각적 표현을 생성하도록 배열에서 색상들을 보다 직관적이고 유리하게 묘화하거나 적용할 수 있다.
일 실시예에서, 상기 색상-판독 기기는, 예를 들어, 상기 캔버스(123)에 적용되는 색상의 색상 파장(color wavelength) 또는 다른 표시자를 측정하기 위한 광학 스캐너(optical scanner) 또는 동등한 기술을 사용하여 상기 캔버스(123) 상에 적용된 색상을 나타내는 색상 데이터를 생성한다. 일 실시예에서, 상기 기구(121)는 상기 색상 판독의 정확성을 향상시키기 위해 상기 캔버스(123) 상에 특정한 또는 일관된 색상을 생성하도록 교정될 수 있다. 상기 캔버스(123) 자체의 색상 및/또는 재료(예를 들어, 캔버스, 린넨, 종이 등)에 따라, 그 캔버스(113)에 적용된 색상은 상기 기구(121) 자체의 색상과 다를 수 있다. 예를 들어, 하나의 경우에 있어, 음영진 옐로우(shaded yellow)인 캔버스(123)에 그린(green)을 적용하는 것은 캔버스(123) 상에 나타나는 바와 같이 상기 적용된 색상에 의해 보다 더욱 블루 색조(blue tone)가 될 수 있다. 일 실시예에서, 색상 정확도 및 많은 수의 색상들 사이에서 정확하게 구분 짓는 능력은, 예를 들어, 이러한 색상들을 전체 88-음표 키보드(full 88-note keyboard)에 사용가능한 전체 범위의 음표들에 맵핑(mapping)하려 할 때 특히 중요하다. 전체 88-음표 키보드의 경우에서, 상기 시스템(100)은 적어도 88개의 색상, 및 상기 88개의 음표 각각을 나타내는 대응하는 기구들(121)을 사용할 것이다. 이러한 큰 팔레트에서, 상기 팔레트에 대해 교정된 임의의 2개의 기구들(121)의 색상들 간에 미묘한 변형 또는 차이가 있을 수 있다. 따라서, 상기 캔버스(123)에 실제로 적용될 때 상기 기구들(121)의 색의 외관상 차이에 의해 야기되는 음영의 잠재적 차이가 잠재적으로 중요할 수 있다.
이러한 기술적 문제점을 해결하기 위하여, 일 실시예에서, 상기 시스템(100)은 상기 기구(121)에 의해 상기 캔버스(123)에 적용된 결과 색상(resulting color)에 기초하여 음표와 색상 사이의 맵핑(mapping)을 교정한다. 다시 말해서, 일 실시예에서, 상기 시스템(100)은 공지의 일관된 색상을 생성하기 위해 특정 타입의 캔버스(123)에 매칭되고 색상-교정된 묘화구(121) 세트를 제공한다. 다른 실시예들에서, 상기 시스템(100)은 상이한 색상들 또는 재료들의 묘화구들(121)과 캔버스들(123)의 각각의 조합에 대해 색상과 음표 간의 상이한 색상 맵핑을 유지할 수 있다. 또 다른 실시예에서, 상기 색상 판독 기기(125)는 색상 팔레트에 대응하는 음표에 매칭하기 전에 상기 캔버스(123)의 색상 또는 재료에 기초하여 색상 온도를 조정 또는 밸런싱함으로써 그 판독을 동적으로 색상 정정할 수 있다. 이러한 방식으로, 상기 이미지 처리 플랫폼(103)은 가능한 색상과 음표의 수가 크고 상기 색상들 사이의 차이가 적은 경우에조차 상기 색상 데이터 내의 각각의 검출된 색상을 일관성과 정확성을 가지며 대응하는 음표에 매칭하도록 상기 색상 데이터를 처리할 수 있다. 일 실시예에서, 상기 색상 데이터 내의 음표들의 시퀀스는, 이때, 상기 기구들(121)에 의해 상기 캔버스(123)에 적용되는 색상들을 표현하는 음악적 작곡 또는 노래를 만들어내도록 생성된다.
일 실시예에서, 상기 색상-판독 기기(125)는 또한 상기 캔버스(123) 상에 적용된 것과 같은 색상들의 다른 특징들을 스캔하거나 판독할 수 있다. 예를 들어, 상기 색상-판독 기기(125)는 상기 캔버스(123)의 디지털 표현을 생성하기 위해 상기 캔버스(123)의 완전한 광학 스캔을 수행할 수 있으며, 이에 의해, 상기 디지털 표현이 상기 논의된 색상 데이터를 효과적으로 표현하도록 한다. 이러한 디지털 표현으로, 상기 이미지 처리 플랫폼(103)은 상기 기구들(121)을 이용하여 그려진 형상들, 이러한 형상들의 크기들, 또는 다른 특징들(예를 들어, 선들, 부호들 등)을 식별하기 위해 상기 색상 데이터를 처리하는 이미지 인식 및 객체 검출 알고리즘을 사용할 수 있다. 이러한 방식으로, 상기 이미지 처리 플랫폼(103)은 예를 들어, 색상 데이터로부터 하나 이상의 특징들(예를 들어, 색상, 형상, 크기 등)을 결정하는 것, 이러한 특징들에 대해 맵핑된 관계들에 기초하여 음표 세트를 획득하는 것으로서, 상기 세트는 다양한 음표, 음조를 포함하는, 상기 음표 세트를 획득하는 것, 및 이후 상기 도출된 음표로부터 음악적 작곡을 생성하는 것에 의해 색상 데이터를 하나 이상의 음표로 변환하는 능력을 가진다.
일 실시예에서, 상기 이미지 처리 플랫폼(103)은 이때 사용자에 의해 선택된 임의의 포맷 또는 매체로 상기 음악적 작곡을 출력할 수 있다. 예를 들어, 상기 작곡은 이때 가청 음악으로 오디오 출력을 통하여 플레이될 수 있다. 다른 실시예에서, 상기 작곡은 또 다른 음악적 표기 시스템(예를 들어, 기보법 또는 임의의 다른 음악적 표기 시스템)으로 변환될 수 있다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 특정 파라미터들(예를 들어, 상기 캔버스(123) 상에 나타나는 색상의 색 수준, 형상들 및/또는 크기들, 관련된 부호들/그림들/패턴들 등)에 기초하여 알고리즘적 처리를 사용한다. 예시의 방식으로, 상기 이미지 처리 플랫폼(103)은 상기 알고리즘에서 이러한 파라미터들을 사용하여, 이에 한정되지는 않지만 하나 이상의 음표에 대한 사운드 레벨, 피치(pitch), 또는 지속시간을 포함하는 작곡을 생성하기 위해 하나 이상의 음악적 특징들을 결정한다.
도 1에 도시된 바와 같이, 상기 시스템(100)은 어플리케이션들(107)과 센서들(111)을 포함하거나 이에 연관될 수 있는 사용자 장치(UE)(101)를 포함한다. 일 실시예에서, 상기 UE(101)는, 예를 들어 무선 통신 네트워크인 통신 네트워크(105)를 통해 이미지 처리 플랫폼(103)에 연결을 가질 수 있다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 색 데이터를 하나 이상의 음표로 변환하는 데 관련된 하나 이상의 기능을 수행한다.
일 실시예에서, 이 방법을 사용한 색상 데이터의 음표로의 변환은, 특정 음표에 대응하도록 맵핑된 색상 세트로 교정된 상기 묘화구들(121)(예를 들어, 유색 펜들)로부터 사용자가 시각적인 색상 배열을 적용한 캔버스(123)를 처음 수신하는 것을 포함한다. 상기 언급된 바와 같이, 서비스 제공자 또는 제조자는 어떤 색상이 어떤 음표에 대응하는지를 미리 결정할 수 있다. 이러한 경우에, 특정 색상을 생성하도록 구성된 각각의 묘화구(121)는 대응하는 음표를 표시하도록 마킹(mark)될 수 있다. 예를 들어, 레드가 미들 C(middle C)에 대응한다면, 레드 묘화구(121)(예를 들어, 빨간색 펜)는 상기 캔버스(123) 상에 특정의 레드를 묘화하도록 교정되고, 이때 상기 도구는 미들 C로 마킹될 수 있다.
또 다른 실시예에서, 상기 시스템(100)은 최종 사용자 또는 다른 사용자가 상기 기구들(121)의 색상과 상기 대응하는 음표의 맵핑을 동적으로 변화시킬 수 있게 한다. 이러한 경우에, 상기 이미지 처리 플랫폼(103)은 상기 기구(121)의 어떠한 색상이 어떠한 음표에 대응하는지를 수동으로 지정할 수 있는 사용자 인터페이스를 제공할 수 있다. 일 실시예에서, 상기 수동적인 상관관계는 색상 기준에 의해 색상에 대해 발생할 수 있다. 추가적 또는 선택적으로, 상기 이미지 처리 플랫폼(103)은 단일 음표 또는 색상 조합에서의 변화에 기초하여 음악 스케일을 따라 색상들을 이동시킬 수 있다. 예를 들어, 레드(red)가 기본적으로 미들 C에 매칭되고 상기 사용자가 맵핑을 변경하여 현재는 그린이 미들 C에 매칭된다면, 상기 이미지 처리 플랫폼(103)은 동일한 초기 색상 시퀀스를 사용할 수 있지만, 동일한 시퀀스로 모든 다른 기본 색상들을 이동시키고 그 결과 그린이 음악 스케일 상에서 미들 C에 매칭하거나 대응한다.
도 1에 도시된 바와 같이, 상기 시스템(100)은 UE(101)를 포함한다. 일 실시예에서, 상기 UE(101)는, 내비게이션 유닛(예를 들어, 차량 내 또는 자립형), 모바일 핸드셋, 스테이션(station), 유닛, 기기, 멀티미디어 컴퓨터, 멀티미디어 태블릿, 인터넷 노드, 커뮤니케이터(communicator), 데스크톱 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, 개인 휴대통신(personal communication system, PCS) 기기, 개인 내비게이션 기기, 개인용 정보 단말기(personal digital assistants, PDAs), 오디오/비디오 플레이어, 디지털 카메라/캠코더, 위치결정 기기, 텔레비전 수신기, 라디오 방송 수신기, 전자책 기기, 게임 기기, 또는 이들의 임의의 조합으로서, 이러한 기기들 또는 이들의 임의의 조합의 부속품(accessories) 및 주변장치(peripherals)를 포함하는 임의의 타입의 모바일 단말, 고정 단말, 또는 휴대용 단말이다. 또한, 상기 UE(101)는 사용자에게 임의의 타입의 인터페이스("웨어러블" 회로 등과 같은)를 지원할 수 있다는 것도 고려될 수 있다.
일 실시예에서, 상기 이미지 처리 플랫폼(103)은 다수의 상호연결된 구성요소들을 가지는 플랫폼일 수 있다. 상기 이미지 처리 플랫폼(103)은 하나 이상의 서버들, 지능형 네트워킹 기기, 컴퓨팅 기기, 구성요소들 및 색상 데이터를 하나 이상의 음표로 변환시키는(그 역도 같음) 대응 소프트웨어를 포함할 수 있다. 또한, 상기 이미지 처리 플랫폼(103)은 상기 시스템(100)의 개별적인 엔티티(entity), 상기 서비스 플랫폼(113)의 하나 이상의 서비스들(115a 내지 115n)(서비스들 115로 통칭됨)의 일부, 또는 상기 UE(101)일 수 있다. 색상 데이터를 하나 이상의 음표로 변환하는 소정의 알려진 또는 여전히 개발 중인 방법, 기술 또는 처리들이 상기 이미지 처리 플랫폼(103)에 의해 채용될 수 있다.
일 실시예에서, 상기 이미지 처리 플랫폼(103)은 색상-판독 기기를 사용하여 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독할 수 있다. 이때, 상기 이미지 처리 플랫폼(103)은 상기 색상 데이터 내의 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리할 수 있다. 다시 말해서, 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 다음 수단들에 의해 색상 데이터를 하나 이상의 음표로 변환할 수 있다: 1) 상기 색상 데이터로부터 하나 이상의 특징들(예를 들어, 색상, 색상 패턴, 및 색상 크기)을 결정하는 것; (2) 이러한 특징들을 데이터베이스(119) 내에 저장된 하나 이상의 음표에 대응하거나 맵핑하는 것; 및 (3) 상기 색상 데이터 내의 각각의 색상들에 대응하는 하나 이상의 음표의 시각적 표시 또는 청각적 표현을 생성하는 것. 다른 실시예에서, 상기 이미지 처리 플랫폼(103)은 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상을 색상 데이터로 어플리케이션에서 판독할 수 있다. 이때, 상기 이미지 처리 플랫폼(103)은 상기 색상 데이터 내의 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리할 수 있다. 일 실시예에서, 복수의 묘화구 각각은 색상 팔레트의 각각의 색상들을 묘화하도록 구성된다.
일 실시예에서, 상기 이미지 처리 플랫폼(103)은 하나 이상의 색상, 그들의 패턴, 및 크기들을 상기 하나 이상의 음표와 상호연관시키기 위한 범례(legend)를 생성할 수 있다. 하나의 예시적 실시예에서, 상기 이미지 처리 플랫폼(103)은 음표를 적절한 파트너와 매칭시키기 위해 상기 색상 데이터로부터 추출된 특징들을 사용할 수 있다. 다른 실시예에서, 상기 이미지 처리 플랫폼(103)은 상기 색상 데이터의 하나 이상의 요소(예를 들어, 음영, 범위, 색조, 밝기, 대조, 순도)를 결정하기 위해 하나 이상의 색상 데이터를 처리할 수 있다. 이러한 요소들은 하나 이상의 음표의 음(tone) 또는 주파수를 결정하기 위해 사용될 수 있다. 예를 들어, 캔버스 상의 그림은 상이한 색상들을 포함할 수 있다. 하나 이상의 음표는 그들에게 지정된 색상 값을 가질 수 있다. 상기 이미지 처리 플랫폼(103)은 상기 색상 데이터 및 그들의 크기에 따라 음표, 볼륨(volume) 및 피치(pitch)를 표현할 수 있다.
추가적인 실시예에서, 상기 이미지 처리 플랫폼(103)은 하나 이상의 색상들의 크기를 결정할 수 있고, 상기 색상들의 크기는 음표의 지속시간을 표현하는 데 사용될 수 있다.
일 실시예에서, 상기 이미지 처리 플랫폼(103)은 음표가 그림들로부터 도출되도록 하여, 사용자가 특정한 색상 순서를 묘화함으로써 잘 알려진 곡들을 구성할 수 있게 한다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 음표에 대응하는 각각의 색상에 대한 값들을 생성할 수 있다. 임의의 초기 색상 입력 없이 기본값을 설정하면, 색상 연속체가 선택될 수 있고, 각각의 음영에 지정된 값들이 추후 단계에서 음표에 지정될 것이다. 이러한 방식으로, 음악 지식은 음악과 예술 사이의 연결을 이해하는 데 필수적이 아니며, 색상 값과 음표 사이의 맵핑뿐 아니라 음표에 대한 지속시간과 색상 크기 사이의 맵핑을 수립하는 캔버스 상의 색상들을 이용함으로써 음악과 예술 사이의 상호작용을 향상시킬 수 있다.
나아가, 상기 시스템(100)의 다양한 요소들이 통신 네트워크(105)를 통해 서로 통신할 수 있다. 상기 시스템(100)의 통신 네트워크(105)는 데이터 네트워크, 무선 네트워크, 전화 네트워크, 또는 이들의 임의의 조합과 같은 하나 이상의 네트워크들을 포함한다. 상기 데이터 네트워크는 임의의 근거리 네트워크(LAN), 대도시 네트워크(MAN), 광역 네트워크(WAN), 공용 데이터 네트워크(예를 들어, 인터넷), 단거리 무선 네트워크, 또는 예를 들어, 독점적인 케이블 또는 광섬유(fiber-optic) 네트워크 등, 또는 이들의 임의의 조합과 같은 상업적으로 소유된 독점적인 패킷-교환 네트워크와 같은 임의의 다른 적합한 패킷-교환 네트워크일 수 있다. 또한, 상기 무선 네트워크는, 예를 들어, 셀룰러 통신 네트워크일 수 있고, 글로벌 진화(EDGE), 일반 패킷 무선 서비스(GPRS), 모바일 통신을 위한 글로벌 시스템(GSM), 인터넷 프로토콜 멀티미디어 서브시스템(IMS), 범용 이동통신 시스템(UMTS) 등뿐만 아니라 와이맥스(worldwide interoperability for microwave access, WiMAX), 롱텀 에볼루션(Long Term Evolution, LTE) 네트워크, 코드분할 다중접근(CDMA), 광대역 코드분할 다중접근(WCDMA), 와이파이(Wireless fidelity, Wi-Fi), 무선 랜(WLAN), 블루투스®, 인터넷 프로토콜(IP) 데이터 캐스팅, 위성, 모바일 애드-혹 네트워크(MANET), 차량 계측제어기 통신망(CAN bus) 등, 또는 임의의 이들의 조합에 대한 향상된 데이터 전송속도를 포함하는 다양한 기술들을 채용할 수 있다.
상기 UE(101)는 색상 데이터를 하나 이상의 음표로 변환하는 하나 이상의 기능을 수행하기 위한 어플리케이션들(107)을 추가로 포함할 수 있다. 일 실시예에서, 상기 어플리케이션들(107)과 상기 이미지 처리 플랫폼(103)은 클라이언트-서버 모델에 따라 상호작용한다. 상기 컴퓨터 프로세스 상호작용의 클라이언트-서버 모델은 널려 알려져 있고 사용된다는 점이 강조된다. 상기 클라이언트-서버 모델에 따라, 클라이언트 프로세스는 서버 프로세스에 요청을 포함하는 메시지를 송신하고, 상기 서버 프로세스는 서비스를 제공함으로써 응답 처리한다. 상기 서버 프로세스는 또한 상기 클라이언트 프로세스에 응답 메시지를 돌려줄 수 있다. 종종 상기 클라이언트 프로세스와 상기 서버 프로세스는 호스트들로 칭해지는 다른 컴퓨터 기기들 상에서 실행되고, 네트워크 통신에 대한 하나 이상의 프로토콜을 사용하여 네트워크를 통하여 통신한다. "서버"라는 용어는 일반적으로 서비스를 제공하는 프로세스 또는 그 프로세스가 동작하는 호스트 컴퓨터를 지칭하도록 사용된다. 유사하게, "클라이언트"라는 용어는 일반적으로 요청을 하는 프로세스 또는 그 프로세스가 동작하는 호스트 컴퓨터를 지칭하도록 사용된다. 여기서 사용되는 것처럼, "클라이언트"와 "서버"라는 용어들은 문맥상 명확한 경우가 아니라면 호스트 컴퓨터들보다는 프로세스들을 의미한다. 또한, 서버에 의해 수행되는 프로세스는 안정성, 확장성, 및 중복성 등을 포함하는 이유로 다중 호스트들(때때로 계층들로 칭해짐) 상에서 다중 프로세스들로서 동작하도록 분할될 수 있다.
일 실시예에서, 상기 UE(101)는 추가적으로, 이미지 데이터를 수집하거나 음표를 생성하기 위해 하나 이상의 입력/출력 기기들(109)에 접속한다. 일 실시예에서, 상기 입력/출력 기기들(109)은 색상-판독 기기를 포함한다. 예를 들어, 이미지 데이터를 수집하기 위해, 상기 입력/출력 기기(109)는 이미지 데이터를 캡쳐하기 위한 카메라 또는 스캐너를 포함할 수 있다. 상기 입력/출력 기기는 시각적 데이터를 상기 시스템(100)에 의해 처리하기 위한 디지털 포맷으로 샘플링하거나 캡쳐하기에 적합한 임의의 센서로 구성될 수 있다는 것이 고려된다. 일 실시예에서, 청각 또는 시각 표현으로 음표를 출력하기 위해, 상기 입력/출력 기기(109)는 임의의 수의 적합한 출력 모듈로 구성될 수 있다. 예를 들어, 상기 입력/출력 기기(109)는 상기 하나 이상의 음표의 청각 또는 시각 표현을 위한 디스플레이들(예를 들어, 모니터, 프로젝터, 텔레비전 등)로 구성될 수 있다. 또한, 상기 입력/출력 기기(109)는 상기 색상 데이터로부터 변환된 상기 하나 이상의 음표의 물리적 버전들(예를 들어, 종이, 캔버스, 및/또는 목재, 돌 등의 다른 매체)을 생성하기 위한 기기들을 포함할 수 있다. 이러한 기기들은, 프린터, 3-차원 프린터, 컴퓨터 수치제어(CNC) 기계, 인쇄기 등이 포함되지만, 이에 국한되지는 않는다.
상기 시스템(100)은 또한 상기 UE(101)에 구현, 내장 또는 연결될 수 있는 하나 이상의 센서들(111)을 포함한다. 상기 UE(101)는 이미지 데이터를 상기 시스템(100)에 의해 처리하기 위한 디지털 포맷으로 샘플링하거나 캡쳐하기에 적합한 임의의 센서들로 구성될 수 있다는 것이 고려된다. 상기 센서들(111)은 임의의 타입의 센서일 수 있다. 일 실시예에서, 구성된 센서들(111)의 타입은 소스 데이터의 타입에 기초할 수 있다. 예를 들어, 이미지 데이터는 임의의 형태로 표현된 색 데이터를 포함할 수 있다는 것이 고려된다. 이미지 데이터가 그림 형태로 표현되면, 예를 들어, 상기 UE(101)는 카메라/이미지 센서(예를 들어, 스캐닝 기기 또는 카메라)를 사용하여 상기 그림을 캡쳐하여 하나 이상의 음표 및 그들 각각의 지속시간으로 변환할 수 있다. 상기 시스템(100)은 이후 이미지 인식 기술을 통해 상기 색상 데이터를 추출하도록 상기 그림을 처리할 수 있다. 하나의 예시적인 실시예에서, 색상-판독 기기는 색상 값들을 판독할 수 있는 센서들(111)로 구성된다. 이러한 방식으로, 사용자는 색상-판독 기기를 사용하는 것에 의해 상이한 색상들을 판독하도록(예를 들어, 그림으로부터, 기존 이미지, 페인팅, 또는 다른 시각적 표현) 음표를 생성할 수 있다. 상기 색상-판독 기기에 의해 판독되는 색상들은 이후 여기서 기재된 다양한 실시예와 관련하여 논의된 프로세스들을 사용하여 음표로 변환된다.
일 실시예에서, 상기 UE(101) 및/또는 상기 이미지 처리 플랫폼(103)은 또한 상기 이미지 처리 플랫폼(103)을 지원하는 다른 서비스를 제공하기 위한 하나 이상의 서비스들(115)을 포함하는 서비스 플랫폼(113)에 연결될 수 있다. 예시적인 방식으로, 상기 서비스 플랫폼(113)은 소셜 네트워킹 서비스/어플리케이션, 콘텐츠(예를 들어, 오디오, 비디오, 이미지 등) 공급 서비스/어플리케이션, 저장 서비스/어플리케이션 등을 포함할 수 있다. 일 실시예에서, 상기 서비스 플랫폼(113)은 콘텐츠 정보의 처리를 보충하거나 보조하기 위해 상기 UE(101), 상기 이미지 처리 플랫폼(103), 및 상기 콘텐츠 제공자(117)와 상호작용할 수 있다. 일 실시예에서, 상기 서비스 플랫폼(113)은 상기 이미지 처리 플랫폼(103) 또는 그 기능 내에서 구현되거나 내장될 수 있다.
예시적인 방식으로, 상기 서비스들(115)은 하나 이상의 사용자의 관심 및/또는 활동을 반영하는 온라인 서비스일 수 있다. 상기 서비스들(115)은 사용자가 그들의 개별 네트워크 내에서 활동 정보, 과거의 사용자 정보 및 관심사(예를 들어, 음악적 관심사)를 공유할 수 있게 하고, 데이터 이식성을 제공한다. 일 실시예에서, 상기 서비스 플랫폼(113) 및/또는 서비스들(115)은 상기 이미지 처리 플랫폼(103)에 음표 및/또는 다른 관련된 정보를 제공하기 위해 하나 이상의 콘텐츠 제공자들(117a 내지 117n)(또한 콘텐츠 제공자들(117)로 통칭됨)과 상호작용한다. 상기 제공된 콘텐츠는 이미지 콘텐츠, 텍스트 콘텐츠, 오디오 콘텐츠(예를 들어, 오디오 통지), 비디오 콘텐츠(예를 들어, 비디오 통지) 등과 같은 임의의 타입의 콘텐츠일 수 있다. 일 실시예에서, 상기 콘텐츠 제공자(117)는 또한 상기 UE(101), 상기 이미지 처리 플랫폼(103), 및 상기 서비스 플랫폼(113)의 서비스들(115)과 연관된 콘텐츠를 저장할 수 있다.
상기 시스템(100)은 또한 데이터베이스(119)를 포함한다. 상기 데이터베이스(119)는 하나 이상의 색상에 대응하는 하나 이상의 음표를 저장한다. 상기 정보는 콘텐츠 제공 및 공유 프로세스를 보조하는 수단을 제공할 수 있는 임의의 다중 타입의 정보일 수 있다.
상기 시스템(100)은 또한 캔버스(123) 상에 상기 색상 팔레트의 각각의 색상들을 묘화하도록 교정되는 복수의 묘화구(예를 들어, 유색 펜(121))를 포함한다. 하나의 예시적인 실시예에서, 각각의 유색 펜은 미리 정의된 색상의 색 파장에 대응하는 잉크 또는 다른 미술재료(예를 들어, 페인트, 숯 등)를 삼출(exude)한다. 상기 유색 펜 또는 다른 기구(121)에 의해 포함된 상기 잉크 또는 다른 재료의 색상은 특정 음표에 지정되는 색상 데이터의 파장에 속한다.
일 실시예에서, 상기 묘화구(121)는 컴퓨터 어플리케이션(예를 들어, 드로잉(drawing) 또는 페인팅(painting) 어플리케이션)에 제공되는 가상의 묘화구일 수 있다. 이러한 예시에서, 상기 컴퓨터 어플리케이션(예를 들어, 모바일 기기, 태블릿, 데스크톱 PC, 독립 시스템 등)에서 선택된 팔레트는 상기 기재된 것과 동일한 프로세스로 음표 세트에 교정될 수 있다. 예를 들어, 특정 드로잉 어플리케이션에서 사용되기 위해 맞춤형 팔레트가 생성될 수 있다. 일 실시예에서, 상기 팔레트는 공용 어플리케이션 프로그래밍 인터페이스(APIs) 또는 다른 유사한 인터페이스를 통해 제3자 드로잉 어플리케이션으로 불러들여질 수 있다.
상기 시스템(100)은 또한 캔버스(123)를 포함한다. 일 실시예에서, 상기 캔버스(123)는 복수의 묘화구가 상기 색상 팔레트의 각각의 색상을 적용하도록 구성된다. 다른 실시예에서, 상기 기재된 가상의 기구(121)와 유사하게, 상기 캔버스(123)는 컴퓨터 어플리케이션(예를 들어, 상기 기재된 상기 가상의 묘화구(121)를 지원하는 동일한 컴퓨터 어플리케이션) 내의 가상의 캔버스일 수 있다. 물리적 캔버스(123)와 마찬가지로, 상기 가상의 캔버스(123)는 또한 상이한 색상 및/또는 재료로 시뮬레이션될 수 있다. 이러한 경우에, 상기 색상 팔레트와 음표 간의 색상 맵핑은 상기 가상 캔버스(123) 상에 나타나는 것과 같은 색상을 고려할 수도 있다.
상기 시스템(100)은 또한 색상-판독 기기(125)를 포함한다. 일 실시예에서, 상기 색상-판독 기기(125)는 이미지 센서, 스캐너, 또는 이들의 조합을 통해 캔버스에 적용되는 각각의 색상을 판독할 수 있다. 다른 실시예에서, 상기 색상-판독 기기(125)는 색상 데이터의 일부로서 상기 캔버스에 적용된 각각의 색상의 형상 또는 크기를 스캔할 수 있다. 상기 시스템(100)이 물리적 구성요소보다 컴퓨터 어플리케이션으로 구현되는 추가적인 실시예에서, 상기 색상-판독 기기(125)는 상기 가상의 묘화구(121)와 가상의 캔버스(123)를 지원하거나 제공하는 상기 컴퓨터 어플리케이션의 색상-판독 모듈일 수 있다.
예시의 방식으로, 상기 UE(101), 상기 이미지 처리 플랫폼(103), 및 상기 변환 어플리케이션(107)은 잘 알려진 새롭거나 여전히 개발중인 프로토콜 등을 이용하여 서로, 및 상기 통신 네트워크(105)의 다른 구성요소들과 통신한다. 이러한 맥락에서, 프로토콜은 상기 통신 링크를 통해 전송된 정보에 기초하여 상기 통신 네트워크(105) 내의 네트워크 노드들이 어떻게 서로 상호작용하는지를 정의하는 일련의 규칙을 포함한다. 상기 프로토콜은 다양한 타입의 물리적 신호들을 생성하고 수신하는 것으로부터, 이러한 신호들에 의해 표시되는 정보의 포맷으로, 이러한 신호들을 전송하기 위한 링크를 선택하고, 컴퓨터 시스템 상에서 실행하는 어떠한 소프트웨어 어플리케이션이 상기 정보를 송신하거나 수신하는지를 식별하기 위해, 각각의 노드 내에서의 상이한 운영계층에서 효과적이다. 네트워크를 통해 정보를 교환하기 위한 개념적으로 상이한 프로토콜 계층은 OSI(Open Systems Interconnection) 참조 모델에서 설명된다.
상기 네트워크 노드들 간의 통신은 일반적으로 개별 데이터 패킷을 교환하는 것에 의해 이루어진다. 각각의 패킷은 일반적으로 (1) 특정 프로토콜과 연관된 헤더 정보(header information), 및 (2) 상기 헤더 정보를 따르고, 그 특정 프로토콜에 독립적으로 처리될 수 있는 정보를 포함하는 페이로드 정보(payload information)를 포함한다. 몇몇 프로토콜에서, 상기 패킷은 (3) 상기 페이로드를 따르고 상기 페이로드 정보의 끝을 나타내는 트레일러 정보(trailer information)를 포함한다. 상기 헤더는 상기 패킷의 소스, 목적지, 상기 페이로드의 길이, 및 상기 프로토콜에 의해 사용되는 다른 특성들과 같은 정보를 포함한다. 종종, 상기 특정 프로토콜에 대한 상기 페이로드 내의 데이터는 상기 OSI 참조 모델의 다른 상위 계층과 연관된 다른 프로토콜에 대한 헤더와 페이로드를 포함한다. 특정 프로토콜에 대한 헤더는 일반적으로 그 페이로드 내에 포함된 다음 프로토콜에 대한 타입을 나타낸다. 상위 계층 프로토콜은 하위 계층 프로토콜 내에 캡슐화된(encapsulated) 것으로 언급된다. 인터넷과 같은 다수의 이종 네트워크들을 통과하는 패킷에 포함된 헤더는 일반적으로 OSI 참조 모델에 의해 정의된 물리적(계층 1) 헤더, 데이터-링크(계층 2) 헤더, 인터네트워크(계층 3) 헤더 및 전송(계층 4) 헤더, 및 다양한 어플리케이션(계층 5, 계층 6, 및 계층 7) 헤더들을 포함한다.
도 2는 하나의 예시적인 실시예에 따라, 상기 이미지 처리 플랫폼(103)의 구성요소들의 도면이다. 예시의 방식으로, 상기 이미지 처리 플랫폼(103)은 색상 데이터를 하나 이상의 음표로 변환하기 위한 하나 이상의 구성요소들을 포함한다. 이러한 구성요소들의 기능은 하나 이상의 구성요소들 내에서 결합되거나 등가 기능의 다른 구성요소들에 의해 수행될 수 있는 것으로 고려된다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 하나 이상의 구성 모듈(configuration modules, 201), 맵핑 모듈(mapping modules, 203), 색상 처리 모듈(color processing modules, 205), 및 표현 모듈(presentation modules, 207), 또는 임의의 이들의 조합을 포함한다.
일 실시예에서, 상기 구성 모듈(201)은 복수의 묘화구에 의해 캔버스 상에 묘화된 색상 팔레트의 각각의 색상들을 스캔하기 위한 색상-판독 기기를 구성할 수 있다. 다른 실시예에서, 상기 구성 모듈(201)은 복수의 가상 묘화구에 의해 어플리케이션의 캔버스 상에 묘화된 색상 팔레트의 각각의 색상들을 판독하기 위한 모바일 기기의 어플리케이션을 구성할 수 있다. 하나의 예시적인 실시예에서, 상기 색상-판독 기기 및/또는 상기 모바일 기기의 어플리케이션은 각각의 색상들을 판독하기 위한 이미지 센서, 스캐너, 또는 그 조합을 포함한다. 다른 실시예에서, 상기 구성 모듈(201)은 캔버스 상에 상기 색상 팔레트의 각각의 색상들을 묘화하기 위한 유색 펜들을 구성할 수 있다. 하나의 예시적인 실시예에서, 각각의 유색 펜은 미리 정의된 색의 것과 동일한 색상 주파수를 가지는 잉크를 삼출한다. 캔버스 상에 상기 유색 펜에 의해 분비된 잉크는 특정 음표로 지정될 색상 데이터의 파장 또는 주파수에 속한다. 추가적인 실시예에서, 상기 구성 모듈(201)은 이하에서 논의되는 것처럼 색상 처리 모듈(205)를 구성할 수 있다.
일 실시예에서, 상기 맵핑 모듈(203)은 적어도 하나의 색상을 적어도 하나의 음표와 연관시킬 수 있다. 다른 실시예에서, 상기 맵핑 모듈(203)은 적어도 하나의 색상 패턴을 적어도 하나의 음표 세트와 연관시킬 수 있다. 추가적인 실시예에서, 상기 맵핑 모듈(203)은 캔버스, 어플리케이션의 캔버스, 또는 그들의 조합 상에 묘화된 색상의 크기를 하나 이상의 음표에 대한 지속시간과 상호연관시킬 수 있다.
일 실시예에서, 상기 색상 처리 모듈(205)은 상기 색상 데이터 내의 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리할 수 있다. 하나의 예시적인 실시예에서, 상기 색상 처리 모듈(205)은 캔버스, 어플리케이션의 캔버스, 또는 그들의 조합에 적용된 색상들의 시퀀스에 적어도 부분적으로 기초하여 각각의 색상들에 대응하는 음표의 작곡을 생성할 수 있다. 다른 실시예에서, 상기 색상 처리 모듈(205)은 상기 각각의 색상들의 형상 또는 크기에 기초하여 상기 작곡 내의 하나 이상의 음표에 대한 음표 지속시간 정보를 결정하도록 구성될 수 있다. 하나의 예시적인 실시예에서, 상기 색상 처리 모듈(205)은 하나 이상의 음표에 대한 지속시간 정보에 적어도 부분적으로 기초하여 작곡을 생성할 수 있다. 추가적인 실시예에서, 상기 색상 처리 모듈(205)은 기보법(staff notation)으로 상기 작곡의 표현을 생성하고 출력 기기를 통해 상기 기보법으로 작곡을 출력하도록 구성된다. 다른 예시적인 실시예에서, 상기 색상 처리 모듈(205)은 하나 이상의 색상들에 대한 시퀀스를 결정하도록 그림을 처리할 수 있다. 이때, 상기 색상 처리 모듈(205)은 상기 시퀀스에 적어도 부분적으로 기초하여 하나 이상의 색상과 상호연관하는 하나 이상의 음표를 선택할 수 있다. 이어서, 상기 색상 처리 모듈(205)은 하나 이상의 색상을 하나 이상의 음표로 변환할 수 있다.
일 실시예에서, 상기 표현 모듈(207)은 적어도 하나의 기기의 적어도 하나의 사용자 인터페이스에서 기보법으로 상기 작곡을 표현할 수 있다. 일 실시예에서, 상기 표현은 시각적 표현, 청각적 표현, 또는 이들의 조합을 포함한다. 다른 실시예에서, 상기 표현 모듈은 하나 이상의 사용자들에게 안내 정보를 제공할 수 있고, 예를 들어, 하나 이상의 사용자들은 특정 음표에 대해 캔버스 상에 묘화될 특정 색상에 관해 통지받을 수 있다. 추가적인 실시예에서, 상기 표현 모듈(207)은 UE(101) 및/또는 입력/출력 기기(109)의 어플리케이션들(107)에 대응하는 다양한 어플리케이션 프로그래밍 인터페이스(APIs) 또는 다른 기능 호출들을 채용하고, 따라서, 사용자 인터페이스 요소들을 생성하기 위해 메뉴, 버튼, 데이터 입력 필드 등과 같은 그래픽 기초요소의 디스플레이를 가능하게 한다. 일 실시예에서, 상기 표현 모듈(207)은 어플리케이션의 캔버스 상에 묘화하기 위해 사용자에게 하나 이상의 색들을 디스플레이하기 위한 그래픽 사용자 인터페이스(GUI)의 제시를 가능하게 한다.
상기 이미지 처리 플랫폼(103)의 앞서 제시된 모듈과 구성요소는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 도 1에서는 별개의 엔티티(entity)로 묘사되었지만, 상기 이미지 처리 플랫폼(103)은 각각의 UE(101)에 의한 직접적인 동작을 위해 구현될 수 있다. 이와 같이, 상기 이미지 처리 플랫폼(103)은 상기 어플리케이션들(107)과 상호작용하기 위해 상기 UE(101)의 운영 시스템을 통하여 직접적인 신호 입력을 생성할 수 있다. 다른 실시예에서, 하나 이상의 모듈들(201 내지 207)은 상기 이미지 처리 플랫폼(103)으로서, 또는 그들의 조합으로서, 각각의 UE들에 의한 운영을 위해 구현될 수 있다. 또한 나아가, 상기 이미지 처리 플랫폼(103)은 정보 및/또는 가입자 공유 배치에 따라 위젯(widget) 또는 애플릿(applet)의 형태와 같은, 서비스들(115)과의 직접적인 동작을 위해 통합될 수 있다. 여기서 제시된 다양한 실행은 임의의 및 모든 배치와 모델을 고려한다.
도 3은 하나의 예시적인 실시예에 따라, 색상 데이터를 하나 이상의 음표로 변환하는 프로세스의 흐름도이다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 상기 프로세스(300)를 수행하고, 예를 들어, 도 10에 도시된 바와 같은 프로세서와 메모리를 포함하는 칩셋(chip set)으로 구현된다.
단계 301에서, 상기 이미지 처리 플랫폼(103)은 색상-판독 기기를 사용하여 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상을 색상 데이터로 판독할 수 있다. 일 실시예에서, 복수의 묘화구 각각은 색상 팔레트의 각각의 색상으로 묘화하도록 구성된다. 다른 실시예에서, 상기 색상 팔레트의 각각의 색상은 음표 세트에 각각 대응한다. 일 실시예에서, 복수의 묘화구는 상기 색상 팔레트의 각각의 색상을 묘화하도록 교정된 유색 펜들을 포함한다. 하나의 시나리오에서, 상기 유색 펜들이 교정되는 각각의 색상에 대응하는 음표의 표시는 상기 유색 펜들에 각인(imprint)된다. 다른 실시예에서, 색상-판독 기기는 캔버스에 적용된 색상을 판독하기 위해 이미지 센서, 스캐너, 또는 이들의 조합을 포함한다. 추가적인 실시예에서, 복수의 묘화구는 컴퓨터 어플리케이션에서의 복수의 가상 묘화구이고, 상기 캔버스는 상기 컴퓨터 어플리케이션에서의 가상 캔버스이고, 상기 색상-판독 기기는 상기 컴퓨터 어플리케이션에서의 색상-판독 모듈이고, 및 상기 색상 처리 모듈은 상기 컴퓨터 어플리케이션에서의 모듈이다. 상기 컴퓨터 어플리케이션은 모바일 기기에서 실행 가능하다.
단계 303에서, 상기 이미지 처리 플랫폼(103)은 색상 처리 모듈을 사용하여 상기 색상 데이터 내의 각각의 색에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리할 수 있다. 하나의 예시적인 실시예에서, 상기 이미지 처리 플랫폼(103)은 상기 색상 데이터 내의 각각의 색상에 대응하는 하나 이상의 음표를 획득하도록 상기 색상 데이터를 처리할 수 있다. 그 후, 상기 이미지 처리 플랫폼(103)은 상기 캔버스에 적용된 각각의 색상의 순서(order)에 기초하여 상기 작곡 내의 하나 이상의 음표의 시퀀스를 생성할 수 있다.
도 4는 하나의 예시적인 실시예에 따라 하나 이상의 음표의 작곡의 재생을 야기하는 프로세스의 흐름도이다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 상기 프로세스(400)를 수행하고, 예를 들어, 도 10에 도시된 바와 같은 프로세서와 메모리를 포함하는 칩셋으로 구현된다.
단계 401에서, 상기 이미지 처리 플랫폼(103)은 오디오 출력 기기를 사용하여 작곡의 재생을 야기할 수 있다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 하나 이상의 색상 데이터와 그들 각각의 크기에 기초하여 오디오 시퀀스를 생성할 수 있다. 다른 실시예에서, 선택된 색상, 그들의 패턴, 및 페인팅의 일관성이 조화로운 오디오 출력(예를 들어, 음조)을 만들어내도록 조정될 수 있다. 그 후, 상기 오디오 작곡의 재생이 개시된다. 하나의 예시적인 실시예에서, 오디오 데이터를 출력하기 위해, 상기 입력/출력 기기(109)는 오디오 재생 시스템으로 구성될 수 있다.
도 5는 하나의 예시적인 실시예에 따라 상기 하나 이상의 음표에 대한 음표 지속시간 정보를 결정하기 위한 프로세스의 흐름도이다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 상기 프로세스(500)를 수행하고, 예를 들어, 도 10에 도시된 바와 같은 프로세서와 메모리를 포함하는 칩셋으로 구현된다.
단계 501에서, 상기 이미지 처리 플랫폼(103)은 상기 색상-판독 기기를 사용하여 상기 색상 데이터의 일부로서 상기 캔버스에 적용된 각각의 색상의 형상 또는 크기를 스캔할 수 있다. 일 실시예에서, 상기 이미지 처리 플랫폼(103)은 상기 하나 이상의 색상 데이터의 크기를 사용하여 하나 이상의 음표의 각각의 지속시간을 결정할 수 있다. 다른 실시예에서, 하나 이상의 색상은 기하학적 형상일 수 있고, 예를 들어, 상기 기하학적 형상은 평행사변형을 포함한다.
단계 503에서, 상기 이미지 처리 플랫폼(103)은 상기 색상 처리 모듈을 사용하여 각각의 색상의 형상 또는 크기에 기초하여 상기 작곡 내의 하나 이상의 음표에 대한 음표 지속시간 정보를 결정할 수 있다. 일 실시예에서, 상기 작곡은 상기 음표 지속시간 정보에 기초하여 추가로 생성된다. 다른 실시예에서, 상기 음표 지속시간은 각각의 음표에 할당되는 색상 크기의 동일한 부분에 의해 식별된다. 일 실시예에서, 상기 색상 처리 모듈은 기보법으로 상기 작곡의 표현을 생성하고, 출력 기기를 통해 상기 기보법으로 상기 작곡을 출력하도록 추가로 구성된다.
도 6은 여기서 기재된 다양한 프로세스에서 사용되는 피아노 키보드의 도면이다. 상기 키보드(601) 상의 52개의 흰 건반은 매 옥타브마다 반복되어, 7개의 기본 음을 발생시킨다. 상하 인접한 옥타브들은 음 이름(또는 음표)을 공유한다.
구역들은 3개의 트레블(treble), 알토(alto), 및 베이스(bass) 영역으로 나누어질 수 있다. 각각의 구역은 C, C#(Db), D, D#(Eb), E, F, F#(Gb), G, G#(Ab), A, A#(Bb), 및 B의 총 12개의 음을 포함하는 7개의 기본 음과 5개의 반음으로 구성된다. 이러한 시퀀스에 따라, 아라비아 숫자가 각 음에 할당될 수 있어, 본질적으로는 음악 알파벳인(도 6 참조) 숫자로 나타낸 순서 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12를 생성한다.
따라서, 상기 3개의 구역(베이스, 알토, 및 트레블)은 각각 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36으로 인코딩될 수 있다.
일 실시예에서, 상기 시스템(100)은 상기 색상 데이터로부터 특징을 얻고 음표(음표 번호 등 - 도 6 참조)에, 예를 들어, 각 노드와 연관된 숫자값을 할당한다. 다른 실시예에서, 상기 시스템(100)은 상기 색상을 대응하는 음표에 매칭하려고 함으로써 상기 설명된 것처럼 음표/음 및 지속기간을 인코드하는 색상 집합으로부터 음표를 추출하는 것을 가능하게 한다. 이는 상기 가시적 데이터에 대응하는 오디오 표현을 생성하는 데 사용될 수 있다(예를 들어, 일단 상기 매칭이 조정되어 필터링되면). 이러한 방식으로, 그림 또는 다른 가시적 표현이 음악을 작곡하는 수단으로 사용될 수 있다.
또한, 상기 시스템(100)은 상기 대응하는 음표와 지속시간에 색상 막대(또는 가시적 표현 또는 이미지 내의 다른 색 가시적 요소)를 매칭시키도록 시도함으로써 상기 기재된 것처럼 음표/음 및 지속시간을 인코드하는 색상 세트 또는 다른 가시적 표현으로부터 음악을 추출하는 것을 가능하게 한다. 이는 상기 가시적 데이터(예를 들어, 일단 상기 매칭이 조정되고 필터링되면)에 대응하는 오디오 표현을 생성하는 데 사용될 수 있다. 이러한 방식으로, 페인팅 또는 다른 가시적 표현이 음악을 작곡하는 수단으로 사용될 수 있다.
일 실시예에서, 색상 카드(color cards)는 컬렉션(collection) 내의 색상의 연속체의 구성요소를 형성한다. 다양한 실시예들이 색상을 음 또는 음표에 맵핑하는 것으로 설명되지만, 이러한 음 또는 음표는 또한 패턴 또는 디자인에 맵핑될 수 있다는 것이 고려된다. 또한, 색상, 패턴, 및 디자인은 임의의 조합으로 조합될 수 있다. 예를 들어, 광범위한 색상, 패턴, 및 디자인이 사용 가능하고, 상기 시스템(100)은 임의의 원하는 색상을 선택하고 상기 색상에 대한 완전히 표준화되고 디지털화된 마커를 획득할 수 있다. 일 실시예에서, 이러한 특정 마커는 가능한 한 완벽하게 매칭되는 단일 음을 생성하기 위해 중요하다. 이러한 종류의 카드를 가지고(예를 들어, 선택된 색 공간으로부터 얻어진), 상기 시스템(100)은 "12개의 동일한 음률(Tone Temperament)"을 따르는 것에 의해 색상 값의 직렬화에 의존할 수 있다. 일 실시예에서, 소리 데이터베이스는, 도 6의 피아노 키보드 또는 다른 유사한 음표 상관관계 테이블의 도움으로, 이러한 방식으로 제조될 수 있고, 이에 의해 상기 시스템(100)이 상기 시각적 값을 오디오 값에 정확하게 매칭하는 것을 가능하게 한다.
일 실시예에서, 색상 카드는 시퀀스 내의 각각의 색상 값에 할당되고, 차례로 연속적인 시퀀스 내의 음표와 매칭한다. 시각적이고 직관적인 형태의 음표는 색상과 음표 사이의 데이터 변환을 통한 그림을 통해 표현될 수 있다.
일 실시예에서, 상기 시스템(100)은 멜로디, 음표 값, 음량, 및 다른 인자들의 진행을 결정하기 위해 음영, 범위, 밝기, 대조, 또는 이들의 조합과 관련된 데이터를 사용할 수 있다. 일 실시예에서, 상기 시스템(100)은 수채화 물감, 구아슈(gouache), 아크릴, 또는 오일 페인트와 같은 임의의 매체로 그림으로부터 음표를 생성할 수 있다.
예를 들어, 옐로우가 페이딩(fading)하여 퍼플로 변하는 경우, 상기 시스템은 기본 음(basic tone) C, C#(Db), D, D#(Eb), E, F, F#(Gb), G, G, (Ab), A, A#(Bb), B의 중간범위 시퀀스를 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24의 디지털 인코딩 시퀀스에 매칭시킬 수 있다.
예시적인 방식으로, 다음의 테이블 1은 음색(timbre)이 특정 색상 카드에 대응하도록 인코딩되는 방식을 나타낸다.
음(tone)/음표 색상
C 13 팬톤 옐로우 U
C#(Db) 팬톤 옐로우 012 U
D 팬톤 오렌지 021 U
D#(Eb) 팬톤 밝은 레드 U
E 팬톤 웜 레드 U
F 팬톤 레드 032 U
F#(Gb) 팬톤 루빈 레드 U
G 팬톤 로다민 레드 U
G#(Ab) 팬톤 핑크 U
A 팬톤 퍼플 U
A#(Bb) 팬톤 미디엄 퍼플 U
B 팬톤 바이올렛 U
테이블 1
이 예시에서, 상기 시퀀스는 완화된 알토 음조와 매칭하도록 상기 팬톤 색상 공간에서 상기 옐로우부터 퍼플까지의 변화를 사용하고, 이러한 방법은 역으로 될 수도 있다. 색상의 밝기에 기초하여 음표를 선택함에 있어서, 상기 시스템(100)은 이에 비례하여 음표의 음을 증가 또는 감소시킬 수 있다. 퍼플(어두운)에서 옐로우(밝은)까지의 변화로 상기 표시된 것처럼, 음표는 C13에서 B까지 다양하며, 그 역도 마찬가지다.
일 실시예에서, 상기 시스템(100)은 하나 이상의 음표의 시간 값 또는 지속시간을 결정하기 위해 하나 이상의 색상의 크기를 고려한다. 예시적인 방식으로, 음표에 대한 공통 지속시간은 온 음표(semibreve), 2분 음표(minims), 4분 음표(crotchet), 8분 음표(quavers), 16분 음표(semi-quaver) 등을 포함한다. 많은 경우, 상이한 음표는 상이한 지속시간을 가진다. 예를 들어, 악보(score)에서의 지속시간은 각각의 마디(bar) 사이의 상대적 지속시간을 표현하는 데 사용된다. 지속시간은 또한 음표가 얼마나 오랫동안 지속되는지를 결정한다.
따라서, 일 실시예에서, 상기 시스템(100)은 음표의 지속시간을 색상의 크기에 매칭시키고, 상기 음표의 지속시간을 상기 크기에 비례하도록 할 수 있다. 일 실시예에서, 하나 이상의 색상은 단위 셀 내에 채워질 수 있다. 상기 단위 셀은 상기 캔버스 상에 적용된 하나 이상의 색상에 대한 측정 수단으로 사용될 수 있다. 상기 시간 값 또는 음표 지속시간은 각 음표에 할당되는 동일한 비율의 단위 셀에 의해 식별된다. 예를 들어, 상기 시스템(100)이 4분 음표의 지속시간을 단위 셀의 면적과 동일하게 설정하는 경우이다. 이때, 하나의 마디에서, 4분 음표는 하나의 단위 셀을 차지하고, 2분 음표는 2개의 단위 셀을 차지하고, 온 음표는 4개의 단위 셀을 차지하고, 16분 음표는 절반의 단위 셀을 차지한다. 이와 비교하여, 상기 시스템(100)이 2분 음표의 지속시간을 단위 셀의 면적으로 설정하는 경우, 이때, 4분 음표는 절반의 단위 셀을 차지하고, 2분 음표는 하나의 단위 셀을 차지하고, 온 음표는 2개의 단위 셀을 차지하고, 8분 음표는 단위 셀의 4분의 1을 차지한다. 상기 시스템(100)이 단위 셀의 영역에 대해 온 음표의 지속시간이 동일하면, 4분 음표는 단위 셀의 4분의 1을 차지하고, 2분 음표는 단위 셀의 절반을 차지하고, 온 음표는 하나의 단위 셀을 차지하고, 8분 음표는 단위 셀의 8분의 1을 차지한다. 이와 같이, 각각의 특정 음표가 차지하는 영역은 미리 설정된 단위 셀 영역에 따라 음표의 지속시간에 비례한다. 따라서, 상기 음표의 지속시간은 단위 셀의 색상 크기에 대응한다.
도 7a는 하나의 예시적인 실시예에 따라 도 3 내지 5의 프로세스에서 이용되는 도면이다. 일 실시예에서, 사용자는 하나 이상의 음표를 생성하기 위해 묘화구(703)를 가지고 캔버스(701) 상에 묘화한다. 일 실시예에서, 상기 묘화구(703)는 색상 팔레트의 각각의 색상으로 묘화하도록 구성되는 색상 교정된 펜을 포함한다. 상기 색상 팔레트의 이러한 각각의 색상은 음표 세트에 각각 대응한다. 그 후, 상기 이미지 처리 플랫폼(103) 및/또는 입력/출력 기기(109)는 상기 캔버스(701) 상의 그림을 캡쳐하도록 카메라 센서(111) 또는 스캐너를 사용할 수 있다. 이어서, 상기 이미지 처리 플랫폼(103) 및/또는 입력/출력 기기(109)는 상기 그림 내에서 하나 이상의 색상 데이터를 결정하도록 상기 그림을 처리할 수 있다. 다음으로, 상기 이미지 처리 플랫폼(103) 및/또는 상기 입력/출력 기기(109)는 하나 이상의 색상 데이터를 상기 색상 데이터 내의 각각의 색상에 대응하는 하나 이상의 음표에 맵핑시키는 것을 야기할 수 있다. 이어서, 상기 이미지 처리 플랫폼(103) 및/또는 상기 입력/출력 기기(109)는 상기 하나 이상의 음표의 시각적 및/또는 청각적 표현을 생성할 수 있고, 작곡은 기보법으로 표시된다. 일 실시예에서, 상기 기보법의 시각적 및/또는 청각적 표현(705)은 적어도 하나의 UE(101) 또는 임의의 다른 물리적 버전(예를 들어, 종이, 캔버스, 및/또는 다른 매체)에서 생성될 수 있다. 일 실시예에서, 이러한 물리적 버전은 적합한 출력 기기(예를 들어, 프린터 또는 다른 자동화된 수단)를 통해 직접 생성될 수 있다. 다른 실시예에서, 상기 하나 이상의 음표의 오디오 표현(707)은 상기 색상 데이터로부터 생성될 수 있다.
도 7b는 하나의 예시적인 실시예에 따라 상이한 포맷으로 캔버스 상에 적용되는 색상들을 표현하는 도면이다. 하나의 시나리오에서, 사용자는 상기 캔버스 상에 다양한 형상, 패턴, 및 크기로 색상을 묘화하도록 묘화구(703)를 사용할 수 있다. 이어서, 상기 이미지 처리 플랫폼(103)은 상기 캔버스(701) 상의 다양한 형상, 패턴, 및 크기로의 각각의 색상에 대응하는 하나 이상의 음표의 기보법을 나타낸다.
도 8은 하나의 예시적인 실시예에 따라 도 3 내지 5의 프로세스에서 이용되는 사용자 인터페이스 도면이다. 일 실시예에서, 사용자는 상기 UE(101)와 연관된 컴퓨터 어플리케이션 내의 가상의 캔버스(801) 상에 묘화한다. 상기 UE(101)와 연관된 컴퓨터 어플리케이션은 색상 팔레트의 각각의 색상을 사용자에게 제시하고, 상기 색상 팔레트는 음표 세트에 각각 대응한다. 그 후, 상기 사용자는 그림을 생성하기 위해 상기 색상 팔레트에서 하나 이상의 색상을 선택할 수 있다. 그 후, 상기 이미지 처리 플랫폼(103)은 상기 가상의 캔버스(801) 상의 그림을 캡쳐하기 위해 카메라 센서(111) 또는 스캐너를 사용할 수 있다. 이어서, 상기 이미지 처리 플랫폼(103)은 상기 색상 데이터를 결정하도록 그림을 처리할 수 있다. 다음으로, 상기 이미지 처리 플랫폼(103)은 상기 각각의 색상에 대응하는 하나 이상의 음표에의 상기 색상 데이터의 맵핑을 야기할 수 있다. 이어서, 상기 이미지 처리 플랫폼(103)은 상기 작곡의 표현을 기보법(803)으로 생성할 수 있다. 일 실시예에서, 기보법(803)으로의 상기 작곡의 표현은 적어도 하나의 UE(101) 또는 임의의 다른 물리적 버전으로 생성될 수 있다. 다른 실시예에서, 상기 이미지 처리 플랫폼(103)은 상기 작곡의 오디오 표현을 생성할 수 있다. 또한, 도 7a, 7b, 및 8의 예시가 직사각형-형상(평행사변형-형상) 셀의 그림에서의 색상을 나타내지만, 변환 절차를 향상시키고 강화하기 위하여 원, 사다리꼴, 삼각형, 마름모꼴, 육각형, 초승달 모양(crescents), 및/또는 임의의 다른 형상 등의 상이한 셀 형상으로 표현될 수도 있다는 점에 주목해야 한다.
색상 데이터를 하나 이상의 음표로 변환하기 위해 여기서 설명된 프로세스는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어 및/또는 펌웨어 및/또는 하드웨어의 조합을 통하여 유리하게 구현될 수 있다. 예를 들어, 여기서 설명된 프로세스는 디지털 신호처리(DSP) 칩, 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGAs) 등의 프로세서(들)를 통해 유리하게 구현될 수 있다. 설명된 기능을 구현하기 위한 이러한 예시적인 하드웨어는 아래에 상세히 나타난다.
도 9는 본 발명의 실시예가 구현될 수 있는 컴퓨터 시스템(900)을 도시한다. 컴퓨터 시스템(900)은 특정 기기 및 장비와 관련하여 도시되지만, 도 9의 다른 기기 또는 장비(예를 들어, 네트워크 요소, 서버 등)가 시스템(900)의 도시된 하드웨어와 구성요소를 배치할 수 있는 것으로 고려된다. 컴퓨터 시스템(900)은 여기서 설명된 것처럼 색상 데이터를 하나 이상의 음표로 변환하도록 프로그램되고(예를 들어, 컴퓨터 프로그램 코드 또는 명령어를 통해), 상기 컴퓨터 시스템(900)의 다른 내부 및 외부 구성요소들 간의 정보를 전달하기 위해 버스(910)와 같은 통신 메커니즘을 포함한다. 정보(데이터로도 호칭됨)는 일반적으로 전압인, 측정 가능한 현상의 물리적 표현으로 표현되지만, 다른 실시예에서는 자기, 전자기, 압력, 화학적, 생물학적, 분자적, 원자의, 아원자의(sub-atomic), 및 양자의 상호작용과 같은 현상을 포함한다. 예를 들어, 북과 남 자기장, 또는 영(zero)과 영이 아닌 전압은 이진수(비트)의 두 상태(0, 1)를 표현한다. 다른 현상은 더 높은 베이스(base)의 숫자를 표현할 수 있다. 측정 전에 다수의 동시 양자상태의 중첩은 양자 비트(큐비트)를 나타낸다. 하나 이상의 숫자의 시퀀스는 문자에 대한 숫자 또는 코드를 나타내는 데 사용되는 디지털 데이터를 구성한다. 몇몇 실시예에서, 아날로그 데이터로 칭해지는 정보는 특정 범위 내에서 측정가능한 값들의 근접 연속체(near continuum)에 의해 표현된다. 컴퓨터 시스템(900) 또는 그 일부는 색상 데이터를 하나 이상의 음표로 변환하는 하나 이상의 단계들을 수행하는 수단을 구성한다.
버스(910)는 정보의 하나 이상의 병렬 컨덕터를 포함하고, 이에 따라 정보가 상기 버스(910)에 결합된 기기들 사이에서 신속하게 전송될 수 있다. 정보를 처리하기 위한 하나 이상의 프로세서(902)는 상기 버스(910)와 결합된다.
프로세서(또는 다수의 프로세서)(902)는 색상 데이터를 하나 이상의 음표로 변환하는 것과 관련된 컴퓨터 프로그램 코드에 의해 지정된 것처럼 정보에 대한 동작 세트를 수행한다. 상기 컴퓨터 프로그램 코드는 특정 기능을 수행하도록 프로세서 및/또는 컴퓨터 시스템의 동작에 대한 명령을 제공하는 명령어 또는 명령문의 세트이다. 예를 들어, 코드는 프로세서의 자연어 명령어 세트로 컴파일되는 컴퓨터 프로그래밍 언어로 작성될 수 있다. 상기 코드는 또한 자연어 명령어 세트(예를 들어, 기계어)를 사용하여 직접 작성될 수도 있다. 동작 세트는 상기 버스(910)로부터 정보를 가져오는 것과 정보를 상기 버스(910)에 위치시키는 것을 포함한다. 상기 동작 세트는 또한 일반적으로 둘 이상의 정보 단위를 비교하는 것, 정보 단위의 위치를 이동시키는 것, 및 덧셈 또는 곱셈 또는 OR, 배타적 OR(XOR), 및 AND와 같은 논리 연산에 의해서 등으로 둘 이상의 정보 단위를 조합하는 것을 포함한다. 상기 프로세서에 의해 수행될 수 있는 동작 세트의 각각의 동작은 하나 이상의 숫자의 동작 코드와 같은 명령어로 칭해지는 정보에 의해 프로세서에 표시된다. 동작 코드의 시퀀스와 같은 프로세서(902)에 의해 실행될 동작의 시퀀스는 프로세서 명령어를 구성하고, 또한 컴퓨터 시스템 명령어, 또는, 단순하게, 컴퓨터 명령어로 칭해진다. 프로세서는 기계적, 전기적, 자기적, 광학적, 화학적, 또는 양자 구성요소로 구현될 수 있으며, 그 중에서 단독 또는 조합으로 구현될 수 있다.
컴퓨터 시스템(900)은 또한 버스(910)에 결합된 메모리(904)를 포함한다. 랜덤 액세스 메모리(random access memory, RAM) 또는 임의의 다른 동적 저장장치와 같은 상기 메모리(904)는 색상 데이터를 하나 이상의 음표로 변환하는 프로세서 명령어를 포함하는 정보를 저장한다. 동적 메모리는 그 안에 저장된 정보가 상기 컴퓨터 시스템(900)에 의해 변경되는 것을 허용한다. RAM은 메모리 주소로 칭해지는 주소에 저장된 정보 단위가 인접한 주소의 정보와 독립적으로 저장되고 검색되는 것을 허용한다. 상기 메모리(904)는 또한 상기 프로세서(902)에 의해 프로세서 명령어의 실행 동안에 임시 값들을 저장하기 위해 사용된다. 상기 컴퓨터 시스템(900)은 또한 상기 컴퓨터 시스템(900)에 의해 변경되지 않는, 명령어를 포함하는, 정적 정보를 저장하기 위해 상기 버스(910)에 결합된 판독 전용 메모리(read only memory, ROM)(906) 또는 임의의 다른 정적 저장장치를 포함한다. 일부 메모리는 전력공급이 끊겼을 때 그 안에 저장된 정보가 손실되는 휘발성 저장장치로 구성된다. 또한, 버스(910)에 결합되는 것은 상기 컴퓨터 시스템(900)이 꺼지거나 전력공급이 끊겼을 때조차 명령어를 포함한 정보를 저장하는 것을 지속하기 위한 자기 디스크, 광디스크, 또는 플래시 카드와 같은 비-휘발성(영구적) 저장장치(908)이다.
색상 데이터를 음표로 변환하는 명령어를 포함하는 정보는, 인간 사용자, 마이크로폰, 적외선(IR) 원격제어, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 또는 센서에 의해 동작되는 글자숫자의 키를 포함하는 키보드 등의 외부 입력기기(912)로부터 상기 프로세서에 의한 사용을 위해 상기 버스(910)에 제공된다. 센서는 그 부근의 상태를 검출하고, 이러한 검출을 컴퓨터 시스템(900) 내의 정보를 나타내도록 사용되는 측정가능한 현상과 호환가능한 물리적 표현으로 변형한다. 주로 인간과 상호 작용하기 위해 사용되는, 버스(910)에 결합된 다른 외부 기기는, 텍스트 또는 이미지를 나타내기 위한 음극선관(cathode ray tube, CRT), 액정 표시장치(LCD), 발광 다이오드(LED) 디스플레이, 유기 LED(OLED) 디스플레이, 플라스마 스크린, 또는 프린터와 같은 디스플레이 기기(914), 및 상기 디스플레이(914) 상에 나타나는 작은 커서 이미지의 위치를 제어하고 상기 디스플레이(914) 상에 나타나는 그래픽 요소와 연관된 명령을 발생시키기 위한 마우스, 트랙볼(trackball), 커서 방향키, 또는 모션(motion) 센서와 같은 위치결정 기기(pointing device, 916), 및 오디오 기록을 포함할 수도 있는 하나 이상의 정지 및/또는 이동 이미지(예를 들어, 비디오, 영화 등)를 캡쳐, 기록, 및 저장하게 하는 하나 이상의 카메라 센서(994)를 포함한다. 일부 실시예에서, 예를 들어, 상기 컴퓨터 시스템(900)이 인간의 입력 없이 모든 기능을 자동으로 수행하는 실시예에서, 하나 이상의 외부 입력 기기(912), 디스플레이 기기(914), 및 위치결정 기기(916)은 생략될 수 있다.
도시된 실시예에서, 응용 주문형 집적회로(ASIC)(920)와 같은 특수 목적 하드웨어가 버스(910)에 결합된다. 상기 특수 목적 하드웨어는 특수 목적을 위해 충분히 신속하게 프로세서(902)에 의해 수행되지 않는 동작을 수행하도록 구성된다. ASIC의 예는 디스플레이(914)에 이미지를 생성하기 위한 그래픽 가속기 카드, 네트워크를 통해 송신되는 메시지를 암호화 및 해독하기 위한 암호화 보드(cryptographic boards), 음성 인식, 및 하드웨어에서 보다 효율적으로 구현되는 일부 복잡한 동작의 시퀀스를 반복적으로 수행하는 로봇 팔과 의료용 스캐닝 장비와 같은 특수한 외부 기기에의 인터페이스를 포함한다.
컴퓨터 시스템(900)은 또한 버스(910)에 결합된 통신 인터페이스(970)의 하나 이상의 인스턴스를 포함한다. 통신 인터페이스(970)는 프린터, 스캐너, 및 외부 디스크와 같이 그들 자신의 프로세서로 동작하는 다양한 외부 기기에 결합하는 일-방향 또는 양-방향 통신을 제공한다. 일반적으로, 상기 결합은 그들 자신의 프로세서를 가지는 다양한 외부 기기가 연결되는 근거리 네트워크(local network, 980)에 연결되는 네트워크 링크(978)로 된다. 예를 들어, 통신 인터페이스(970)는 개인용 컴퓨터 상의 병렬 포트 또는 직렬 포트 또는 범용 직렬 버스(USB) 포트일 수 있다. 일부 실시예에서, 통신 인터페이스(970)는 대응하는 타입의 전화선에 정보 통신 연결을 제공하는 종합 정보 통신망(ISDN) 카드 또는 디지털 가입자 회선(DSL) 카드 또는 전화 모뎀이다. 일부 실시예에서, 통신 인터페이스(970)는 버스(910) 상의 신호를 동축 케이블(coaxial cable)을 통한 통신 연결을 위한 신호 또는 광섬유 케이블(fiber optic cable)을 통한 통신 연결을 위한 광신호로 변환하는 케이블 모뎀이다. 다른 예시로서, 통신 인터페이스(970)는 이더넷(Ethernet)과 같은 호환가능한 근거리 네트워크(LAN)에 데이터 통신 연결을 제공하기 위한 LAN 카드일 수 있다. 무선 링크도 구현될 수 있다. 무선 링크에 대해, 상기 통신 인터페이스(970)는 디지털 데이터와 같은 정보 스트림(streams)을 운반하는 적외선 및 광신호를 포함하는 전기적, 음향적, 또는 전자기적 신호를 송신, 또는 수신, 또는 송수신한다. 예를 들어, 휴대폰과 같은 모바일 전화기 등의 무선 핸드헬드(handheld) 기기에서, 상기 통신 인터페이스(970)는 무선 송수신기로 칭해지는 무선 대역 전자기 송신기 및 수신기를 포함한다. 특정 실시예에서, 상기 통신 인터페이스(970)는 색상 데이터를 하나 이상의 음표로 변환하기 위해 상기 통신 네트워크(105)에의 연결을 상기 UE(101)로 가능하게 한다.
여기서 사용되는 "컴퓨터-판독가능한 매체"라는 용어는 실행을 위한 명령어를 포함하여 프로세서(902)에 정보를 제공하는 데 참여하는 임의의 매체를 언급한다. 이러한 매체는 컴퓨터-판독 가능한 저장매체(예를 들어, 비-휘발성 매체, 휘발성 매체), 및 전송 매체를 포함하여 많은 형태를 가질 수 있지만 이에 한정되는 것은 아니다. 비-휘발성 매체와 같은 비-일시적 매체는, 예를 들어, 저장 기기(908)와 같은 광학 또는 자기 디스크를 포함한다. 휘발성 매체는, 예를 들어, 동적 메모리(904)를 포함한다. 전송 매체는, 예를 들어, 연선(twisted pair) 케이블, 동축 케이블, 구리선, 광섬유 케이블, 및 무선, 광학, 및 적외선파를 포함하는 음향파 및 전자기파와 같은 와이어 또는 케이블 없이 공간을 통해 이동하는 반송파(carrier waves)를 포함한다. 신호는 상기 전송 매체를 통해 전송되는 진폭, 주파수, 위상, 분극(polarization) 또는 다른 물리적 특성에서의 인공적인 일시적 변화를 포함한다. 컴퓨터-판독가능한 매체의 일반적인 형식은, 예를 들어, 플로피 디스크, 플렉시블 디스크(flexible disk), 하드 디스크, 자기 테이프, 임의의 다른 자기적 매체, CD-ROM, CDRW, DVD, 임의의 다른 광학적 매체, 천공 카드(punch cards), 종이테이프, 광학 마크시트, 구멍 또는 다른 광학적으로 인식가능한 표시의 패턴을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, EEPROM, 플래시 메모리, 임의의 다른 메모리칩 또는 카트리지, 반송파, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다. 컴퓨터-판독가능한 저장매체라는 용어는 전송 매체를 제외한 임의의 컴퓨터-판독가능한 매체를 지칭하는 것으로 여기서 사용된다.
하나 이상의 유형적인 매체에 인코딩된 로직은 컴퓨터-판독가능한 저장매체와 ASIC(920)와 같은 특수 목적 하드웨어 상의 프로세서 명령어들 중 하나 또는 둘 모두를 포함한다.
네트워크 링크(978)는 일반적으로 전송 매체를 사용하여 정보를 사용 또는 처리하는 다른 기기에 하나 이상의 네트워크를 통하여 정보 통신을 제공한다. 예를 들어, 네트워크 링크(978)는 인터넷 서비스 공급자(ISP)에 의해 동작되는 호스트 컴퓨터(982) 또는 장비(984)에 근거리 네트워크(980)를 통한 연결을 제공할 수 있다. ISP 장비(984)는 결국 현재 일반적으로 인터넷(990)으로 칭해지는 네트워크의 공개적이고 전-세계적인 패킷-스위칭 통신 네트워크를 통하여 데이터 통신 서비스를 제공한다.
상기 인터넷에 연결된 서버 호스트(992)로 칭해지는 컴퓨터는 상기 인터넷을 통해 수신되는 정보에 응답하여 서비스를 제공하는 프로세스를 호스트한다. 예를 들어, 서버 호스트(992)는 디스플레이(914)에서의 표현을 위해 비디오 데이터를 나타내는 정보를 제공하는 프로세스를 호스트한다. 시스템(900)의 구성요소는 예를 들어 호스트(982)와 서버(992)인 다른 컴퓨터 시스템 내에서 다양한 구성으로 배치될 수 있다는 점이 고려된다.
본 발명의 적어도 일부 실시예는 여기서 설명된 기술의 일부 또는 전부를 구현하기 위한 컴퓨터 시스템(900)의 사용에 관한 것이다. 본 발명의 일 실시예에 따라, 이러한 기술은 메모리(904) 내에 포함된 하나 이상의 프로세서 명령어의 하나 이상의 시퀀스를 실행하는 프로세서(902)에 응답하여 컴퓨터 시스템(900)에 의해 수행된다. 컴퓨터 명령어, 소프트웨어, 및 프로그램 코드로도 칭해지는 이러한 명령어는 저장 기기(908) 또는 네트워크 링크(978)와 같은 다른 컴퓨터-판독가능한 매체로부터 메모리(904) 내부로 판독될 수 있다. 메모리(904) 내에 포함된 명령어 시퀀스의 실행은 프로세서(902)로 하여금 여기서 설명된 하나 이상의 방법 단계를 수행하도록 야기한다. 선택적인 실시예에서, ASIC(920)와 같은 하드웨어는 본 발명을 구현하기 위해 소프트웨어 대신에 또는 이와 함께 사용될 수 있다. 따라서, 본 발명의 실시예는 여기서 명시적으로 언급되지 않는 한 하드웨어와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
통신 인터페이스(970)를 통해 네트워크 링크(978)와 다른 네트워크를 거쳐 전송되는 신호는 컴퓨터 시스템(900)으로 및 컴퓨터 시스템(900)으로부터 정보를 운반한다. 컴퓨터 시스템(900)은 네트워크들(980, 990)을 통하여, 네트워크 링크(978)와 통신 인터페이스(970)를 통하여, 프로그램 코드를 포함하는 정보를 송신 및 수신할 수 있다. 인터넷(990)을 사용하는 예시에서, 서버 호스트(992)는 인터넷(990), ISP 장비(984), 근거리 네트워크(980) 및 통신 인터페이스(970)를 통하여 컴퓨터(900)로부터 전송된 메시지에 의해 요청되는, 특정 어플리케이션에 대한 프로그램 코드를 전송한다. 상기 수신된 코드는 이것이 수신될 때 프로세서(902)에 의해 실행될 수 있거나, 추후 실행을 위한 메모리(904) 또는 저장 기기(908) 또는 임의의 다른 비-휘발성 저장장치에 저장될 수 있거나, 또는 둘 다 가능하다. 이러한 방식으로, 컴퓨터 시스템(900)은 반송파 상의 신호 형태로 어플리케이션 프로그램 코드를 획득할 수 있다.
컴퓨터 판독가능한 매체의 다양한 형태가 실행을 위해 명령어 또는 데이터 또는 둘 다의 하나 이상의 시퀀스를 프로세서(902)에 운반하는 것에 포함될 수 있다. 예를 들어, 명령어와 데이터는 초기에 호스트(982)와 같은 원격 컴퓨터의 자기 디스크 상에 운반될 수 있다. 상기 원격 컴퓨터는 상기 명령어와 데이터를 그의 동적 메모리 내에 로딩하고, 상기 명령어와 데이터를 모뎀을 사용하는 전화선을 통해 전송한다. 상기 컴퓨터 시스템(900)과 가까운 모뎀은 전화선 상에서 상기 명령어와 데이터를 수신하고, 상기 명령어와 데이터를 네트워크 링크(978)로 기능하는 적외선 반송파 상의 신호로 변환하도록 적외선 송신기를 사용한다. 통신 인터페이스(970)로 기능하는 적외선 검출기는 상기 적외선 신호로 운반된 명령어와 데이터를 수신하고, 상기 명령어와 데이터를 나타내는 정보를 버스(910) 상에 위치시킨다. 버스(910)는 상기 명령어와 함께 전송된 데이터의 일부를 사용하여 상기 명령어를 검색하여 실행하는 프로세서(902)로부터 상기 정보를 메모리(904)로 운반한다. 메모리(904)에 수신된 명령어와 데이터는 선택적으로 상기 프로세서(902)에 의한 실행 전 또는 실행 후에 저장 기기(908) 상에 저장될 수 있다.
도 10은 본 발명의 실시예가 구현될 수 있는 칩셋 또는 칩(1000)을 도시한다. 칩셋(1000)은 여기서 설명되는 색상 데이터를 하나 이상의 음표로 변환하도록 프로그램되고, 예를 들어, 하나 이상의 물리적 패키지(예를 들어, 칩)에 통합되는 도 9에 관하여 설명된 프로세서와 메모리 구성요소를 포함한다. 예시의 방식으로, 물리적 패키지는 물리적 강도, 크기의 보존, 및/또는 전기적 상호작용의 제한과 같은 하나 이상의 특징을 제공하기 위한 구조적 조립(예를 들어, 기저대역(baseband)) 상의 하나 이상의 재료, 구성요소, 및/또는 와이어의 배치를 포함한다. 특정 실시예에서, 상기 칩셋(1000)은 단일 칩으로 구현될 수 있는 것으로 고려된다. 특정 실시예에서, 상기 칩셋 또는 칩(1000)은 단일 "시스템 온 칩"으로 구현될 수 있는 것으로 추가로 고려된다. 특정 실시예에서, 별도의 ASIC는 사용되지 않고, 예를 들어, 여기서 개시된 것과 같은 모든 관련 기능은 프로세서 또는 프로세서들에 의해 수행될 것으로 고려된다. 칩셋 또는 칩(1000), 또는 그들의 일부는 기능의 이용가능성과 연관된 사용자 인터페이스 내비게이션 정보를 제공하는 하나 이상의 단계를 수행하기 위한 수단을 구성한다. 칩셋 또는 칩(1000), 또는 그들의 일부는 색상 데이터를 하나 이상의 음표로 변환하는 하나 이상의 단계를 수행하기 위한 수단을 구성한다.
일 실시예에서, 상기 칩셋 또는 칩(1000)은 상기 칩셋(1000)의 구성요소들 간에 정보를 전달하기 위한 버스(1001)와 같은 통신 메커니즘을 포함한다. 프로세서(1003)는 명령어를 실행하고 예를 들어 메모리(1005)에 저장된 정보를 처리하기 위해 버스(1001)와 연결된다. 상기 프로세서(1003)는 각각의 코어(core)가 독립적으로 수행하도록 구성된 하나 이상의 프로세싱 코어를 포함할 수 있다. 멀티-코어 프로세서는 단일 물리적 패키지 내에서 다중 처리를 가능하게 한다. 멀티코어 프로세서의 예시들은 2개, 4개, 8개, 또는 그보다 큰 수의 프로세싱 코어를 포함한다. 선택적으로 또는 추가적으로, 상기 프로세서(1003)는 명령어, 파이프라인 방식(pipelining), 다중처리방식(multithreading)의 독립적인 실행을 가능하게 하도록 상기 버스(1001)를 통해 나란히 구성된 하나 이상의 마이크로프로세서를 포함할 수 있다. 상기 프로세서(1003)는 하나 이상의 디지털 신호 프로세서(DSP)(1007) 또는 하나 이상의 응용 주문형 집적회로(ASIC)(1009)와 같은 특정 프로세싱 기능과 작업을 수행하기 위해 하나 이상의 특수 구성요소를 수반할 수도 있다. DSP(1007)는 일반적으로 상기 프로세서(1003)와 독립되게 실시간으로 실제 신호(예를 들어, 소리)를 처리하도록 구성된다. 유사하게, ASIC(1009)는 보다 더 범용 프로세서에 의해 쉽게 수행되지 않는 특수 기능을 수행하도록 구성될 수 있다. 여기서 설명되는 본 발명의 기능을 수행하는 데 도움이 되는 다른 특수 구성요소는 하나 이상의 필드 프로그래머블 게이트 어레이(FPGA), 하나 이상의 컨트롤러, 또는 하나 이상의 다른 특수-목적 컴퓨터 칩을 포함할 수 있다.
일 실시예에서, 상기 칩셋 또는 칩(1000)은 단순히 하나 이상의 프로세서들 및 상기 하나 이상의 프로세서들을 지원하거나 및/또는 관련되거나 및/또는 이에 대한 몇몇 소프트웨어 및/또는 펌웨어를 포함한다.
상기 프로세서(1003)와 수반하는 구성요소는 상기 버스(1001)를 통해 상기 메모리(1005)에 연결된다. 상기 메모리(1005)는, 실행될 때, 색상 데이터를 하나 이상의 음표로 변환하도록 여기서 설명된 본 발명의 단계들을 수행하는 실행가능한 명령어를 저장하기 위한 동적 메모리(예를 들어, RAM, 자기 디스크, 기록 가능한 광디스크 등)와 정적 메모리(예를 들어, ROM, CD-ROM 등) 모두를 포함한다. 상기 메모리(1005)는 또한 본 발명의 단계의 실행에 연관되거나 이에 의해 생성되는 데이터를 저장한다.
도 11은 일 실시예에 따라 도 1의 시스템에서의 동작을 가능하게 하는 통신에 대한 모바일 단말기(예를 들어, 핸드셋)의 예시적인 구성요소의 도면이다. 몇몇 실시예에서, 모바일 단말기(1101) 또는 그 일부는 색상 데이터를 하나 이상의 음표로 변환하는 하나 이상의 단계를 수행하기 위한 수단을 구성한다. 일반적으로, 무선 수신기는 종종 프론트 엔드(front-end) 및 백 엔드(back-end) 특징으로 정의된다. 상기 수신기의 프론트 엔드는 모든 무선 주파수(Radio Frequency, RF) 회로를 포함하는 반면, 백 엔드는 모든 기저대역(baseband) 프로세싱 회로를 포함한다. 본 출원서에서 사용되는 "회로"라는 용어는 (1) 하드웨어 전용 구현(오직 아날로그 및/또는 디지털 회로에서의 구현 등), 및 (2) 회로와 소프트웨어(및/또는 펌웨어)의 조합(특정 상황에 적용가능하다면, 모바일폰 또는 서버와 같은 장치가 다양한 기능을 수행하도록 하기 위해 함께 작동하는 디지털 신호 프로세서(들), 소프트웨어, 및 메모리(들)를 포함하는 프로세서(들)의 조합 등) 둘 다에 관한 것이다. 이러한 "회로"의 정의는 모든 청구항을 포함하여 본 출원서에서의 이 용어의 모든 사용에 적용된다. 추가적인 예시로서, 본 출원서에서 사용된 것처럼 특정 상황에 적용가능하다면, "회로"라는 용어는 단지 프로세서(또는 다중 프로세서)와 그(그들)의 수반하는 소프트웨어 또는 펌웨어의 구현도 포함할 것이다. 상기 용어 "회로"는 특정 상황에 적용가능하다면, 예를 들어, 모바일폰 내의 기저대역 집적회로 또는 응용 프로세서 집적회로, 또는 셀룰러 네트워크 기기 또는 네트워크 기기 내의 유사한 집적회로도 포함할 것이다.
전화의 적절한 내부 구성요소는 메인 제어유닛(MCU)(1103), 디지털 신호 프로세서(DSP)(1105), 및 마이크로폰 이득 제어유닛과 스피커 이득 제어유닛을 포함하는 송신기/수신기 유닛을 포함한다. 메인 디스플레이유닛(1107)은 색상 데이터를 하나 이상의 음표로 변환하는 단계를 수행하거나 지원하는 다양한 어플리케이션 및 모바일 단말기 기능을 지원하여 사용자에게 디스플레이를 제공한다. 상기 디스플레이(1107)는 상기 모바일 단말기(예를 들어, 모바일 전화)의 사용자 인터페이스의 적어도 일부를 디스플레이하도록 구성되는 디스플레이 회로를 포함한다. 또한, 상기 디스플레이(1107)와 디스플레이 회로는 상기 모바일 단말기의 적어도 일부 기능의 사용자 제어를 용이하게 하도록 구성된다. 오디오 기능 회로(1109)는 마이크로폰(1111), 및 상기 마이크로폰(1111)으로부터 출력된 음성 신호를 증폭하는 마이크로폰 증폭기를 포함한다. 상기 마이크로폰(1111)으로부터 출력된 상기 증폭된 음성 신호는 코더/디코더(코덱)(1113)에 공급된다.
무선부(radio section, 1115)는 안테나(1117)를 통하여 이동통신 시스템 내에 포함되는 기지국과 통신하기 위하여 전력을 증폭하고 주파수를 변환한다. 전력 증폭기(PA)(1119)와 송신기/변조 회로는, 해당 기술분야에서 알려진 것처럼, 송수신 전환기(duplexer, 1121) 또는 서큘레이터(circulator) 또는 안테나 스위치에 결합된 상기 PA(1119)로부터의 출력과 함께 상기 MCU(1103)에 동작가능하게 응답한다. 상기 PA(1119)는 또한 배터리 인터페이스 및 전력 제어유닛(1120)에 결합한다.
사용시에, 모바일 단말기(1101)의 사용자는 상기 마이크로폰(1111)으로 말하고, 임의의 검출된 배경 잡음과 함께 그 또는 그녀의 음성이 아날로그 전압으로 변환된다. 상기 아날로그 전압은, 그 후, 아날로그-디지털 변환기(ADC)(1123)를 통해 디지털 신호로 변환된다. 상기 제어유닛(1103)은 음성 인코딩, 채널 인코딩, 암호화, 및 인터리빙(interleaving)과 같이, 그 안의 처리를 위해 상기 디지털 신호를 상기 DSP(1105)로 라우팅한다. 일 실시예에서, 상기 처리된 음성 신호는, EDGE(enhanced data rates for global evolution), 일반 패킷 무선 서비스(GPRS), 모바일 통신을 위한 글로벌 시스템(GSM), 인터넷 프로토콜 멀티미디어 서브시스템(IMS), 범용 이동통신 시스템(UMTS) 등과 같은 셀룰러 전송 프로토콜뿐만 아니라, 예를 들어 극초단파 접근(WiMAX), 롱텀 에볼루션(LTE) 네트워크, 코드분할 다중접근(CDMA), 광대역 코드분할 다중접근(WCDMA), 와이파이(WiFi), 위성 등, 또는 이들의 임의의 조합인 임의의 다른 적합한 무선 매체를 사용하여, 별도로 표시되지 않은 단위로, 인코딩된다.
상기 인코딩된 신호는, 그 후, 위상 및 진폭 왜곡과 같은 공기를 통해 전송 중에 발생하는 임의의 주파수-종속적인 손상을 보상하기 위해 등화기(equalizer, 1125)로 라우팅된다. 비트 스트림을 균등하게 한 후에, 변조기(1127)는 상기 신호를 RF 인터페이스(1129) 내에서 생성된 RF 신호와 결합한다. 상기 변조기(1127)는 주파수 또는 위상 변조의 방식으로 사인파를 생성한다. 전송을 위한 신호를 준비하기 위하여, 업-컨버터(up-converter, 1131)는 원하는 전송 주파수를 획득하도록 상기 변조기(1127)로부터의 사인파 출력을 합성기(1133)에 의해 생성된 다른 사인파와 결합한다. 상기 신호는, 그 후, 적절한 전력 수준으로 상기 신호를 증가시키기 위해 PA(1119)를 통해 송신된다. 실제 시스템에서, 상기 PA(1119)는 그 이득이 네트워크 기지국에서 수신된 정보로부터 상기 DSP(1105)에 의해 제어되는 가변이득 증폭기로서 동작한다. 상기 신호는, 그 후, 상기 송수신 전환기(1121) 내에서 필터링되고, 최대 전력 전송을 제공하기 위해 임피던스를 정합하도록 안테나 커플러(antenna coupler, 1135)에 선택적으로 송신된다. 마지막으로, 상기 신호는 안테나(1117)를 통해 지역 기지국으로 전송된다. 자동 이득 제어(AGC)는 상기 수신기의 최종 단계의 이득을 제어하도록 제공될 수 있다. 상기 신호는, 거기에서, 다른 셀룰러 전화, 임의의 다른 모바일 폰, 또는 공중 교환 전화 네트워크(PSTN) 또는 다른 전화 네트워크에 연결된 지상 통신선일 수 있는 원격 전화로 전달될 수 있다.
상기 모바일 단말기(1101)에 전송되는 음성 신호는 안테나(1117)를 통해 수신되고 저잡음 증폭기(LNA)(1137)에 의해 즉시 증폭된다. 다운-컨버터(1139)는 복조기(demodulator, 1141)가 디지털 비트 스트림만 남기는 상기 RF를 제거하는 동안 반송 주파수(carrier frequency)를 낮춘다. 상기 신호는, 그 후, 상기 등화기(1125)를 통과하고 상기 DSP(1105)에 의해 처리된다. 디지털-아날로그 변환기(DAC)(1143)는 상기 신호를 변환하고, 그 결과 출력은 중앙처리장치(Central Processing Unit, CPU)로서 구현될 수 있는 메인 제어장치(Main Control Unit, MCU)(1103)의 제어 하에서 모두, 상기 스피커(1145)를 통해 상기 사용자에게 전송된다.
상기 MCU(1103)는 상기 키보드(1147)로부터 입력 신호를 포함하는 다양한 신호를 수신한다. 다른 사용자 입력 구성요소(예를 들어, 상기 마이크로폰(1111))와 결합한 상기 키보드(1147) 및/또는 상기 MCU(1103)는 사용자 입력을 관리하기 위한 사용자 인터페이스 회로를 포함한다. 상기 MCU(1103)는 색상 데이터를 하나 이상의 음표로 변환하도록 상기 모바일 단말기(1101)의 적어도 일부 기능의 사용자 제어를 용이하게 하는 사용자 인터페이스 소프트웨어를 실행한다. 상기 MCU(1103)는 또한 상기 디스플레이(1107)와 상기 음성 출력 스위칭 제어기에 디스플레이 명령과 스위치 명령을 각각 전달한다. 또한, 상기 MCU(1103)는 상기 DSP(1105)와 정보를 교환하고, 내장된 SIM 카드(1149)와 메모리(1151)에 선택적으로 접근할 수 있다. 또한, 상기 MCU(1103)는 상기 단말기에 필요한 다양한 제어 기능을 실행한다. 상기 DSP(1105)는, 구현에 따라, 음성 신호에 대해 다양한 종래의 디지털 처리 기능 중 임의의 것을 수행할 수 있다. 또한, DSP(1105)는 마이크로폰(1111)에 의해 검출된 신호로부터 지역 환경의 배경잡음 수준을 결정하고, 마이크로폰(1111)의 이득을 상기 모바일 단말기(1101) 사용자의 자연스런 성향을 보상하도록 선택된 수준으로 설정한다.
상기 코덱(1113)은 상기 ADC(1123)와 DAC(1143)를 포함한다. 상기 메모리(1151)는 착신음 데이터를 포함하는 다양한 데이터를 저장하고, 예를 들어 글로벌 인터넷을 통하여 수신된 음악 데이터를 포함한 다른 데이터를 저장할 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, 레지스터, 또는 당해 분야에서 알려진 기록가능한 저장매체의 임의의 다른 형태로 존재할 수 있다. 상기 메모리 기기(1151)는 단일 메모리, CD, DVD, ROM, RAM, EEPROM, 광학 저장장치, 자기 디스크 저장장치, 플래시 메모리 저장장치, 또는 디지털 데이터를 저장할 수 있는 임의의 다른 비휘발성 저장매체일 수 있으나, 이에 한정되지는 않는다.
선택적으로 내장된 SIM 카드(1149)는, 예를 들어, 셀룰러 전화번호, 반송파 공급 서비스, 가입 세부사항, 및 비밀 정보를 운반한다. 상기 SIM 카드(1149)는 주로 무선 네트워크 상에서 모바일 단말기(1101)를 식별하는 역할을 한다. 상기 카드(1149)는 또한 개인 전화번호 레지스트리, 문자 메시지, 및 사용자 특정의 모바일 단말기 설정을 저장하기 위한 메모리를 포함한다.
또한, 하나 이상의 카메라 센서(1153)는 이동국(1101) 내에 내장될 수 있고, 상기 하나 이상의 카메라 센서는 상기 이동국 상의 하나 이상의 위치에 위치될 수 있다. 일반적으로, 상기 카메라 센서는 또한 오디오 기록도 포함할 수 있는 하나 이상의 정지 및/또는 이동 이미지(예를 들어, 비디오, 영화 등)를 캡쳐, 기록, 및 저장하는 것을 야기하도록 이용될 수 있다.
본 발명이 다수의 실시예 및 구현과 관련하여 설명되었지만, 본 발명은 이에 한정되지 않고 첨부된 청구항의 범위에 속하는 다양한 명백한 변경 및 등가의 배열을 포함한다. 본 발명의 특징이 청구항들 간의 특정 조합으로 표현되지만, 이러한 특징들은 임의의 조합 및 순서로 배열될 수 있다는 점이 고려된다.

Claims (35)

  1. 복수의 묘화구(drawing instruments)로서, 상기 복수의 묘화구 각각은 색상 팔레트(color palette)의 각각의 색상들을 묘화하도록 구성되고, 상기 색 팔레트의 각각의 색상들은 음표 세트(a set of musical notes)에 각각 대응하는, 상기 복수의 묘화구;
    상기 복수의 묘화구가 상기 색상 팔레트의 각각의 색상들을 적용하도록 구성된 캔버스(canvas);
    상기 복수의 묘화구에 의해 상기 캔버스에 적용된 상기 각각의 색상들을 색상 데이터로 판독하도록 구성된 색상-판독 기기; 및
    상기 색상 데이터 내의 각각의 색상들에 대응하는 상기 음표 세트에 기초하여 상기 색상 데이터로부터 상기 하나 이상의 음표의 작곡(composition)을 생성하도록 상기 색상 데이터를 처리하도록 구성되는 색상 처리모듈(color processing module)을 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 작곡을 재생하도록 구성된 오디오 출력기기(audio output device)를 더 포함하는, 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 색상-판독 기기는 상기 캔버스에 상기 색상 데이터의 일부로서 적용된 상기 각각의 색상들의 형상 또는 크기를 스캔(scan)하도록 더 구성되고; 및
    상기 색상 처리모듈은 상기 각각의 색상들의 상기 형상 또는 상기 크기에 기초하여 상기 작곡에서의 상기 하나 이상의 음표에 대한 음표 지속시간 정보(note duration information)를 결정하도록 더 구성되고,
    상기 작곡은 상기 음표 지속시간 정보에 기초하여 추가로 생성되는, 시스템.
  4. 제 3 항에 있어서,
    상기 색상 처리모듈은 상기 작곡의 표현을 기보법(staff notation)으로 생성하고, 상기 기보법으로 된 상기 작곡을 출력 기기를 통해 출력하도록 더 구성되는, 시스템.
  5. 제 1 항 내지 제 4 항 중 한 항에 있어서,
    상기 복수의 묘화구는 상기 색상 팔레트의 각각의 색상들을 묘화하도록 교정(calibration)된 유색 펜들(color pens)을 포함하는, 시스템.
  6. 제 5 항에 있어서,
    상기 유색 펜들이 교정된 상기 각각의 색들에 대응하는 상기 음표의 표시는 상기 유색 펜들에 각인(imprinted)되는, 시스템.
  7. 제 1 항 내지 제 6 항 중 한 항에 있어서,
    상기 색상-판독 기기는 이미지 센서(image sensor), 스캐너(scanner), 또는 그 조합을 포함하는,시스템.
  8. 제 1 항 내지 제 7 항 중 한 항에 있어서,
    상기 작곡에서의 상기 하나 이상의 음표의 시퀀스(sequence)는 상기 캔버스에 적용된 상기 각각의 색상들의 순서(order)에 기초하는, 시스템.
  9. 제 1 항 내지 제 8 항 중 한 항에 있어서,
    상기 복수의 묘화구는 컴퓨터 어플리케이션(computer application)에서의 복수의 가상 묘화구이고, 상기 캔버스는 상기 컴퓨터 어플리케이션에서의 가상 캔버스이고, 상기 색상-판독 기기는 상기 컴퓨터 어플리케이션의 색상-판독 모듈이고, 상기 색상 처리모듈은 상기 컴퓨터 어플리케이션의 모듈인, 시스템.
  10. 제 9 항에 있어서,
    상기 컴퓨터 어플리케이션은 모바일 기기에서 실행가능한, 시스템.
  11. 색상 데이터를 하나 이상의 음표로 변환하도록 컴퓨터로 구현되는 방법으로서,
    색상-판독 기기를 사용하여, 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독하는 단계로서, 상기 복수의 묘화구 각각은 색상 팔레트의 각각의 색상들을 묘화하도록 구성되고, 상기 색상 팔레트의 각각의 색상들은 음표 세트에 각각 대응하는, 상기 판독하는 단계; 및
    색상 처리모듈을 사용하여, 상기 색상 데이터 내의 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 상기 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리하는 단계를 포함하는, 방법.
  12. 제 11 항에 있어서,
    오디오 출력기기를 사용하여 상기 작곡의 재생을 야기하는 단계를 더 포함하는, 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 색상-판독 기기를 사용하여, 상기 캔버스에 상기 색상 데이터의 일부로서 적용된 상기 각각의 색상들의 형상 또는 크기를 스캔하는 단계; 및
    상기 색상 처리모듈을 사용하여, 상기 각각의 색상들의 상기 형상 또는 상기 크기에 기초하여 상기 작곡에서의 상기 하나 이상의 음표에 대한 음표 지속시간 정보를 결정하는 단계를 더 포함하고,
    상기 작곡은 상기 음표 지속시간 정보에 기초하여 추가로 생성되는, 방법.
  14. 제 13 항에 있어서,
    상기 색상 처리모듈은 상기 작곡의 표현을 기보법으로 생성하고, 출력기기를 통해 상기 기보법으로 된 상기 작곡을 출력하도록 더 구성되는, 방법.
  15. 제 11 항 내지 제 14 항 중 한 항에 있어서,
    상기 복수의 묘화구는 상기 색상 팔레트의 각각의 색상들을 묘화하도록 교정된 유색 펜들을 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 유색 펜들이 교정된 각각의 색상들에 대응하는 상기 음표의 표시는 상기 유색 펜들에 각인되는, 방법.
  17. 제 11 항 내지 제 16 항 중 한 항에 있어서,
    상기 색상-판독 기기는 이미지 센서, 스캐너, 또는 그 조합을 포함하는, 방법.
  18. 제 11 항 내지 제 17 항 중 한 항에 있어서,
    상기 작곡에서의 상기 하나 이상의 음표의 시퀀스는 상기 캔버스에 적용된 상기 각각의 색상들의 순서에 기초하는, 방법.
  19. 제 11 항 내지 제 18 항 중 한 항에 있어서,
    상기 복수의 묘화구는 컴퓨터 어플리케이션에서의 복수의 가상 묘화구이고, 상기 캔버스는 상기 컴퓨터 어플리케이션에서의 가상 캔버스이고, 상기 색상-판독 기기는 상기 컴퓨터 어플리케이션의 색상-판독 모듈이고, 상기 색상 처리모듈은 상기 컴퓨터 어플리케이션의 모듈인, 방법.
  20. 제 19 항에 있어서,
    상기 컴퓨터 어플리케이션은 모바일 기기에서 실행가능한, 방법.
  21. 장치(apparatus)로서,
    적어도 하나의 프로세서(processor); 및
    하나 이상의 프로그램에 대한 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리(memory)를 포함하고,
    상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금 적어도 다음을 수행하도록 하며,
    색상-판독 기기를 사용하여, 복수의 묘화구에 의해 캔버스에 적용된 각각의 색상들을 색상 데이터로 판독하고, 상기 복수의 묘화구 각각은 색상 팔레트의 각각의 색상들을 묘화하도록 구성되고, 상기 색상 팔레트의 각각의 색상들은 음표 세트에 각각 대응하는, 상기 색상 데이터로 판독하고; 및
    색상 처리모듈을 사용하여, 상기 색상 데이터 내의 각각의 색상들에 대응하는 음표 세트에 기초하여 상기 색상 데이터로부터 상기 하나 이상의 음표의 작곡을 생성하도록 상기 색상 데이터를 처리하는, 장치.
  22. 제 21 항에 있어서,
    오디오 출력기기를 사용하여 상기 작곡을 재생하도록 야기하는 것을 더 포함하는, 장치.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 색상-판독 기기를 사용하여, 상기 캔버스에 상기 색상 데이터의 일부로서 적용된 상기 각각의 색상들의 형상 또는 크기를 스캔하는 것; 및
    상기 색상 처리모듈을 사용하여, 상기 각각의 색상들의 상기 형상 또는 상기 크기에 기초하여 상기 작곡 내의 상기 하나 이상의 음표에 대한 음표 지속시간 정보를 결정하는 것을 더 포함하고,
    상기 작곡은 상기 음표 지속시간 정보에 기초하여 추가로 생성되는, 장치.
  24. 제 23 항에 있어서,
    상기 색상 처리모듈은 상기 작곡의 표현을 기보법으로 생성하고, 상기 기보법으로 된 상기 작곡을 출력기기를 통해 출력하도록 더 구성되는, 장치.
  25. 제 21 항 내지 제 24 항 중 한 항에 있어서,
    상기 복수의 묘화구는 상기 색상 팔레트의 각각의 색상들을 묘화하도록 교정된 유색 펜들을 포함하는, 장치.
  26. 제 25 항에 있어서,
    상기 유색 펜들이 교정되는 상기 각각의 색상들에 대응하는 상기 음표의 표시는 상기 유색 펜들에 각인되는, 장치.
  27. 제 21 항 내지 제 26 항 중 한 항에 있어서,
    상기 색상-판독 기기는 이미지 센서, 스캐너, 또는 그 조합을 포함하는, 장치.
  28. 제 21 항 내지 제 27 항 중 한 항에 있어서,
    상기 작곡에서의 상기 하나 이상의 음표의 시퀀스는 상기 캔버스에 적용된 상기 각각의 색상들의 순서에 기초하는, 장치.
  29. 제 21 항 내지 제 28 항 중 한 항에 있어서,
    상기 복수의 묘화구는 컴퓨터 어플리케이션에서의 복수의 가상 묘화구이고, 상기 캔버스는 상기 컴퓨터 어플리케이션에서의 가상 캔버스이고, 상기 색상-판독 기기는 상기 컴퓨터 어플리케이션의 색상-판독 모듈이고, 상기 색상 처리모듈은 상기 컴퓨터 어플리케이션의 모듈인, 장치.
  30. 제 29 항에 있어서,
    상기 컴퓨터 어플리케이션은 모바일 기기에서 실행가능한, 장치.
  31. 하나 이상의 프로세서들에 의해 실행될 때, 장치가 적어도 제 11 항 내지 제 20 항 중 한 항의 방법의 단계들을 수행하도록 하는 하나 이상의 명령어들의 하나 이상의 시퀀스들을 포함하는, 컴퓨터 프로그램 제품.
  32. 적어도 하나의 서비스에 접근하는 것을 허용하도록 구성된 적어도 하나의 인터페이스(interface)의 접근을 용이하게 하는 것을 포함하는 방법으로서, 상기 적어도 하나의 서비스는 제 11 항 내지 제 20 항 중 한 항의 방법을 수행하도록 구성되는, 방법.
  33. (1) 데이터 및/또는 (2) 정보 및/또는 (3) 적어도 하나의 신호를 처리하는 것을 용이하게 하는 것 및/또는 처리하는 것을 포함하는 방법으로서, 상기 (1) 데이터 및/또는 (2) 정보 및/또는 (3) 적어도 하나의 신호는, 적어도 부분적으로, 제 11 항 내지 제 20 항 중 한 항의 방법에 기초하는, 방법.
  34. (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능을 생성하는 것을 용이하게 하는 것 및/또는 수정하는 것을 용이하게 하는 것을 포함하는 방법으로서, 상기 (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능은, 적어도 부분적으로, 제 11 항 내지 제 20 항 중 한 항의 방법에 기초하는, 방법.
  35. (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능을 생성하는 것 및/또는 수정하는 것을 포함하는 방법으로서, 상기 (1) 적어도 하나의 기기 사용자 인터페이스 요소 및/또는 (2) 적어도 하나의 기기 사용자 인터페이스 기능은, 적어도 부분적으로, 제 11 항 내지 제 20 항 중 한 항의 방법에 기초하는, 방법.
KR1020187037589A 2016-05-27 2016-05-27 색상 데이터를 음표로 변환하는 방법 및 장치 KR20190033482A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/034769 WO2017204829A1 (en) 2016-05-27 2016-05-27 Method and apparatus for converting color data into musical notes

Publications (1)

Publication Number Publication Date
KR20190033482A true KR20190033482A (ko) 2019-03-29

Family

ID=60411757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037589A KR20190033482A (ko) 2016-05-27 2016-05-27 색상 데이터를 음표로 변환하는 방법 및 장치

Country Status (12)

Country Link
US (1) US20210287643A1 (ko)
EP (1) EP3465110A4 (ko)
JP (1) JP2019522826A (ko)
KR (1) KR20190033482A (ko)
CN (1) CN107437409A (ko)
AU (1) AU2016407806A1 (ko)
BR (1) BR112018074368A2 (ko)
CA (1) CA3025773A1 (ko)
MX (1) MX2018014597A (ko)
RU (1) RU2722279C1 (ko)
WO (1) WO2017204829A1 (ko)
ZA (1) ZA201808606B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022005253A1 (ko) * 2020-07-03 2022-01-06 김민수 영상 기반 작곡 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190088237A1 (en) * 2017-09-10 2019-03-21 Rocco Anthony DePietro, III System and Method of Generating Signals from Images
WO2019191117A1 (en) * 2018-03-27 2019-10-03 Qiu Zi Hao System, method, and apparatus for providing musical instruction using coloring sheets based on a color-encoded musical notation system
CN111391543A (zh) * 2020-03-27 2020-07-10 华东师范大学 一种音乐画笔
CN111754962B (zh) * 2020-05-06 2023-08-22 华南理工大学 基于升降采样的民歌智能辅助作曲系统及方法
WO2022221716A1 (en) * 2021-04-15 2022-10-20 Artiphon, Inc. Multimedia music creation using visual input
CN115514673B (zh) * 2022-09-22 2024-09-20 西安理工大学 一种网络安全态势可听化方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098392B2 (en) * 1996-07-10 2006-08-29 Sitrick David H Electronic image visualization system and communication methodologies
AU6418400A (en) * 1999-07-26 2001-02-13 Thomas J. Buhr Apparatus for musical composition
KR20010020900A (ko) * 1999-08-18 2001-03-15 김길호 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치
EP1273001A2 (en) * 2000-04-06 2003-01-08 Rainbow Music Corporation System for playing music having multi-colored musical notation and instruments
JP4614307B2 (ja) * 2003-09-24 2011-01-19 ヤマハ株式会社 演奏データ処理装置及びプログラム
WO2005036522A2 (en) * 2003-10-10 2005-04-21 Walter Kubitz Musical instrument signaling system
US7251031B2 (en) * 2004-01-23 2007-07-31 Iguana Robotics, Inc. Colorstick
US7288705B1 (en) * 2004-06-09 2007-10-30 Beverly Hale Nelson Method for teaching musical notation and composition
US20060084039A1 (en) * 2004-10-19 2006-04-20 Massachusetts Institute Of Technology Drawing tool for capturing and rendering colors, surface images and movement
US7525034B2 (en) * 2004-12-17 2009-04-28 Nease Joseph L Method and apparatus for image interpretation into sound
KR20060106088A (ko) * 2005-04-06 2006-10-12 한국과학기술원 그림을 그려 음악을 작곡하는 음악작곡장치
WO2007105927A1 (en) * 2006-03-16 2007-09-20 Harmonicolor System Co., Ltd. Method and apparatus for converting image to sound
JP2008224841A (ja) * 2007-03-09 2008-09-25 Hyphenation:Kk 彩色用具を利用した演奏装置及び演奏方法
WO2008130657A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for computer-generated music
JP4678638B2 (ja) * 2008-10-15 2011-04-27 秀行 小谷 選曲装置
KR20110052824A (ko) * 2009-11-13 2011-05-19 박소연 색 재현 장치
CN104574453A (zh) * 2013-10-17 2015-04-29 付晓宇 用图像表达音乐的软件
US9245350B1 (en) * 2014-06-26 2016-01-26 Amazon Technologies, Inc. Image-based color palette generation
RU2568265C1 (ru) * 2014-07-28 2015-11-20 Борис Иванович Волков Способ создания музыкального произведения и устройство его осуществления
CN105205304A (zh) * 2015-06-30 2015-12-30 胡国生 音乐色彩通感可视化方法
KR20180004040A (ko) * 2017-12-11 2018-01-10 전대연 스마트 음-색 표현 방법 및 rgb색상코드를 이용한 음악-그림 앱 시스템
CN110310613A (zh) * 2018-03-27 2019-10-08 上海新啊利网络科技有限公司 一种用于生成颜色编码音乐的方法和设备
US11532293B2 (en) * 2020-02-06 2022-12-20 James K. Beasley System and method for generating harmonious color sets from musical interval data
CN111391543A (zh) * 2020-03-27 2020-07-10 华东师范大学 一种音乐画笔
CN115050344A (zh) * 2022-06-09 2022-09-13 福州词音曲信息技术有限公司 一种根据图像生成音乐的方法及终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022005253A1 (ko) * 2020-07-03 2022-01-06 김민수 영상 기반 작곡 장치 및 방법

Also Published As

Publication number Publication date
RU2722279C1 (ru) 2020-05-28
MX2018014597A (es) 2019-05-22
ZA201808606B (en) 2019-09-25
CA3025773A1 (en) 2017-11-30
BR112018074368A2 (pt) 2019-03-06
US20210287643A1 (en) 2021-09-16
JP2019522826A (ja) 2019-08-15
WO2017204829A1 (en) 2017-11-30
AU2016407806A1 (en) 2019-01-17
EP3465110A4 (en) 2019-11-20
CN107437409A (zh) 2017-12-05
EP3465110A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
KR20190033482A (ko) 색상 데이터를 음표로 변환하는 방법 및 장치
WO2017119915A1 (en) Method and apparatus for converting audio data into a visual representation
CN110310613A (zh) 一种用于生成颜色编码音乐的方法和设备
US10262638B2 (en) Interactive performance direction for a simultaneous multi-tone instrument
US20120007884A1 (en) Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
Schulte-Fortkamp et al. Introduction to the special issue on soundscapes
JP5780259B2 (ja) 情報処理装置、情報処理方法、プログラム
CN106415541A (zh) 实时翻译来自发言者计算设备的媒体馈送及分到多个不同语言的多个收听者计算设备的技术
CN105915687A (zh) 使用者接口调整方法与使用此方法的装置
US9792835B2 (en) Proxemic interfaces for exploring imagery
KR102587069B1 (ko) 스마트 음악-그림 앱 시스템
Kondak et al. Web sonification sandbox-an easy-to-use web application for sonifying data and equations
KR20170057671A (ko) 음악 디스플레이 장치 및 방법
Feng Design and research of music teaching system based on virtual reality system in the context of education informatization
WO2019191291A1 (en) Method and apparatus for providing an application user interface for generating color-encoded music
CN110347864A (zh) 一种智能调节音频参数的方法及系统
US10262640B2 (en) Musical performance support device and program
Weitzner et al. massMobile: towards a flexible framework for large-scale participatory collaborations in live performances
WO2016050223A1 (zh) 一种基于图格的即时通信方法、客户端及系统
Bai [Retracted] Strategies for Improving the Quality of Music Teaching in Primary and Secondary Schools in the Context of Artificial Intelligence and Evaluation
Graham et al. The soundfield as sound object: Virtual reality environments as a three-dimensional canvas for music composition
WO2019191117A1 (en) System, method, and apparatus for providing musical instruction using coloring sheets based on a color-encoded musical notation system
Lee et al. A New Response Method for Auditory Localization and Spread Tests
Zhao Practice and Research on Network Digital Multimedia Vocal Music Teaching
JP2005242833A (ja) Ｗｅｂ画面解析装置、ｗｅｂ画面解析方法、ｗｅｂ解析型音楽装置、及びｗｅｂ監視装置